如何在c语言中操作UTF－8字符？

cysin

我需要在一个文件中读取所有的汉字，这些汉字都是utf8编码的。但是中文和英文的长度不同，我怎么才能判断一个字节开始，是汉字的开始，还是英文的开始，应该往后读取多少？

cysin

我是在linux用gnu c,是不是还需要“wchar”或者“iconv”之类的库才可以？
哪位能指点一下，如果有例子更好～

eveson

原帖由 cysin 于 2009-1-3 10:03 发表
我需要在一个文件中读取所有的汉字，这些汉字都是utf8编码的。但是中文和英文的长度不同，我怎么才能判断一个字节开始，是汉字的开始，还是英文的开始，应该往后读取多少？

读取这个字节后，如果ch >='a' && ch <='z' 那么就是英文字符，可以吗？

eveson

如果怕是一些标点符号，再把这些标点符号的判断值加进去

hightman

那你就去了解一下 UTF-8 的编码规则啊, 简单来说读取某个字节,  判断它是多字节的还是单字节的,甚至是多字节的非首字节...

eveson

原帖由 hightman 于 2009-1-3 10:23 发表
那你就去了解一下 UTF-8 的编码规则啊, 简单来说读取某个字节,  判断它是多字节的还是单字节的,甚至是多字节的非首字节...

关于这个字符编码规则，可能有一些特定实现的库或者方法，不了解

hightman

那我给一个示范吧, 用一个256bytes的 unsigned char 字符数组来记录相应的字长
在 0xc0 ~ 0x80 之间虽然也是单字节, 但这些不是独立字符, 而是多字节字符的非首位 ... 所以如果随便裁一个字符串出来
可以判断它的ASCII值来确保没有从半个之中间砍掉... 以前GBK/BIG5之类的编码就是没办法分清高位低位, 所以截取的时候
非得从头计算起...

1. 
   
2. /* utf-8: 0xc0, 0xe0, 0xf0, 0xf8, 0xfc */
   
3. unsigned char mblen_table_utf8[] =
   
4. {
   
5.         1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
   
6.         1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
   
7.         1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
   
8.         1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
   
9.         1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
   
10.         1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
    
11.         1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
    
12.         1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
    
13.         1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
    
14.         1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
    
15.         1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
    
16.         1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
    
17.         2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2,
    
18.         2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2,
    
19.         3, 3, 3, 3, 3, 3, 3, 3, 3, 3, 3, 3, 3, 3, 3, 3,
    
20.         4, 4, 4, 4, 4, 4, 4, 4, 5, 5, 5, 5, 6, 6, 1, 1
    
21. };
    
22. 
    
23. #define MBLEN(x)  mblen_table_utf8[(x)]
    
24. 
    
25. ...
    
26. char *ptr, str[] = "hello,中文字";
    
27. 
    
28. for (ptr = str, *ptr != '\0')
    
29. {
    
30.   printf("str[%d] is a word character with %d bytes\n", i, MBLEN(*ptr));
    
31.   ptr += MBLEN(*ptr);
    
32. }
    
33. 
    

复制代码

cysin

原帖由 hightman 于 2009-1-3 10:39 发表
那我给一个示范吧, 用一个256bytes的 unsigned char 字符数组来记录相应的字长
在 0xc0 ~ 0x80 之间虽然也是单字节, 但这些不是独立字符, 而是多字节字符的非首位 ... 所以如果随便裁一个字符串出来
可以判断 ...

非常感谢，这些正是我需要的，能不能再稍微详细介绍一下？(不好意思我只是个初学者)

cysin

如果能给一些相关资料的连接也可以，谢谢～

cysin

原帖由 hightman 于 2009-1-3 10:39 发表
那我给一个示范吧, 用一个256bytes的 unsigned char 字符数组来记录相应的字长
在 0xc0 ~ 0x80 之间虽然也是单字节, 但这些不是独立字符, 而是多字节字符的非首位 ... 所以如果随便裁一个字符串出来
可以判断 ...

问一下，您的方法跟这个帖子里面的方法是一样的吗？http://bbs.chinaunix.net/viewthread.php?tid=1230313