【讨论】格式文本中的分隔符

sunlan

认识这个字不？“丿”，我在江苏那边遇到一个地名里有这个字

liexusong

名称                             第一字节                             第二字节

GB2312           0xB0-0xF7(176-247)          0xA0-0xFE（160-254）

GBK                 0x81-0xFE（129-254）        0x40-0xFE（64-254）

Big5                0x81-0xFE（129-255）        0x40-0x7E（64-126）

                                                                  0xA1－0xFE（161-254）


所以我觉得用64以下的字符作为分隔符应该就可以了, 好像用\t做分隔符!

wenlq

丿 不就是笔画么。
  第 56 区  〖 一、丨、丿、刂、亻 〗
┏━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━┓
┃ D8 ┃   ０   １   ２   ３   ４   ５   ６   ７   ８   ９  ┃
┣━━╋━━━━━━━━━━━━━━━━━━━━━━━━━━┫
┃ 560┃        亍   丌   兀   丐   廿   卅   丕   亘   丞  ┃
┃ 561┃   鬲   孬   噩   丨   禺   丿   匕   乇   夭   爻  ┃
┃ 562┃   卮   氐   囟   胤   馗   毓   睾   鼗   丶   亟  ┃
┃ 563┃   鼐   乜   乩   亓   芈   孛   啬   嘏   仄   厍  ┃
┃ 564┃   厝   厣   厥   厮   靥   赝   匚   叵   匦   匮  ┃
┃ 565┃   匾   赜   卦   卣   刂   刈   刎   刭   刳   刿  ┃
┃ 566┃   剀   剌   剞   剡   剜   蒯   剽   劂   劁   劐  ┃
┃ 567┃   劓   冂   罔   亻   仃   仉   仂   仨   仡   仫  ┃
┃ 568┃   仞   伛   仳   伢   佤   仵   伥   伧   伉   伫  ┃
┃ 569┃   佞   佧   攸   佚   佝                           ┃
┗━━┻━━━━━━━━━━━━━━━━━━━━━━━━━━┛

sunlan

这个字不光是笔画，盐城有个地名叫“曹丿”

蜡笔小新他爸

回复 14# sunlan


    这个字怎么读？

sunlan

回复 15# 蜡笔小新他爸


    就念作pie

shileiadmin

可以试试将各个字段间用多个@@@分割或约定新的格式{begin...end}来解决

shileiadmin

可以试试用多个#或约定新的格式如{begin...end}来解决

yulihua49

在应用系统中，经常会用格式文本（每条记录一行、同一行记录各字段间用分隔符分开）进行数据传输或处理。这 ...
sunlan 发表于 2010-06-02 00:03

    可以转义，这问题早已解决。
XML和JSON也是用转义。

对于汉字，识别和跳过。
比如，我们用stptok()来拆分串，一个改造的stptok，跳过汉字，支持GBK，但不支持18030：

1. 
   
2. /*function:iscc 判断是否是汉字*/
   
3. int iscc(unsigned char ch)
   
4. {
   
5.         return (ch >= 0x81 && ch < 0xff);
   
6. }
   
7. /*function:cc1 取汉字的一个字节*/
   
8. static int cc1(unsigned char *bp,unsigned char *bufp)
   
9. {
   
10.         register unsigned char *p;
    
11.         register int i = 0;
    
12.         for(p = bufp; iscc(*p); p--)
    
13.         {
    
14.                 i++;
    
15.                 if(p <= bp)
    
16.                         break;
    
17.         }
    
18.         return (i & 1);
    
19. }
    
20. /*function:firstcc 汉字的第一个字节*/
    
21. int firstcc(unsigned char *bp,unsigned char *bufp)
    
22. {
    
23.         if(!bufp || !(*bufp) || (bufp < bp) || !iscc(*bufp))
    
24.                 return 0;
    
25.         return (cc1(bp, bufp));
    
26. }
    
27. /*function:secondcc 汉字的第二个字节*/
    
28. int secondcc(unsigned char *bp,unsigned char *bufp)
    
29. {
    
30.         if(!firstcc(bp, bufp-1))
    
31.                 return 0;
    
32.         if(*bufp == 0x7f)
    
33.                 return 0;
    
34.         if((*bufp >= 0x40) && (*bufp <= 0xfe))
    
35.                 return 1;
    
36.         return 0;
    
37. }
    
38. 
    
39. /************************************************************************/
    
40. /*function:stptok 分解字符串为一组标记串                                        */
    
41. /*description:根据分隔符'tok'，从'src'分解到'trg'中，如果'tok'不设置，则*/
    
42. /*根据'src'与len的最小值，将'src'拷贝到'trg'中。可以解决汉字中出现的与  */
    
43. /*'tok'相同的分隔符被分解。                                    */
    
44. /************************************************************************/
    
45. char *stptok(char *src,char *trg,int len,char *tok)
    
46. {
    
47.         register unsigned char *p;
    
48.         if(trg) *trg = 0;
    
49.         p = (unsigned char *)src;
    
50.         if(!p || !(*p)) return src ;
    
51.         if(tok && *tok) {
    
52.                 while(*p) {
    
53.                         if(strchr(tok, *p)) {
    
54. //跳过汉字之后的字符
    
55.                                 if((p > (unsigned char *)src) && firstcc((unsigned char *)src, p-1)) {
    
56.                                         p++;
    
57.                                         continue;
    
58.                                 }
    
59.                                 break;
    
60.                         }
    
61.                         p++;
    
62.                 }
    
63.         } else {
    
64.                 int l=strlen(src);
    
65.                 if((len > 0) && (len < l))
    
66.                         p = src + len;
    
67.                 else p = src + l;
    
68.         }
    
69.         if(!trg || (len <= 1))
    
70.                 return p;
    
71. 
    
72.         while(*src && --len) {
    
73.                 if((unsigned char *)src == p)
    
74.                         break;
    
75.                 *trg++ = *src++;
    
76.         }
    
77.         *trg = 0;
    
78. 
    
79.         return src;
    
80. }
    

复制代码

SDBC的基础函数，用了很多年的，可靠。

打包时直接打，不管汉字不汉字，拆包时用stptok，保证汉字完整性。

zqy1005

perl split函数来处理

c ＋ perl