请教一个数据测试的问题

philonis

提供一个思路：
把每个汉字的编码参照这个范围判断：

如果在0x41~0x7a之间，为英文字符（包括标点符号）

如果是GB2312-80编码
编码范围是高位0xa1－0xfe，低位是 0xa1-0xfe
汉字范围为 0xb0a1 和 0xf7fe

如果是GBK编码
高位是0x81- 0xfe，低位是0x40 - 0xfe (不包括0x7f)

如果是UTF-8的话也一样，但是还没有查到汉字编码范围 :wink:
如果两个连续的字节不再这个范围，就应该能肯定不是汉字了吧

一梦如是

hexdump是linux的命令？输出什么？

hutuworm

man hexdump

DESCRIPTION
     The hexdump utility is a filter which displays the specified files, or
     the standard input, if no files are specified, in a user specified for-
     mat.

寂寞烈火

[quote]原帖由 "一梦如是"]hexdump是linux的命令？输出什么？[/quote 发表：


hexdump - ascii, decimal, hexadecimal, octal dump

用钱的兜兜

hexdump
这个是什么啊？

寂寞烈火

原帖由 "用钱的兜兜" 发表：
hexdump
这个是什么啊？

用linux的人都知道

lightspeed

下面是针对 GB2312-80 的例子。 GBK  与此类似。 但 UTF-8 是变长字节表示法，
复杂很多， 有兴趣你就慢慢搞吧。

1. 
   
2. 
   
3. # cat  1
   
4. 
   
5. 
   
6. #!/bin/awk -f
   
7. #
   
8. # check the valid chinese name in Charset GB2312-80
   
9. 
   
10. BEGIN {
    
11.   MAX1=247
    
12.   MIN1=176
    
13.   MAX21=254
    
14.   MAX22=249
    
15.   MIN2=161
    
16.   H=215
    
17.   FS="\""
    
18. }
    
19. 
    
20. {
    
21.   a=$4
    
22.   FS=" "
    
23.   cmd="echo "a" | od -A n -tu1"
    
24.   cmd | getline
    
25.   for ( i=1; i < NF; i+=2 ) {
    
26.     j=i + 1
    
27.     MAX2=MAX21
    
28.     if( $i == H )
    
29.       MAX2=MAX22
    
30. 
    
31.     if ( $i > MAX1 || $i < MIN1 || $j > MAX2 || $j < MIN2 || length(a) < 4 ) {
    
32.       print a "  is invalid name at line " NR
    
33.       break
    
34.     }
    
35.   }
    
36.   FS="\""
    
37. }   
    

复制代码

1. 
   
2. 
   
3. # cat data
   
4. "32051210000110900","汪龙仙",51.6,"310225380501482"
   
5. "32051210000110900","汪龙",51.6,"310225380501482"
   
6. "32051210000110900","汪",51.6,"310225380501482"
   
7. "32051210000110901","赵飞燕",51.7,"310225380501483"
   
8. "32051210000110902","杨玉环",51.8,"310225380501484"
   
9. "32051210000110900","罾?",51.9,"310225380501485"
   

复制代码

1. 
   
2. 
   
3. # ./1  data
   
4. 
   
5. 汪  is invalid name at line 3
   
6. 罾?  is invalid name at line 6
   
7. 
   

复制代码