如何匹配不可见字符（非tab空格回车）

silentfly1987

问题：
有个文件中有不可见字符，但不是tab、空格、回车等
我想把包含这些不可见字符的行过滤掉，怎么处理？

包含不可见字符的文件，见附件 tmp.rar (116 Bytes, 下载次数: 19)

2014-05-16 12:07 上传

点击文件名下载附件

expert1

猜一下，应该是dos2unix吧

seesea2517

回复 1# silentfly1987


    没见到什么奇怪的字符，就几个全角的空格嘛？

关阴月飞

楼主这个坑挺大的：原文件编码是gb2312
先用iconv 转码，再用col命令过滤一下控制字符就OK, 具体用法都自己百度一下吧。
处理过程如下：

1. [root@ awktest]# cat tmp
   
2. 
   
3. 
   
4. 
   
5. 
   
6.   4ַ
   
7. [root@ awktest]# file tmp
   
8. tmp: ISO-8859 text
   
9. [root@ awktest]# iconv -f gb2312 -t UTF8 tmp -o tmp2
   
10. [root@ awktest]# cat tmp2
    
11. 　      北京市
    
12. 　      广州市
    
13. 　      杭州市
    
14. 　      上海市
    
15. 　　4、地址
    
16. [root@ awktest]# cat tmp2  -A
    
17. M-cM-^@M-^@^IM-eM-^LM-^WM-dM-:M-,M-eM-8M-^B$
    
18. M-cM-^@M-^@^IM-eM-9M-?M-eM-7M-^^M-eM-8M-^B$
    
19. M-cM-^@M-^@^IM-fM-^]M--M-eM-7M-^^M-eM-8M-^B$
    
20. M-cM-^@M-^@^IM-dM-8M-^JM-fM-5M-7M-eM-8M-^B$
    
21. M-cM-^@M-^@M-cM-^@M-^@4M-cM-^@M-^AM-eM-^\M-0M-eM-^]M-^@$
    
22. [root@ awktest]# col < tmp2 |cat -A
    
23. ^IM-eM-^LM-^WM-dM-:M-,M-eM-8M-^B$
    
24. ^IM-eM-9M-?M-eM-7M-^^M-eM-8M-^B$
    
25. ^IM-fM-^]M--M-eM-7M-^^M-eM-8M-^B$
    
26. ^IM-dM-8M-^JM-fM-5M-7M-eM-8M-^B$
    
27.     4M-cM-^@M-^AM-eM-^\M-0M-eM-^]M-^@$

复制代码

q1208c

其实还有一个办法, 把所有的标准ASCII都取出来, 其它的无视它就好了.

reyleon

回复 4# 关阴月飞


    PF 威武..