免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 2919 | 回复: 6
打印 上一主题 下一主题

[文本处理] awk做字符替换 [复制链接]

论坛徽章:
3
15-16赛季CBA联赛之八一
日期:2017-12-29 13:06:2315-16赛季CBA联赛之天津
日期:2018-08-08 17:39:4619周年集字徽章-年
日期:2019-12-25 22:50:31
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2017-09-29 11:19 |只看该作者 |倒序浏览
本帖最后由 aaaa_123 于 2017-09-29 11:21 编辑

l⑧ūp$$x=
yy748363482

たちふふつゅなκχγ≠=≯
︶︿︶Sn?@@@@
вшфидщ00
ифтвкн222
лшддщю5617190
◢ ◣ ◤ ◥890106◢ ◣ ◤ ◥
&é"'(-è_
&é"'(-è_?à
()001898⊙●○①



awk做字符替换  用[^[:print:]]来定需求
awk '{gsub(/[^[:print:]]/,"";print}'  
得不到下面这些需求   请问我错在那
$$=
# ?DAp28
Sn?@@@@
00
222
5617190
   890106   
&"'(-_
&"'(-_?
()001898



论坛徽章:
50
15-16赛季CBA联赛之广夏
日期:2018-11-05 09:42:462015年亚冠纪念徽章
日期:2015-07-23 11:58:122015亚冠之广州富力
日期:2015-07-07 08:26:172015亚冠之塔什干棉农
日期:2015-06-29 09:08:072015年亚洲杯之伊朗
日期:2015-03-08 20:51:012015年迎新春徽章
日期:2015-03-04 09:58:11未羊
日期:2014-10-16 22:41:47处女座
日期:2014-10-16 15:33:33酉鸡
日期:2014-03-13 12:54:10巳蛇
日期:2014-03-10 14:39:052015亚冠之德黑兰石油
日期:2015-07-29 12:46:372015亚冠之德黑兰石油
日期:2015-08-07 12:54:11
2 [报告]
发表于 2017-09-29 13:44 |只看该作者
  1. awk '{gsub(/[^\x20-x7f]/,"")}NF' file
  2. $=
  3. Sn?@@@@
  4. 00
  5. 222
  6. 5617190
  7.    890106
  8. &"'(-_
  9. &"'(-_?
  10. ()001898
复制代码

论坛徽章:
3
15-16赛季CBA联赛之八一
日期:2017-12-29 13:06:2315-16赛季CBA联赛之天津
日期:2018-08-08 17:39:4619周年集字徽章-年
日期:2019-12-25 22:50:31
3 [报告]
发表于 2017-09-29 14:41 |只看该作者
回复 2# WilliBhamlll


谢谢
[^\x20-x7f]


请问这个其在什么字符码范围


是不是代表ASCII码中96个编码字符



论坛徽章:
25
程序设计版块每日发帖之星
日期:2016-05-03 06:20:0015-16赛季CBA联赛之八一
日期:2018-07-05 10:34:09黑曼巴
日期:2018-07-06 15:19:5015-16赛季CBA联赛之佛山
日期:2018-08-03 13:19:3315-16赛季CBA联赛之山西
日期:2018-08-07 19:46:2315-16赛季CBA联赛之广夏
日期:2018-08-08 19:31:5015-16赛季CBA联赛之青岛
日期:2018-11-26 15:21:5015-16赛季CBA联赛之上海
日期:2018-12-11 09:45:3219周年集字徽章-年
日期:2020-04-18 23:54:5215-16赛季CBA联赛之深圳
日期:2020-04-19 21:40:19黑曼巴
日期:2022-04-03 17:55:1315-16赛季CBA联赛之八一
日期:2018-07-03 16:56:46
4 [报告]
发表于 2017-09-29 15:20 |只看该作者
回复 3# aaaa_123


POSIX字符    ASCII语言环境
[:ascii:]    [\x00-\x7F]
[:print:]    [\x20-\x7E]

论坛徽章:
3
15-16赛季CBA联赛之八一
日期:2017-12-29 13:06:2315-16赛季CBA联赛之天津
日期:2018-08-08 17:39:4619周年集字徽章-年
日期:2019-12-25 22:50:31
5 [报告]
发表于 2017-09-29 15:32 |只看该作者
回复 4# wh7211

Thank you
[asdfghjklqwertyuiopzxcvbnmQWERTYUIOPASDFGHJKLZXCVBNM0123456789`~!@#$%^&*()_+=-{}|[]\:;'<>?,./"空格 tab]

52个字母  啊拉数字10个  英文符号34个

上面没有列出的全部排除


用这个应该可以吧  [\x20-\x7E]






论坛徽章:
25
程序设计版块每日发帖之星
日期:2016-05-03 06:20:0015-16赛季CBA联赛之八一
日期:2018-07-05 10:34:09黑曼巴
日期:2018-07-06 15:19:5015-16赛季CBA联赛之佛山
日期:2018-08-03 13:19:3315-16赛季CBA联赛之山西
日期:2018-08-07 19:46:2315-16赛季CBA联赛之广夏
日期:2018-08-08 19:31:5015-16赛季CBA联赛之青岛
日期:2018-11-26 15:21:5015-16赛季CBA联赛之上海
日期:2018-12-11 09:45:3219周年集字徽章-年
日期:2020-04-18 23:54:5215-16赛季CBA联赛之深圳
日期:2020-04-19 21:40:19黑曼巴
日期:2022-04-03 17:55:1315-16赛季CBA联赛之八一
日期:2018-07-03 16:56:46
6 [报告]
发表于 2017-09-29 16:12 |只看该作者
本帖最后由 wh7211 于 2017-09-29 16:16 编辑

回复 5# aaaa_123


文件1内容如下,黄色是空格,绿色是制表符:
a s        dfghjklqwertyuiopzxcvbnmQWERTYUIOPASDFGHJKLZXCVBNM0123456789`~!@#$%^&*()_+=-{}|[]\:;'<>?,./"
  1. awk -F "" '{for(i=1;i<=NF;i++){gsub(/[\x20-\x7E]/,"",$i);print i,"|"$i"|"}}' 1
复制代码

输出为:
1 ||
2 ||
3 ||
4 |        |
5 ||
6 ||
7 ||
8 ||
9 ||
10 ||
11 ||
12 ||
13 ||
14 ||
15 ||
16 ||
17 ||
18 ||
19 ||
20 ||
21 ||
22 ||
23 ||
24 ||
25 ||
26 ||
27 ||
28 ||
29 ||
30 ||
31 ||
32 ||
33 ||
34 ||
35 ||
36 ||
37 ||
38 ||
39 ||
40 ||
41 ||
42 ||
43 ||
44 ||
45 ||
46 ||
47 ||
48 ||
49 ||
50 ||
51 ||
52 ||
53 ||
54 ||
55 ||
56 ||
57 ||
58 ||
59 ||
60 ||
61 ||
62 ||
63 ||
64 ||
65 ||
66 ||
67 ||
68 ||
69 ||
70 ||
71 ||
72 ||
73 ||
74 ||
75 ||
76 ||
77 ||
78 ||
79 ||
80 ||
81 ||
82 ||
83 ||
84 ||
85 ||
86 ||
87 ||
88 ||
89 ||
90 ||
91 ||
92 ||
93 ||
94 ||
95 ||
96 ||

可见[\x20-\x7E]不包含制表符,加上制表符的代码如下:
  1. awk -F "" '{for(i=1;i<=NF;i++){gsub(/[\x20-\x7E\t]/,"",$i);print i,"|"$i"|"}}' 1
复制代码

输出为:
1 ||
2 ||
3 ||
4 ||
5 ||
6 ||
7 ||
8 ||
9 ||
10 ||
11 ||
12 ||
13 ||
14 ||
15 ||
16 ||
17 ||
18 ||
19 ||
20 ||
21 ||
22 ||
23 ||
24 ||
25 ||
26 ||
27 ||
28 ||
29 ||
30 ||
31 ||
32 ||
33 ||
34 ||
35 ||
36 ||
37 ||
38 ||
39 ||
40 ||
41 ||
42 ||
43 ||
44 ||
45 ||
46 ||
47 ||
48 ||
49 ||
50 ||
51 ||
52 ||
53 ||
54 ||
55 ||
56 ||
57 ||
58 ||
59 ||
60 ||
61 ||
62 ||
63 ||
64 ||
65 ||
66 ||
67 ||
68 ||
69 ||
70 ||
71 ||
72 ||
73 ||
74 ||
75 ||
76 ||
77 ||
78 ||
79 ||
80 ||
81 ||
82 ||
83 ||
84 ||
85 ||
86 ||
87 ||
88 ||
89 ||
90 ||
91 ||
92 ||
93 ||
94 ||
95 ||
96 ||

再来验证你给的例子。文件2内容如下:
l⑧ūp$$x=
yy748363482

たちふふつゅなκχγ≠=≯
︶︿︶Sn?@@@@
вшфидщ00
ифтвкн222
лшддщю5617190
◢ ◣ ◤ ◥890106◢ ◣ ◤ ◥
&é"'(-è_
&é"'(-è_?à
()001898⊙●○①
  1. awk -F "" '{for(i=1;i<=NF;i++){gsub(/[^\x20-\x7E\t]/,"",$i);print i,"|"$i"|"}}' 2
复制代码

输出为:
1 ||
2 ||
3 ||
4 ||
5 |$|
6 |$|
7 ||
8 |=|
1 ||
2 ||
3 ||
4 ||
5 ||
6 ||
7 ||
8 ||
9 ||
10 ||
11 ||
1 ||
2 ||
3 ||
4 ||
5 ||
6 ||
7 ||
8 ||
9 ||
10 ||
11 ||
12 ||
13 ||
1 ||
2 ||
3 ||
4 |S|
5 |n|
6 |?|
7 |@|
8 |@|
9 |@|
10 |@|
1 ||
2 ||
3 ||
4 ||
5 ||
6 ||
7 |0|
8 |0|
1 ||
2 ||
3 ||
4 ||
5 ||
6 ||
7 |2|
8 |2|
9 |2|
1 ||
2 ||
3 ||
4 ||
5 ||
6 ||
7 |5|
8 |6|
9 |1|
10 |7|
11 |1|
12 |9|
13 |0|
1 ||
2 | |
3 ||
4 | |
5 ||
6 | |
7 ||
8 |8|
9 |9|
10 |0|
11 |1|
12 |0|
13 |6|
14 ||
15 | |
16 ||
17 | |
18 ||
19 | |
20 ||
1 |&|
2 ||
3 |"|
4 |'|
5 |(|
6 |-|
7 ||
8 |_|
1 |&|
2 ||
3 |"|
4 |'|
5 |(|
6 |-|
7 ||
8 |_|
9 |?|
10 ||
1 |(|
2 |)|
3 |0|
4 |0|
5 |1|
6 |8|
7 |9|
8 |8|
9 ||
10 ||
11 ||
12 ||

可见不在96个字符范围内的特殊字符,已经全部删掉了。

论坛徽章:
3
15-16赛季CBA联赛之八一
日期:2017-12-29 13:06:2315-16赛季CBA联赛之天津
日期:2018-08-08 17:39:4619周年集字徽章-年
日期:2019-12-25 22:50:31
7 [报告]
发表于 2017-09-29 20:32 来自手机 |只看该作者
Thank you all
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP