免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 2610 | 回复: 10

[文本处理] awk删除行时碰到的奇怪现象 [复制链接]

论坛徽章:
0
发表于 2014-10-22 12:42 |显示全部楼层
我想把文件中的超长的记录删除(源文件中删除):
awk '{if(length($0)<50) print > "1.txt" }'  1.txt

上面的语句我测试了10来条记录,可以的;

但是等到我去正式跑文件的时候,50改成了4000,发现1.txt在不断的无限制的变大,我看了下,发现很多空白(应该是不断的在生成空行);
awk '{if(length($0)<4000) print }'  1.txt|wc 显示正确;
awk '{if(length($0)<4000) print >"2.txt"}'  1.txt 也可以;
但是就是:
awk '{if(length($0)<4000) print >"1.txt"}'  1.txt 不行,语句就“死”在那里,感觉死循环的感觉;
不知道问题出在哪里?

论坛徽章:
23
15-16赛季CBA联赛之吉林
日期:2017-12-21 16:39:27白羊座
日期:2014-10-27 11:14:37申猴
日期:2014-10-23 08:36:23金牛座
日期:2014-09-30 08:26:49午马
日期:2014-09-29 09:40:16射手座
日期:2014-11-25 08:56:112015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:49:0315-16赛季CBA联赛之山东
日期:2017-12-21 16:39:1915-16赛季CBA联赛之广东
日期:2016-01-19 13:33:372015亚冠之山东鲁能
日期:2015-10-13 09:39:062015亚冠之西悉尼流浪者
日期:2015-09-21 08:27:57
发表于 2014-10-22 12:59 |显示全部楼层
回复 1# alfred1980


用 sed 吧:

sed -i '/.\{4000\}/d' file

论坛徽章:
0
发表于 2014-10-22 14:08 |显示全部楼层
4000超过的sed的处理范围了,貌似。回复 2# ly5066113


   

论坛徽章:
24
申猴
日期:2014-10-10 15:56:39射手座
日期:2014-10-10 15:57:18黑曼巴
日期:2018-05-14 11:05:122016科比退役纪念章
日期:2018-05-14 11:05:0715-16赛季CBA联赛之北控
日期:2018-05-14 11:05:0015-16赛季CBA联赛之江苏
日期:2017-02-27 18:11:0715-16赛季CBA联赛之上海
日期:2018-08-15 09:48:5415-16赛季CBA联赛之佛山
日期:2018-07-20 17:14:2315-16赛季CBA联赛之佛山
日期:2019-09-10 18:08:4615-16赛季CBA联赛之山西
日期:2020-03-26 09:40:5115-16赛季CBA联赛之佛山
日期:2020-05-08 09:03:54
发表于 2014-10-22 14:34 |显示全部楼层
你不能直接对本文本操作,awk是行处理命令,你这样做的结果有满足的就添加到1.txt的尾行,awk处理到原来的尾行时,又接着处理,就是死循环
改1.txt为2.txt
awk '{if(length($0)<4000) print >"2.txt"}'  1.txt

论坛徽章:
33
ChinaUnix元老
日期:2015-02-02 08:55:39CU十四周年纪念徽章
日期:2019-08-20 08:30:3720周年集字徽章-周	
日期:2020-10-28 14:13:3020周年集字徽章-20	
日期:2020-10-28 14:04:3019周年集字徽章-CU
日期:2019-09-08 23:26:2519周年集字徽章-19
日期:2019-08-27 13:31:262016科比退役纪念章
日期:2022-04-24 14:33:24
发表于 2014-10-22 14:41 |显示全部楼层
回复 4# chengchow


    楼主用的这种方法处理小文件是没有问题的,但是无法处理大文件。

论坛徽章:
24
申猴
日期:2014-10-10 15:56:39射手座
日期:2014-10-10 15:57:18黑曼巴
日期:2018-05-14 11:05:122016科比退役纪念章
日期:2018-05-14 11:05:0715-16赛季CBA联赛之北控
日期:2018-05-14 11:05:0015-16赛季CBA联赛之江苏
日期:2017-02-27 18:11:0715-16赛季CBA联赛之上海
日期:2018-08-15 09:48:5415-16赛季CBA联赛之佛山
日期:2018-07-20 17:14:2315-16赛季CBA联赛之佛山
日期:2019-09-10 18:08:4615-16赛季CBA联赛之山西
日期:2020-03-26 09:40:5115-16赛季CBA联赛之佛山
日期:2020-05-08 09:03:54
发表于 2014-10-22 14:45 |显示全部楼层
本帖最后由 chengchow 于 2014-10-22 14:46 编辑

回复 5# Shell_HAT
{:3_193:} 他小文件用的是2.txt,大神你大意了!


   

论坛徽章:
0
发表于 2014-10-22 14:51 |显示全部楼层
其实文件也不大,正式文件8k行,而且我刚刚也测试了下,用“
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaa
11111111
这三行重复组成了一个9k多行的记录,用语句:
awk '{if(length($0)<30) print>"1.txt"}'  1.txt
就把最长的那行剔除了。
回复 5# Shell_HAT


   

论坛徽章:
24
申猴
日期:2014-10-10 15:56:39射手座
日期:2014-10-10 15:57:18黑曼巴
日期:2018-05-14 11:05:122016科比退役纪念章
日期:2018-05-14 11:05:0715-16赛季CBA联赛之北控
日期:2018-05-14 11:05:0015-16赛季CBA联赛之江苏
日期:2017-02-27 18:11:0715-16赛季CBA联赛之上海
日期:2018-08-15 09:48:5415-16赛季CBA联赛之佛山
日期:2018-07-20 17:14:2315-16赛季CBA联赛之佛山
日期:2019-09-10 18:08:4615-16赛季CBA联赛之山西
日期:2020-03-26 09:40:5115-16赛季CBA联赛之佛山
日期:2020-05-08 09:03:54
发表于 2014-10-22 15:27 |显示全部楼层
本帖最后由 chengchow 于 2014-10-22 15:30 编辑

回复 5# Shell_HAT
我刚才测试了下,小文件确实可以,应该是我理解错误
@LZ
LZ看能不能提供下出错的文件供分析


   

论坛徽章:
145
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59未羊
日期:2014-02-20 14:12:13白羊座
日期:2014-02-26 12:06:59
发表于 2014-10-22 15:56 |显示全部楼层
回复 7# alfred1980

Normally, they CANNOT be the same (file name) ...


awk '{if(length($0)<30) print>"1.txt"}'  1.txt
   

论坛徽章:
33
ChinaUnix元老
日期:2015-02-02 08:55:39CU十四周年纪念徽章
日期:2019-08-20 08:30:3720周年集字徽章-周	
日期:2020-10-28 14:13:3020周年集字徽章-20	
日期:2020-10-28 14:04:3019周年集字徽章-CU
日期:2019-09-08 23:26:2519周年集字徽章-19
日期:2019-08-27 13:31:262016科比退役纪念章
日期:2022-04-24 14:33:24
发表于 2014-10-22 18:04 |显示全部楼层
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP