免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 24622151 | 回复: 24622151

[文本处理] 同时向数百个超大txt文本文件行首插入一行相同的字符串,大神呢? [复制链接]

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-08-18 09:28 |显示全部楼层
同时向数百个超大txt文本文件行首插入一行相同的字符串,文本格式utf-8,举例:
a.txt内容如下:
你好
哪里
南京
b.txt内容如下:
家乡
哪里
北京
行首同时插入一行字符串"地域旅游人数统计"
结果为
a.txt内容如下:
地域旅游人数统计
你好
哪里
南京
b.txt内容如下:
地域旅游人数统计
家乡
哪里
北京

数百个超大txt同时插入,请大神给代码!

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
发表于 2016-08-18 10:11 |显示全部楼层
  1. sed -i '1i\地域旅游人数统计' *txt
复制代码

评分

参与人数 1信誉积分 +10 收起 理由
杰瑞26 + 10 赞一个!

查看全部评分

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-08-18 10:22 |显示全部楼层
回复 2# moperyblue


多谢啊,,能否直接输入文本文件路径,譬如:d\xxx\*.txt

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
发表于 2016-08-18 10:42 |显示全部楼层
回复 3# wenjun3000


    可以
  1. sed -i '1i\地域旅游人数统计' /cygdrive/d/xxx/*txt
  2. #或
  3. sed -i '1i\地域旅游人数统计' "d:\xxx\*txt"
复制代码

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-08-18 11:51 |显示全部楼层
回复 4# moperyblue


如果不是插入一行字符串,而是插入相同的文本文件里面的内容,应该怎么改?
譬如批量插入d:\yyy\x.txt里面的内容 到   d\xxx\*.txt

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
发表于 2016-08-18 12:21 |显示全部楼层
本帖最后由 moperyblue 于 2016-08-18 12:22 编辑

回复 5# wenjun3000

d:\yyy\x.txt 要插到 d:\xxx\*.txt的什么位置?

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-08-18 12:32 |显示全部楼层
回复 6# moperyblue


跟原来一样,每个txt文件第一行前插入,原来插入一行,现在插入多行,多行文本放在d:\yyy\x.txt

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-08-18 12:33 |显示全部楼层
回复 6# moperyblue


另外,插入效率偏低,200个十几M的文本文件,运行后,一个小时,还没结束,能否多线程插入呢   

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
发表于 2016-08-18 13:47 |显示全部楼层
回复 8# wenjun3000


看一下替换多少个文件了
grep -l "地域旅游人数统计" d:/xxx/*.txt|wc -l

看一下内存的使用情况

可以试一下这样 会不会更好一些?
for i in `ls d:/xxx/*txt`;do sed -i '1i\地域旅游人数统计'  "$i";done

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-08-18 13:49 |显示全部楼层
回复 9# moperyblue


花了近两小时完成了,虽然慢,但没有错误,多谢
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP