免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 1265 | 回复: 5

[文本处理] 千万行数据合并,txt,utf-8格式,大神呢? [复制链接]

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-08-16 14:55 |显示全部楼层
千万行数据合并,utf-8格式,假如文本文件a.txt内容前5行为
1
2
3
4
5
文本文件b.txt内容前5行为
6
7
8
9
10
合并成文本文件c.txt后前10为
1
6
2
7
3
8
4
9
5
10
以此内推,千万行内容需要合并,请大神解答!

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-08-16 14:56 |显示全部楼层
备注:a.txt和b.txt都是100多G的超大txt文档。

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
发表于 2016-08-16 15:06 |显示全部楼层
more a.txt b.txt
  1. ::::::::::::::
  2. a.txt
  3. ::::::::::::::
  4. 1
  5. 2
  6. 3
  7. 4
  8. 5
  9. ::::::::::::::
  10. b.txt
  11. ::::::::::::::
  12. 6
  13. 7
  14. 8
  15. 9
  16. 10
复制代码
  1. sed 'R b.txt' a.txt
  2. paste a.txt b.txt |tr '\t' '\n'
  3. awk '{getline x < "b.txt";print $0 RS x}' a.txt
复制代码

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-08-16 15:22 |显示全部楼层
回复 3# moperyblue

多谢啊,千万行数据,不知道要多长时间,屏幕一直在闪
QQ截图20160816151254.jpg
   

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
发表于 2016-08-16 15:38 |显示全部楼层
回复 4# wenjun3000


    三条命令运行任何一条就可以了, 如果要输出到文件 要加上【> c.txt】
  1. sed 'R b.txt' a.txt > c.txt
  2. #或
  3. paste a.txt b.txt |tr '\t' '\n' > c.txt
  4. #或
  5. awk '{getline x < "b.txt";print $0 RS x}' a.txt > c.txt
复制代码

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-08-16 16:08 |显示全部楼层
回复 5# moperyblue


   多谢啊,可以了
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP