免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 7236 | 回复: 16
打印 上一主题 下一主题

awk如何拆分大文件!!!! [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2011-07-05 08:57 |只看该作者 |倒序浏览
有一个100条记录的文件,
如何按每个文件12条的方式,拆分成多个文件,文件命名方式如:
file1.txt,file2.txt....fileN.txt

还有,如果文件是百万级别的,awk是否适合拆分,效率如何?

论坛徽章:
2
射手座
日期:2014-10-10 15:59:4715-16赛季CBA联赛之上海
日期:2016-03-03 10:27:14
2 [报告]
发表于 2011-07-05 09:04 |只看该作者
本帖最后由 yinyuemi 于 2011-07-06 00:32 编辑

回复 1# alfred1980


    try:
  1. awk 'NR%12==1{++p}{print >>p".txt"}{close(p".txt")}' file
复制代码
-----Tim(9#)的改进方法:
  1. awk 'NR%12==1{close(p".txt");++p}{print > p".txt"}'
复制代码

论坛徽章:
8
摩羯座
日期:2014-11-26 18:59:452015亚冠之浦和红钻
日期:2015-06-23 19:10:532015亚冠之西悉尼流浪者
日期:2015-08-21 08:40:5815-16赛季CBA联赛之山东
日期:2016-01-31 18:25:0515-16赛季CBA联赛之四川
日期:2016-02-16 16:08:30程序设计版块每日发帖之星
日期:2016-06-29 06:20:002017金鸡报晓
日期:2017-01-10 15:19:5615-16赛季CBA联赛之佛山
日期:2017-02-27 20:41:19
3 [报告]
发表于 2011-07-05 09:04 |只看该作者
就是一遍读写,用什么分都没问题,用awk别忘记及时关闭写过的文件

论坛徽章:
2
射手座
日期:2014-10-10 15:59:4715-16赛季CBA联赛之上海
日期:2016-03-03 10:27:14
4 [报告]
发表于 2011-07-05 09:07 |只看该作者
就是一遍读写,用什么分都没问题,用awk别忘记及时关闭写过的文件
waker 发表于 2011-07-05 09:04



    多谢老大提醒,改下:

awk 'NR%12==1{++p}{print >>p".txt"}{close(p".txt")}'

论坛徽章:
15
2015年辞旧岁徽章
日期:2015-03-03 16:54:15双鱼座
日期:2015-01-15 17:29:44午马
日期:2015-01-06 17:06:51子鼠
日期:2014-11-24 10:11:13寅虎
日期:2014-08-18 07:10:55酉鸡
日期:2014-04-02 12:24:51双子座
日期:2014-04-02 12:19:44天秤座
日期:2014-03-17 11:43:36亥猪
日期:2014-03-13 08:13:51未羊
日期:2014-03-11 12:42:03白羊座
日期:2013-11-20 10:15:18CU大牛徽章
日期:2013-04-17 11:48:45
5 [报告]
发表于 2011-07-05 09:41 |只看该作者
本帖最后由 rdcwayx 于 2011-07-05 09:46 编辑

为何不用专用工具
  1. split -l 12 infile
复制代码

论坛徽章:
0
6 [报告]
发表于 2011-07-05 09:50 |只看该作者
  1. csplit -f "file" -b "%02d.txt"  file 10 {9}
复制代码

论坛徽章:
0
7 [报告]
发表于 2011-07-05 09:53 |只看该作者
为啥不用split呀

论坛徽章:
0
8 [报告]
发表于 2011-07-05 10:15 |只看该作者
楼主不想要默认的那个文件名

论坛徽章:
23
15-16赛季CBA联赛之吉林
日期:2017-12-21 16:39:27白羊座
日期:2014-10-27 11:14:37申猴
日期:2014-10-23 08:36:23金牛座
日期:2014-09-30 08:26:49午马
日期:2014-09-29 09:40:16射手座
日期:2014-11-25 08:56:112015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:49:0315-16赛季CBA联赛之山东
日期:2017-12-21 16:39:1915-16赛季CBA联赛之广东
日期:2016-01-19 13:33:372015亚冠之山东鲁能
日期:2015-10-13 09:39:062015亚冠之西悉尼流浪者
日期:2015-09-21 08:27:57
9 [报告]
发表于 2011-07-05 13:20 |只看该作者
回复 4# yinyuemi


这样写会更好些:

awk 'NR%12==1{close(p".txt");++p}{print > p".txt"}'

论坛徽章:
2
射手座
日期:2014-10-10 15:59:4715-16赛季CBA联赛之上海
日期:2016-03-03 10:27:14
10 [报告]
发表于 2011-07-05 13:30 |只看该作者
回复 9# ly5066113


    是的,多谢Tim兄
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP