免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 4522 | 回复: 7
打印 上一主题 下一主题

怎么样把一个大文件拆成两个 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2007-11-01 10:25 |只看该作者 |倒序浏览
我有一个从数据库导出来的文件
txt的,1000多万条,一行是一条记录,共有1.8G
现在想把它拆分成两个文件
如500万条为一个文件,有什么方法效率高点来拆分的?
谢谢

[ 本帖最后由 cole 于 2007-11-1 10:30 编辑 ]

论坛徽章:
23
15-16赛季CBA联赛之吉林
日期:2017-12-21 16:39:27白羊座
日期:2014-10-27 11:14:37申猴
日期:2014-10-23 08:36:23金牛座
日期:2014-09-30 08:26:49午马
日期:2014-09-29 09:40:16射手座
日期:2014-11-25 08:56:112015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:49:0315-16赛季CBA联赛之山东
日期:2017-12-21 16:39:1915-16赛季CBA联赛之广东
日期:2016-01-19 13:33:372015亚冠之山东鲁能
日期:2015-10-13 09:39:062015亚冠之西悉尼流浪者
日期:2015-09-21 08:27:57
2 [报告]
发表于 2007-11-01 10:34 |只看该作者
awk 'NR<=5000000{print > "file1"}NR>5000000{print > "file2"}' urfile

论坛徽章:
0
3 [报告]
发表于 2007-11-01 10:34 |只看该作者
try

head -5000000   filename >filename1

tail -5000000   filename >filename2   or   more +5000000 filename >filename2

论坛徽章:
0
4 [报告]
发表于 2007-11-01 10:35 |只看该作者
试试 split
如果按大小分的话也可以考率用dd

论坛徽章:
1
荣誉会员
日期:2011-11-23 16:44:17
5 [报告]
发表于 2007-11-01 11:17 |只看该作者
原帖由 davistar 于 2007-11-1 10:35 发表
试试 split
如果按大小分的话也可以考率用dd

这俩方法不错~~ , 而且效率应该很高的

论坛徽章:
0
6 [报告]
发表于 2007-11-01 11:45 |只看该作者
好的 谢谢 大家

论坛徽章:
0
7 [报告]
发表于 2007-11-01 12:18 |只看该作者
[networker@postfix networker]$ split -l 2 wc.txt  
[networker@postfix networker]$ ls
0708{date}    3         cfg    do3-1  do6       nc110           xaa  xag
082820071020  321       d03-3  do3-2  file1     sk-1.3b         xab
1             4         do     do3-4  file2     sk-1.3b.tar.gz  xac
123           8         do1    do3-5  haha      sort1           xad
2             awk1.txt  do1-1  do4    imail.pl  sort2           xae
232           awk.txt   do3    do5    ladp      wc.txt          xaf
[networker@postfix networker]$ more xaa
fddfd
fd
[networker@postfix networker]$
这个文件名字自动生成?

论坛徽章:
0
8 [报告]
发表于 2007-11-01 13:19 |只看该作者

回复 #7 小N哥哥 的帖子

你可以自己指定分割后文件的前置文件名 后面是编号[aa] - [zz] 由split自动加上
格式是 split -l 2 wc.txt prefix_name
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP