论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2011-09-19 22:30 |只看该作者 |倒序浏览

本帖最后由 k8king 于 2011-09-19 22:31 编辑

有大约40G的文本文件，都很小，每个几百K左右，想按照1G大小左右合并为40个左右的文件(同一行文件不分拆在两个文件里，所以文件大小在1G左右就可以了，不严格要求是1G)。
因为觉得
cat * >newfile | split -b 1024m
第一有可能会使内存溢出，第二会破坏行的完整性，所以想要请问大家，有什么更好的办法。

文库|博客

yangyang1581

丰衣足食

论坛徽章:: 0

2楼 [报告]

发表于 2011-09-20 09:45 |只看该作者

一个一个合

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

samlumengjun

丰衣足食

论坛徽章:: 0

3楼 [报告]

发表于 2011-09-20 11:00 |只看该作者

先ls * -1 | wc -l 获得总文件数A，再用A去除以40，得到每个合并文件应该包含的小文件数B。
然后ls * -1 取得文件列表C，从C中循环读出前B行合并到文件,之后删除C的前B行,如此循环到第40次之间把C剩下的列表合并到一个文件.

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

yinyuemi

大富大贵

论坛徽章:: 2

4楼 [报告]

发表于 2011-09-20 13:25 |只看该作者

本帖最后由 yinyuemi 于 2011-09-20 14:14 编辑

回复 1# k8king

>newfile1; awk -v p=1 'BEGIN{while(("ls *"|getline file)>0){cmd="stat -c \"%s\" newfile"p;cmd|getline size;if(size>=10000000000)p++;while ((getline<file)>0)print >>"newfile"p}}'

复制代码

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

返回列表

Chinaunix › 论坛 › 程序设计 › Shell › shell合并大文件

shell合并大文件 [复制链接]