免费注册	查看新帖 \|


平台论坛博客文库

› 论坛 › 程序设计 › Shell › 关于sort或者awk合并文件

1 234 5 / 5 页下一页

最近访问板块

发新帖

楼主: xiachunmen

上一主题

下一主题

关于sort或者awk合并文件 [复制链接]

论坛徽章:: 0

21楼 [报告]

发表于 2009-04-23 09:51 |只看该作者

我这样合并100个文件是不是对机器内存要求比较高啊
awk是不是要把所有文件释放到内存然后再进行处理的

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

22楼 [报告]

发表于 2009-04-23 09:51 |只看该作者

回复 #20 xiachunmen 的帖子

我们是做山寨的。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

23楼 [报告]

发表于 2009-04-23 09:52 |只看该作者

- -！
我不信
不带你们这样欺骗小菜鸟的

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

24楼 [报告]

发表于 2009-04-23 10:02 |只看该作者

怎么没有人来回答我21楼的问题啊

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

25楼 [报告]

发表于 2009-04-23 10:04 |只看该作者

回复 #21 xiachunmen 的帖子

你所有文件都非常大吗？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

26楼 [报告]

发表于 2009-04-23 10:05 |只看该作者

每个文件2.78MB
我合并过一次了
合并出来是266MB

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

27楼 [报告]

发表于 2009-04-23 10:17 |只看该作者

DBA大大失踪了
- -!

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

28楼 [报告]

发表于 2009-04-23 10:24 |只看该作者

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

29楼 [报告]

发表于 2009-04-23 10:58 |只看该作者

这条awk语句不怎么占内存，占内存的是排序所用的sort命令。

担心内存问题就只能在效率上适当让步了，根据你机器的能力设定一个值N，每次读入N个文件然后sort后输出到临时文件，再读入N个文件，直到做完，然后再处理一遍所有的临时文件。

或者在awk里面重写一个不占内存的排序function。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

30楼 [报告]

发表于 2009-04-23 11:01 |只看该作者

我目前跑的机子是4核CPU 4G内存来着

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

1 234 5 / 5 页下一页

发新帖

Chinaunix › 论坛 › 程序设计 › Shell › 关于sort或者awk合并文件

北京盛拓优讯信息技术有限公司. 版权所有京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP