免费注册	查看新帖 \|


平台论坛博客文库

› 论坛 › 程序设计 › Shell › 关于sort或者awk合并文件

1 2 3 45 / 5 页

最近访问板块

发新帖

楼主: xiachunmen

上一主题

下一主题

关于sort或者awk合并文件 [复制链接]

论坛徽章:: 0

41楼 [报告]

发表于 2009-04-23 14:40 |只看该作者

已经内存溢出过一次了 4G的内存啊 4G啊苍天呐大地呀这可让我如何是好啊还有什么别的办法么?

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

42楼 [报告]

发表于 2009-04-23 15:16 |只看该作者

救命啊 help help me

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

43楼 [报告]

发表于 2009-04-23 17:31 |只看该作者

sort处理大文件真的好慢啊
不过可能我的服务器配置差了点
处理各1.8G的文件过去20分钟了还没好

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

44楼 [报告]

发表于 2009-04-27 13:06 |只看该作者

原帖由 皇家救星 于 2009-4-22 18:25 发表
用sort对每个文件排序
用sort -m进行合并
用sort -u进行去重

lz已经有人告诉你正确高效的做法了,你非得合起来一起sort不是自己没事找事.

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 5

2015年辞旧岁徽章
日期:2015-03-03 16:54:15

2015年迎新春徽章
日期:2015-03-04 09:50:28

2015年亚洲杯之朝鲜
日期:2015-03-13 22:47:33

IT运维版块每日发帖之星
日期:2016-01-09 06:20:00

IT运维版块每周发帖之星
日期:2016-03-07 16:27:44

45楼 [报告]

发表于 2009-04-27 13:16 |只看该作者

回复 #43 xiachunmen 的帖子

1.8G还差？我的才600M。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

46楼 [报告]

发表于 2009-04-27 18:29 |只看该作者

回复 #45 blackold 的帖子

会开车的一般么好车开
开鬼怪的一般都把它撞坏呵呵

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

1 2 3 45 / 5 页

发新帖

Chinaunix › 论坛 › 程序设计 › Shell › 关于sort或者awk合并文件

北京盛拓优讯信息技术有限公司. 版权所有京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP