免费注册	查看新帖 \|


平台论坛博客文库

› 论坛 › 程序设计 › Shell › 关于sort或者awk合并文件

1 2 345 / 5 页下一页

最近访问板块

发新帖

楼主: xiachunmen

上一主题

下一主题

关于sort或者awk合并文件 [复制链接]

论坛徽章:: 0

31楼 [报告]

发表于 2009-04-23 11:59 |只看该作者

每个文件在2.7MB左右有100个文件用奔三 1G内存的机器能做吗

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

32楼 [报告]

发表于 2009-04-23 12:47 |只看该作者

原帖由 xiachunmen 于 2009-4-23 11:01 发表
我目前跑的机子是4核CPU 4G内存来着

Linux单进程用户态内存分配上限为3G，内存分配不连续的情况下实际用到的可能也就是2.XG。
如果你的200多M的文件中单词重复率较低，有可能在sort的时候超出这个限制。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

33楼 [报告]

发表于 2009-04-23 13:15 |只看该作者

您的意思是我有可能回跑不起来？
那我到奔三 1G内寸的机器上不要死翘翘了啊
我是在服务器上跑的不是PC

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

notnumb notnumb 当前离线禁止访问好友博客消息论坛徽章: 0	34楼 [报告] 发表于 2009-04-23 13:51 \|只看该作者提示: 作者被禁止或删除内容自动屏蔽
notnumb notnumb 当前离线禁止访问好友博客消息论坛徽章: 0	实战分享：从技术角度谈机器学习入门\| 【大话IT】RadonDB低门槛向MySQL集群下战书 \| ChinaUnix打赏功能已上线！ \| 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

35楼 [报告]

发表于 2009-04-23 13:55 |只看该作者

我在跑了合并7个200多MB的文件在4核4G的机器上跑了进10分钟还是没出来结果

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

36楼 [报告]

发表于 2009-04-23 14:06 |只看该作者

很好很强大的内存不足死翘翘了

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

37楼 [报告]

发表于 2009-04-23 14:11 |只看该作者

回复 #36 xiachunmen 的帖子

用cat一个一个追加，最后再sort试一下。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

38楼 [报告]

发表于 2009-04-23 14:15 |只看该作者

已经在这么做了
cat完1.3G 头大

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

39楼 [报告]

发表于 2009-04-23 14:19 |只看该作者

我用uniq做了显示唯一行重定向到一个新的文本了

[ 本帖最后由 xiachunmen 于 2009-4-23 14:21 编辑 ]

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

40楼 [报告]

发表于 2009-04-23 14:35 |只看该作者

只要用sort处理大文件就很可能超出内存限制。
可以测试一下，我的测试结果是，320多M的数据文件，统计单词结果文件有80多M，sort的时候内存占到了900多M。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

1 2 345 / 5 页下一页

发新帖

Chinaunix › 论坛 › 程序设计 › Shell › 关于sort或者awk合并文件

北京盛拓优讯信息技术有限公司. 版权所有京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP