12 / 2 页下一页

论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2014-06-26 21:49 |只看该作者 |倒序浏览

各位大神，请问怎样有效地去除文本中的重复行，由于文本行数较多（约50,000,000），用uniq怕内存扛不住，不知各位有好的方法没

文库|博客

Herowinter

富可敌国

论坛徽章:: 769

2楼 [报告]

发表于 2014-06-26 21:56 |只看该作者

本帖最后由 Herowinter 于 2014-06-26 22:02 编辑

回复 1# 米兰的_小木匠

数学不好，数了好一会儿，才确定是
5千万行。。。

awk '!a[$0]++' urfile

复制代码

确定不行吗？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

Herowinter

富可敌国

论坛徽章:: 769

3楼 [报告]

发表于 2014-06-26 22:05 |只看该作者

从算法的角度看，这个问题好像比较耗空间而已，
时间复杂度不高，只要有有一个哈希数组记录了
哪些行出现过了，O(n)的复杂度而已。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

expert1

荣誉版主

论坛徽章:: 16

4楼 [报告]

发表于 2014-06-26 22:05 |只看该作者

split一下，然后逐个去重复

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

关阴月飞

大富大贵

论坛徽章:: 39

5楼 [报告]

发表于 2014-06-26 22:30 |只看该作者

用sort -u 怕内存不够可以用-S 限制一下，另外有个-T 的参数在处理大文件时可以看一下......
效率方面没测过

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

zooyo zooyo 当前离线禁止发言好友博客消息论坛徽章: 3	6楼 [报告] 发表于 2014-06-26 22:32 \|只看该作者提示: 作者被禁止或删除内容自动屏蔽
zooyo zooyo 当前离线禁止发言好友博客消息论坛徽章: 3	实战分享：从技术角度谈机器学习入门\| 【大话IT】RadonDB低门槛向MySQL集群下战书 \| ChinaUnix打赏功能已上线！ \| 新一代分布式关系型数据库RadonDB知多少？

用户名注册后不能更改

富足长乐

论坛徽章:: 0

7楼 [报告]

发表于 2014-06-26 23:45 |只看该作者

回复 2# Herowinter

不是已经有逗号了么，还数啥……

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

Herowinter

富可敌国

论坛徽章:: 769

8楼 [报告]

发表于 2014-06-27 00:03 |只看该作者

回复 7# 用户名注册后不能更改
英语也不行，千分位计数thousand,million不是很熟。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

用户名注册后不能更改

富足长乐

论坛徽章:: 0

9楼 [报告]

发表于 2014-06-27 01:00 |只看该作者

回复 8# Herowinter

不知道，只认识kmgt。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

这个冬天不冷

家境小康

论坛徽章:: 1

10楼 [报告]

发表于 2014-06-27 09:59 |只看该作者

回复 3# Herowinter
数组去重时间复杂度有O(n)？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

12 / 2 页下一页

返回列表

Chinaunix › 论坛 › 程序设计 › Shell › 如何实现大文本去重

zooyo zooyo 当前离线禁止发言好友博客消息论坛徽章: 3	6楼 [报告] 发表于 2014-06-26 22:32 \|只看该作者提示: 作者被禁止或删除内容自动屏蔽
zooyo zooyo 当前离线禁止发言好友博客消息论坛徽章: 3	实战分享：从技术角度谈机器学习入门\| 【大话IT】RadonDB低门槛向MySQL集群下战书 \| ChinaUnix打赏功能已上线！ \| 新一代分布式关系型数据库RadonDB知多少？

[文本处理] 如何实现大文本去重 [复制链接]