论坛徽章:: 0

11楼 [报告]

发表于 2013-03-22 19:01 |只看该作者

我是想：
方法1： A 文件读入 10W 行， B 文件读入10W 行，进行对比，然后去除掉相同的行，假如去除掉 3W行，那么分别从 A,B 文件读入3W 行，在进行比较
方法2：把 A,B 文件都分成 1000个 100M 的文件， A0...A999， B0...B999，然后A0 和B0 对比相同的行去掉相同行，然后A1 和B1 对比相同的行去掉相同行，最后比较到 A999 B999，然后再整理再次比较

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

ssfjhh

富足长乐

论坛徽章:: 4

12楼 [报告]

发表于 2013-03-22 19:12 |只看该作者

回复 10# jeppeter

没看懂是怎么实现的。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

bobile

白手起家

论坛徽章:: 0

13楼 [报告]

发表于 2013-03-22 19:21 |只看该作者

但是我的方法1，和方法2 都有弊端呀，不是一个完美的算法

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

Perl_Er

大富大贵

论坛徽章:: 0

14楼 [报告]

发表于 2013-03-22 23:18 |只看该作者

hadoop不晓得可以不

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

ilikeqdi

丰衣足食

论坛徽章:: 0

15楼 [报告]

发表于 2013-03-27 11:23 |只看该作者

将A文件分成多个文件,循环B文件逐行对比,多进程一起跑.

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

klathleen

稍有积蓄

论坛徽章:: 0

16楼 [报告]

发表于 2013-03-27 14:11 |只看该作者

我觉得这个就应该用hash 来做... 把 A 和B 分别通过hash算法分到100个小文件 A001 ..A100 B001..B100 然后A001 和B001 进行比较...因为通过hash算法来做所以相同的string 全分在同一个范围内...

这都是外面的面试题....(假如内存为1G 两个文件分别为10G 如何最快取出俩文件相同的部分...)

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

ilikeqdi

丰衣足食

论坛徽章:: 0

17楼 [报告]

发表于 2013-03-27 14:30 |只看该作者

..因为通过hash算法来做所以相同的string 全分在同一个范围内...

复制代码

没看懂

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

Hongqiyaodao Hongqiyaodao 当前离线禁止发言好友博客消息论坛徽章: 29	18楼 [报告] 发表于 2013-03-28 07:49 来自手机 \|只看该作者提示: 作者被禁止或删除内容自动屏蔽
	实战分享：从技术角度谈机器学习入门\| 【大话IT】RadonDB低门槛向MySQL集群下战书 \| ChinaUnix打赏功能已上线！ \| 新一代分布式关系型数据库RadonDB知多少？