论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2008-06-26 11:19 |只看该作者 |倒序浏览

需要比较大文件，file1 file2，每个文件数据到在50万以上，找出file1 file2不相同的行．
原本使用diff的，但发现diff　比较的文件太大时候就不稳定，有些是相同的也当成不相同输出的．
用bdiff也不行，当file1 file2　数量差异常过大时候，结果就不准确．
请问有什么办法可以快速比较吗？
谢谢

文库|博客

blackold

大富大贵

论坛徽章:: 5

2楼 [报告]

发表于 2008-06-26 11:37 |只看该作者

回复 #1 liang573728 的帖子

还没有碰到过如此大的文件。
如果大文件用不了diff，可以考虑先将文件排序、分割到两个目录下，再比较。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

liang573728

稍有积蓄

论坛徽章:: 0

3楼 [报告]

发表于 2008-06-26 11:50 |只看该作者

这种方式试过了，但是有个问题，比如 file1 只有10万行，file2 100万行，一拆分后，就有可能数据出现在不对应的文件里，如file1 数据a纪录在file1_aa里，file2：a纪录在file2_ab里．比较起来就很麻烦了．

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

blackold

大富大贵

论坛徽章:: 5

4楼 [报告]

发表于 2008-06-26 11:55 |只看该作者

回复 #3 liang573728 的帖子

用awk呢？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

ly5066113

巨富豪门

论坛徽章:: 23

5楼 [报告]

发表于 2008-06-26 11:55 |只看该作者

grep -vxFf file1 file2

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

liang573728

稍有积蓄

论坛徽章:: 0

6楼 [报告]

发表于 2008-06-26 13:37 |只看该作者

回复 #5 ly5066113 的帖子

这命令报错啊

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

walkerxk

富足长乐

论坛徽章:: 0

7楼 [报告]

发表于 2008-06-26 13:40 |只看该作者

什么错误？你不是linux？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

liang573728

稍有积蓄

论坛徽章:: 0

8楼 [报告]

发表于 2008-06-26 13:49 |只看该作者

回复 #4 blackold 的帖子

请问awk 该怎么写？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

liang573728

稍有积蓄

论坛徽章:: 0

9楼 [报告]

发表于 2008-06-26 13:51 |只看该作者

回复 #7 walkerxk 的帖子

~Up/temp $ grep -vxFf 20080624.be 20080624.af > 1.txt
grep: illegal option -- x
grep: illegal option -- F
grep: illegal option -- f
Usage: grep -hblcnsviw pattern file . . .

不是linux 是sunOS

[ 本帖最后由 liang573728 于 2008-6-26 13:53 编辑 ]