免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › C/C++ › 怎样鉴别两个文件是一样的?
最近访问板块 发新帖
查看: 6238 | 回复: 7
打印 上一主题 下一主题

[其他] 怎样鉴别两个文件是一样的? [复制链接]

osmanthusgfy

论坛徽章:
0
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2013-08-13 15:37 |只看该作者 |倒序浏览
除了md5比较，还有什么好的方法？
刚觉md5慢.

多谢!
hanzhenlll

论坛徽章:
1
射手座 日期:2014-08-04 16:49:43
2楼 [报告]
发表于 2013-08-13 15:45 |只看该作者
linux下有diff 命令....仅供参考...


如果你对目前常用的文件系统理解够深的话，可以在那个层面获得一些帮助..
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
djsxut

论坛徽章:
0
3楼 [报告]
发表于 2013-08-14 10:26 |只看该作者
可以一个字节一个字节比较， 或者把文件分块，多线程并发判断。不知道是不是会比直接算md5快些
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
lxyscls

论坛徽章:
14
水瓶座 日期:2014-06-10 09:51:0215-16赛季CBA联赛之江苏 日期:2017-11-27 11:42:3515-16赛季CBA联赛之八一 日期:2017-04-12 14:26:2815-16赛季CBA联赛之吉林 日期:2016-08-20 10:43:1215-16赛季CBA联赛之广夏 日期:2016-06-23 09:53:58程序设计版块每日发帖之星 日期:2016-02-11 06:20:00程序设计版块每日发帖之星 日期:2016-02-09 06:20:0015-16赛季CBA联赛之上海 日期:2015-12-25 16:40:3515-16赛季CBA联赛之广夏 日期:2015-12-22 09:39:36程序设计版块每日发帖之星 日期:2015-08-24 06:20:002015亚冠之德黑兰石油 日期:2015-08-07 09:57:302015年辞旧岁徽章 日期:2015-03-03 16:54:15
4楼 [报告]
发表于 2013-08-14 11:22 |只看该作者
md5都嫌慢？

不过md5应该需要算完
diff是不是比较到不同就退出了？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
cokeboL

论坛徽章:
36
子鼠 日期:2013-08-28 22:23:29黄金圣斗士 日期:2015-12-01 11:37:51程序设计版块每日发帖之星 日期:2015-12-14 06:20:00CU十四周年纪念徽章 日期:2015-12-22 16:50:40IT运维版块每日发帖之星 日期:2016-01-25 06:20:0015-16赛季CBA联赛之深圳 日期:2016-01-27 10:31:172016猴年福章徽章 日期:2016-02-18 15:30:3415-16赛季CBA联赛之福建 日期:2016-04-07 11:25:2215-16赛季CBA联赛之青岛 日期:2016-04-29 18:02:5915-16赛季CBA联赛之北控 日期:2016-06-20 17:38:50技术图书徽章 日期:2016-07-19 13:54:03程序设计版块每日发帖之星 日期:2016-08-21 06:20:00
5楼 [报告]
发表于 2013-08-14 11:59 |只看该作者
发个搞笑贴： 用beyond compare进行比较！！！
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
myworkstation

论坛徽章:
17
处女座 日期:2013-08-27 09:59:352015亚冠之柏太阳神 日期:2015-07-30 10:16:402015亚冠之萨济拖拉机 日期:2015-07-29 18:58:182015年亚洲杯之巴勒斯坦 日期:2015-03-06 17:38:17摩羯座 日期:2014-12-11 21:31:34戌狗 日期:2014-07-20 20:57:32子鼠 日期:2014-05-15 16:25:21亥猪 日期:2014-02-11 17:32:05丑牛 日期:2014-01-20 15:45:51丑牛 日期:2013-10-22 11:12:56双子座 日期:2013-10-18 16:28:17白羊座 日期:2013-10-18 10:50:45
6楼 [报告]
发表于 2013-08-14 12:47 |只看该作者
回复 1# osmanthusgfy


    可以只计算文件部分内容的md5，比如说迅雷就使用三段hash的技术，使用算法取文件三个部分的内容然后md5，性能极大提高，发生重复的可能性极小。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
Aquester

论坛徽章:
0
7楼 [报告]
发表于 2013-08-14 12:54 |只看该作者
osmanthusgfy 发表于 2013-08-13 15:37
除了md5比较，还有什么好的方法？
刚觉md5慢.


考虑下crc32？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
cobras

论坛徽章:
2
2015年辞旧岁徽章 日期:2015-03-03 16:54:152015年迎新春徽章 日期:2015-03-04 09:56:11
8楼 [报告]
发表于 2013-08-14 13:57 |只看该作者
如果通过网络需要比较2个文件，则使用MD5类的特征码比较是靠普的。因为可以大符缩小网络传输流量。
如果是比较本地文件，则直接用系统的fc比较更快。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP