115网盘怎么判断两个文件是同一文件的

hanzhenlll

每个文件做一个索引,可以用HASH表， 重复的文件用类似指针代替..  重复数据删除-文件模式
跟存储服务器相通，早期的存储服务器就是这么做的，不过现在技术升级了，不是文件级别的了，而是块Block 级别的...

wiresnake

hellioncu 发表于 2012-11-01 16:38
我的猜测：
客户端上传两个不同名的相同文件，如果第二个速度很快，那么应该是客户端计算的了SHA1之类 ...

我做DPI的，我把上传的流阻断了，如果一份文件之前已经上传过，然后把原来网盘的文件删除，它可以重新上传，即使改过名字，我觉得第二份文件不是从本地上传的，而是在115服务器那边保存进我网盘的

sandljj

呵呵。。。
这个东西其实没想象那么复杂吧

hellioncu

sandljj 发表于 2012-11-01 17:23
呵呵。。。
这个东西其实没想象那么复杂吧

好陌生，好诱惑

mirnshi

hellioncu 发表于 2012-11-01 16:38
我的猜测：
客户端上传两个不同名的相同文件，如果第二个速度很快，那么应该是客户端计算的了SHA1之类 ...

你觉得保存一个计数器/指向占用空间多，还是保存多个文件副本占用空间多（不考虑冗余安全）？

linux_c_py_php

客户端算个md5去服务器问问就行了, 你以为开发这些应用的程序员都是神仙吗...

你看不到说明报文加密了, 这种应用能偷用户电脑的资料就偷, 让你看到岂不是很丢脸.

hellioncu

mirnshi 发表于 2012-11-01 18:10
你觉得保存一个计数器/指向占用空间多，还是保存多个文件副本占用空间多（不考虑冗余安全）？

把别的115 ID分享的文件存到自己的网盘，当然是加一个引用而已。
但是针对个人上传的，在整个网盘中不一定能找到一样的，只用SHA1之类的值比较理论上存在误判。也许为了简单，实实在在存上一份也是有可能的。

mirnshi

hellioncu 发表于 2012-11-01 20:22
把别的115 ID分享的文件存到自己的网盘，当然是加一个引用而已。
但是针对个人上传的，在整个网盘中不 ...

如果是唯一的，自然要上传了。目前来看sha1还是能够确认唯一性的，否则好多软件/代码的唯一性就受质疑了。

hellioncu

mirnshi 发表于 2012-11-03 09:54
如果是唯一的，自然要上传了。目前来看sha1还是能够确认唯一性的，否则好多软件/代码的唯一性就受质疑了 ...

SHA1相同不能证明文件相同，否则SHA1跟文件是一一映射了，那所有文件都可以压缩成SHA1那么长，可能么？

mirnshi

hellioncu 发表于 2012-11-03 10:07
SHA1相同不能证明文件相同，否则SHA1跟文件是一一映射了，那所有文件都可以压缩成SHA1那么长，可能么？

目前还没与找到sha1的碰撞. 套用你这种说法，每个人的指纹是唯一的，那么所有人都可以压缩成一个指纹