如何进行高效的md5匹配

j3kljs02398j

现在的网盘，搜索到公共资源后，可以保存到自己的网盘内。这个时候资源文件肯定不是复制一份到自己的空间，应该是对资源的一个索引记录。那么这个过程必然有一个类似md5查询的过程。

有没有人知道各大网盘的实现，比如百度网盘，我发现这个过程是很快的。

hellioncu

字典树、hash都可以吧

linux_c_py_php

楼主应该了解一下BT种子和磁力链是怎么生成的，你就知道为什么可以直接作为唯一索引了。

j3kljs02398j

回复 2# hellioncu


    猜想上，字典树与hash都应该是可以的。不过还是比较想知道，做相关项目的人具体的解决方式（数据量最少应该在100W的级别)

j3kljs02398j

回复 3# linux_c_py_php


    非常感谢，粗略的了解了下。磁力链貌似是为了解决地址的唯一性？  其实我想问的问题给定一个链接，如果在一个千万级别的链接库中找到这个链接。其实就是个字符串查找的过程。

skycs13

hash is good for you

linux_c_py_php

j3kljs02398j 发表于 2014-04-24 09:53
回复 3# linux_c_py_php

你需要的是一个分布式的kv存储系统, 开源实现有几款，千万级数据量对任何一款都是小事。。

j3kljs02398j

回复 7# linux_c_py_php


    bingo,非常感谢

帅绝人寰

linux_c_py_php 发表于 2014-04-25 15:38
你需要的是一个分布式的kv存储系统, 开源实现有几款，千万级数据量对任何一款都是小事。。

求详细指点



直觉告诉我，这应该是个 字典树的 实现？