大数量数据进行聚类排重讨论

zhb01

在项目开发中，用户需要在数据库导入大量在线商户信息，但是由于每个商户信息是通过外包采集员进行采集，所以存在商户信息重复的问题。所以，用户要求到导入EXCEL文件时操作时，先判断数据库中是否存在和EXCEL文件相似记录，如果有相似记录需要把正式信息和导入信息合并到一个文件中，用户导出进行修改。

相似数据实例如下：



名称                    地址

北京视频影像公司 北京市朝阳区八里桥221号

视频影像公司 北京市朝阳区八里桥221号

北京视频影像公司人力资源部 北京市八里桥221号







请大家讨论如何解决。现在系统对数据库做了搜索索引，可以进行搜索。