论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2009-02-17 10:35 |只看该作者 |倒序浏览

如何用py搞一个,

删除某一目录下重复的文件,

清除多余的重复文件功能

想了办天没想到好的算法.

目录详细结构

全是图片)

XXXXXXXXXXXX.jpg 文件名：时间戳+随机数字
我想删除一些重复的图片

pls 3Q

[ 本帖最后由 nameliba 于 2009-2-17 13:20 编辑 ]

文库|博客

luffy.deng

腰缠万贯

论坛徽章:: 0

2楼 [报告]

发表于 2009-02-17 10:43 |只看该作者

穷举每个文件出现次数不行么？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

3227049

家境小康

论坛徽章:: 0

3楼 [报告]

发表于 2009-02-17 10:50 |只看该作者

所有文件取长度，长度相同的比较md5

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

zhenglxd

小富即安

论坛徽章:: 0

4楼 [报告]

发表于 2009-02-17 11:50 |只看该作者

回复 #1 nameliba 的帖子

重复的定义是什么你是说同一个文件，但是他的文件名不同吗？
还是同一文件名文件类型不同
话说一个文件夹下也不可能有同名文件啊
如果是同名字不同类型的
根据日期，保留一个日期的其余日期的删掉

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

Lonki

小富即安

论坛徽章:: 0

5楼 [报告]

发表于 2009-02-19 00:56 |只看该作者

原帖由 3227049 于 2009-2-17 10:50 发表
所有文件取长度，长度相同的比较md5

长度 + hash code 进行sort, 重复的就相邻了

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

xiaoyu9805119

富足长乐

论坛徽章:: 0

6楼 [报告]

发表于 2009-02-19 09:14 |只看该作者

关键看你这个文件夹同名文件是怎么同名了。。。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

lycusual

白手起家

论坛徽章:: 0

7楼 [报告]

发表于 2009-02-21 18:50 |只看该作者

赞同3楼的说法，不过如果文件不多且要求处理速度的话，可以考虑使用CRC取代MD5

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

A.com

小富即安

论坛徽章:: 1

8楼 [报告]

发表于 2009-02-23 11:15 |只看该作者

如果是同名的就很好办了,不同名而同内容的加个判断文件长度和MD5的过程就行.我曾经写过一个小程序,是去重名的.简单递归一下遍历目录树,与上级某一级重名就删.

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

返回列表

Chinaunix › 论坛 › 程序设计 › Python › 重复文件删除功能

重复文件删除功能 [复制链接]

回复 #1 nameliba 的帖子