Chinaunix

标题: 高手们，工业级应用，求快速删除百万级文件的方法？ [打印本页]

作者: studyonly 时间: 2006-08-31 10:48
标题: 高手们，工业级应用，求快速删除百万级文件的方法？
一个应用：
很多分区（reiserFS），每个分区文件满后需要删除，重新接受文件，

但是分区内文件数太大（500万左右），每次删除文件耗时过长，而且容易宕机，破坏文件系统,

采用格式化分区的方法代替删除整个分区文件方法，但是频繁的umount／mount的过程不是什么可靠，

所以异想天开，

1。能不能不要卸载直接格式化分区，

或者

2。求快速删除百万级文件的方法？

欢迎赐教！

[ 本帖最后由 studyonly 于 2006-8-31 10:53 编辑 ]

作者: wolfop 时间: 2006-08-31 15:07
显然可以直接umount newfs。位什么频繁mount /umount不可靠？

作者: nntp 时间: 2006-08-31 16:36
dd

作者: studyonly 时间: 2006-09-05 14:01

原帖由 wolfop 于 2006-8-31 15:07 发表
显然可以直接umount newfs。位什么频繁mount /umount不可靠？

很多时候，mount会失败，是不是跟存储柜有关？

作者: alexcan 时间: 2006-09-10 02:02
不知道可以在平时就是空间没满的时候就判断出不需要的文件就进行删除呢?
比如每天定时运行一个程序,自动检查文件,发现是不需要的就删除掉.这样把500万的大任务分解下去,就容易办多了.

一次性删除百万文件,都是够呛的.

作者: langue 时间: 2006-09-10 11:55

原帖由 studyonly 于 2006-8-31 10:48 发表
一个应用：
很多分区（reiserFS），每个分区文件满后需要删除，重新接受文件，

但是分区内文件数太大（500万左右），每次删除文件耗时过长，而且容易宕机，破坏文件系统,

采用格式化分区的方法代替删除整 ...

直接用reiserfs提供的用户接口把所有的inode和block引用清零。假如你把自己的代码优化一下，这样可能会比mkfs.reiserfs还快。

mkfs或许很好，省心，省力。

作者: langue 时间: 2006-09-10 11:57
还有，最好写个脚本加到cron里，定期prune过期文件。周期越短，服务越稳定。

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)