免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 1258 | 回复: 6
打印 上一主题 下一主题

高手们, 工业级应用,求快速删除百万级文件的方法? [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2006-08-31 10:48 |只看该作者 |倒序浏览
一个应用:
很多分区(reiserFS), 每个分区文件满后需要删除,重新接受文件,

但是分区内文件数太大(500万左右),每次删除文件耗时过长,而且容易宕机,破坏文件系统,

采用 格式化分区的方法代替删除整个分区文件方法,但是 频繁 的umount/mount的过程不是什么可靠,

所以异想天开,

1。能不能不要卸载直接格式化分区,

或者

2。求快速删除百万级文件的方法?


欢迎赐教!

[ 本帖最后由 studyonly 于 2006-8-31 10:53 编辑 ]

论坛徽章:
5
荣誉会员
日期:2011-11-23 16:44:17CU大牛徽章
日期:2013-09-18 15:15:15CU大牛徽章
日期:2013-09-18 15:15:45未羊
日期:2014-02-25 14:37:19射手座
日期:2014-12-26 22:55:37
2 [报告]
发表于 2006-08-31 15:07 |只看该作者
显然可以直接umount newfs。位什么频繁mount /umount不可靠?

论坛徽章:
0
3 [报告]
发表于 2006-08-31 16:36 |只看该作者
dd

论坛徽章:
0
4 [报告]
发表于 2006-09-05 14:01 |只看该作者
原帖由 wolfop 于 2006-8-31 15:07 发表
显然可以直接umount newfs。位什么频繁mount /umount不可靠?


很多时候,mount会失败,是不是跟存储柜有关 ?

论坛徽章:
0
5 [报告]
发表于 2006-09-10 02:02 |只看该作者
不知道可以在平时就是空间没满的时候就判断出不需要的文件就进行删除呢?
比如每天定时运行一个程序,自动检查文件,发现是不需要的就删除掉.这样把500万的大任务分解下去,就容易办多了.

一次性删除百万文件,都是够呛的.

论坛徽章:
0
6 [报告]
发表于 2006-09-10 11:55 |只看该作者
原帖由 studyonly 于 2006-8-31 10:48 发表
一个应用:
很多分区(reiserFS), 每个分区文件满后需要删除,重新接受文件,

但是分区内文件数太大(500万左右),每次删除文件耗时过长,而且容易宕机,破坏文件系统,

采用 格式化分区的方法代替删除整 ...


直接用reiserfs提供的用户接口把所有的inode和block引用清零。假如你把自己的代码优化一下,这样可能会比mkfs.reiserfs还快。

mkfs或许很好,省心,省力。

论坛徽章:
0
7 [报告]
发表于 2006-09-10 11:57 |只看该作者
还有,最好写个脚本加到cron里,定期prune过期文件。周期越短,服务越稳定。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP