免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12
最近访问板块 发新帖
楼主: zhao3stones
打印 上一主题 下一主题

find 如何更有效的处理海量文件 [复制链接]

论坛徽章:
0
11 [报告]
发表于 2010-08-17 17:15 |只看该作者
find .....................................

论坛徽章:
0
12 [报告]
发表于 2010-08-17 18:16 |只看该作者
find . -type f -exec ls -l {} \; >yourfile
find . -type f | xargs ls -l > file
这2句应该都是读一段写读一段再写这样循环的!

论坛徽章:
0
13 [报告]
发表于 2010-08-17 21:25 |只看该作者
HP UNIX上的find没-ls选项,
只好用

find . -ctime +228 -type f -exec ls -l {} \; >list.log

1小时40分钟过去了,才统计出34W个文件,遍历过的文件不超过70W个, 目标文件系统在存储设备上..

这也太慢了吧

论坛徽章:
1
技术图书徽章
日期:2013-09-25 21:06:29
14 [报告]
发表于 2010-08-17 22:55 |只看该作者
要充分相信find 的能力 ,find  $path -type f  -exec ls -l {} > filename

论坛徽章:
0
15 [报告]
发表于 2010-08-18 14:00 |只看该作者
HP UNIX上的find没-ls选项,
只好用

find . -ctime +228 -type f -exec ls -l {} \; >list.log

1小时 ...
yanu 发表于 2010-08-17 21:25



    这个速度,貌似是不太快

1分钟还不到5000个

论坛徽章:
0
16 [报告]
发表于 2010-08-18 14:05 |只看该作者
回复 13# yanu


    快三个小时了,我才touch了1076955 个文件。。。
你find嘛,想想也明白的。。

论坛徽章:
0
17 [报告]
发表于 2010-08-18 16:00 |只看该作者
最后找来63W个文件,不知道运行了多长时间.. 昨晚实在等不及,锁屏回家了

其实单纯find会快很多的,-exec就慢了

论坛徽章:
0
18 [报告]
发表于 2010-08-18 16:02 |只看该作者
find ./ -type f |xargs ls -l

这样应该快很多
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP