多级目录统计文件总和大小

webyuhang

a目录下大约有19G左右的文件，a下有 b c d目录，b 下有 d e f g h i，c下有 g  x y, d下有 m n z 大约目录深度有 20多级；
du -sh *
find |xargs
这样单一考虑肯定没有太多的优势

大家给个高效的算法；

welcome008

ls -lR|awk 'NF>3{a+=$5}END{print a}'

如果-lR支持20多级的话，我知道tar好像超过13级就搞不定了。

webyuhang

原帖由 welcome008 于 2008-4-18 15:06 发表
ls -lR|awk 'NF>3{a+=$5}END{print a}'

如果-lR支持20多级的话，我知道tar好像超过13级就搞不定了。

[root@lfile data]# time ls -lR
real    22m27.112s
user    0m1.390s
sys     0m2.890s

到这里还没有显示三分之一呢，而且都显示完管道给awk
效果不太理想

woodie

原帖由 webyuhang 于 2008-4-18 14:55 发表
a目录下大约有19G左右的文件，a下有 b c d目录，b 下有 d e f g h i，c下有 g  x y, d下有 m n z 大约目录深度有 20多级；
du -sh *
find |xargs
这样单一考虑肯定没有太多的优势

大家给个高效的算法；

不太明白楼主什么意思？如果要统计所有文件的话，脚本肯定比不上C语言编写的du；如果要统计其中部分文件的话welcome008的awk就很好了。

webyuhang

原帖由 woodie 于 2008-4-18 15:23 发表

不太明白楼主什么意思？如果要统计所有文件的话，脚本肯定比不上C语言编写的du；如果要统计其中部分文件的话welcome008的awk就很好了。

woodie老师
我是想把所有的文件都统计出来计算大小；
因为目录N多，深度N多级别
所以du -sh 非常的慢。

welcome088的兄弟，我测试了。因为ls -lR光执行这个命令就要很久，况且还要这个执行完毕管道给awk来执行啊。

woodie

原帖由 webyuhang 于 2008-4-18 15:53 发表

woodie老师
我是想把所有的文件都统计出来计算大小；
因为目录N多，深度N多级别
所以du -sh 非常的慢。

welcome088的兄弟，我测试了。因为ls -lR光执行这个命令就要很久，况且还要这个执行完毕管道给aw ...

所有的文件的话，我怕找不出比du更快的工具了。解释性的脚本语言在性能上无论如何无法和机器代码相提并论。

或许你可以从另一个方向试试。比如：先计算出目标文件系统上不在统计的范围之内的文件的总大小，再从df中得到已经使用的磁盘空间，从中减去前者。结果可能比较粗略一点，而且不一定适合你的具体情况，仅供参考。

webyuhang

原帖由 woodie 于 2008-4-18 16:15 发表


所有的文件的话，我怕找不出比du更快的工具了。解释性的脚本语言在性能上无论如何无法和机器代码相提并论。

或许你可以从另一个方向试试。比如：先计算出目标文件系统上不在统计的范围之内的文件的总大小 ...

恩，我就是这样计算出来的。。。。
其实，我就是想要一种高效的查询方法；毕竟CU高手如云。
呵呵

webyuhang

期待高人出现

webyuhang

畅听大家的想法，出来讨论啊。

welcome008

好像没有更好的办法了。
我帮你顶一下。