12 / 2 页下一页

论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2008-08-26 17:26 |只看该作者 |倒序浏览

一个目录下面有最少上万的文件，可能能够上10w
但都是一些小文件，大多在1000k以下
当文件过多的时候，性能明显下降
比如ls，find之类的效率都很低下，
不知道有没有什么方法可以优化

谢谢了！

文库|博客

cuci

荣誉版主

论坛徽章:: 1

2楼 [报告]

发表于 2008-08-26 17:28 |只看该作者

想干嘛？检索还是干啥

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

13706808

白手起家

论坛徽章:: 0

3楼 [报告]

发表于 2008-08-26 17:32 |只看该作者

常用的操作包括遍历访问每一个文件，还有mv

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

自由建客

家境小康

论坛徽章:: 0

4楼 [报告]

发表于 2008-08-26 17:53 |只看该作者

ls应该慢不到哪里去，其它的检索会慢点

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

micheas.liao

稍有积蓄

论坛徽章:: 0

5楼 [报告]

发表于 2008-08-27 03:37 |只看该作者

try to use reiserfs

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

notnumb notnumb 当前离线禁止访问好友博客消息论坛徽章: 0	6楼 [报告] 发表于 2008-08-27 08:39 \|只看该作者提示: 作者被禁止或删除内容自动屏蔽
notnumb notnumb 当前离线禁止访问好友博客消息论坛徽章: 0	实战分享：从技术角度谈机器学习入门\| 【大话IT】RadonDB低门槛向MySQL集群下战书 \| ChinaUnix打赏功能已上线！ \| 新一代分布式关系型数据库RadonDB知多少？

cuci

荣誉版主

论坛徽章:: 1

7楼 [报告]

发表于 2008-08-27 09:07 |只看该作者

这么多文件ls是出不来的，建议find结合xargs来访问

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

13706808

白手起家

论坛徽章:: 0

8楼 [报告]

发表于 2008-08-27 22:06 |只看该作者

原帖由 notnumb 于 2008-8-27 08:39 发表
上次试了试 reiserfs确实快些。
jfs其次
主要是我那几千万的文件数量 80G硬盘的ext3根本就放不下。
加raid+reiserfs 有钱就换固态硬盘

没有钱啊
学校的机器。。。。
系统就是普通的pc机。。。。。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

13706808

白手起家

论坛徽章:: 0

9楼 [报告]

发表于 2008-08-27 22:08 |只看该作者

原帖由 cuci 于 2008-8-27 09:07 发表
这么多文件ls是出不来的，建议find结合xargs来访问

如果可以，请不吝赐教
我查过网上，说的是多了以后ls不出来
可以修改内核参数或者使用find
但是具体怎么使用find应付这种情况我还不清楚
谢谢了！！！

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

cuci

荣誉版主

论坛徽章:: 1

10楼 [报告]

发表于 2008-08-27 22:16 |只看该作者

原帖由 13706808 于 2008-8-27 22:08 发表

如果可以，请不吝赐教
我查过网上，说的是多了以后ls不出来
可以修改内核参数或者使用find
但是具体怎么使用find应付这种情况我还不清楚
谢谢了！！！

find ./ -type f |xargs -n20 ls试试，-n20是20个文件一组显示

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

12 / 2 页下一页

返回列表

Chinaunix › 论坛 › 操作系统 › Linux系统管理 › 小文件过多时的磁盘性能问题

notnumb notnumb 当前离线禁止访问好友博客消息论坛徽章: 0	6楼 [报告] 发表于 2008-08-27 08:39 \|只看该作者提示: 作者被禁止或删除内容自动屏蔽
notnumb notnumb 当前离线禁止访问好友博客消息论坛徽章: 0	实战分享：从技术角度谈机器学习入门\| 【大话IT】RadonDB低门槛向MySQL集群下战书 \| ChinaUnix打赏功能已上线！ \| 新一代分布式关系型数据库RadonDB知多少？

小文件过多时的磁盘性能问题 [复制链接]

浏览过的版块