免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 5232 | 回复: 10
打印 上一主题 下一主题

[FreeBSD] 一个硬盘上建二百W个文件夹,对硬盘性能有影响吗? [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2010-01-21 03:38 |只看该作者 |倒序浏览
一个硬盘上建二百W个文件夹,对硬盘性能有影响吗?

大至列法是

文件夹A 里面有36个文件夹,这36个文件夹里面又分别有36个文件夹, 照这样依次序开到200万个文件夹的数量  大概是四层目录

不知道这样的开法对硬盘的性能是否有影响

还有空文件夹是否占硬盘容量??

论坛徽章:
0
2 [报告]
发表于 2010-01-21 06:31 |只看该作者
把200万个文件分布到多个硬盘上,问题应该不大。

论坛徽章:
4
CU大牛徽章
日期:2013-03-13 15:29:07CU大牛徽章
日期:2013-03-13 15:29:49CU大牛徽章
日期:2013-03-13 15:30:192015年迎新春徽章
日期:2015-03-04 09:57:09
3 [报告]
发表于 2010-01-21 08:07 |只看该作者
那么多文件夹。。。。

论坛徽章:
0
4 [报告]
发表于 2010-01-21 23:01 |只看该作者
內核有小文件緩存參數

-----------------------------------
vnode 是对文件或目录的一种内部表达。 因此, 增加可以被操作系统利用的 vnode 数量将降低磁盘的 I/O。
一般而言, 这是由操作系统自行完成的,也不需要加以修改。但在某些时候磁盘 I/O 会成为瓶颈,
而系统的 vnode 不足, 则这一配置应被增加。此时需要考虑是非活跃和空闲内存的数量。
要查看当前在用的 vnode 数量:
# sysctl vfs.numvnodes
vfs.numvnodes: 91349
要查看最大可用的 vnode 数量:
# sysctl kern.maxvnodes
kern.maxvnodes: 100000
如果当前的 vnode 用量接近最大值,则将 kern.maxvnodes 值增大 1,000 可能是个好主意。
您应继续查看 vfs.numvnodes 的数值, 如果它再次攀升到接近最大值的程度,
仍需继续提高 kern.maxvnodes。 在 top(1) 中显示的内存用量应有显著变化,
更多内存会处于活跃 (active) 状态。

默认的dirhash最大内存,默认2M
增加它有助于改善单目录超过100K个文件时的反复读目录时的性能
建议修改为33554432(32M)
sysctl vfs.ufs.dirhash_maxmem=33554432

vfs.vmiodirenable: 1
#################
这个变量控制目录是否被系统缓存。大多数目录是小的,在系统中只使用单个片断(典型的是1K)并且在缓存中使用的更小 (典型的是512字节)。
当这个变量设置为关闭 (0) 时,缓存器仅仅缓存固定数量的目录,即使您有很大的内存。
而将其开启 (设置为1) 时,则允许缓存器用 VM 页面缓存来缓存这些目录,让所有可用内存来缓存目录。
不利的是最小的用来缓存目录的核心内存是大于 512 字节的物理页面大小(通常是 4k)。
我们建议如果您在运行任何操作大量文件的程序时保持这个选项打开的默认值。
这些服务包括 web 缓存,大容量邮件系统和新闻系统。
尽管可能会浪费一些内存,但打开这个选项通常不会降低性能。但还是应该检验一下。
####################

vfs.write_behind: 1
#########################
这个选项预设为 1,也就是打开的状态。在打开时,在系统需要写入数据在硬盘或其它储存设备上时,
它会等到收集了一个 cluster 单位的数据后再一次写入,否则会在一个暂存区空间有写入需求时就立即写到硬盘上。
这个选项打开时,对于一个大的连续的文件写入速度非常有帮助。但如果您遇到有很多行程延滞在等待写入动作时,您可能必须关闭这个功能。
############################
-----------------------------------


可以都試試看,具體自己沒測試過,期待結果。

论坛徽章:
0
5 [报告]
发表于 2010-01-21 23:01 |只看该作者
以前看到個多目錄小文件專用的文件系統 忘了名字了

论坛徽章:
0
6 [报告]
发表于 2010-01-22 00:29 |只看该作者
楼主太强了吧

论坛徽章:
0
7 [报告]
发表于 2010-01-24 10:07 |只看该作者
不行的话只有用数据库了

论坛徽章:
0
8 [报告]
发表于 2010-01-25 11:30 |只看该作者
有小文件系统的嘛

论坛徽章:
1
金牛座
日期:2014-05-29 15:55:47
9 [报告]
发表于 2010-01-27 10:11 |只看该作者
这么低级的想法谁设计的?
200W数据库都算比较大了。
何况文件系统。

论坛徽章:
0
10 [报告]
发表于 2010-01-27 11:15 |只看该作者

回复 #9 iceblood 的帖子

嘿嘿
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP