linux下高效率查询文件的方法欢迎各位探讨

black-hat

近期接收到一个要求需要查询一个存储下以.flv/.MP4等结尾的文件并统计出来总个数，该目录下所有子目录总容量200T左右。
需要利用最快的时间找到这些文件。

使用工具不限 如locate、find 等等欢迎各位支招。
系统环境： centos 5.3 x86_64
网络存储总容量：500T
要查询的目录下容量：200T
要查询的目录下文件数粗略计算为：2000w个
目录深度介绍如 /data/flv/0513/2011/05/13/01/15/15/37/hash.flv/mp4 等等多种文件格式。

需求：快速的查出以.flv /.mp4结尾的文件。

欢迎兄弟们发表下你们在海量数据下的查询文件的方法。

taojie2000

回复 1# black-hat


     看过 IBM GPFS策略查询和find  一个实验比较   那才8000多个目录有400万多文件   策略查询查找包含的文件名为 abc 的文件前面是3分多   find 相当于6分  包含abc名的文件数量4000左右

     文件数量的增加，find 效率下降， GPFS 引擎的搜索用时是线性增长  

      实际得接触到这海量文件才能了解  ， 我也求知识 。。。

samlumengjun

lz土豆网的?

tanyangxf

用的是什么文件系统？

black-hat

公司就不透露了呵呵。咱们言归正传，
使用的是北京龙存科技的龙存分布式文件系统，服务器上需要安装他们的内核模块来挂载，具体的底层细节不是很清楚。
属于全权外包给他们，我们只负责使用这套系统。
前端有元数据 和客户端进行通信调度等功能。

tanyangxf

6间房吧。。哈哈。。。他们的元数据那端貌似有索引结构，直接用find应该就能保证速度了。