原帖由
safedead 于 2008-5-19 09:37 发表
如果一个文件夹下面有50万文件,rsync还能用吗?
真实系统是这样的
源FTP下面有不到2000个子目录,目录树一共就两层,根目录和一级子目录
文件数量在1亿左右
单个文件夹最大有100万个文件
如果能用r ...
我建议采用多级分类方式,分类原则无所谓(但考虑实际情况尽量做到更新集中,则会很提高效率),保证树状结构中每个节点有可接受数量个子,按方案二(但不一定用数据库),任意文件更新,均标记其路径为更新。这样会大大提高索引效率。
如果未更新文件被重新下载不会有问题,那更可以在树的某级之下不再细分,任意文件更新,将更新此类中所有文件。如果使用局域网连接,此方式以增加网络流量为代价,降低运算负载。