BBS.ChinaUnix.net
首页 | 新闻 | Linux | FreeBSD | AIX | Windows | 博客 | 论坛 | 存储 | 网络 | 人才 | Wiki | 资料 | 读书 | 手册 | 下载 | 空间 | 搜索
  会员: 密码: 免费注册 | 忘记密码 | 会员登录 | 搜索 | 帮助 


开一篇用文件还是数据库的争论,讨论文件IO
首页 » 论坛 » C/C++ »  
[打印] [订阅] [收藏] [本帖文本页] [推荐此主题给朋友,立即获积分]
Magicloud   帅哥 (Magicloud)
风云使者



UID:97921
注册:2003-9-17
最后登录: 2008-09-28
帖子:547
精华:0

可用积分:548 (稍有积蓄)
信誉积分:100
专家积分:5 (本版:5)
空间积分:0
推广积分:0

状态:...离线...

[个人空间] [短信] [博客]


21楼 发表于 2008-5-19 16:14 


QUOTE:
原帖由 safedead 于 2008-5-19 09:37 发表


如果一个文件夹下面有50万文件,rsync还能用吗?

真实系统是这样的
源FTP下面有不到2000个子目录,目录树一共就两层,根目录和一级子目录
文件数量在1亿左右
单个文件夹最大有100万个文件
如果能用r ...

如果想降低同步时的负载,那么就要增加平时的负载。
我建议采用多级分类方式,分类原则无所谓(但考虑实际情况尽量做到更新集中,则会很提高效率),保证树状结构中每个节点有可接受数量个子,按方案二(但不一定用数据库),任意文件更新,均标记其路径为更新。这样会大大提高索引效率。
如果未更新文件被重新下载不会有问题,那更可以在树的某级之下不再细分,任意文件更新,将更新此类中所有文件。如果使用局域网连接,此方式以增加网络流量为代价,降低运算负载。



您对本贴的看法:鲜花[0] 臭蛋[0]

__________________________________

竹密岂妨流水过
山高哪阻野云飞
积分兑换专区 | IT节能和TPC-E活动获奖名单 | 致电800-858-2903,了解DELL如何为你量身订制笔记本 | 送2G U盘 | 站长如何获得资金?
system888net   帅哥
天使




UID:304970
注册:2005-8-21
最后登录: 2008-10-10
帖子:1270
精华:1

可用积分:3376 (小富即安)
信誉积分:100
专家积分:140 (本版:50)
空间积分:0
推广积分:0

状态:...离线...

[个人空间] [短信] [博客]


22楼 发表于 2008-5-19 17:57 


QUOTE:
原帖由 Magicloud 于 2008-5-19 16:14 发表

如果想降低同步时的负载,那么就要增加平时的负载。
我建议采用多级分类方式,分类原则无所谓(但考虑实际情况尽量做到更新集中,则会很提高效率),保证树状结构中每个节点有可接受数量个子,按方案二(但不 ...

有道理



您对本贴的看法:鲜花[0] 臭蛋[0]
积分兑换专区 | IT节能和TPC-E活动获奖名单 | 致电800-858-2903,了解DELL如何为你量身订制笔记本 | 送2G U盘 | 站长如何获得资金?

首页 » 论坛 » C/C++ »


 


Copyright © 2001-2008 ChinaUnix.net All Rights Reserved     联系我们:

感谢所有关心和支持过ChinaUnix的朋友们    转载本站内容请注明原作者名及出处

京ICP证041476号


清除 Cookies - ChinaUnix - Archiver - WAP - TOP

Processed in 0.138069 second(s), 4 queries , Gzip enabled