BBS.ChinaUnix.net
首页 | 新闻 | Linux | FreeBSD | AIX | Windows | 博客 | 论坛 | 存储 | 网络 | 人才 | Wiki | 资料 | 读书 | 手册 | 下载 | 空间 | 搜索
  会员: 密码: 免费注册 | 忘记密码 | 会员登录 | 搜索 | 帮助 


开一篇用文件还是数据库的争论,讨论文件IO
首页 » 论坛 » C/C++ »  
[打印] [订阅] [收藏] [本帖文本页] [推荐此主题给朋友,立即获积分]
calculator
侠客




UID:673875
注册:2008-3-6
最后登录: 2008-05-14
帖子:17
精华:0

可用积分:517 (稍有积蓄)
信誉积分:0
专家积分:0 (本版:0)
空间积分:0
推广积分:0

状态:...离线...

[个人空间] [短信] [博客]


11楼 发表于 2008-5-14 21:42 


QUOTE:
原帖由 jamesr 于 2008-5-14 19:45 发表
注意要使用reiserfs。
一个任务的瓶颈会有很多可能,文件系统性能也应该考虑在内。

我也觉得这个影响大,大量的小文件还是选用r*fs,当然你要考虑考虑它的作者入狱给你带来的影响~~



您对本贴的看法:鲜花[0] 臭蛋[0]

__________________________________

祸害~~
积分兑换专区 | IT节能和TPC-E活动获奖名单 | 致电800-858-2903,了解DELL如何为你量身订制笔记本 | 送2G U盘 | 站长如何获得资金?
Roemer   帅哥
光明使者
无印良品


CU奥运火炬传递手2008
UID:695086
注册:2008-4-21
最后登录: 2008-10-16
帖子:929
精华:0

可用积分:1770 (家境小康)
信誉积分:0
专家积分:35 (本版:10)
空间积分:805
推广积分:10

状态:...离线...

[个人空间] [短信] [博客]


12楼 发表于 2008-5-14 23:06 
回复 #11 calculator 的帖子

关键是这个系统以后还会维护、更新吗?



您对本贴的看法:鲜花[0] 臭蛋[0]

__________________________________

Life is a Box of Chocolate ...

积分兑换专区 | IT节能和TPC-E活动获奖名单 | 致电800-858-2903,了解DELL如何为你量身订制笔记本 | 送2G U盘 | 站长如何获得资金?
benjiam (xxxx)
天使




UID:59508
注册:2003-5-27
最后登录: 2008-10-09
帖子:1468
精华:0

可用积分:1289 (家境小康)
信誉积分:105
专家积分:20 (本版:20)
空间积分:0
推广积分:0

状态:...离线...

[个人空间] [短信] [博客]


13楼 发表于 2008-5-15 09:05 
文件下载后直接保存在本地目录,设置文件时间和FTP的LIST信息一致,不允许其它程序删除,这个方案运行时发生inode被用光问题

??? 文件数目太多? 如果这样, 你除了将文件保存在db里面 或者将多个文件合并起来,还有其他的解决方案吗?

不允许其它程序删除
这个业务里面有个特殊需求:那就是同步到本地的文件,有可能被另外的应用程序删除,也有可能原地不动,但绝不会被修改,

这个实现和要求页抵触了吧?



您对本贴的看法:鲜花[0] 臭蛋[0]
积分兑换专区 | IT节能和TPC-E活动获奖名单 | 致电800-858-2903,了解DELL如何为你量身订制笔记本 | 送2G U盘 | 站长如何获得资金?
Sorehead   帅哥
光明使者




UID:161134
注册:2004-5-27
最后登录: 2008-10-10
帖子:763
精华:0

可用积分:928 (稍有积蓄)
信誉积分:100
专家积分:40 (本版:40)
空间积分:0
推广积分:0

来自:北京
状态:...离线...

[个人空间] [短信] [博客]


14楼 发表于 2008-5-15 11:46 


QUOTE:
原帖由 safedead 于 2008-5-14 12:46 发表
rsync ??

以前用过rsync
印象不是一般的差
100万文件就慢的一塌糊涂

我用着感觉挺好。
100万文件肯定是会慢,可是自己写这样的程序就能保证比rsync快吗。



您对本贴的看法:鲜花[0] 臭蛋[0]
积分兑换专区 | IT节能和TPC-E活动获奖名单 | 致电800-858-2903,了解DELL如何为你量身订制笔记本 | 送2G U盘 | 站长如何获得资金?
Sorehead   帅哥
光明使者




UID:161134
注册:2004-5-27
最后登录: 2008-10-10
帖子:763
精华:0

可用积分:928 (稍有积蓄)
信誉积分:100
专家积分:40 (本版:40)
空间积分:0
推广积分:0

来自:北京
状态:...离线...

[个人空间] [短信] [博客]


15楼 发表于 2008-5-15 13:21 
rsync肯定采用了某种中间机制,每次同步时并不会直接去读取源机器所有的文件,所以更新是非常快的。
我这里应用的情况是:大约6、7万个文件,占用9G多的空间,两台机器在同一个100M局域网,两边一致的情况下,同步一下1秒不到。此外,源端经常会新增5000个文件,这时候再同步,一般不到1分钟。



您对本贴的看法:鲜花[0] 臭蛋[0]
积分兑换专区 | IT节能和TPC-E活动获奖名单 | 致电800-858-2903,了解DELL如何为你量身订制笔记本 | 送2G U盘 | 站长如何获得资金?
Magicloud   帅哥 (Magicloud)
风云使者



UID:97921
注册:2003-9-17
最后登录: 2008-09-28
帖子:547
精华:0

可用积分:548 (稍有积蓄)
信誉积分:100
专家积分:5 (本版:5)
空间积分:0
推广积分:0

状态:...离线...

[个人空间] [短信] [博客]


16楼 发表于 2008-5-15 13:58 
想问楼主几个问题:
两机之间是什么线路?局域网、互联网?
这个同步是主从式的吗?
这个同步操作频繁吗?
需要这个同步操作发生时,两机负载如何?
未更新的文件被重复下载了会如何?
源机上的文件分布如何?比如是否有多级目录等。

其实我觉得这个问题的本质不是“数据库与文件的选择”,而是功能实现的策略、角度问题。



您对本贴的看法:鲜花[0] 臭蛋[0]

__________________________________

竹密岂妨流水过
山高哪阻野云飞
积分兑换专区 | IT节能和TPC-E活动获奖名单 | 致电800-858-2903,了解DELL如何为你量身订制笔记本 | 送2G U盘 | 站长如何获得资金?
jamesr   帅哥
大天使
人在CU飘,挨刀我就跑



UID:362823
注册:2006-1-13
最后登录: 2008-10-08
帖子:2303
精华:1

可用积分:3140 (小富即安)
信誉积分:100
专家积分:50 (本版:30)
空间积分:2
推广积分:0

状态:...离线...

[个人空间] [短信] [博客]


17楼 发表于 2008-5-15 18:33 


QUOTE:
原帖由 Roemer 于 2008-5-14 23:06 发表
关键是这个系统以后还会维护、更新吗?

已经进入了Linux内核了,也就意味着,如果没有更好的替代品,它就永生了!(当然Linux死了,它也可能会死)。

根本不用担心是否有人会去维护、更新,当有需要时,会有人去做的。



您对本贴的看法:鲜花[0] 臭蛋[0]

__________________________________

欢迎参加《Object-oriented Programming with ANSI-C》的翻译:
http://wiki.chinaunix.net/index.php/OOC


Everest 0.5正式发布!
积分兑换专区 | IT节能和TPC-E活动获奖名单 | 致电800-858-2903,了解DELL如何为你量身订制笔记本 | 送2G U盘 | 站长如何获得资金?
system888net   帅哥
天使




UID:304970
注册:2005-8-21
最后登录: 2008-10-15
帖子:1281
精华:1

可用积分:3395 (小富即安)
信誉积分:100
专家积分:140 (本版:50)
空间积分:0
推广积分:0

状态:...离线...

[个人空间] [短信] [博客]


18楼 发表于 2008-5-18 23:22 
用并行吧!



您对本贴的看法:鲜花[0] 臭蛋[0]
积分兑换专区 | IT节能和TPC-E活动获奖名单 | 致电800-858-2903,了解DELL如何为你量身订制笔记本 | 送2G U盘 | 站长如何获得资金?
safedead
风云使者




UID:407631
注册:2006-4-23
最后登录: 2008-09-28
帖子:470
精华:0

可用积分:520 (稍有积蓄)
信誉积分:100
专家积分:51 (本版:51)
空间积分:0
推广积分:0

状态:...离线...

[个人空间] [短信] [博客]


19楼 发表于 2008-5-19 09:37 


QUOTE:
原帖由 Sorehead 于 2008-5-15 13:21 发表
rsync肯定采用了某种中间机制,每次同步时并不会直接去读取源机器所有的文件,所以更新是非常快的。
我这里应用的情况是:大约6、7万个文件,占用9G多的空间,两台机器在同一个100M局域网,两边一致的情况下, ...

如果一个文件夹下面有50万文件,rsync还能用吗?

真实系统是这样的
源FTP下面有不到2000个子目录,目录树一共就两层,根目录和一级子目录
文件数量在1亿左右
单个文件夹最大有100万个文件
如果能用rsync,我编这个扯淡程序干嘛?
用户那边有的是LINUX开发人员

这个是特定条件下的特定业务,我没办法改变用户的应用环境
源服务器是个有64G内存的小机,有阵列柜



您对本贴的看法:鲜花[0] 臭蛋[0]
积分兑换专区 | IT节能和TPC-E活动获奖名单 | 致电800-858-2903,了解DELL如何为你量身订制笔记本 | 送2G U盘 | 站长如何获得资金?
ideawu
天使



UID:350143
注册:2005-12-15
最后登录: 2008-10-15
帖子:1416
精华:0

可用积分:1037 (家境小康)
信誉积分:100
专家积分:10 (本版:10)
空间积分:0
推广积分:0

状态:...离线...

[个人空间] [短信] [博客]


20楼 发表于 2008-5-19 11:17 
楼主, 我从方案一中看不出inode被用光的原因, 能否解释下?



您对本贴的看法:鲜花[0] 臭蛋[0]

__________________________________

my resume
积分兑换专区 | IT节能和TPC-E活动获奖名单 | 致电800-858-2903,了解DELL如何为你量身订制笔记本 | 送2G U盘 | 站长如何获得资金?

首页 » 论坛 » C/C++ »


 


Copyright © 2001-2008 ChinaUnix.net All Rights Reserved     联系我们:

感谢所有关心和支持过ChinaUnix的朋友们    转载本站内容请注明原作者名及出处

京ICP证041476号


清除 Cookies - ChinaUnix - Archiver - WAP - TOP

Processed in 0.050330 second(s), 4 queries , Gzip enabled