BBS.ChinaUnix.net
首页
|
新闻
|
Linux
|
FreeBSD
|
AIX
|
Windows
|
博客
|
论坛
|
存储
|
网络
|
人才
|
Wiki
|
资料
|
读书
|
手册
|
下载
|
空间
|
搜索
会员:
密码:
免费注册
|
忘记密码
|
会员登录
|
搜索
|
帮助
开一篇用文件还是数据库的争论,讨论文件IO
‹‹
1
2
3
››
首页
»
论坛
»
C/C++
»
论坛跳转 ...
> Functional编程
> 数据仓库与数据挖掘
> 门户网站运维
> Linux论坛
> BSD
> BSD文档中心
> Solaris
> Solaris文档中心
> 互操作专区
> AIX
> AIX文档中心
> AS400
> HP-UX
> HP文档中心
> SCO UNIX
> SCO文档中心
> Tru64 UNIX
> IRIX
> Mac OS X
> C/C++
> Shell
> Java
> Java文档中心
> Php
> php文档中心
> Perl
> Python
> Python文档中心
> Web开发
> 软件工程
> 中间件技术
> GUI编程
> 软件配置管理
> VOIP开发技术
> CPU与编译器
> Ruby
> OpenAPI
> 安全技术
> 网络技术
> 网络技术文档中心
> 存储备份之家
> 存储文档中心
> 存储业界
> 服务器及硬件技术
> MySQL
> MySQL文档中心
> Sybase
> Oracle
> PostgreSQL
> DB2
> Informix
> Web服务器
> Mail服务器
> FTP服务器
> DNS服务器
> Proxy服务器
> LDAP
> VPN
> Lotus
> Samba
> 金融行业
> 电信行业
> 互联网行业
> 制造行业
> 医卫行业
> 教育行业
> 电子政务
> 信息安全
> 交通行业
> IT业界新闻与评论
> IT职业生涯
> IT培训与认证
> IT二手大厅
> IT图书与评论
> 清茶斋
> 投资理财
> 运动地带
> 北京2008奥运专版
> 快乐数码摄影
> 《奥运之夏》摄影赛专区
> 影音文字
> English Forum
> 游戏玩家
> 旅游天下
> IT爱车族
> 文学小说
> CU活动专区
> 主题推广专区
> 站务交流
> 博客站务交流区
> 下载频道交流区
> 空间圈子交流区
最近访问的论坛 ...
AMD四核皓龙处理技术与应用
|
时代冠军主机588元/两年
|
送Windows新书+500分+2G U盘
|
"奥运之夏"获奖摄影作品展示
[
打印
] [
订阅
] [
收藏
] [
本帖文本页
] [
推荐此主题给朋友,立即获积分
]
calculator
侠客
UID:673875
注册:2008-3-6
最后登录: 2008-05-14
帖子:
17
精华:0
可用积分:517 (稍有积蓄)
信誉积分:0
专家积分:0 (本版:0)
空间积分:0
推广积分:0
状态:
...离线...
[
个人空间
] [
短信
] [
博客
]
[
推广获积分
]
11楼
发表于 2008-5-14 21:42
QUOTE:
原帖由
jamesr
于 2008-5-14 19:45 发表
注意要使用reiserfs。
一个任务的瓶颈会有很多可能,文件系统性能也应该考虑在内。
我也觉得这个影响大,大量的小文件还是选用r*fs,当然你要考虑考虑它的作者入狱给你带来的影响~~
您对本贴的看法:
鲜花[0]
臭蛋[0]
__________________________________
祸害~~
积分兑换专区
|
IT节能和TPC-E活动获奖名单
|
致电800-858-2903,了解DELL如何为你量身订制笔记本
|
送2G U盘
|
站长如何获得资金?
Roemer
光明使者
无印良品
UID:695086
注册:2008-4-21
最后登录: 2008-10-16
帖子:
929
精华:0
可用积分:1770 (家境小康)
信誉积分:0
专家积分:35 (本版:10)
空间积分:805
推广积分:10
状态:
...离线...
[
个人空间
] [
短信
] [
博客
]
[
推广获积分
]
12楼
发表于 2008-5-14 23:06
回复 #11 calculator 的帖子
关键是这个系统以后还会维护、更新吗?
您对本贴的看法:
鲜花[0]
臭蛋[0]
__________________________________
Life is a Box of Chocolate ...
积分兑换专区
|
IT节能和TPC-E活动获奖名单
|
致电800-858-2903,了解DELL如何为你量身订制笔记本
|
送2G U盘
|
站长如何获得资金?
benjiam
(xxxx)
天使
UID:59508
注册:2003-5-27
最后登录: 2008-10-09
帖子:
1468
精华:0
可用积分:1289 (家境小康)
信誉积分:105
专家积分:20 (本版:20)
空间积分:0
推广积分:0
状态:
...离线...
[
个人空间
] [
短信
] [
博客
]
[
推广获积分
]
13楼
发表于 2008-5-15 09:05
文件下载后直接保存在本地目录,设置文件时间和FTP的LIST信息一致,不允许其它程序删除,这个方案运行时发生inode被用光问题
??? 文件数目太多? 如果这样, 你除了将文件保存在db里面 或者将多个文件合并起来,还有其他的解决方案吗?
不允许其它程序删除
这个业务里面有个特殊需求:那就是同步到本地的文件,有可能被另外的应用程序删除,也有可能原地不动,但绝不会被修改,
这个实现和要求页抵触了吧?
您对本贴的看法:
鲜花[0]
臭蛋[0]
积分兑换专区
|
IT节能和TPC-E活动获奖名单
|
致电800-858-2903,了解DELL如何为你量身订制笔记本
|
送2G U盘
|
站长如何获得资金?
Sorehead
光明使者
UID:161134
注册:2004-5-27
最后登录: 2008-10-10
帖子:
763
精华:0
可用积分:928 (稍有积蓄)
信誉积分:100
专家积分:40 (本版:40)
空间积分:0
推广积分:0
来自:北京
状态:
...离线...
[
个人空间
] [
短信
] [
博客
]
[
推广获积分
]
14楼
发表于 2008-5-15 11:46
QUOTE:
原帖由
safedead
于 2008-5-14 12:46 发表
rsync ??
以前用过rsync
印象不是一般的差
100万文件就慢的一塌糊涂
我用着感觉挺好。
100万文件肯定是会慢,可是自己写这样的程序就能保证比rsync快吗。
您对本贴的看法:
鲜花[0]
臭蛋[0]
积分兑换专区
|
IT节能和TPC-E活动获奖名单
|
致电800-858-2903,了解DELL如何为你量身订制笔记本
|
送2G U盘
|
站长如何获得资金?
Sorehead
光明使者
UID:161134
注册:2004-5-27
最后登录: 2008-10-10
帖子:
763
精华:0
可用积分:928 (稍有积蓄)
信誉积分:100
专家积分:40 (本版:40)
空间积分:0
推广积分:0
来自:北京
状态:
...离线...
[
个人空间
] [
短信
] [
博客
]
[
推广获积分
]
15楼
发表于 2008-5-15 13:21
rsync肯定采用了某种中间机制,每次同步时并不会直接去读取源机器所有的文件,所以更新是非常快的。
我这里应用的情况是:大约6、7万个文件,占用9G多的空间,两台机器在同一个100M局域网,两边一致的情况下,同步一下1秒不到。此外,源端经常会新增5000个文件,这时候再同步,一般不到1分钟。
您对本贴的看法:
鲜花[0]
臭蛋[0]
积分兑换专区
|
IT节能和TPC-E活动获奖名单
|
致电800-858-2903,了解DELL如何为你量身订制笔记本
|
送2G U盘
|
站长如何获得资金?
Magicloud
(Magicloud)
风云使者
UID:97921
注册:2003-9-17
最后登录: 2008-09-28
帖子:
547
精华:0
可用积分:548 (稍有积蓄)
信誉积分:100
专家积分:5 (本版:5)
空间积分:0
推广积分:0
状态:
...离线...
[
个人空间
] [
短信
] [
博客
]
[
推广获积分
]
16楼
发表于 2008-5-15 13:58
想问楼主几个问题:
两机之间是什么线路?局域网、互联网?
这个同步是主从式的吗?
这个同步操作频繁吗?
需要这个同步操作发生时,两机负载如何?
未更新的文件被重复下载了会如何?
源机上的文件分布如何?比如是否有多级目录等。
其实我觉得这个问题的本质不是“数据库与文件的选择”,而是功能实现的策略、角度问题。
您对本贴的看法:
鲜花[0]
臭蛋[0]
__________________________________
竹密岂妨流水过
山高哪阻野云飞
积分兑换专区
|
IT节能和TPC-E活动获奖名单
|
致电800-858-2903,了解DELL如何为你量身订制笔记本
|
送2G U盘
|
站长如何获得资金?
jamesr
大天使
人在CU飘,挨刀我就跑
UID:362823
注册:2006-1-13
最后登录: 2008-10-08
帖子:
2303
精华:
1
可用积分:3140 (小富即安)
信誉积分:100
专家积分:50 (本版:30)
空间积分:2
推广积分:0
状态:
...离线...
[
个人空间
] [
短信
] [
博客
]
[
推广获积分
]
17楼
发表于 2008-5-15 18:33
QUOTE:
原帖由
Roemer
于 2008-5-14 23:06 发表
关键是这个系统以后还会维护、更新吗?
已经进入了Linux内核了,也就意味着,如果没有更好的替代品,它就永生了!(当然Linux死了,它也可能会死)。
根本不用担心是否有人会去维护、更新,当有需要时,会有人去做的。
您对本贴的看法:
鲜花[0]
臭蛋[0]
__________________________________
欢迎参加《Object-oriented Programming with ANSI-C》的翻译:
http://wiki.chinaunix.net/index.php/OOC
Everest 0.5正式发布!
积分兑换专区
|
IT节能和TPC-E活动获奖名单
|
致电800-858-2903,了解DELL如何为你量身订制笔记本
|
送2G U盘
|
站长如何获得资金?
system888net
天使
UID:304970
注册:2005-8-21
最后登录: 2008-10-15
帖子:
1281
精华:
1
可用积分:3395 (小富即安)
信誉积分:100
专家积分:140 (本版:50)
空间积分:0
推广积分:0
状态:
...离线...
[
个人空间
] [
短信
] [
博客
]
[
推广获积分
]
18楼
发表于 2008-5-18 23:22
用并行吧!
您对本贴的看法:
鲜花[0]
臭蛋[0]
积分兑换专区
|
IT节能和TPC-E活动获奖名单
|
致电800-858-2903,了解DELL如何为你量身订制笔记本
|
送2G U盘
|
站长如何获得资金?
safedead
风云使者
UID:407631
注册:2006-4-23
最后登录: 2008-09-28
帖子:
470
精华:0
可用积分:520 (稍有积蓄)
信誉积分:100
专家积分:51 (本版:51)
空间积分:0
推广积分:0
状态:
...离线...
[
个人空间
] [
短信
] [
博客
]
[
推广获积分
]
19楼
发表于 2008-5-19 09:37
QUOTE:
原帖由
Sorehead
于 2008-5-15 13:21 发表
rsync肯定采用了某种中间机制,每次同步时并不会直接去读取源机器所有的文件,所以更新是非常快的。
我这里应用的情况是:大约6、7万个文件,占用9G多的空间,两台机器在同一个100M局域网,两边一致的情况下, ...
如果一个文件夹下面有50万文件,rsync还能用吗?
真实系统是这样的
源FTP下面有不到2000个子目录,目录树一共就两层,根目录和一级子目录
文件数量在1亿左右
单个文件夹最大有100万个文件
如果能用rsync,我编这个扯淡程序干嘛?
用户那边有的是LINUX开发人员
这个是特定条件下的特定业务,我没办法改变用户的应用环境
源服务器是个有64G内存的小机,有阵列柜
您对本贴的看法:
鲜花[0]
臭蛋[0]
积分兑换专区
|
IT节能和TPC-E活动获奖名单
|
致电800-858-2903,了解DELL如何为你量身订制笔记本
|
送2G U盘
|
站长如何获得资金?
ideawu
天使
UID:350143
注册:2005-12-15
最后登录: 2008-10-15
帖子:
1416
精华:0
可用积分:1037 (家境小康)
信誉积分:100
专家积分:10 (本版:10)
空间积分:0
推广积分:0
状态:
...离线...
[
个人空间
] [
短信
] [
博客
]
[
推广获积分
]
20楼
发表于 2008-5-19 11:17
楼主, 我从方案一中看不出inode被用光的原因, 能否解释下?
您对本贴的看法:
鲜花[0]
臭蛋[0]
__________________________________
my resume
积分兑换专区
|
IT节能和TPC-E活动获奖名单
|
致电800-858-2903,了解DELL如何为你量身订制笔记本
|
送2G U盘
|
站长如何获得资金?
首页
»
论坛
»
C/C++
»
‹‹
1
2
3
››
论坛跳转 ...
> Functional编程
> 数据仓库与数据挖掘
> 门户网站运维
> Linux论坛
> BSD
> BSD文档中心
> Solaris
> Solaris文档中心
> 互操作专区
> AIX
> AIX文档中心
> AS400
> HP-UX
> HP文档中心
> SCO UNIX
> SCO文档中心
> Tru64 UNIX
> IRIX
> Mac OS X
> C/C++
> Shell
> Java
> Java文档中心
> Php
> php文档中心
> Perl
> Python
> Python文档中心
> Web开发
> 软件工程
> 中间件技术
> GUI编程
> 软件配置管理
> VOIP开发技术
> CPU与编译器
> Ruby
> OpenAPI
> 安全技术
> 网络技术
> 网络技术文档中心
> 存储备份之家
> 存储文档中心
> 存储业界
> 服务器及硬件技术
> MySQL
> MySQL文档中心
> Sybase
> Oracle
> PostgreSQL
> DB2
> Informix
> Web服务器
> Mail服务器
> FTP服务器
> DNS服务器
> Proxy服务器
> LDAP
> VPN
> Lotus
> Samba
> 金融行业
> 电信行业
> 互联网行业
> 制造行业
> 医卫行业
> 教育行业
> 电子政务
> 信息安全
> 交通行业
> IT业界新闻与评论
> IT职业生涯
> IT培训与认证
> IT二手大厅
> IT图书与评论
> 清茶斋
> 投资理财
> 运动地带
> 北京2008奥运专版
> 快乐数码摄影
> 《奥运之夏》摄影赛专区
> 影音文字
> English Forum
> 游戏玩家
> 旅游天下
> IT爱车族
> 文学小说
> CU活动专区
> 主题推广专区
> 站务交流
> 博客站务交流区
> 下载频道交流区
> 空间圈子交流区
控制面板首页
编辑个人资料
积分交易
公众用户组
好友列表
个人空间管理
升级个人空间
基本概况
论坛排行
主题排行
发帖排行
积分排行
在线时间
管理团队
管理统计
Copyright © 2001-2008 ChinaUnix.net All Rights Reserved 联系我们:
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处
京ICP证041476号
清除 Cookies
-
ChinaUnix
-
Archiver
-
WAP
-
TOP
Processed in 0.050330 second(s), 4 queries , Gzip enabled
控制面板首页
编辑个人资料
积分交易
公众用户组
好友列表
个人空间管理
升级个人空间
基本概况
论坛排行
主题排行
发帖排行
积分排行
在线时间
管理团队
管理统计