免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 2890 | 回复: 6
打印 上一主题 下一主题

大量小文件,如何同步? [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2010-01-18 21:39 |只看该作者 |正序浏览
我现在有台服务器,上面有上T的小文件,由于磁盘空间即将用满,需要迁移服务器。

请教几个问题:

1. SAS和STAT硬盘的性能差在哪里?具体有哪些指标?
2. SAS 7200转速和SAS 10000转速具体差在哪里?
3. 我通过rsync做同步,效率很慢,有没有更好的方式?

在线等,请高手赐教!指点一二,不胜感激!

论坛徽章:
0
7 [报告]
发表于 2010-01-19 17:05 |只看该作者
常用。。。还要考虑性能。。。。有点麻烦。。。

有大量的小文件,如果要通过操作系统来读的话,肯定慢。。。看能不能绕过文件系统来拷贝。。。暂时还没想到办法

要不试试nfs吧。。。把系统新生成的文件放到新硬盘,同时把旧数据拷贝到新硬盘。。。

不知道lz的环境会不会很复杂。。。。其实想想,还有其他办法,iscsi那些,就是不太清楚你的环境,不知道怎么来满足你的需求

我技术也有限:em11:

[ 本帖最后由 yumanifold 于 2010-1-19 17:10 编辑 ]

论坛徽章:
0
6 [报告]
发表于 2010-01-19 11:00 |只看该作者
文件常用,并且在同步时要保证源文件的可用性和存放源文件服务器的性能。

论坛徽章:
0
5 [报告]
发表于 2010-01-19 10:37 |只看该作者
先问问,你这些文件常用的吗?如果是以前的备份数据不常用的话就干脆打包了再传过去吧,这样会快一点。。。

否则就把硬盘挂到服务器上,用dd对拷吧。。。

论坛徽章:
0
4 [报告]
发表于 2010-01-19 00:21 |只看该作者
通过网络同步数据。

如果访问量很大的情况下,并发会成为瓶颈吗? 这条服务器的前端有CACHE。

论坛徽章:
0
3 [报告]
发表于 2010-01-18 21:50 |只看该作者
1.差在并发操作。
2.应该还是差在并发操作上
3.通过网络?还是disk to disk?

论坛徽章:
0
2 [报告]
发表于 2010-01-18 21:43 |只看该作者
追加一个问题:

如果做RAID 5,DAIR卡的CACHE是否有要求?
  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP