免费注册	查看新帖 \|


平台论坛博客文库

› 论坛 › IT运维 › 服务器应用 › 数十T小文件如图片，同步、备份等如何高效维护？

最近访问板块

发新帖

查看: 2564 | 回复: 8

上一主题

下一主题

[其他] 数十T小文件如图片，同步、备份等如何高效维护？ [复制链接]

论坛徽章:: 0

电梯直达

跳转到指定楼层

1楼 [收藏(0)] [报告]

发表于 2012-06-11 13:21 |只看该作者 |倒序浏览

如题。

生产系统有台图片服务器，raid10、nginx，有数十T的小文件图片居多，且因业务需要还在不断更新文件和生成新文件。
照同样硬软件环境又搭建了一台。用scp、du、rsync等维护时，执行一次就需要十数个小时。
当某台服务器有文件变化，有没有高效的处理办法，能确保两台服务器手工同步、迅速统计这些小文件的数量和大小、部署差异或增量的自动化脚本调度呢？

文库|博客

论坛徽章:: 0

2楼 [报告]

发表于 2012-06-11 16:29 |只看该作者

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 1

荣誉版主
日期:2011-11-23 16:44:17

3楼 [报告]

发表于 2012-06-11 16:43 |只看该作者

rsync + inotify

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

剑啸易水寒

论坛徽章:: 0

4楼 [报告]

发表于 2012-06-11 23:00 |只看该作者

个人以为rsync应该是抗不住的，呵呵，无论是推送还是拉取，都会需要考虑打开文件数和带宽瓶颈，严重情况下直接可能导致站点访问timeout，个人生产经验如此。

个人公司服务器image master 和image slave均14块2T scsi，组建raid60，ext4，解决方案是php+shell增量推送，master提供上传和业务后台，slave提供读取操作，前端页面会有延迟，但公司业务可以接受。

个人感觉这个和前期架构设计有关，后期改动动作会比较大，，，架构改动期间，偶吃苦了~~~~呵呵

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

5楼 [报告]

发表于 2012-06-12 13:05 |只看该作者

好滴谢谢研究下

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

6楼 [报告]

发表于 2012-06-12 16:03 |只看该作者

这个大量的小文件是不是要考虑架构问题了,比如合并成大文件,分布式之类,参考下fb的haystack的设计思路吧.

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

7楼 [报告]

发表于 2012-06-12 16:29 |只看该作者

嗯向fb学习

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

8楼 [报告]

发表于 2012-06-25 14:54 |只看该作者

剑啸易水寒发表于 2012-06-11 23:00
个人以为rsync应该是抗不住的，呵呵，无论是推送还是拉取，都会需要考虑打开文件数和带宽瓶颈，严重情况下直 ...

加了inotifywait+rsync 把监控的文件数开的足够内存几乎耗尽了 inotifywait也挂了

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

剑啸易水寒

论坛徽章:: 0

9楼 [报告]

发表于 2012-06-25 16:15 |只看该作者

回复 8# arkue

这个是必然的，楼主三思，避免蛋疼

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

发新帖

Chinaunix › 论坛 › IT运维 › 服务器应用 › 数十T小文件如图片，同步、备份等如何高效维护？

北京盛拓优讯信息技术有限公司. 版权所有京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP