免费注册	查看新帖 \|


平台论坛博客文库

› 论坛 › 操作系统 › Solaris › 如何快速迁移大量小文件数据

最近访问板块

发新帖

查看: 2070 | 回复: 4

上一主题

下一主题

如何快速迁移大量小文件数据 [复制链接]

论坛徽章:: 0

电梯直达

跳转到指定楼层

1楼 [收藏(0)] [报告]

发表于 2012-12-13 15:11 |只看该作者 |倒序浏览

solaris 10 环境.

数据量有1T,但是文件数量有150万,需要搬迁至另外一个目录,因为文件格式不同(zfs,vxfs).
测试阵列的速度完全可以达到每小时500G的读写速度.但是因为文件数量过多,造成迁移数据速度非常慢,不管是cp还是tar包都非常慢,这个时候查看系统的io基本idle80%吧.
有没有类似的经验能够提高迁移数据的速度.

文库|博客

论坛徽章:: 0

2楼 [报告]

发表于 2012-12-14 13:28 |只看该作者

回复 1# zhuhaidong

既然是阵列，同时多个cp，或tar（推荐rsync)如何？

想法而已，没试过

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 20

申猴
日期:2013-09-12 19:39:05

狮子座
日期:2014-07-20 21:19:51

寅虎
日期:2014-08-16 18:37:47

水瓶座
日期:2014-10-15 18:58:25

天蝎座
日期:2015-01-22 18:19:15

NBA常规赛纪念章
日期:2015-05-04 22:32:03

2015亚冠之胡齐斯坦钢铁
日期:2015-06-03 11:28:50

2015亚冠之吉达阿赫利
日期:2015-09-19 12:41:47

午马
日期:2013-09-18 14:36:40

戌狗
日期:2013-09-18 14:44:39

处女座
日期:2013-09-24 17:46:41

CU十二周年纪念徽章
日期:2013-10-24 15:41:34

3楼 [报告]

发表于 2012-12-14 16:24 |只看该作者

用dd吧

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

4楼 [报告]

发表于 2012-12-17 21:57 |只看该作者

跨文件系统的话 DD 也不行的

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 1

2015年辞旧岁徽章
日期:2015-03-03 16:54:15

5楼 [报告]

发表于 2012-12-17 22:47 |只看该作者

如2楼所说,试试rsync吧...

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

发新帖

Chinaunix › 论坛 › 操作系统 › Solaris › 如何快速迁移大量小文件数据

北京盛拓优讯信息技术有限公司. 版权所有京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP