zhuhaidong 发表于 2012-12-13 15:11

如何快速迁移大量小文件数据

solaris 10 环境.

数据量有1T,但是文件数量有150万,需要搬迁至另外一个目录,因为文件格式不同(zfs,vxfs).
测试阵列的速度完全可以达到每小时500G的读写速度.但是因为文件数量过多,造成迁移数据速度非常慢,不管是cp还是tar包都非常慢,这个时候查看系统的io基本idle80%吧.
有没有类似的经验能够提高迁移数据的速度.

cuteorange 发表于 2012-12-14 13:28

回复 1# zhuhaidong


    既然是阵列，同时多个cp，或tar（推荐rsync)如何？

想法而已，没试过:D

znnnz 发表于 2012-12-14 16:24

用dd吧      

guopy007 发表于 2012-12-17 21:57

跨文件系统的话 DD 也不行的

非凡公子 发表于 2012-12-17 22:47

如2楼所说,试试rsync吧...
页: [1]
查看完整版本: 如何快速迁移大量小文件数据