请问一个同步效率问题

liangfeng_mic

版主您好：
            我部署的一个组中，包含两个storage（A和B）。我向A不停地上传100万个小文件（每个2k左右），B将自动从A同步所有的上传文件。
      B也确实不停地从A同步文件，但是同步的速度似乎很慢。我大概观察了一下，似乎同步过程是分批进行的，每一批为279个文件。
      请问版主，是否有加速同步的办法？另外，机器性能绝对没有问题，cpu和io负荷都不高。
                                                                     谢谢！

happy_fish100

回复 1# liangfeng_mic

你看的binlog.xxx么？为了提高写文件的效率，这个文件是批量写入的。
参见storage.conf如下参数：
# sync binlog buff / cache to disk every interval seconds
# this parameter is valid when write_to_binlog set to 1
# default value is 60 seconds
sync_binlog_buff_interval=60

缺省配置是1分钟后将更新信息刷到binlog文件中。

liangfeng_mic

感谢版主的回答！
我的确是通过binlog.000中的日志行来观察的，不过我感觉是每10秒钟就有数据写入了，而且每批都是279行。
我现在比较关心的是为什么每批只有279行，我的storage B从A上同步完250万个1K大小的文件，花了整整一天还多一些的时间，我觉得这个速度慢了。
不知版主是否能够帮忙解释一下，有办法能让同步更快一些吗？我大胆猜测一下，是否是同步时采用了单线程复制？
                        谢谢啦！

happy_fish100

回复 3# liangfeng_mic

到一台目标storage server，的确采用的是单线程复制方式。
文件太多太小，同步的确会比较慢。

liangfeng_mic

回复 4# happy_fish100


    好的，感谢您的答案。