DRBD同步非常慢，只有500K/S，负载飙升(已解决)

luckysammo_cu

目标：
     DRBD + NFS 高可用
环境：
     * 千兆交换机 + 千兆网卡
     * CentOS release 5.4
     * DRBD 8.3.8
     * 分区使用ext3，大小1.2T
     * mount /dev/drbd0 /data
     * NFS共享/data目录
     * nfs1 DRBD主节点
     * nfs2 DRBD从节点
     * client1 NFS客户端
配置文件（两台机配置相同）：

1. global {
   
2.   usage-count yes;
   
3. }
   
4. 
   
5. common { syncer { al-extents 3389; rate 70M; } }
   
6. 
   
7. resource r0 {
   
8.   protocol C;
   
9.   startup {
   
10.     wfc-timeout 0;
    
11.     degr-wfc-timeout 120;
    
12.   }
    
13. 
    
14.   disk {
    
15.     on-io-error   detach;
    
16.    }
    
17. 
    
18.   net {
    
19.       timeout 60;
    
20.       connect-int 10;
    
21.       ping-int 10;
    
22.       max-buffers 2048;
    
23.       max-epoch-size 2048;
    
24.    }
    
25. 
    
26. on nfs1 {
    
27.    device    /dev/drbd0;
    
28.    disk      /dev/cciss/c0d0p4;
    
29.    address   192.168.1.3:7789;
    
30.    meta-disk internal;
    
31.   }
    
32. 
    
33. on nfs2 {
    
34.    device    /dev/drbd0;
    
35.    disk      /dev/cciss/c0d0p4;
    
36.    address   192.168.1.2:7789;
    
37.    meta-disk internal;
    
38.   }
    
39. }

复制代码

测试：
   写入102MB的文件
   1、本机/data目录测试(正常)：

1. [root@nfs1 data]# time dd if=/dev/zero of=sometestfile3 bs=1024 count=100000
   
2. 100000+0 records in
   
3. 100000+0 records out
   
4. 102400000 bytes (102 MB) copied, 0.389642 seconds, 263 MB/s
   
5. 
   
6. real    0m0.398s
   
7. user    0m0.054s
   
8. sys     0m0.320s

复制代码

每秒查看一次/proc/drbd:

1. [root@nfs1 data]# cat /proc/drbd
   
2. version: 8.3.8 (api:88/proto:86-94)
   
3. GIT-hash: d78846e52224fd00562f7c225bcc25b2d422321d build by mockbuild@builder10.centos.org, 2010-06-04 08:04:09
   
4. 0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r----
   
5.     ns:108772 nr:0 dw:108988 dr:713 al:31 bm:1 lo:8 pe:2049 ua:0 ap:2048 ep:1 wo:b oos:0
   
6. [root@nfs1 data]# cat /proc/drbd
   
7. version: 8.3.8 (api:88/proto:86-94)
   
8. GIT-hash: d78846e52224fd00562f7c225bcc25b2d422321d build by mockbuild@builder10.centos.org, 2010-06-04 08:04:09
   
9. 0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r----
   
10.     ns:109416 nr:0 dw:109576 dr:713 al:31 bm:1 lo:2 pe:2050 ua:0 ap:2049 ep:1 wo:b oos:0

复制代码

PS: 查看dw时，1 秒钟也只同步了 109576 - 108988 = 588
2、NFS客户端测试（nfs1负载飙升）：
     mount -t nfs -o rsize=32768,wsize=32768,timeo=14,nfsvers=3,noatime,nolock 192.168.1.3:/data /mnt/test
    执行：

1. [root@client1]# time dd if=/dev/zero of=sometestfile3 bs=1024 count=100000
   
2. 100000+0 records in
   
3. 100000+0 records out
   
4. 102400000 bytes (102 MB) copied, 179.556 seconds, 570 kB/s
   
5. 
   
6. real    2m59.588s
   
7. user    0m0.043s
   
8. sys     0m0.256s

复制代码

PS： 570 kB/s
       A、nfs1机器：load average从0升到10
       B、NFS客户端： 一直卡着，应该是等待从节点同步成功后，再结束。

求助：
    请大家帮忙看一下，非常感谢！

lingg2010

是什么硬盘？ 是不是被硬盘传输速度卡住了？

关于LOAD，试下 前面放个 ionice -c 3 , 应该可以降下来，我们这个服务器跑了30多个虚拟机的时候，在只有io空闲的情况下，大概是1Mb/s左右 (硬盘是SAS,具体速度不记得了)

luckysammo_cu

谢谢lingg2010的回复。
HP服务器，SAS硬盘，6颗硬盘RAID 5阵列。
我早上把主从DRBD切换了一下，发现写nfs2机器时，速度可以达到13M左右。
我待会测试一下你给的方法。

luckysammo_cu

我测试了 ionice -c 3 ，负载还是很高。
我又做了一个测试了：
1、停止DRBD从机的同步：

1. [root@nfs2 ~]# /etc/init.d/drbd stop
   
2. Stopping all DRBD resources:

复制代码

2、在DRBD主机，写入文件：

1. [root@nfs1 data]# time dd if=/dev/zero of=sometestfile5 bs=1024 count=100000

复制代码

3、开启DRBD从机的同步：

1. [root@nfs2 ~]# cat /proc/drbd
   
2. version: 8.3.8 (api:88/proto:86-94)
   
3. GIT-hash: d78846e52224fd00562f7c225bcc25b2d422321d build by mockbuild@builder10.centos.org, 2010-06-04 08:04:09
   
4. 0: cs:SyncTarget ro:Secondary/Primary ds:Inconsistent/UpToDate C r----
   
5.     ns:0 nr:43780 dw:39300 dr:0 al:0 bm:2 lo:141 pe:3363 ua:140 ap:0 ep:1 wo:b oos:261224
   
6.         [=>..................] sync'ed: 14.9% (261224/300524)K queue_delay: 447.7 ms
   
7.         finish: 0:00:19 speed: 13,100 (13,100) want: 71,680 K/sec

复制代码

PS：同步速度，也有13M左右。不明白，为什么实时同步时，传输只有几百K。

lingg2010

试下：
drbdsetup /dev/drbd/by-res/xxxx syncer -r 2M

相关文档：
http://www.drbd.org/users-guide/s-configure-syncer-rate.html

luckysammo_cu

回复 5# lingg2010

谢谢 lingg2010 的回复。
我动态修改过 syncer ，都没效果，后来使用sysbench测试后，发现磁盘性能比较差。
现在已经换成RAID0了，速度可以达到42M。