搭建服务器共享存储遇到的问题,求高手解决

laoyao999

搭建服务器共享存储遇到的问题,请大家指教
问题描述:

服务器拓扑说明:

如上图,有两台HP服务器,通过光纤连接到HPP2000G3存储,红色连接线为光纤,存储上有A,B两个控制器,服务器上有两块HBA卡,分别通过两台交换机做了冗余连接
软件环境:
操作系统:CentOS 6.4
多路径软件: dm-multipath
存储卷划分:
3块20G的卷,1块1798G的卷 ,1块1338G的卷,1块1000G的卷 ,共6个卷,
如下图,由于是冗余线路,所以使用了多路径配置,这6个卷在linux下表现为12块原始路径(以/dev/sd*开头),通过多路经软件虚拟出来6个路径,其中/dev/sda是服务器本地硬盘,挂载在/目录下

通过multipath -ll命令,查询出各个虚拟路径对应的访问路径

我的问题如下:
服务器软硬件环境搭建好后,我用dd命令进行了写入速度测试,测试结果如下



如下截图:分别使用1K数据块,和8K数据块对存储的原始路径和虚拟路径做了写速度测试,速度汇总如下表

	1K	8K
存储原始路径    /dev/sdh	309MB/s	711MB/s
存储原始路径    /dev/sdb	310MB/s	874MB/s
存储虚拟路径    /dev/mapper/mpathb	20.7MB/s	318MB/s
本机硬盘	175MB/s	451MB/s

从上表可以看出,每次使用虚拟路径测试的时候,写入速度就非常慢,比原始要慢好几倍,求助各位给看看这是为什么?

spook

没加权重吧，数据走不同路径要等组合

laoyao999

回复 2# spook

怎么加:请指教,下面是我的multipath.conf文件内容

defaults {
        user_friendly_names yes
        no_path_retry 2
        features "0"
}
devices{
       device {
               vendor                  "HP"
               product                 "P2000 G3 FC|P2000G3 FC/iSCSI|P2000 G3 SAS|P2000 G3 iSCS"
               getuid_callout          "/lib/udev/scsi_id --whitelisted --device=/dev/%n"
               features                "0"
               hardware_handler        "0"
               path_selector           "round-robin 0"
               path_grouping_policy    group_by_prio
               rr_weight               uniform
               no_path_retry           18
               rr_min_io               100
               path_checker            tur
               prio                    hp_sw
       }
}
blacklist {
        devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
        devnode "^hd[a-z]"
        devnode "^dcssblk[0-9]*"
        device {
                vendor "DGC"
                product "LUNZ"
        }
        device {
                vendor "IBM"
                product "S/390.*"
        }
        # don't count normal SATA devices as multipaths
        device {
                vendor  "ATA"
        }
        # don't count 3ware devices as multipaths
        device {
                vendor  "3ware"
        }
        device {
                vendor  "AMCC"
        }
        # nor highpoint devices
        device {
                vendor  "HPT"
        }
        wwid "3600508b1001c58e267a1fb162926702f"
        device {
                vendor hp
                product DVD_A_DS8A8SH
        }
        wwid "*"
}
blacklist_exceptions {
        wwid "3600c0ff000194d7cf2da6e5101000000"
        wwid "3600c0ff00010e58957ac905102000000"
        wwid "3600c0ff00010e58957ac905101000000"
        wwid "3600c0ff00010e58957ac905103000000"
        wwid "3600c0ff00010e5891ead905101000000"
        wwid "3600c0ff00010e5893dad905101000000"
}
multipaths {
        multipath {
                uid 0
                gid 0
                wwid "3600c0ff000194d7cf2da6e5101000000"
                mode 0600
        }
        multipath {
                uid 0
                gid 0
                wwid "3600c0ff00010e58957ac905102000000"
                mode 0600
        }
        multipath {
                uid 0
                gid 0
                wwid "3600c0ff00010e58957ac905101000000"
                mode 0600
        }
        multipath {
                uid 0
                gid 0
                wwid "3600c0ff00010e58957ac905103000000"
                mode 0600
        }
        multipath {
                uid 0
                gid 0
                wwid "3600c0ff00010e5891ead905101000000"
                mode 0600
        }
        multipath {
                uid 0
                gid 0
                wwid "3600c0ff00010e5893dad905101000000"
                mode 0600
        }
}
   

spook

不会 ，不好意思

jxguiyang001

交换机zone怎么配置的？确定每个盘是2条路径？

dengbao2001

仔细看了楼主的拓扑和Linux的配置文件，大概与我之前的环境的差不多。

不过我个人倒是没有做DD测试，如果情况允许，建议你在存储级别监控速度，以当前的配置来看，看不出什么问题

如果日后使用，还是使用多路径设备的，不过强烈建议做成LVM

laoyao999

jxguiyang001 发表于 2013-07-24 11:15
交换机zone怎么配置的？确定每个盘是2条路径？

确定每个盘是两条路径