搭建服务器共享存储遇到的问题,求高手解决

laoyao999 发表于 2013-07-24 08:53

本帖最后由 laoyao999 于 2013-07-31 09:23 编辑

搭建服务器共享存储遇到的问题,请大家指教
问题描述:

服务器拓扑说明:

如上图,有两台HP服务器,通过光纤连接到HPP2000G3存储,红色连接线为光纤,存储上有A,B两个控制器,服务器上有两块HBA卡,分别通过两台交换机做了冗余连接
软件环境:
操作系统:CentOS 6.4
多路径软件: dm-multipath
存储卷划分:
3块20G的卷,1块1798G的卷 ,1块1338G的卷,1块1000G的卷 ,共6个卷,
如下图,由于是冗余线路,所以使用了多路径配置,这6个卷在linux下表现为12块原始路径(以/dev/sd*开头),通过多路经软件虚拟出来6个路径,其中/dev/sda是服务器本地硬盘,挂载在/目录下

通过multipath -ll命令,查询出各个虚拟路径对应的访问路径

我的问题如下:
服务器软硬件环境搭建好后,我用dd命令进行了写入速度测试,测试结果如下

如下截图:分别使用1K数据块,和8K数据块对存储的原始路径和虚拟路径做了写速度测试,速度汇总如下表

1K8K
存储原始路径/dev/sdh309MB/s711MB/s
存储原始路径/dev/sdb310MB/s874MB/s
存储虚拟路径/dev/mapper/mpathb20.7MB/s318MB/s
本机硬盘175MB/s451MB/s

从上表可以看出,每次使用虚拟路径测试的时候,写入速度就非常慢,比原始要慢好几倍,求助各位给看看这是为什么?

spook 发表于 2013-07-24 10:13

没加权重吧，数据走不同路径要等组合

laoyao999 发表于 2013-07-24 10:18

回复 2# spook

怎么加:请指教,下面是我的multipath.conf文件内容

defaults {
user_friendly_names yes
   no_path_retry 2
   features "0"
}
devices{
   device {
            vendor                "HP"
            product             "P2000 G3 FC|P2000G3 FC/iSCSI|P2000 G3 SAS|P2000 G3 iSCS"
            getuid_callout       "/lib/udev/scsi_id --whitelisted --device=/dev/%n"
            features             "0"
            hardware_handler    "0"
            path_selector       "round-robin 0"
            path_grouping_policy group_by_prio
            rr_weight             uniform
            no_path_retry       18
            rr_min_io             100
            path_checker          tur
            prio                hp_sw
   }
}
blacklist {
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)*"
devnode "^hd"
devnode "^dcssblk*"
device {
vendor "DGC"
product "LUNZ"
}
device {
vendor "IBM"
product "S/390.*"
}
# don't count normal SATA devices as multipaths
device {
vendor"ATA"
}
# don't count 3ware devices as multipaths
device {
vendor"3ware"
}
device {
vendor"AMCC"
}
# nor highpoint devices
device {
vendor"HPT"
}
wwid "3600508b1001c58e267a1fb162926702f"
device {
vendor hp
product DVD_A_DS8A8SH
}
wwid "*"
}
blacklist_exceptions {
wwid "3600c0ff000194d7cf2da6e5101000000"
wwid "3600c0ff00010e58957ac905102000000"
wwid "3600c0ff00010e58957ac905101000000"
wwid "3600c0ff00010e58957ac905103000000"
wwid "3600c0ff00010e5891ead905101000000"
wwid "3600c0ff00010e5893dad905101000000"
}
multipaths {
multipath {
uid 0
gid 0
wwid "3600c0ff000194d7cf2da6e5101000000"
mode 0600
}
multipath {
uid 0
gid 0
wwid "3600c0ff00010e58957ac905102000000"
mode 0600
}
multipath {
uid 0
gid 0
wwid "3600c0ff00010e58957ac905101000000"
mode 0600
}
multipath {
uid 0
gid 0
wwid "3600c0ff00010e58957ac905103000000"
mode 0600
}
multipath {
uid 0
gid 0
wwid "3600c0ff00010e5891ead905101000000"
mode 0600
}
multipath {
uid 0
gid 0
wwid "3600c0ff00010e5893dad905101000000"
mode 0600
}
}

spook 发表于 2013-07-24 10:25

不会，不好意思

jxguiyang001 发表于 2013-07-24 11:15

交换机zone怎么配置的？确定每个盘是2条路径？

dengbao2001 发表于 2013-07-24 23:04

本帖最后由 dengbao2001 于 2013-07-24 23:04 编辑

仔细看了楼主的拓扑和Linux的配置文件，大概与我之前的环境的差不多。

不过我个人倒是没有做DD测试，如果情况允许，建议你在存储级别监控速度，以当前的配置来看，看不出什么问题

如果日后使用，还是使用多路径设备的，不过强烈建议做成LVM

laoyao999 发表于 2013-07-26 09:09

jxguiyang001 发表于 2013-07-24 11:15 static/image/common/back.gif
交换机zone怎么配置的？确定每个盘是2条路径？

确定每个盘是两条路径

页: [1]

Chinaunix's Archiver

搭建服务器共享存储遇到的问题,求高手解决