免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 7919 | 回复: 6

[存储网络] 搭建服务器共享存储遇到的问题,求高手解决 [复制链接]

论坛徽章:
0
发表于 2013-07-24 08:53 |显示全部楼层
本帖最后由 laoyao999 于 2013-07-31 09:23 编辑

搭建服务器共享存储遇到的问题,请大家指教
问题描述:

服务器拓扑说明:
拓扑.jpg
如上图,有两台HP服务器,通过光纤连接到HPP2000G3存储,红色连接线为光纤,存储上有A,B两个控制器,服务器上有两块HBA卡,分别通过两台交换机做了冗余连接
软件环境:
操作系统:CentOS 6.4
多路径软件: dm-multipath
存储卷划分:
3块20G的卷,1块1798G的卷 ,1块1338G的卷,1块1000G的卷 ,共6个卷,
如下图,由于是冗余线路,所以使用了多路径配置,这6个卷在linux下表现为12块原始路径(以/dev/sd*开头),通过多路经软件虚拟出来6个路径,其中/dev/sda是服务器本地硬盘,挂载在/目录下
QQ20130723144412.jpg
通过multipath -ll命令,查询出各个虚拟路径对应的访问路径
QQ图片20130723144517.jpg
我的问题如下:
服务器软硬件环境搭建好后,我用dd命令进行了写入速度测试,测试结果如下

1k.jpg
8k.jpg
如下截图:分别使用1K数据块,和8K数据块对存储的原始路径和虚拟路径做了写速度测试,速度汇总如下表
  
  
1K
8K
  
存储原始路径
  
/dev/sdh
  
309MB/s
711MB/s
  
存储原始路径
  
/dev/sdb
  
310MB/s
874MB/s
  
存储虚拟路径
  
/dev/mapper/mpathb
  
20.7MB/s
318MB/s
  
本机硬盘
  
175MB/s
451MB/s

从上表可以看出,每次使用虚拟路径测试的时候,写入速度就非常慢,比原始要慢好几倍,求助各位给看看这是为什么?

论坛徽章:
1
操作系统版块每日发帖之星
日期:2016-02-18 06:20:00
发表于 2013-07-24 10:13 |显示全部楼层
没加权重吧,数据走不同路径要等组合

论坛徽章:
0
发表于 2013-07-24 10:18 |显示全部楼层
回复 2# spook

怎么加:请指教,下面是我的multipath.conf文件内容

defaults {
        user_friendly_names yes
        no_path_retry 2
        features "0"
}
devices{
       device {
               vendor                  "HP"
               product                 "P2000 G3 FC|P2000G3 FC/iSCSI|P2000 G3 SAS|P2000 G3 iSCS"
               getuid_callout          "/lib/udev/scsi_id --whitelisted --device=/dev/%n"
               features                "0"
               hardware_handler        "0"
               path_selector           "round-robin 0"
               path_grouping_policy    group_by_prio
               rr_weight               uniform
               no_path_retry           18
               rr_min_io               100
               path_checker            tur
               prio                    hp_sw
       }
}
blacklist {
        devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
        devnode "^hd[a-z]"
        devnode "^dcssblk[0-9]*"
        device {
                vendor "DGC"
                product "LUNZ"
        }
        device {
                vendor "IBM"
                product "S/390.*"
        }
        # don't count normal SATA devices as multipaths
        device {
                vendor  "ATA"
        }
        # don't count 3ware devices as multipaths
        device {
                vendor  "3ware"
        }
        device {
                vendor  "AMCC"
        }
        # nor highpoint devices
        device {
                vendor  "HPT"
        }
        wwid "3600508b1001c58e267a1fb162926702f"
        device {
                vendor hp
                product DVD_A_DS8A8SH
        }
        wwid "*"
}
blacklist_exceptions {
        wwid "3600c0ff000194d7cf2da6e5101000000"
        wwid "3600c0ff00010e58957ac905102000000"
        wwid "3600c0ff00010e58957ac905101000000"
        wwid "3600c0ff00010e58957ac905103000000"
        wwid "3600c0ff00010e5891ead905101000000"
        wwid "3600c0ff00010e5893dad905101000000"
}
multipaths {
        multipath {
                uid 0
                gid 0
                wwid "3600c0ff000194d7cf2da6e5101000000"
                mode 0600
        }
        multipath {
                uid 0
                gid 0
                wwid "3600c0ff00010e58957ac905102000000"
                mode 0600
        }
        multipath {
                uid 0
                gid 0
                wwid "3600c0ff00010e58957ac905101000000"
                mode 0600
        }
        multipath {
                uid 0
                gid 0
                wwid "3600c0ff00010e58957ac905103000000"
                mode 0600
        }
        multipath {
                uid 0
                gid 0
                wwid "3600c0ff00010e5891ead905101000000"
                mode 0600
        }
        multipath {
                uid 0
                gid 0
                wwid "3600c0ff00010e5893dad905101000000"
                mode 0600
        }
}
   

论坛徽章:
1
操作系统版块每日发帖之星
日期:2016-02-18 06:20:00
发表于 2013-07-24 10:25 |显示全部楼层
不会 ,不好意思

论坛徽章:
0
发表于 2013-07-24 11:15 |显示全部楼层
交换机zone怎么配置的?确定每个盘是2条路径?

论坛徽章:
13
技术图书徽章
日期:2014-04-29 14:15:42IT运维版块每日发帖之星
日期:2015-12-12 06:20:00IT运维版块每日发帖之星
日期:2015-08-30 06:20:00IT运维版块每日发帖之星
日期:2015-08-24 06:20:00IT运维版块每日发帖之星
日期:2015-08-02 06:20:002015年亚洲杯之澳大利亚
日期:2015-04-03 15:03:12申猴
日期:2015-03-20 09:00:292015年迎新春徽章
日期:2015-03-04 09:54:452015年辞旧岁徽章
日期:2015-03-03 16:54:15季节之章:冬
日期:2015-01-20 17:08:47双子座
日期:2014-11-21 16:30:31技术图书徽章
日期:2014-07-11 16:29:08
发表于 2013-07-24 23:04 |显示全部楼层
本帖最后由 dengbao2001 于 2013-07-24 23:04 编辑

仔细看了楼主的拓扑和Linux的配置文件,大概与我之前的环境的差不多。

不过我个人倒是没有做DD测试,如果情况允许,建议你在存储级别监控速度,以当前的配置来看,看不出什么问题

如果日后使用,还是使用多路径设备的,不过强烈建议做成LVM

论坛徽章:
0
发表于 2013-07-26 09:09 |显示全部楼层
jxguiyang001 发表于 2013-07-24 11:15
交换机zone怎么配置的?确定每个盘是2条路径?


确定每个盘是两条路径
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

DTCC2020中国数据库技术大会

【架构革新 高效可控】2020年12月21日-23日第十一届中国数据库技术大会将在北京隆重召开。

大会设置2大主会场,20+技术专场,将邀请超百位行业专家,重点围绕数据架构、AI与大数据、传统企业数据库实践和国产开源数据库等内容展开分享和探讨,为广大数据领域从业人士提供一场年度盛会和交流平台。

http://dtcc.it168.com


大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP