关于hitachi多路径软件hdlm知识

xxwang1984

最近在学习hitachi的hdlm知识，遇到一些问题，烦请高手赐教！

# /opt/DynamicLinkManager/bin/dlnkmgr view -lu
Product       : AMS
SerialNumber  : 83040634        
LUs           : 2

iLU  HDevName Device   PathID Status     
0000 sddlmaa  /dev/sdb 000000 Online     
              /dev/sdg 000002 Online     
              /dev/sdd 000004 Offline(E)
              /dev/sdf 000005 Online     
0001 sddlmab  /dev/sdc 000001 Online     
              /dev/sdi 000003 Online     
              /dev/sde 000006 Offline(E)
              /dev/sdh 000007 Online     
KAPL01001-I The HDLM command completed normally. Operation name = view, completion time = 2011/09/28 10:36:33

# /opt/DynamicLinkManager/bin/dlnkmgr view -path
Paths:000008 OnlinePaths:000006
PathStatus   IO-Count    IO-Errors
Reduced      2551375341  704      

PathID PathName                        DskName                                    iLU              ChaPort Status     Type IO-Count   IO-Errors  DNum HDevName
000000 0003.0000.0000000000000000.0000 HITACHI .DF600F          .83040634         0000             1A      Online     Own  2283901562          0    0 sddlmaa
000001 0003.0000.0000000000000000.0001 HITACHI .DF600F          .83040634         0001             1A      Online     Own   959682435          0    0 sddlmab
000002 0003.0000.0000000000000001.0000 HITACHI .DF600F          .83040634         0000             0A      Online     Own  2281424428          0    0 sddlmaa
000003 0003.0000.0000000000000001.0001 HITACHI .DF600F          .83040634         0001             0A      Online     Own  1000636382          0    0 sddlmab
000004 0004.0000.0000000000000000.0000 HITACHI .DF600F          .83040634         0000             0B      Offline(E) Own   591168551          4    0 sddlmaa
000005 0004.0000.0000000000000001.0000 HITACHI .DF600F          .83040634         0000             1B      Online     Own  2288134419          0    0 sddlmaa
000006 0004.0000.0000000000000000.0001 HITACHI .DF600F          .83040634         0001             0B      Offline(E) Own  4226664974        700    0 sddlmab
000007 0004.0000.0000000000000001.0001 HITACHI .DF600F          .83040634         0001             1B      Online     Own  1804664478          0    0 sddlmab
KAPL01001-I The HDLM command completed normally. Operation name = view, completion time = 2011/09/28 10:37:42

# fdisk -l /dev/sddlmaa

WARNING: GPT (GUID Partition Table) detected on '/dev/sddlmaa'! The util fdisk doesn't support GPT. Use GNU Parted.


Disk /dev/sddlmaa: 2947.5 GB, 2947521970176 bytes
255 heads, 63 sectors/track, 358349 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

       Device Boot      Start         End      Blocks   Id  System
/dev/sddlmaa1               1      267350  2147483647+  ee  EFI GPT


# ll /dev/sddlma*
brw-r----- 1 root disk 252,  0 2009-11-08 /dev/sddlmaa
brw-r----- 1 root disk 252,  1 2010-05-07 /dev/sddlmaa1
brw-rw---- 1 root root 252, 10 2009-11-08 /dev/sddlmaa10
brw-rw---- 1 root root 252, 11 2009-11-08 /dev/sddlmaa11
brw-rw---- 1 root root 252, 12 2009-11-08 /dev/sddlmaa12
brw-rw---- 1 root root 252, 13 2009-11-08 /dev/sddlmaa13
brw-rw---- 1 root root 252, 14 2009-11-08 /dev/sddlmaa14
brw-rw---- 1 root root 252, 15 2009-11-08 /dev/sddlmaa15
brw-r----- 1 root disk 252,  2 2010-05-07 /dev/sddlmaa2
brw-rw---- 1 root root 252,  3 2009-11-08 /dev/sddlmaa3
brw-rw---- 1 root root 252,  4 2009-11-08 /dev/sddlmaa4
brw-rw---- 1 root root 252,  5 2009-11-08 /dev/sddlmaa5
brw-rw---- 1 root root 252,  6 2009-11-08 /dev/sddlmaa6
brw-rw---- 1 root root 252,  7 2009-11-08 /dev/sddlmaa7
brw-rw---- 1 root root 252,  8 2009-11-08 /dev/sddlmaa8
brw-rw---- 1 root root 252,  9 2009-11-08 /dev/sddlmaa9
brw-r----- 1 root disk 252, 16 2009-11-08 /dev/sddlmab
brw-r----- 1 root disk 252, 17 2011-02-10 /dev/sddlmab1
brw-rw---- 1 root root 252, 26 2009-11-08 /dev/sddlmab10
brw-rw---- 1 root root 252, 27 2009-11-08 /dev/sddlmab11
brw-rw---- 1 root root 252, 28 2009-11-08 /dev/sddlmab12
brw-rw---- 1 root root 252, 29 2009-11-08 /dev/sddlmab13
brw-rw---- 1 root root 252, 30 2009-11-08 /dev/sddlmab14
brw-rw---- 1 root root 252, 31 2009-11-08 /dev/sddlmab15
brw-r----- 1 root disk 252, 18 2011-02-10 /dev/sddlmab2
brw-rw---- 1 root root 252, 19 2009-11-08 /dev/sddlmab3
brw-rw---- 1 root root 252, 20 2009-11-08 /dev/sddlmab4
brw-rw---- 1 root root 252, 21 2009-11-08 /dev/sddlmab5
brw-rw---- 1 root root 252, 22 2009-11-08 /dev/sddlmab6
brw-rw---- 1 root root 252, 23 2009-11-08 /dev/sddlmab7
brw-rw---- 1 root root 252, 24 2009-11-08 /dev/sddlmab8
brw-rw---- 1 root root 252, 25 2009-11-08 /dev/sddlmab9


# pvscan
  PV /dev/sddlmab1   VG vgarch   lvm2 [1.34 TB / 1.01 TB free]
  PV /dev/sddlmab2   VG vgarch   lvm2 [1.34 TB / 372.25 GB free]
  PV /dev/sddlmaa1   VG vgdata   lvm2 [1.34 TB / 3.50 GB free]
  PV /dev/sddlmaa2   VG vgdata   lvm2 [1.34 TB / 0    free]
  Total: 4 [5.36 TB] / in use: 4 [5.36 TB] / in no VG: 0 [0   ]


问题：
1、上面的输出能否看到主机装了几个hba卡，每个hba卡的id是多少？
2、上面是输出中是否是4条path？
3、hdev设备sddlmaa 是否是有四个基盘 /dev/sdb 、  /dev/sdg 、 /dev/sdd 、 /dev/sdf  组成吗？
4、hdev设备sddlmaa只有一个逻辑分区/dev/sddlmaa1，为什么# ll /dev/sddlma*命令输出又那么多呢？

上面的问题可能问的幼稚，请不要拍砖，没有办法，绝对的新手，谢谢！

jerryjzm

hitachi 的多路径软件没用过

对于第一个问题，我可以给你个命令，查看hba的wwn

用root
1.systool -P|grep -i fc

2.systool -c fc_host -v

输出的
    node_name           = "0x2000001b320e5c58"
    port_id             = "0x0000ef"
    port_name           = "0x2100001b320e5c58"
    port_state          = "Online"
的
   port_name           = "0x2100001b320e5c58"
就为wwn号
因为wwn为64位，这里用的是16进制表示的

xxwang1984

hitachi 的多路径软件没用过

对于第一个问题，我可以给你个命令，查看hba的wwn

用root
1.systool -P ...
jerryjzm 发表于 2011-09-28 11:50

多谢~！

xxwang1984

回复 2# jerryjzm


   # systool -c fc_host -v
Class = "fc_host"

  Class Device = "host3"
  Class Device path = "/sys/class/fc_host/host3"
    fabric_name         = "0x1200d00cbec41c2"
    issue_lip           = <store method only>
    node_name           = "0x2000001b320bdf3e"
    port_id             = "0x5a0200"
    port_name           = "0x2100001b320bdf3e"
    port_state          = "Online"
    port_type           = "NPort (fabric via point-to-point)"
    speed               = "4 Gbit"
    supported_classes   = "Class 3"
    symbolic_name       = "QLE2562 FW:v4.03.02 DVR:v8.02.00-k5-rhel5.2-04"
    system_hostname     = ""
    tgtid_bind_type     = "wwpn (World Wide Port Name)"
    uevent              = <store method only>

    Device = "host3"
    Device path = "/sys/devices/pci0000:00/0000:00:04.0/0000:0c:00.0/0000:0d:04.0/0000:0e:00.0/host3"
      fw_dump             =
      nvram               = "ISP "
      optrom_ctl          = <store method only>
      optrom              =
      sfp                 = ""
      uevent              = <store method only>
      vpd                 = "‚."


  Class Device = "host4"
  Class Device path = "/sys/class/fc_host/host4"
    fabric_name         = "0x1200d00cbecc1d2"
    issue_lip           = <store method only>
    node_name           = "0x2001001b322bdf3e"
    port_id             = "0x390800"
    port_name           = "0x2101001b322bdf3e"
    port_state          = "Online"
    port_type           = "NPort (fabric via point-to-point)"
    speed               = "4 Gbit"
    supported_classes   = "Class 3"
    symbolic_name       = "QLE2562 FW:v4.03.02 DVR:v8.02.00-k5-rhel5.2-04"
    system_hostname     = ""
    tgtid_bind_type     = "wwpn (World Wide Port Name)"
    uevent              = <store method only>

    Device = "host4"
    Device path = "/sys/devices/pci0000:00/0000:00:04.0/0000:0c:00.0/0000:0d:04.0/0000:0e:00.1/host4"
      fw_dump             =
      nvram               = "ISP "
      optrom_ctl          = <store method only>
      optrom              =
      sfp                 = ""
      uevent              = <store method only>
      vpd                 = "‚."

下面的输出是不是阵列端东东？

# systool -c fc_remote_ports -v
Class = "fc_remote_ports"

  Class Device = "0-0"
  Class Device path = "/sys/class/fc_remote_ports/rport-3:0-0"
    dev_loss_tmo        = "35"
    node_name           = "0x50060e80104aa722"
    port_id             = "0x5a0500"
    port_name           = "0x50060e80104aa722"
    port_state          = "Online"
    roles               = "FCP Target"
    scsi_target_id      = "0"
    supported_classes   = "Class 3"
    uevent              = <store method only>

    Device = "rport-3:0-0"
    Device path = "/sys/devices/pci0000:00/0000:00:04.0/0000:0c:00.0/0000:0d:04.0/0000:0e:00.0/host3/rport-3:0-0"
      uevent              = <store method only>


  Class Device = "0-0"
  Class Device path = "/sys/class/fc_remote_ports/rport-4:0-0"
    dev_loss_tmo        = "35"
    node_name           = "0xffffffffffffffff"
    port_id             = "0xffffffff"
    port_name           = "0x50060e80104aa721"
    port_state          = "Not Present"
    roles               = "unknown"
    scsi_target_id      = "0"
    supported_classes   = "unspecified"
    uevent              = <store method only>

    Device = "rport-4:0-0"
    Device path = "/sys/devices/pci0000:00/0000:00:04.0/0000:0c:00.0/0000:0d:04.0/0000:0e:00.1/host4/rport-4:0-0"
      uevent              = <store method only>


  Class Device = "0-1"
  Class Device path = "/sys/class/fc_remote_ports/rport-3:0-1"
    dev_loss_tmo        = "35"
    node_name           = "0x50060e80104aa720"
    port_id             = "0x5a0700"
    port_name           = "0x50060e80104aa720"
    port_state          = "Online"
    roles               = "FCP Target"
    scsi_target_id      = "1"
    supported_classes   = "Class 3"
    uevent              = <store method only>

    Device = "rport-3:0-1"
    Device path = "/sys/devices/pci0000:00/0000:00:04.0/0000:0c:00.0/0000:0d:04.0/0000:0e:00.0/host3/rport-3:0-1"
      uevent              = <store method only>


  Class Device = "0-1"
  Class Device path = "/sys/class/fc_remote_ports/rport-4:0-1"
    dev_loss_tmo        = "35"
    node_name           = "0x50060e80104aa723"
    port_id             = "0x390600"
    port_name           = "0x50060e80104aa723"
    port_state          = "Online"
    roles               = "FCP Target"
    scsi_target_id      = "1"
    supported_classes   = "Class 3"
    uevent              = <store method only>

    Device = "rport-4:0-1"
    Device path = "/sys/devices/pci0000:00/0000:00:04.0/0000:0c:00.0/0000:0d:04.0/0000:0e:00.1/host4/rport-4:0-1"
      uevent              = <store method only>


按您的意思，上面查询到的是2个hba卡，但实际是系统有两个lun，被4个path扫描的到，cha的port是0A/0B/1A/1B，对应应该也是4个hba才对啊

dxzhujob

这个很不错。学习了

xxwang1984

# /opt/DynamicLinkManager/bin/dlnkmgr view -path -iem -hbaportwwn
Paths:000008 OnlinePaths:000006
PathStatus   IO-Count    IO-Errors
Reduced      2557234761  704      

PathID  PathName                                            HBAPortWWN            DskName                                                iLU              ChaPort Status     Type IO-Count   IO-Errors  DNum HDevName IEP
000000 0003.0000.0000000000000000.0000 2100001B320BDF3E HITACHI .DF600F          .83040634         0000             1A      Online     Own  2284831879          0    0 sddlmaa  -  
000001 0003.0000.0000000000000000.0001 2100001B320BDF3E HITACHI .DF600F          .83040634         0001             1A      Online     Own   960642743          0    0 sddlmab  -  
000002 0003.0000.0000000000000001.0000 2100001B320BDF3E HITACHI .DF600F          .83040634         0000             0A      Online     Own  2282360868          0    0 sddlmaa  -  
000003 0003.0000.0000000000000001.0001 2100001B320BDF3E HITACHI .DF600F          .83040634         0001             0A      Online     Own  1001594060          0    0 sddlmab  -  
000004 0004.0000.0000000000000000.0000 2101001B322BDF3E HITACHI .DF600F          .83040634         0000             0B      Offline(E) Own   591168551          4    0 sddlmaa  -  
000005 0004.0000.0000000000000001.0000 2101001B322BDF3E HITACHI .DF600F          .83040634         0000             1B      Online     Own  2289074173          0    0 sddlmaa  -  
000006 0004.0000.0000000000000000.0001 2101001B322BDF3E HITACHI .DF600F          .83040634         0001             0B      Offline(E) Own  4226664974        700    0 sddlmab  -  
000007 0004.0000.0000000000000001.0001 2101001B322BDF3E HITACHI .DF600F          .83040634         0001             1B      Online     Own  1805799401          0    0 sddlmab  -  
KAPL01001-I The HDLM command completed normally. Operation name = view, completion time = 2011/09/28 15:37:21

这里的输出也看到HBAPortWWN只有一个，另外一个hba连接的path出现错误，为什么有4个path，而只有两个hba卡呢

jerryjzm

回复  jerryjzm


   # systool -c fc_host -v
Class = "fc_host"

  Class Device = "host3"
  Cl ...
xxwang1984 发表于 2011-09-28 15:01

systool -c fc_host -v
这个是可以明确的，这个我验证过
，当时要注意，hba也有区别，有一块卡上1对光纤口（常见）也有一块卡上2对光纤口的。

但是
systool -c fc_remote_ports -v
是不是对端阵列的，我不能确定，这个我没验证。、

ps：这里还有一个问题，你用了san交换机吗？

xxwang1984

systool -c fc_host -v
这个是可以明确的，这个我验证过
，当时要注意，hba也有区别，有一块卡上1对光 ...
jerryjzm 发表于 2011-09-28 16:12

    用了两台思科交换机，并且两台交换机还是互连的。

xxwang1984

还有个问题：
#systool -c fc_host -v 输出中的host3.port_name  = "0x2100001b320b113f"      host4.port_name = "0x2101001b322b113f"
#/opt/DynamicLinkManager/bin/dlnkmgr view -path -iem -hbaportwwn
输出中HBAPortWWN=2100001B320B113F

两个命令输出的wwn为什么不一样呢？后者至少和前者中的一个相同才对。

jerryjzm

还有个问题：
#systool -c fc_host -v 输出中的host3.port_name  = "0x2100001b320b113f"      host4.port ...
xxwang1984 发表于 2011-09-29 09:02

刚好，通过这2个命令进行验证。

#systool -c fc_host -v 输出中的host3.port_name  = "0x2100001b320b113f"      host4.port_name = "0x2101001b322b113f"
#/opt/DynamicLinkManager/bin/dlnkmgr view -path -iem -hbaportwwn
输出中HBAPortWWN=2100001B320B113F


"0x2100001b320b113f"
2100001B320B113F

这2个不同，只是大小写的不同。命令本身不会有问题。这里 host3还有host4
你就一块hba卡？