求助：通过光纤交换机找不到磁带机设备

ylzjl

各位达人，有相关经验的给个指导建议，十分感谢。
环境如下
Sun Sparc服务器：有多台，V210，B2500，V490，V880
光纤交换机：Brocade silkworm 200E ，版本 V5.2.0a
磁带库：昆腾Scalar50，磁带机Ultrium 3-SCSI，光纤通道
交换机上还连接有Windows2003系统。
备份软件NetBackup6.5
windows系统能正常工作，不管是直连还是通过光纤交换机都能读写磁带，能正常备份。
如果把磁带机的光纤通道和Sun服务器直接连接，也能正常工作，能使用tar等命令进行备份。
但是把磁带机和光纤交换机连接后，sun服务器就无法驱动磁带机进行工作。

相关系统信息如下：
root@V210 # uname -a
SunOS V210 5.9 Generic_118558-39 sun4u sparc SUNW,Sun-Fire-V210
root@V210 # devfsadm
root@V210 # devfsadm -Cc tape
root@V210 # luxadm probe
No Network Array enclosures found in /dev/es

Found Fibre Channel device(s):
  Node WWN:200600a0b82ad3f0  Device Typeisk device
    Logical Path:/dev/rdsk/c3t200600A0B82AD3F1d0s2
  Node WWN:200600a0b82ad3f0  Device Typeisk device
    Logical Path:/dev/rdsk/c3t200600A0B82AD3F1d1s2
  Node WWN:200600a0b82ad3f0  Device Typeisk device
    Logical Path:/dev/rdsk/c3t200600A0B82AD3F1d2s2
  Node WWN:200600a0b82ad3f0  Device Typeisk device
    Logical Path:/dev/rdsk/c3t200600A0B82AD3F1d3s2
  Node WWN:200600a0b82ad3f0  Device Typeisk device
    Logical Path:/dev/rdsk/c3t200600A0B82AD3F1d4s2
  Node WWN:200600a0b82ad3f0  Device Typeisk device
    Logical Path:/dev/rdsk/c3t200600A0B82AD3F1d5s2
  Node WWN:200600a0b82ad3f0  Device Typeisk device
    Logical Path:/dev/rdsk/c3t200600A0B82AD3F1d6s2
  Node WWN:200600a0b82ad3f0  Device Typeisk device
    Logical Path:/dev/rdsk/c3t200600A0B82AD3F1d7s2
  Node WWN:200600a0b82ad3f0  Device Typeisk device
    Logical Path:/dev/rdsk/c3t200600A0B82AD3F1d8s2
  Node WWN:200600a0b82ad3f0  Device Typeisk device
    Logical Path:/dev/rdsk/c3t200600A0B82AD3F1d9s2
  Node WWN:200600a0b82ad3f0  Device Type:Disk device
    Logical Path:/dev/rdsk/c3t200600A0B82AD3F1d10s2
  Node WWN:200600a0b82ad3f0  Device Type:Disk device
    Logical Path:/dev/rdsk/c3t200600A0B82AD3F1d11s2
root@V210 # cfgadm -al -o show_FCP_dev
Ap_Id                          Type         Receptacle   Occupant     Condition
c3                             fc-fabric    connected    configured   unknown
c3::200600a0b82ad3f1,0         disk         connected    configured   unknown
c3::200600a0b82ad3f1,1         disk         connected    configured   unknown
c3::200600a0b82ad3f1,2         disk         connected    configured   unknown
c3::200600a0b82ad3f1,3         disk         connected    configured   unknown
c3::200600a0b82ad3f1,4         disk         connected    configured   unknown
c3::200600a0b82ad3f1,5         disk         connected    configured   unknown
c3::200600a0b82ad3f1,6         disk         connected    configured   unknown
c3::200600a0b82ad3f1,7         disk         connected    configured   unknown
c3::200600a0b82ad3f1,8         disk         connected    configured   unknown
c3::200600a0b82ad3f1,9         disk         connected    configured   unknown
c3::200600a0b82ad3f1,10        disk         connected    configured   unknown
c3::200600a0b82ad3f1,11        disk         connected    configured   unknown
c3::200600a0b82ad3f1,31        disk         connected    configured   unknown
c3::200700a0b82ad3f1,0         disk         connected    configured   unknown
c3::200700a0b82ad3f1,1         disk         connected    configured   unknown
c3::200700a0b82ad3f1,2         disk         connected    configured   unknown
c3::200700a0b82ad3f1,3         disk         connected    configured   unknown
c3::200700a0b82ad3f1,4         disk         connected    configured   unknown
c3::200700a0b82ad3f1,5         disk         connected    configured   unknown
c3::200700a0b82ad3f1,6         disk         connected    configured   unknown
c3::200700a0b82ad3f1,7         disk         connected    unconfigured unknown
c3::200700a0b82ad3f1,8         disk         connected    unconfigured unknown
c3::200700a0b82ad3f1,9         disk         connected    unconfigured unknown
c3::200700a0b82ad3f1,10        disk         connected    unconfigured unknown
c3::200700a0b82ad3f1,11        disk         connected    unconfigured unknown
c3::200700a0b82ad3f1,31        disk         connected    unconfigured unknown
c3::210000e08b02e700           unknown      connected    unconfigured unknown
c3::500e09e00b73f100,0         med-changer  connected    configured   unknown
c3::500e09e00b73f110,0         tape         connected    configured   unknown
root@V210 # ls /dev/rmt
/dev/rmt: No such file or directory
root@V210 # mt status
/dev/rmt/0n: No such file or directory
root@V210 # tapes
root@V210 # ls /dev/rmt
/dev/rmt: No such file or directory
root@V210 # mt status
/dev/rmt/0n: No such file or directory
root@V210 # pwd
/opt/QLogic_Corporation/SANsurferCLI
root@V210 # ./scli
Scanning QLogic FC HBA(s) and device(s), please wait...


        SANsurfer FC HBA CLI

        v1.7.1 Build 23

    Main Menu

    1:  General Information
    2:  HBA Information
    3:  HBA Parameters
    4:  Target/LUN List
    5:  iiDMA Settings
    6:  Boot Device
    7:  Utilities
    8:  Beacon
    9:  Diagnostics
   10:  Statistics
   11:  Help
   12:  Exit


        Enter Selection: 2

        SANsurfer FC HBA CLI

        v1.7.1 Build 23

    HBA Information Menu

    HBA Model QLA2460-S
      1: Port   1 (HBA  0 OS  0): WWPN: 21-00-00-1B-32-17-B6-FF Online
      2: All HBAs
      3: Return to Previous Menu


        Note: 0 to return to Main Menu
        Enter Selection: 1

        SANsurfer FC HBA CLI

        v1.7.1 Build 23

    HBA Information Menu

    HBA/OS Instance 0/0 (QLA2460-S Port 1) : Online
        WWPN: 21-00-00-1B-32-17-B6-FF
        Desc: QLA2460-SUN PCI-X 2.0 to 4Gb FC Single Channel

    1:  Information
    2:  HBA Alias
    3:  HBA Port Alias
    4:  VPD
    5:  Return to Previous Menu


        Note: 0 to return to Main Menu
        Enter Selection: 1
--------------------------------------------------------------------------------
Host Name                        : V210
HBA Instance                     : 0
OS Instance                      : 0
HBA Model                        : QLA2460-S
HBA Description                  : QLA2460-SUN PCI-X 2.0 to 4Gb FC Single Channel
HBA ID                           : 0-QLA2460-S
HBA Alias                        :
HBA Port                         : 1
Port Alias                       :
Node Name                        : 20-00-00-1B-32-17-B6-FF
Port Name                        : 21-00-00-1B-32-17-B6-FF
Port ID                          : 01-04-00
Serial Number                    : 0402G00-0720259206
Driver Version                   : qlc-20070212-2.19
FCode Version                    : 1.24
Firmware Version                 : 4.00.27
Flash BIOS Version               : 1.24
Flash FCode Version              : 1.24
Flash EFI Version                : 1.08
Flash Firmware Version           : 4.00.26
Actual Connection Mode           : Point to Point
Actual Data Rate                 : 4 Gbps
PortType (Topology)              : NPort
Target Count                     : 4
HBA Status                       : Online
--------------------------------------------------------------------------------

                Hit <RETURN> to continue:

        SANsurfer FC HBA CLI

        v1.7.1 Build 23

    HBA Information Menu

    HBA/OS Instance 0/0 (QLA2460-S Port 1) : Online
        WWPN: 21-00-00-1B-32-17-B6-FF
        Desc: QLA2460-SUN PCI-X 2.0 to 4Gb FC Single Channel

    1:  Information
    2:  HBA Alias
    3:  HBA Port Alias
    4:  VPD
    5:  Return to Previous Menu


        Note: 0 to return to Main Menu
        Enter Selection: 0

        SANsurfer FC HBA CLI

        v1.7.1 Build 23

    Main Menu

    1:  General Information
    2:  HBA Information
    3:  HBA Parameters
    4:  Target/LUN List
    5:  iiDMA Settings
    6:  Boot Device
    7:  Utilities
    8:  Beacon
    9:  Diagnostics
   10:  Statistics
   11:  Help
   12:  Exit


        Enter Selection: 4

        SANsurfer FC HBA CLI

        v1.7.1 Build 23

    Target List Menu

    HBA Model QLA2460-S
      1: Port   1 (HBA  0 OS  0): WWPN: 21-00-00-1B-32-17-B6-FF Online
      2: All HBAs
      3: Return to Previous Menu


        Note: 0 to return to Main Menu
        Enter Selection: 1

        SANsurfer FC HBA CLI

        v1.7.1 Build 23

    Target List Menu

    HBA/OS Instance 0/0 (QLA2460-S Port 1) : Online
        WWPN: 21-00-00-1B-32-17-B6-FF
        Desc: QLA2460-SUN PCI-X 2.0 to 4Gb FC Single Channel

    1:  Tape  (Online)
           Vendor                       : HP      
           Product ID                   : Ultrium 3-SCSI  
           Product Rev                  : L57Z
           Serial Number                : HU10725081
           Node Name                    : 50-01-10-A0-00-59-3D-2A
           Port Name                    : 50-0E-09-E0-0B-73-F1-10
           Port ID                      : 01-05-00

    2:  Disk  (Online)
           Vendor                       : SUN     
           Product ID                   : CSM200_R        
           Product Rev                  : 0619
           Serial Number                : SG71822240      
           Node Name                    : 20-06-00-A0-B8-2A-D3-F0
           Port Name                    : 20-06-00-A0-B8-2A-D3-F1
           Port ID                      : 01-00-00

    3:  Disk  (Online)
           Vendor                       : SUN     
           Product ID                   : CSM200_R        
           Product Rev                  : 0619
           Serial Number                : SG71407416      
           Node Name                    : 20-06-00-A0-B8-2A-D3-F0
           Port Name                    : 20-07-00-A0-B8-2A-D3-F1
           Port ID                      : 01-03-00

    4:  Changer  (Online)
           Vendor                       : QUANTUM
           Product ID                   : PX500           
           Product Rev                  : 002A
           Serial Number                : QP0739BDC00080
           Node Name                    : 50-0E-09-E0-0B-73-F1-00
           Port Name                    : 50-0E-09-E0-0B-73-F1-00
           Port ID                      : 01-0F-00

    5:  All Target(s)

    6:  Return to Previous Menu


        Note: 0 to return to Main Menu
        Enter Selection: 0

        SANsurfer FC HBA CLI

        v1.7.1 Build 23

    Main Menu

    1:  General Information
    2:  HBA Information
    3:  HBA Parameters
    4:  Target/LUN List
    5:  iiDMA Settings
    6:  Boot Device
    7:  Utilities
    8:  Beacon
    9:  Diagnostics
   10:  Statistics
   11:  Help
   12:  Exit


        Enter Selection: 12
root@V210 #

root@V210 # /usr/openv/volmgr/bin/sgscan
/dev/sg/c0t0l0: Disk (/dev/rdsk/c1t0d0): "HITACHI HUS10733ASUN72G"
/dev/sg/c0t1l0: Disk (/dev/rdsk/c1t1d0): "HITACHI HUS10733ASUN72G"
/dev/sg/c0tw200600a0b82ad3f1l0: Disk (/dev/rdsk/c3t200600A0B82AD3F1d0): "SUN     CSM200_R"
/dev/sg/c0tw200600a0b82ad3f1l1: Disk (/dev/rdsk/c3t200600A0B82AD3F1d1): "SUN     CSM200_R"
/dev/sg/c0tw200600a0b82ad3f1l2: Disk (/dev/rdsk/c3t200600A0B82AD3F1d2): "SUN     CSM200_R"
/dev/sg/c0tw200600a0b82ad3f1l3: Disk (/dev/rdsk/c3t200600A0B82AD3F1d3): "SUN     CSM200_R"
/dev/sg/c0tw200600a0b82ad3f1l4: Disk (/dev/rdsk/c3t200600A0B82AD3F1d4): "SUN     CSM200_R"
/dev/sg/c0tw200600a0b82ad3f1l5: Disk (/dev/rdsk/c3t200600A0B82AD3F1d5): "SUN     CSM200_R"
/dev/sg/c0tw200600a0b82ad3f1l6: Disk (/dev/rdsk/c3t200600A0B82AD3F1d6): "SUN     CSM200_R"
/dev/sg/c0tw200700a0b82ad3f1l0: Disk (/dev/rdsk/c3t200700A0B82AD3F1d0): "SUN     CSM200_R"
/dev/sg/c0tw200700a0b82ad3f1l1: Disk (/dev/rdsk/c3t200700A0B82AD3F1d1): "SUN     CSM200_R"
/dev/sg/c0tw200700a0b82ad3f1l2: Disk (/dev/rdsk/c3t200700A0B82AD3F1d2): "SUN     CSM200_R"
/dev/sg/c0tw200700a0b82ad3f1l3: Disk (/dev/rdsk/c3t200700A0B82AD3F1d3): "SUN     CSM200_R"
/dev/sg/c0tw200700a0b82ad3f1l4: Disk (/dev/rdsk/c3t200700A0B82AD3F1d4): "SUN     CSM200_R"
/dev/sg/c0tw200700a0b82ad3f1l5: Disk (/dev/rdsk/c3t200700A0B82AD3F1d5): "SUN     CSM200_R"
/dev/sg/c0tw200700a0b82ad3f1l6: Disk (/dev/rdsk/c3t200700A0B82AD3F1d6): "SUN     CSM200_R"
/dev/sg/c0tw500e09e00b73f100l0: Changer: "QUANTUM PX500"
/dev/sg/c0tw500e09e00b73f110l0: Tape (???): "HP      Ultrium 3-SCSI"

ylzjl

在线等各位达人的回复

ylzjl

交换机的zone没有问题，在一个zone里面的磁盘阵列可以工作，从solaris系统中也能看到磁带机设备。
但是在目录/dev/rmt下面没有创建设备文件。
使用命令mt status也看不到设备信息

huanglao2002

1、对于SUN提供的HBA卡，建议安装SUN提供的驱动包SAN包。你搜一下
2、对于Qlogic提供的HBA卡，安装 netbackup device confiugre guide,你可能需要把把设备绑定到特定HBA卡。
3、不知道你有没有配置st和sg虚拟设别 ？netbackup device confiugre guide又详细的步骤。

[ 本帖最后由 huanglao2002 于 2008-8-8 00:06 编辑 ]

ylzjl

原帖由 huanglao2002 于 2008-8-8 00:03 发表
1、对于SUN提供的HBA卡，建议安装SUN提供的驱动包SAN包。你搜一下
2、对于Qlogic提供的HBA卡，安装 netbackup device confiugre guide,你可能需要把把设备绑定到特定HBA卡。
3、不知道你有没有配置st和sg虚拟 ...

SAN的包和补丁已经安装好，直连可以工作可以说明磁带机的驱动层面没有问题。
如果光纤连接磁带机不能通过unix命令tar等进行操作，现在配置呢tbackup还没有意义。

ylzjl

使用命令devfsadm就是无法把/dev/rmt和其中的链接创建出来。
solaris的兼容性是这样差吗？

ylzjl

自问自答
该问题折磨了很长时间，就是没有办法通过交换机找到磁带机设备。
一直把问题聚焦在驱动程序，光纤交换机zone设置，hba设置，交换机微码版本等问题上。
其实solaris到命令devfsadm比较傻，有时不能正确的创建设备文件。
这时需要使用命令cfgadm来主动的配置设备文件。具体操作方法如下：
使用命令cfgadm -al查看所有的设备信息，或者使用cfgadm -al -o show_FCP_dev过滤设备中的光纤通道设备。找到磁带机设备使用的控制器编号，然后再使用命令cfgadm -c configure <控制器>进行主动配置。
cfgadm -al能查找所有设备，因输出信息太多，这里使用cfgadm -al -o show_FCP_dev只过滤光纤通道设备。
root@V210 # cfgadm -al -o show_FCP_dev
Ap_Id                          Type         Receptacle   Occupant     Condition
c3                             fc-fabric    connected    configured   unknown
c3::200600a0b82ad3f1,0         disk         connected    configured   unknown
c3::200600a0b82ad3f1,1         disk         connected    configured   unknown
c3::200600a0b82ad3f1,2         disk         connected    configured   unknown
c3::200600a0b82ad3f1,3         disk         connected    configured   unknown
c3::200600a0b82ad3f1,4         disk         connected    configured   unknown
c3::200600a0b82ad3f1,5         disk         connected    configured   unknown
c3::200600a0b82ad3f1,6         disk         connected    configured   unknown
c3::200600a0b82ad3f1,7         disk         connected    configured   unknown
c3::200600a0b82ad3f1,8         disk         connected    configured   unknown
c3::200600a0b82ad3f1,9         disk         connected    configured   unknown
c3::200600a0b82ad3f1,10        disk         connected    configured   unknown
c3::200600a0b82ad3f1,11        disk         connected    configured   unknown
c3::200600a0b82ad3f1,31        disk         connected    configured   unknown
c3::200700a0b82ad3f1,0         disk         connected    configured   unknown
c3::200700a0b82ad3f1,1         disk         connected    configured   unknown
c3::200700a0b82ad3f1,2         disk         connected    configured   unknown
c3::200700a0b82ad3f1,3         disk         connected    configured   unknown
c3::200700a0b82ad3f1,4         disk         connected    configured   unknown
c3::200700a0b82ad3f1,5         disk         connected    configured   unknown
c3::200700a0b82ad3f1,6         disk         connected    configured   unknown
c3::200700a0b82ad3f1,7         disk         connected    unconfigured unknown
c3::200700a0b82ad3f1,8         disk         connected    unconfigured unknown
c3::200700a0b82ad3f1,9         disk         connected    unconfigured unknown
c3::200700a0b82ad3f1,10        disk         connected    unconfigured unknown
c3::200700a0b82ad3f1,11        disk         connected    unconfigured unknown
c3::200700a0b82ad3f1,31        disk         connected    unconfigured unknown
c3::2100001b321786ff           unknown      connected    unconfigured unknown
c3::2100001b3217c9ff           unknown      connected    unconfigured unknown
c3::2100001b32180301           unknown      connected    unconfigured unknown
c3::2100001b32185000           unknown      connected    unconfigured unknown
c3::2100001b3218c400           unknown      connected    unconfigured unknown
c3::210000e08b02e700           unknown      connected    unconfigured unknown
c3::210000e08b8a65cf           unknown      connected    unconfigured unknown
c3::210000e08b931fc3           unknown      connected    unconfigured unknown
c3::500e09e00b73f100,0         med-changer  connected    configured   unknown
c3::500e09e00b73f110,0         tape         connected    configured   unknown

从输出能看出磁带机设备位于控制器c3上。
然后使用命令来配置c3控制器上的设备文件。
root@V210 # cfgadm -c configure c3
执行后使用命令luxadm probe检测一下就可以在目录/dev/rmt下面发现所有的磁带机设备。
root@V210 # luxadm probe
root@V210 # ls /dev/rmt
0     0bn   0cb   0cn   0hb   0hn   0lb   0ln   0mb   0mn   0u    0ubn
0b    0c    0cbn  0h    0hbn  0l    0lbn  0m    0mbn  0n    0ub   0un
这说明命令devfsadm有时不能正常创建所有的设备文件，也没有任何提示信息。
高人指点才搞定该疑难问题。
一定要记住cfgadm命令的参数-c configure，尤其是通过交换机连接存储设备时将会碰到这样的问题。这次测试中，使用的8台sun服务器（包括v210，b2500，v490，v880）都有这样的问题。
更多信息请关注我的论坛
http://www.secroad.com/showforum-28.aspx
希望斑竹加精，供今后兄弟们参考。

[ 本帖最后由 ylzjl 于 2008-8-9 12:14 编辑 ]

jimjiaozhu

兄弟,devfsadm 与cfgadm命令是有差别的. 你必须要run  cfgadm,要不重启动

ylzjl

重启了多少次了，问题依然如此，最关键是应用cfgadm解决。
我以前都是有devfsadm，或者在ok提示符下面probe-scsci-all来查找设备，设备能正确查找到，以为用devfsadm就可以搞定了，cfgadm到参数configure没有用过，这次才知道。

metor78

通过光纤交换机是需要用cfgadm的