EMC CX4－240 ISCSI问题

sunowy

问题1，这个存储一个盘柜上有4个LUN，\r\n        lun0         1.4T           server1\r\n        lun1         1.2T           server2\r\n        lun2         1.2T           server2\r\n        lun3         1.3T           server2\r\n其中lun1和lun2一样大小，和lun3一起分配给了server2，在server2上用lvm管理，留了一个sdb做备用，sdc(1.2T)和sdd(1.3T）划入一个存储池，处理使用中\r\n现在由于有急用，想把sdb分配给其它服务器用，\r\n问题是：能确认这里的sdb对应的就是那个lun1吗？\r\n\r\n\r\n问题2， 这个存储原来连接着sever1,server2,现在增加一个server3，按领导要求这个server3要用网线通过iscsi连接\r\n\r\n在存储上配置好了以后，把那个lun1分配给server3，但是在server3上出现了问题\r\n用fdisk  -l 只能看到本地的盘：\r\n

1. \r\n[root@media2 ~]# fdisk -l\r\n\r\nDisk /dev/sda: 146.1 GB, 146163105792 bytes\r\n255 heads, 63 sectors/track, 17769 cylinders\r\nUnits = cylinders of 16065 * 512 = 8225280 bytes\r\n\r\n   Device Boot      Start         End      Blocks   Id  System\r\n/dev/sda1   *           1          19      152586   83  Linux\r\n/dev/sda2           11873       17769    47367652+  8e  Linux LVM\r\n/dev/sda3              20        3970    31736407+  8e  Linux LVM\r\n/dev/sda4            3971       11872    63472815    5  Extended\r\n/dev/sda5            3971        7921    31736376   8e  Linux LVM\r\n/dev/sda6            7922       11872    31736376   8e  Linux LVM\r\n\r\nPartition table entries are not in disk order\r\n\r\n

复制代码

\r\n\r\n用sfdisk -l可以看到那个分区，但是有报错：\r\n

1. \r\n[root@media2 ~]# sfdisk -l\r\n\r\nDisk /dev/sda: 17769 cylinders, 255 heads, 63 sectors/track\r\nUnits = cylinders of 8225280 bytes, blocks of 1024 bytes, counting from 0\r\n\r\n   Device Boot Start     End   #cyls    #blocks   Id  System\r\n/dev/sda1   *      0+     18      19-    152586   83  Linux\r\n/dev/sda2      11872   17768    5897   47367652+  8e  Linux LVM\r\n/dev/sda3         19    3969    3951   31736407+  8e  Linux LVM\r\n/dev/sda4       3970   11871    7902   63472815    5  Extended\r\n/dev/sda5       3970+   7920    3951-  31736376   8e  Linux LVM\r\n/dev/sda6       7921+  11871    3951-  31736376   8e  Linux LVM\r\n\r\nDisk /dev/sdb: 1228800 cylinders, 64 heads, 32 sectors/track\r\nread: Input/output error\r\n\r\nsfdisk: read error on /dev/sdb - cannot read sector 0\r\n /dev/sdb: unrecognized partition table type\r\nNo partitions found\r\n\r\n

复制代码

\r\n\r\n这个lun上面有分区的，4个lvm的pv，但是在这里看不到，不知道是什么原因造成的，请大家指教一下，先行谢过！\n\n[ 本帖最后由 无牙 于 2009-11-6 21:48 编辑 ]

deadwind

第一个问题，lz安装powerpath吧，通过powerpath的命令可以确定LUN号\r\n2个相同的1.2T完全可准确区分开\r\n\r\n或者安装了naviagent，也可从CX的host的LUN status定位\n\n[ 本帖最后由 deadwind 于 2009-11-5 19:31 编辑 ]

deadwind

第二个问题，我看到你说这个LUN是通过iSCSI分给server3\r\n那么你的server3有配置iSCSI的initiator么？没有配initiator怎么去连那个target呢？

sunowy

补充一下，我这个server3是通过一个网线直接连接到存储的网络口上的。没有经过交换机或者路由器\r\n\r\n这个不太影响吧？

deadwind

192.168.10.229是你CX4-240的管理IP么？\r\n\r\n你用192.168.0.0网段的IP怎么能连192.168.10.229呢？网络不通吧(你说是直连没有通过网关去路由)\r\n除非你配255.255.0.0的子网掩码\r\n简单的检测就是把你server3的192.168.10.*的地址禁掉，试试192.168.0.*的IP能否ping通CX控制器IP\n\n[ 本帖最后由 deadwind 于 2009-11-5 21:29 编辑 ]

sunowy

还没有搞定，哪兄弟熟悉emc的存储，指导一下吧，谢谢！

deadwind

你网络不通啊，你干嘛不把配成192.168.0.*的IP也配置成192.168.10.*呢？也没啥影响\r\n你禁掉那个网卡后ping过么？

spook

接到了就从管理口走咯，类似于 outbound的方式，走iscsi接口类似于inbound的方式，除非你把iscsi口启允许管理的模式。。。。。。

sunowy

搞定了，谢谢各位帮助，先把分给了，一会再整理一下解决过程，然后发上来

sunowy

写一下我的大致配置过程吧：\r\n\r\n1，设置服务器和存储的网络参数\r\n       我的服务器两张网卡，一个连接内网，ip为192.168.10.190，另一个网卡连接存储：172.16.10.10\r\n       修改服务器的/etc/hosts，增加一行：\r\n        192.168.10.190     hostname  (这个192.168.10.190是存储的管理IP可以连接的，如果这项设置不好，后面在存储中会出现“host agent  not reachable\",这个不影响正常的数据链路）\r\n       存储的SPB的那个与服务器连接的iscsi端口ip设置为172.16.10.4(我没有用交换机连接，只是将网线直接连接到存储，这是测试，后面实际应用中肯定要用交换机实行多路。）\r\n\r\n2，安装软件：\r\n       在服务器上安装下列软件：\r\n              iscsi-initiator-utils\r\n              naviagent\r\n              naviserverutilcli\r\n              后面两个软件在emc的core server support 光盘里有\r\n3，discovery target ＆向存储注册主机\r\n       a，启动iscsi服务：/etc/init.d/iscsi start\r\n       b，iscsiadm -m discovery -t st -p 172.16.10.4\r\n             此时会列出存储上所有的target，根据自己的情况选择连接哪一个\r\n       c，向存储注册主机\r\n             先停止 host agent :/etc/init.d/naviagent stop\r\n             ./naviserverutilcli\r\n              先选择“1”，可以列出发现在的存储，例如我这里输出如下：\r\n

1. \r\n                      # ./naviserverutilcli\r\nWelcome to Navisphere Server Utility - version : 6.28.10.3.11\r\n\r\nSelect from one of the following options: or Select \'0\' to exit the application.\r\n\r\n1. Update Server Information - Select this option to send information about the server to all connected storage systems.\r\n\r\n2. Snapshot Tasks (Navisphere Express only) - Select this option to perform Snapshot tasks on the source server or the secondary server.\r\n\r\n3. Generate high availability report.\r\n\r\n4. Display help for the application.\r\n\r\n> 1\r\n\r\nScanning ...  \r\n\r\nConnected Storage Systems:\r\n\r\nHBA/NIC Port  Storage System  SP  Port  SP IP Address  \r\n-------------------------------------------------------\r\n0             CKM00034700077  A   2     192.168.10.229   \r\n

复制代码

\r\n\r\n如果你确认“Connected Storage Systems:“中列出的是你所要连接的存储，然后按“u\",稍后在Navisphere Manager 中，右键你的存储，\r\n选择：“Connectivity Status“，如果正常的话，在打开的窗口中就能看到\"Initiator Name\" 为你的服务器的Initiator Name（在/etc/iscsi/initiatorname.iscsi中的那个以iqn开头的）的\r\n主机存在，确认此主机的“Logged In\"和“Registered\"都为“ＹＥＳ”，如果“Registered\"为Ｎo，则可再次运行naviserverutilcli进行注册。\r\n\r\n５，为主机分配ＬＵＮ，这个不细说了\r\n６，在服务器上启动host agent ,并重新启动iscsi服务：\r\n　/etc/init.d/naviagent start\r\n　/etc/init.d/iscsi restart\r\n\r\n7,这时候应该就可以看到分配给这个服务器的磁盘了：\r\nfdisk -l\r\n\r\n我这里看到的是：\r\n

1. \r\n# fdisk -l\r\n\r\nDisk /dev/sda: 146.1 GB, 146163105792 bytes\r\n255 heads, 63 sectors/track, 17769 cylinders\r\nUnits = cylinders of 16065 * 512 = 8225280 bytes\r\n\r\n   Device Boot      Start         End      Blocks   Id  System\r\n/dev/sda1   *           1          19      152586   83  Linux\r\n/dev/sda2           11873       17769    47367652+  8e  Linux LVM\r\n/dev/sda3              20        3970    31736407+  8e  Linux LVM\r\n/dev/sda4            3971       11872    63472815    5  Extended\r\n/dev/sda5            3971        7921    31736376   8e  Linux LVM\r\n/dev/sda6            7922       11872    31736376   8e  Linux LVM\r\n\r\nPartition table entries are not in disk order\r\n\r\nDisk /dev/sdb: 1288.4 GB, 1288490188800 bytes\r\n255 heads, 63 sectors/track, 156650 cylinders\r\nUnits = cylinders of 16065 * 512 = 8225280 bytes\r\n\r\n   Device Boot      Start         End      Blocks   Id  System\r\n\r\n\r\n      

复制代码

\r\n\r\n\r\n\r\n正常情况就是上面那样，经过反复尝试，找出了我这次出问题的原因：\r\n分配给server3的这个lun，我把这个lun的Ｏwnership设置是这样：\r\n默认属于SPB，“Auto Assignment Enabled\"这个没有选上，但是我把从服务器来的网线连接到SPA的ISCSI端口上，所以出现这样的问题\r\n我把见到插到SPB的ISCSI端口上，就正常了，搞了半天没想到是这里的问题