大家能讨论一下powerpath吗？

kjrr

最近对powerpath进行了一些测试，环境如下：
solaris9.0，SUNE4500，CX700，Brocade12000，dual-fabric，LP9002EL卡。
方法：使用mkfile往磁盘里写大数据，用powermt watch查看IO起来之后，将一个交换机上连接Host的
端口disable，此时两个卡的IO同时hold，变为0。过60秒之后，被block的那条链路变为failed状态，IO在
另一条上起来。
我不知道这60秒是powerpath的参数设置呢，还是光线卡lpfc.conf里参数设置呢？
有没有高手出来指点一下，也欢迎大家讨论，我会把过程描述的更详细一些。

另外，AIX里好像没有什么光线卡的参数设置吧（除了fscsi的fast fail参数）？AIX里我们也测过，IO通道failover
时间要更快一些，大概20秒左右。HP平台没有测过。希望大家把这三个平台都讨论讨论。

[ 本帖最后由 kjrr 于 2006-9-20 08:35 编辑 ]

星海夜航

你的topo有问题，如果disable掉一个的话另一个hba卡应该没有问题，我测试过
zone你怎么做的，是每个hba卡即可以访问spa，也可以访问spb么？正常的话拔一条光纤应该连lun的tresspass都不会发生

kjrr

原帖由 星海夜航 于 2006-9-19 12:32 发表
你的topo有问题，如果disable掉一个的话另一个hba卡应该没有问题，我测试过
zone你怎么做的，是每个hba卡即可以访问spa，也可以访问spb么？正常的话拔一条光纤应该连lun的tresspass都不会发生

每个光纤卡能访问到每个SP，我是这么画的，这也是EMC的标准要求吧？一共四条path。
当时IO起来以后，两个卡都能做到load balancing，但是我disable其中一个，IO全部hold，60秒以后在另外一块卡上才开始有IO。这是solaris下的结果。
aix里也类似，两块卡上流量同时消失，等待一定时间后IO在另一块卡上起来。
我现在是这么想的，如果对于仅有failover的topo来说，肯定是有流量的卡被disable后，等待一个timout值，然后切换IO到另外的卡上。
可我测的环境都是两个卡做load balancing的情况，难道说powerpath会做一个reset再重新分配IO？如果是这样的话那reset为什么花费的时间不一样（solaris为整60秒，AIX大概20秒）？我不知道这个值是不是可调。
谁能说说机制问题？

星海夜航

今天我做了aix 5.3上的测试，powerpath 4.5.2，dmx1000，存在同样的问题，拔光纤后powermt watch 2个hba卡i/o同时为0，但过4-5s其中一条恢复i/o，搞不定了，向emc开case了，solaris+cx我试过没这个问题，只是其中一个hba卡i/o变为0，pp版本是4.5.0

tmdemc

clariion控制器是active-standby模式的DMX的是active-active.在clariion上如果拔掉standby的sp光纤线.那应该不会产生切换.我感觉以上现象是正常的.

cpqapd

我的观点不一定正确,但需要请 "kjrr" 和"星海夜航"的试验验证.
Powerpath 3.0.4以后版本会和楼上涉及问题相关.

queue_depth 是每个hdisk的I/O瞬间读写极限, 默认是32个.

第一, 每次发生链路问题, hdisk的驱动会在20秒内把32个I/O返回给powerpath.
允许powerpath把I/O放到另外的一个链路中.
我猜测是数据量比较大, 用了3个20秒才清空queue_depth.
如果方便, 能否有其他方法有效控制数据流量, 得到不同的failover时间.

第二, 如果不能改变IO, 修改一下queue_depth, 但是会直接影响AIX性能.
EMC给了一个新的Powerpath参数QueueDepthAdj, 用来调整queue_depth,
具体的操作步骤比较多, 不赘述了.

恳请楼上帮忙做做试验, 真羡慕有这么多机器.
EMC有一篇文档涉及了failover的内容, 值得看看. emc69277

[ 本帖最后由 cpqapd 于 2006-9-27 23:30 编辑 ]

星海夜航

solaris里的/etc/system中有sd_io_time=0x3C也就是60s，不知道和这个参数有没有关系，emc也认为i/o同时为0是不正常的，但case一直没update，我打算在测试一下dmx和solaris，另外powermt set write_throttle_queue=queue_depth#也只能用在dmx上，queue_depth default value是256，应该改称多少呢？emc69277我竟然看不了，faint，楼上的朋友能不能贴出来

drkung

In EMC configuration guide.
First, add value on /etc/system
set sd:sd_max_throttle=20
set sd:sd_io_time = 0x3C

Then, edit value on /kernel/drv/lpfc.conf
lun-queue-depth=20
tgt-queue-depth=512
no-device-delay=0
scan-down=0
linkdown-tmo=60
nodev-tmo=60
num-iocbs=2048
num-bufs=1024
topology=2

In above value, linkdown-tmo and nodev-tmo is the LUN trespass timeout value. I suggest and tested the fastest is 10.

But in your case, you said that 2 x HBA zone to SPA, SPB with 4 paths and can load balancing. It seems fine. And if one HBA fail, it will not trigger LUN trespass because other HBA can see SPA and SPB also. You can check the LUN whether trespas or not after you disable one HBA port on FC Switch. Do you try to physical plug-out the fiber cable instead of disable the port? It maybe get different result.

kjrr

星夜航海你可以把你在solaris+DMX上的测试步骤说一下吗？
以前我测sanrouter的时候环境也是solaris+DMX，当时使用disable port和plugout cable两种方法（回答楼上的兄弟，呵呵），结果是一样的，两个卡上的IO都回同时停止，然后再powermt watch里看到一个卡上IO为0，另一个IO 积queue，等待60秒（很准确的60秒）之后积Q的那个卡上IO开始正常。
我知道在solaris里有两个设置IO timout的地方，/etc/system里powerpath的参数，以及lpfc.conf或者qlc.conf里的参数。只是不知道到底是哪个参数造成这样的结果。我会进一步详细地去测试这个问题，只是最近没这么充足的时间了。
PS：我们使用的是lp9002-E的卡，参数完全是安装EMC的建议更改的。
还有drkung，你可以说说linkdown-tmo 和 nodev-tmo的关联吗？lun tresspass是以这两个timout值的和为基准还是达到一个就会tresspass？

cqyayu

牛人真多~~