[原创]网段合并HA实现及交换机对HA影响测试报告

mxin

6        tlg1a0 takeover到 tlg1d0        "tlg1a0 app down,tlg1d0 app on tlg1a0 ok"        telnet，mes，ping3        30s        Ok
        tlg1a0 clstart        " tlg1d0 app,tlg1a0 app ok "                120s       
7        tlg1d0断svc1网线测试        （svc1漂移至svc2）appOK（1个地址）        telnet，mes，ping3        40s        Ok
        tlg1d0恢复svc1网线测试         (en0 join ，is no svc1 ) app ok                40s       
8        tlg1d0断svc2网线测试        （pers漂移）app OK （3个地址）        telnet，mes，ping3        60s        Ok
        tlg1d0恢复svc2网线测试        (en2 join ，is no svc1 ) app ok                40s       
9        tlg1d0断svc1、svc2网线测试        "tlg1a0 app down,tlg1d0 app on tlg1a0 ok"        telnet，mes，ping3        420s        第1次失败（间隔2s），swap_adapter僵住，后文件系统损坏，数据库损坏。
        tlg1d0恢复svc1、svc2网线测试        app ok                        第2次同时拔成功
                （tlg1d0手工停起，才能回原）                120s        第3次失败（间隔2s），swap_adapter僵住，但其他未损坏
                                        第4次同时拔OK
                                       
10        tlg1d0断svc1、svc2网线测试        "tlg1a0 app down,tlg1d0 app on tlg1a0 ok"        telnet，mes，ping3        420s        同时拔Ok
        tlg1a0再断svc2网线，        app ok                30s       
        tlg1d0恢复svc1、svc2网线测试        ok                      30s       
                （tlg1d0手工停起，才能回原）                120s

mxin

11        tlg1a0断svc1网线测试        （svc1漂移）OK        telnet，mes，ping3        30s        Ok
        tlg1a0恢复svc1网线测试        (en0 join ，is no svc1 ) app ok                30s       
12        tlg1a0断svc2网线测试        （pers漂移）OK        telnet，mes，ping3        30s        Ok
        tlg1a0恢复svc2网线测试        (en2 join ，is no svc1 ) app ok                30s       
13        tlg1a0断svc1、svc2网线测试        切换到tlg1d0，tlg1a0网卡、vg释放干净        telnet，mes，ping3        切换420s/120s(修改过停tuxedo脚本)        Ok
        1.tlg1a0恢复svc1        "1.join, app 不动ok"                30s       
        2.tlg1a0恢复svc2        2.join， ok                30s       
                3.tlg1a0:smitty clstop                恢复360s/300s       
                node_app                       
                tlg1a0:smitty clstart                       
14        tlg1d0 force clstop        "cluster stop ,app ok "        telnet，mes，ping3        20s        Ok
        tlg1d0 clstart         "cluster ok,app ok"                20s       
15        tlg1a0 force clstop        "cluster stop ,app ok "        telnet，mes，ping3        20s        Ok
        tlg1a0 clstart         "cluster ok,app ok"                20s

mxin

16        "tlg1d0,tlg1a0 svc2 网线同时断30mins"        "Oerrs>1100,（10mins） app ok"        telnet，mes，ping3        30s        Ok
                                20s       
17        "tlg1d0,tlg1a0 svc1 网线同时断"        （svc1均漂移）app ok         telnet，mes，ping3        30s        Ok
                                20s       
18        tlg1a0 突然宕机halt        "tlg1a0 app down,tlg1d0 app on tlg1a0 ok"        telnet，mes，ping3        120s        Ok
                （tlg1a0手工起动，就能回原）                180s       
19        tlg1d0 突然宕机halt        "tlg1d0 app down,tlg1a0 app on tlg1d0 ok"        telnet，mes，ping3        120s        Ok
                （tlg1d0手工起动，就能回原）                180s       
20        SwitchA断电        1．? 不通，半通，怀疑1机器同网段2网址有问题，去除client的一块网卡。        telnet，mes，ping3        50s        1．201-〉168.120.1.30半通，
        SwitchA恢复        结果地址漂移，一切正常                恢复270s        202->168.120.1.30半通，
        SwitchB断电        2．? 恢复正常，地址不漂移                        202->140.100.100不通，
        SwitchB恢复        3．? 地址漂移，正常                        168.120.1.30通
        SwitchA断电        4．? 恢复正常，地址不漂移                        2主机互联3网段均可以。
                5．? 异常，1台漂移，一台不漂移，怀疑间隔时间过短，HA侦测到来回切换，所以不漂。                        怀疑1机器同网段2网址有问题，去除client的一块网卡，后再测。
                                        OK

mxin

21        SwitchB断电        1．? 地址漂移，一切正常        telnet，mes，ping3        50s        1．168.120.1.30半通，
        SwitchA恢复        2．? 恢复正常，地址不漂移                恢复150s        202->168.120.1.30半通，
        SwitchB断电        3．? 地址漂移，正常                        201->168.120.1.30不通
        SwitchA恢复        4．? 恢复正常，地址不漂移                        140.100.100可以，
        SwitchB断电        5．? 异常，1台漂移，一台不漂移，怀疑间隔时间过短，HA侦测到来回切换，所以不漂。                        2主机互联3网段均可以。
                                        怀疑1机器同网段2网址有问题，去除client的一块网卡，后再测。
                                        OK
22        SwitchA，B同时断电        "10mins一次,10mins一次后均可用，network报down，其他一切正常。"        telnet，mes，ping3        5mins/3mins/3mins，        Ok
23        SwitchA断电，切换过程中B也断电        发现切换开始停B，5mins，网络不通，不发生漂移，恢复后一切正常。        telnet，mes，ping3                Ok
        恢复                               
24        SwitchB断电，切换过程中A也断电        间隔1min再断A，网络不通，发生漂移，，恢复后一切正常。        telnet，mes，ping3                Ok
25        SwitchA异常（广播风暴）        5mins，机器本身正常，但网络不通        telnet，mes，ping3        20s        Ok
                恢复后一切正常

mxin

26        SwitchB异常（广播风暴）        7mins，机器本身正常，但网络不通        telnet，mes，ping3        20s        Ok
                恢复后一切正常                       
        SwitchA，B同时异常（广播风暴）        5mins，机器本身正常，但网络丢包严重，mes无法登陆。        telnet，mes，ping3        10s        Ok
                恢复后一切正常                       
        稳定性测试                               
1        tlg1d0， tlg1a0各起HA        "App,db正常服务"        "ping3长,mes长"                Ok
2        tlg1d0  takeover切换tlg1a0        "App,db正常服务"        "ping3长,mes长"                Ok
3        tlg1a0 takeover到 tlg1d0        "App,db正常服务"        "ping3长,mes长"                Ok

mxin

测试说明：

1．         实际测试环境还要复杂，报告示意图里做了简化，实际测试主机有4块网卡，2块主干网，2块L1、L2网，切换时都含在内，包含了现实三合一最复杂的环境。

2．         实际HA使用的是磁盘心跳，在长达3周测试中证明还是比较稳定的。

3．         唯一发现问题的是当网卡坏了1块后，2s左右又坏了第2块，这时HA正准备切换过程中，无法处理，这种概率还是非常低的.

4．         从测试结果看，Switch一般故障是不会导致HA宕机的，当然只限于（HA5205）这个版本；但如果Switch做软件升级等等操作时，仍然强烈建议网络同事做之前告知让强行停掉HA（无需停机），待结束后再起HA。

5．         对于1台主机同网段有2个地址在未用HA且Switch坏掉一个的情况下，的确存在问题，而且即使起HA，这两个地址也需要是同为service地址，否则也会出现问题。

mxin

附录：测试环境HA 配置
Cluster Name: lg_cluster
Cluster Connection Authentication Mode: Standard
Cluster Message Authentication Mode: None
Cluster Message Encryption: None
Use Persistent Labels for Communication: No

NODE tlg1a0:
        Network net_diskhb_01
                tlg1a0_heart    /dev/hdisk5
        Network net_ether_01
                tlg1d0_svc      190.2.206.12
                tlg1a0_svc      190.2.206.11
                tlg1a0_boot     192.1.1.1
                tlg1a0_isvc     182.1.1.1
        Network net_ether_03
                tlg1a0_l2_svc   168.121.1.201
                tlg1d0_l2_svc   168.121.1.202
                tlg1a0_1580_svc 140.100.100.101
                tlg1a0_l1_svc   168.120.1.201
                tlg1d0_l1_svc   168.120.1.202
                tlg1d0_1580_svc 140.100.100.102
                tlg1a0_boot2    192.168.2.1
                tlg1a0_boot1    192.168.1.1

NODE tlg1d0:
        Network net_diskhb_01
                tlg1d0_heart    /dev/hdisk5
        Network net_ether_01
                tlg1d0_svc      190.2.206.12
                tlg1a0_svc      190.2.206.11
                tlg1d0_boot     192.1.1.2
                tlg1d0_isvc     182.1.1.2
        Network net_ether_03
                tlg1a0_l2_svc   168.121.1.201
                tlg1d0_l2_svc   168.121.1.202
                tlg1a0_1580_svc 140.100.100.101
                tlg1a0_l1_svc   168.120.1.201
                tlg1d0_l1_svc   168.120.1.202
                tlg1d0_1580_svc 140.100.100.102
                tlg1d0_boot2    192.168.2.2
                tlg1d0_boot1    192.168.1.2

Resource Group Name                          tlg1a0_RG
Participating Node Name(s)                   tlg1a0 tlg1d0  
Startup Policy                               Online On Home Node Only
Fallover Policy                              Fallover To Next Priority Node In The List
Fallback Policy                              Fallback To Higher Priority Node In The List
Site Relationship                            ignore
Dynamic Node Priority                        
Service IP Label                             tlg1a0_1580_svc tlg1a0_l1_svc tlg1a0_l2_svc tlg1a0_svc
Filesystems                                  ALL
Filesystems Consistency Check                fsck
Filesystems Recovery Method                  sequential
Filesystems/Directories to be exported      
Filesystems to be NFS mounted               
Network For NFS Mount                        
Volume Groups                                g1a0msa2vg
Concurrent Volume Groups                     
Use forced varyon for volume groups, if necessaryfalse
Disks                                       
GMD Replicated Resources                     
PPRC Replicated Resources                    
ERCMF Replicated Resources                  
SVC PPRC Replicated Resources               
Connections Services                        
Fast Connect Services                        
Shared Tape Resources                        
Application Servers                          tlg1a0_app
Highly Available Communication Links         
Primary Workload Manager Class               
Secondary Workload Manager Class            
Delayed Fallback Timer                       
Miscellaneous Data                           
Automatically Import Volume Groups           false
Inactive Takeover                           
SSA Disk Fencing                             false
Filesystems mounted before IP configured     false

Resource Group Name                          tlg1d0_RG
Participating Node Name(s)                   tlg1d0 tlg1a0
Startup Policy                               Online On Home Node Only
Fallover Policy                              Fallover To Next Priority Node In The List
Fallback Policy                              Fallback To Higher Priority Node In The List
Site Relationship                            ignore
Dynamic Node Priority                        
Service IP Label                             tlg1d0_1580_svc tlg1d0_l1_svc tlg1d0_l2_svc tlg1d0_svc
Filesystems                                  ALL
Filesystems Consistency Check                fsck
Filesystems Recovery Method                  sequential
Filesystems/Directories to be exported      
Filesystems to be NFS mounted               
Network For NFS Mount                        
Volume Groups                                g1d0msd2vg
Concurrent Volume Groups                     
Use forced varyon for volume groups, if necessaryfalse
Disks                                       
GMD Replicated Resources                     
PPRC Replicated Resources                    
ERCMF Replicated Resources                  
SVC PPRC Replicated Resources               
Connections Services                        
Fast Connect Services                        
Shared Tape Resources                        
Application Servers                          tlg1d0_app
Highly Available Communication Links         
Primary Workload Manager Class               
Secondary Workload Manager Class            
Delayed Fallback Timer                       
Miscellaneous Data                           
Automatically Import Volume Groups           false
Inactive Takeover                           
SSA Disk Fencing                             false
Filesystems mounted before IP configured     false
Run Time Parameters:

Node Name                                    tlg1a0
Debug Level                                  high
Format for hacmp.out                         Standard

mxin

/etc/hosts
# @(#)47        1.1  src/bos/usr/sbin/netstart/hosts, cmdnet, bos530 7/24/91 10:00:46
# IBM_PROLOG_BEGIN_TAG
# This is an automatically generated prolog.
#  
# bos530 src/bos/usr/sbin/netstart/hosts 1.1
#  
# Licensed Materials - Property of IBM
#  
# (C) COPYRIGHT International Business Machines Corp. 1985,1989
# All Rights Reserved
#  
# US Government Users Restricted Rights - Use, duplication or
# disclosure restricted by GSA ADP Schedule Contract with IBM Corp.
#  
# IBM_PROLOG_END_TAG
#
# COMPONENT_NAME: TCPIP hosts
#
# FUNCTIONS: loopback
#
# ORIGINS: 26  27
#
# (C) COPYRIGHT International Business Machines Corp. 1985, 1989
# All Rights Reserved
# Licensed Materials - Property of IBM
#
# US Government Users Restricted Rights - Use, duplication or
# disclosure restricted by GSA ADP Schedule Contract with IBM Corp.
#
#  /etc/hosts
#
# This file contains the hostnames and their address for hosts in the
# network.  This file is used to resolve a hostname into an Internet
# address.  
#
# At minimum, this file must contain the name and address for each
# device defined for TCP in your /etc/net file.  It may also contain
# entries for well-known (reserved) names such as timeserver
# and printserver as well as any other host name and address.
#
# The format of this file is:
# Internet Address      Hostname        # Comments
# Items are separated by any number of blanks and/or tabs.  A '#'
# indicates the beginning of a comment; characters up to the end of the
# line are not interpreted by routines which search this file.  Blank
# lines are allowed.

# Internet Address      Hostname        # Comments
# 192.9.200.1           net0sample      # ethernet name/address
# 128.100.0.1           token0sample    # token ring name/address
# 10.2.0.2              x25sample       # x.25 name/address
127.0.0.1               loopback localhost      # loopback (lo0) name/address
182.1.1.21        hmc01
182.1.1.22        hmc02
##tlg1a0
182.1.1.1       tlg1a0_isvc  tlg1a0_stb
168.120.1.201   tlg1a0_l1_svc  
168.121.1.201   tlg1a0_l2_svc  tlg1a0
140.100.100.101 tlg1a0_1580_svc
192.1.1.1       tlg1a0_boot   
192.168.1.1     tlg1a0_boot1  
192.168.2.1     tlg1a0_boot2
190.2.206.11    tlg1a0_svc  
##tlg1d0
182.1.1.2       tlg1d0_isvc  tlg1d0_stb
192.1.1.2       tlg1d0_boot
192.168.1.2     tlg1d0_boot1  
192.168.2.2     tlg1d0_boot2
190.2.206.12    tlg1d0_svc  
168.120.1.202   tlg1d0_l1_svc  
168.121.1.202   tlg1d0_l2_svc tlg1d0
140.100.100.102 tlg1d0_1580_svc
##tr51m0
182.1.1.3       tr51m0_isvc
190.2.206.13    tr51m0_svc  tr51m0

##tr81m0
182.1.1.4          tr81m0_isvc
190.2.206.14    tr81m0_svc  tr81m0

##tr50m0
182.1.1.11         tr50m0_isvc
190.2.206.16    tr50m0_svc  tr50m0
140.100.100.201 tr50m0_l2

##tlg0m0
182.1.1.12         tlg0m0_isvc
190.2.206.17    tlg0m0_svc  tr80m0
#168.120.1.1    tlg0m0
168.120.1.101   tlg0m0_l1  tlg0m0
168.121.1.101   tlg0m0_l2

##pc server
182.1.1.5          pcserver_isvc
190.2.206.15    tin1backup

##others
10.25.100.150   bxerp3
10.3.130.52 scmb02
10.3.130.52 scmb02

mxin

[tlg1d0][root][/home/mxin/mon]>netstat -in
Name  Mtu   Network     Address            Ipkts Ierrs    Opkts Oerrs  Coll
en0   1500  link#2      0.9.6b.dd.e5.64     201023     0   159800     0     0
en0   1500  192.1.1     192.1.1.2           201023     0   159800     0     0
en0   1500  190.2.206   190.2.206.12        201023     0   159800     0     0
en1   1500  link#3      0.9.6b.dd.e5.65     325060     0   219394     0     0
en1   1500  182.1.1     182.1.1.2           325060     0   219394     0     0
en2   1500  link#4      0.11.25.8.db.20     241126     0   145860     0     0
en2   1500  192.168.1   192.168.1.2         241126     0   145860     0     0
en2   1500  140.100.100 140.100.100.102     241126     0   145860     0     0
en2   1500  168.121.1   168.121.1.202       241126     0   145860     0     0
en3   1500  link#5      0.11.25.8.da.80     259158     0   163891     0     0
en3   1500  192.168.2   192.168.2.2         259158     0   163891     0     0
en3   1500  168.120.1   168.120.1.202       259158     0   163891     0     0
lo0   16896 link#1                          276270     0   276339     0     0
lo0   16896 127         127.0.0.1           276270     0   276339     0     0
lo0   16896 ::1                             276270     0   276339     0     0

mxin

[tlg1d0][root][/home/mxin/mon]>netstat -i
Name  Mtu   Network     Address            Ipkts Ierrs    Opkts Oerrs  Coll
en0   1500  link#2      0.9.6b.dd.e5.64     201133     0   159876     0     0
en0   1500  192.1.1     tlg1d0_boot         201133     0   159876     0     0
en0   1500  190.2.206   tlg1d0_svc          201133     0   159876     0     0
en1   1500  link#3      0.9.6b.dd.e5.65     325204     0   219490     0     0
en1   1500  182.1.1     tlg1d0_isvc         325204     0   219490     0     0
en2   1500  link#4      0.11.25.8.db.20     241231     0   145924     0     0
en2   1500  192.168.1   tlg1d0_boot1        241231     0   145924     0     0
en2   1500  140.100.100 tlg1d0_1580_svc     241231     0   145924     0     0
en2   1500  168.121.1   tlg1d0_l2_svc       241231     0   145924     0     0
en3   1500  link#5      0.11.25.8.da.80     259264     0   163955     0     0
en3   1500  192.168.2   tlg1d0_boot2        259264     0   163955     0     0
en3   1500  168.120.1   tlg1d0_l1_svc       259264     0   163955     0     0
lo0   16896 link#1                          276376     0   276445     0     0
lo0   16896 127         loopback            276376     0   276445     0     0
lo0   16896 ::1                             276376     0   276445     0     0