v490-VCS双机报错

glfeng

主节点：
root@primary # dmesg
Apr  6 18:05:59 primary vxio: [ID 394874 kern.notice] NOTICE: VxVM VVR vxio V-5-0-0 Disconnecting rlink datarlk due to error : -10
Apr  6 18:05:59 primary vxio: [ID 467919 kern.warning] WARNING: VxVM VVR vxio V-5-0-266 Rlink datarlk disconnected from remote
Apr  6 18:05:59 primary vxio: [ID 490591 kern.notice] NOTICE: VxVM VVR vxio V-5-0-265 Rlink datarlk connected to remote
Apr  6 18:06:01 primary vxio: [ID 663796 kern.notice] NOTICE: VxVM VVR vxio V-5-0-0 Disconnecting rlink datarlk due to loss of TCP connection.
Apr  6 18:06:01 primary last message repeated 2 times
Apr  6 18:06:01 primary vxio: [ID 467919 kern.warning] WARNING: VxVM VVR vxio V-5-0-266 Rlink datarlk disconnected from remote
Apr  6 18:06:02 primary vxio: [ID 754354 kern.warning] WARNING: VxVM VVR vxio V-5-0-233 Node 132.37.25.106 disconnected from node 132.37.25.98
Apr  6 18:06:05 primary vxio: [ID 118803 kern.notice] NOTICE: VxVM VVR vxio V-5-0-91 Connected from node 132.37.25.106 to node 132.37.25.98
Apr  6 18:06:05 primary vxio: [ID 490591 kern.notice] NOTICE: VxVM VVR vxio V-5-0-265 Rlink datarlk connected to remote
Apr  6 18:11:49 primary vxio: [ID 663796 kern.notice] NOTICE: VxVM VVR vxio V-5-0-0 Disconnecting rlink datarlk due to loss of TCP connection.
Apr  6 18:11:49 primary last message repeated 2 times
Apr  6 18:11:49 primary vxio: [ID 728886 kern.notice] NOTICE: VxVM VVR vxio V-5-0-0 Disconnecting rlink datarlk remote already connected
Apr  6 18:11:49 primary vxio: [ID 394874 kern.notice] NOTICE: VxVM VVR vxio V-5-0-0 Disconnecting rlink datarlk due to error : -10
Apr  6 18:11:49 primary last message repeated 2 times
Apr  6 18:11:49 primary vxio: [ID 467919 kern.warning] WARNING: VxVM VVR vxio V-5-0-266 Rlink datarlk disconnected from remote
Apr  6 18:11:50 primary vxio: [ID 490591 kern.notice] NOTICE: VxVM VVR vxio V-5-0-265 Rlink datarlk connected to remote
Apr  6 18:36:34 primary vxio: [ID 663796 kern.notice] NOTICE: VxVM VVR vxio V-5-0-0 Disconnecting rlink datarlk due to loss of TCP connection.
Apr  6 18:36:34 primary last message repeated 1 time
Apr  6 18:36:35 primary vxio: [ID 394874 kern.notice] NOTICE: VxVM VVR vxio V-5-0-0 Disconnecting rlink datarlk due to error : -10
Apr  6 18:36:35 primary last message repeated 1 time
Apr  6 18:36:35 primary vxio: [ID 467919 kern.warning] WARNING: VxVM VVR vxio V-5-0-266 Rlink datarlk disconnected from remote
Apr  6 18:36:36 primary vxio: [ID 490591 kern.notice] NOTICE: VxVM VVR vxio V-5-0-265 Rlink datarlk connected to remote
Apr  6 18:36:41 primary vxio: [ID 754354 kern.warning] WARNING: VxVM VVR vxio V-5-0-233 Node 132.37.25.106 disconnected from node 132.37.25.98
Apr  6 18:36:54 primary vxio: [ID 118803 kern.notice] NOTICE: VxVM VVR vxio V-5-0-91 Connected from node 132.37.25.106 to node 132.37.25.98
Apr  6 18:46:13 primary vxio: [ID 467919 kern.warning] WARNING: VxVM VVR vxio V-5-0-266 Rlink datarlk disconnected from remote
Apr  6 18:46:13 primary vxio: [ID 490591 kern.notice] NOTICE: VxVM VVR vxio V-5-0-265 Rlink datarlk connected to remote
Apr  6 18:46:16 primary vxio: [ID 754354 kern.warning] WARNING: VxVM VVR vxio V-5-0-233 Node 132.37.25.106 disconnected from node 132.37.25.98
Apr  6 18:46:29 primary vxio: [ID 118803 kern.notice] NOTICE: VxVM VVR vxio V-5-0-91 Connected from node 132.37.25.106 to node 132.37.25.98
Apr  6 18:49:56 primary HeartbeatFramework[2434]: [ID 702911 daemon.notice] VCS ERROR V-16-1-5 Icmp:No response received from any host
Apr  6 19:10:53 primary vxio: [ID 663796 kern.notice] NOTICE: VxVM VVR vxio V-5-0-0 Disconnecting rlink datarlk due to loss of TCP connection.
Apr  6 19:10:53 primary last message repeated 2 times
Apr  6 19:10:53 primary vxio: [ID 394874 kern.notice] NOTICE: VxVM VVR vxio V-5-0-0 Disconnecting rlink datarlk due to error : -10
Apr  6 19:10:53 primary last message repeated 1 time
Apr  6 19:10:53 primary vxio: [ID 467919 kern.warning] WARNING: VxVM VVR vxio V-5-0-266 Rlink datarlk disconnected from remote

备节点：
root@Secondary # dmesg
Apr  6 19:10:01 Secondary vxio: [ID 754354 kern.warning] WARNING: VxVM VVR vxio V-5-0-233 Node 132.37.25.98 disconnected from node 132.37.25.106
Apr  6 19:10:17 Secondary vxio: [ID 118803 kern.notice] NOTICE: VxVM VVR vxio V-5-0-91 Connected from node 132.37.25.98 to node 132.37.25.106
Apr  6 19:10:49 Secondary HeartbeatFramework[2205]: [ID 702911 daemon.notice] VCS ERROR V-16-1-5 Icmp:No response received from any host
Apr  6 19:14:20 Secondary vxio: [ID 218356 kern.warning] WARNING: VxVM VVR vxio V-5-0-267 Rlink datarlk disconnecting due to ack timeout on update message
Apr  6 19:14:21 Secondary vxio: [ID 467919 kern.warning] WARNING: VxVM VVR vxio V-5-0-266 Rlink datarlk disconnected from remote
Apr  6 19:14:22 Secondary vxio: [ID 490591 kern.notice] NOTICE: VxVM VVR vxio V-5-0-265 Rlink datarlk connected to remote
Apr  6 19:18:49 Secondary HeartbeatFramework[2205]: [ID 702911 daemon.notice] VCS ERROR V-16-1-5 Icmp:No response received from any host
Apr  6 19:19:49 Secondary last message repeated 2 times
Apr  6 19:23:27 Secondary vxio: [ID 218356 kern.warning] WARNING: VxVM VVR vxio V-5-0-267 Rlink datarlk disconnecting due to ack timeout on update message
Apr  6 19:23:29 Secondary vxio: [ID 467919 kern.warning] WARNING: VxVM VVR vxio V-5-0-266 Rlink datarlk disconnected from remote
Apr  6 19:23:30 Secondary vxio: [ID 490591 kern.notice] NOTICE: VxVM VVR vxio V-5-0-265 Rlink datarlk connected to remote
Apr  6 19:25:49 Secondary HeartbeatFramework[2205]: [ID 702911 daemon.notice] VCS ERROR V-16-1-5 Icmp:No response received from any host
Apr  6 19:28:45 Secondary vxio: [ID 218356 kern.warning] WARNING: VxVM VVR vxio V-5-0-267 Rlink datarlk disconnecting due to ack timeout on update message
Apr  6 19:28:46 Secondary vxio: [ID 467919 kern.warning] WARNING: VxVM VVR vxio V-5-0-266 Rlink datarlk disconnected from remote
Apr  6 19:28:47 Secondary vxio: [ID 910032 kern.notice] NOTICE: VxVM VVR vxio V-5-0-330 Unable to connect to rlink datarlk on rvg datarvg: Rlink already connected on remote
Apr  6 19:28:48 Secondary vxio: [ID 754354 kern.warning] WARNING: VxVM VVR vxio V-5-0-233 Node 132.37.25.98 disconnected from node 132.37.25.106
Apr  6 19:28:53 Secondary vxio: [ID 118803 kern.notice] NOTICE: VxVM VVR vxio V-5-0-91 Connected from node 132.37.25.98 to node 132.37.25.106
Apr  6 19:28:54 Secondary vxio: [ID 490591 kern.notice] NOTICE: VxVM VVR vxio V-5-0-265 Rlink datarlk connected to remote
Apr  6 19:31:49 Secondary HeartbeatFramework[2205]: [ID 702911 daemon.notice] VCS ERROR V-16-1-5 Icmp:No response received from any host
Apr  6 19:34:18 Secondary vxio: [ID 218356 kern.warning] WARNING: VxVM VVR vxio V-5-0-267 Rlink datarlk disconnecting due to ack timeout on update message
Apr  6 19:34:20 Secondary vxio: [ID 467919 kern.warning] WARNING: VxVM VVR vxio V-5-0-266 Rlink datarlk disconnected from remote
Apr  6 19:34:21 Secondary vxio: [ID 754354 kern.warning] WARNING: VxVM VVR vxio V-5-0-233 Node 132.37.25.98 disconnected from node 132.37.25.106
Apr  6 19:34:26 Secondary vxio: [ID 118803 kern.notice] NOTICE: VxVM VVR vxio V-5-0-91 Connected from node 132.37.25.98 to node 132.37.25.106
Apr  6 19:34:27 Secondary vxio: [ID 490591 kern.notice] NOTICE: VxVM VVR vxio V-5-0-265 Rlink datarlk connected to remote
Apr  6 19:40:48 Secondary vxio: [ID 218356 kern.warning] WARNING: VxVM VVR vxio V-5-0-267 Rlink datarlk disconnecting due to ack timeout on update message
Apr  6 19:40:49 Secondary HeartbeatFramework[2205]: [ID 702911 daemon.notice] VCS ERROR V-16-1-5 Icmp:No response received from any host
Apr  6 19:40:50 Secondary vxio: [ID 467919 kern.warning] WARNING: VxVM VVR vxio V-5-0-266 Rlink datarlk disconnected from remote
Apr  6 19:40:51 Secondary vxio: [ID 910032 kern.notice] NOTICE: VxVM VVR vxio V-5-0-330 Unable to connect to rlink datarlk on rvg datarvg: Rlink already connected on remote
Apr  6 19:40:52 Secondary vxio: [ID 490591 kern.notice] NOTICE: VxVM VVR vxio V-5-0-265 Rlink datarlk connected to remote
Apr  6 19:44:49 Secondary HeartbeatFramework[2205]: [ID 702911 daemon.notice] VCS ERROR V-16-1-5 Icmp:No response received from any host
Apr  6 19:45:49 Secondary last message repeated 1 time
Apr  6 19:47:16 Secondary vxio: [ID 218356 kern.warning] WARNING: VxVM VVR vxio V-5-0-267 Rlink datarlk disconnecting due to ack timeout on update message

集群状态:
root@Secondary # hastatus
attempting to connect....connected

group           resource             cluster:system       message            
--------------- -------------------- -------------------- --------------------
                                     primaryCluster       RUNNING            
HB:Icmp                              primaryCluster       ALIVE               
                                     localclus:Secondary  RUNNING            
                                     primaryCluster:primary RUNNING            
-------------------------------------------------------------------------
AppService                           localclus:Secondary  ONLINE              
ClusterService                       localclus:Secondary  ONLINE              
VVRService                           localclus:Secondary  ONLINE              
AppService                           primaryCluster:primary OFFLINE            
                AgentCORBAApp        localclus:Secondary  ONLINE              
-------------------------------------------------------------------------
                AsonSdhApp           localclus:Secondary  ONLINE              
                DCServerApp          localclus:Secondary  ONLINE              
                EmfCauSrvApp         localclus:Secondary  ONLINE              
                EmfFaultApp          localclus:Secondary  ONLINE              
                EmfSchdApp           localclus:Secondary  ONLINE              
-------------------------------------------------------------------------
                EmfSecuApp           localclus:Secondary  ONLINE              
                EmfSysMoniApp        localclus:Secondary  ONLINE              
                EmfTopoApp           localclus:Secondary  ONLINE              
                EmlMoniTomcatApp     localclus:Secondary  ONLINE              
                EmlPerfSvrApp        localclus:Secondary  ONLINE              
-------------------------------------------------------------------------
                EmlPubSvrApp         localclus:Secondary  ONLINE              
                EmlToolkitSrvApp     localclus:Secondary  ONLINE              
                EmlWebLCTSvrApp      localclus:Secondary  ONLINE              
                EmlZipSrvApp         localclus:Secondary  ONLINE              
                Eml_mmlApp           localclus:Secondary  ONLINE              
-------------------------------------------------------------------------
                MdpApp               localclus:Secondary  ONLINE              
                Naming_ServiceApp    localclus:Secondary  ONLINE              
                NmlCommonApp         localclus:Secondary  ONLINE              
                NmlEthApp            localclus:Secondary  ONLINE              
                NmlSdhApp            localclus:Secondary  ONLINE              
-------------------------------------------------------------------------
                Notify_ServiceApp    localclus:Secondary  ONLINE              
                SdhNemgrApp_4443     localclus:Secondary  ONLINE              
                datacollectorsvrApp  localclus:Secondary  ONLINE              
                neproxyApp           localclus:Secondary  ONLINE              
                datarvg_primary      localclus:Secondary  ONLINE              
-------------------------------------------------------------------------
                DatabaseServer       localclus:Secondary  ONLINE              
                BackupServer         localclus:Secondary  ONLINE              
                wac                  localclus:Secondary  ONLINE              
                webip                localclus:Secondary  ONLINE              
                csgnic               localclus:Secondary  ONLINE              
-------------------------------------------------------------------------
                VCSweb               localclus:Secondary  ONLINE              
                VVRServiceNIC        localclus:Secondary  ONLINE              
                datarvg              localclus:Secondary  ONLINE              
                AgentCORBAApp        primaryCluster:primary OFFLINE            
                AsonSdhApp           primaryCluster:primary OFFLINE            
-------------------------------------------------------------------------
                DCServerApp          primaryCluster:primary OFFLINE            
                EmfCauSrvApp         primaryCluster:primary OFFLINE            
                EmfFaultApp          primaryCluster:primary OFFLINE            
                EmfSchdApp           primaryCluster:primary OFFLINE            
                EmfSecuApp           primaryCluster:primary OFFLINE            
-------------------------------------------------------------------------
                EmfSysMoniApp        primaryCluster:primary OFFLINE            
                EmfTopoApp           primaryCluster:primary OFFLINE            
                EmlMoniTomcatApp     primaryCluster:primary OFFLINE            
                EmlPerfSvrApp        primaryCluster:primary OFFLINE            
                EmlPubSvrApp         primaryCluster:primary OFFLINE            
-------------------------------------------------------------------------
                EmlToolkitSrvApp     primaryCluster:primary OFFLINE            
                EmlWebLCTSvrApp      primaryCluster:primary OFFLINE            
                EmlZipSrvApp         primaryCluster:primary OFFLINE            
                Eml_mmlApp           primaryCluster:primary OFFLINE            
                MdpApp               primaryCluster:primary OFFLINE            
-------------------------------------------------------------------------
                Naming_ServiceApp    primaryCluster:primary OFFLINE            

group           resource             cluster:system       message            
--------------- -------------------- -------------------- --------------------
                NmlCommonApp         primaryCluster:primary OFFLINE            
                NmlEthApp            primaryCluster:primary OFFLINE            
                NmlSdhApp            primaryCluster:primary OFFLINE            
                Notify_ServiceApp    primaryCluster:primary OFFLINE            
-------------------------------------------------------------------------
                SdhNemgrApp_4443     primaryCluster:primary OFFLINE            
                datacollectorsvrApp  primaryCluster:primary OFFLINE            
                neproxyApp           primaryCluster:primary OFFLINE            
                datarvg_primary      primaryCluster:primary OFFLINE            
                DatabaseServer       primaryCluster:primary OFFLINE            
-------------------------------------------------------------------------
                BackupServer         primaryCluster:primary OFFLINE            



^Croot@Secondary # hastatus -sum

-- SYSTEM STATE
-- System               State                Frozen              

A  Secondary            RUNNING              0                    

-- GROUP STATE
-- Group           System               Probed     AutoDisabled    State         

B  AppService      Secondary            Y          N               ONLINE         
B  ClusterService  Secondary            Y          N               ONLINE         
B  VVRService      Secondary            Y          N               ONLINE         

-- WAN HEARTBEAT STATE
-- Heartbeat       To                   State     

L  Icmp            primaryCluster       ALIVE     

-- REMOTE CLUSTER STATE
-- Cluster         State     

M  primaryCluster  RUNNING   

-- REMOTE SYSTEM STATE
-- cluster:system       State                Frozen              

N  primaryCluster:primary RUNNING              0                  

-- REMOTE GROUP STATE
-- Group           cluster:system       Probed     AutoDisabled    State         

O  AppService      primaryCluster:primary Y          N               OFFLINE

glfeng

请知道的大侠指点迷津,谢谢。