solaris9+cluster3.1频繁切换的问题，在线等

jdsnxingsc

双机比较频繁的切换，基本是每天都有切换，不知道是什么原因，请大侠指教，发生切换时候的messages日志如下：\r\nAug 17 07:23:09 JDSN-SEC in.mpathd[456]: [ID 594170 daemon.error] NIC failure detected on ce0 of group ipmp1\r\nAug 17 07:23:09 JDSN-SEC Cluster.PNM: [ID 890413 daemon.notice] ipmp1: state transition from OK to DOWN.\r\nAug 17 07:23:19 JDSN-SEC Cluster.RGM.rgmd: [ID 707948 daemon.notice] launching method <hafoip_monitor_stop> for resource <JDSN-ORA>, resource group <ha-ora>, timeout <300> seconds\r\nAug 17 07:23:19 JDSN-SEC Cluster.RGM.rgmd: [ID 707948 daemon.notice] launching method <hastorageplus_monitor_stop> for resource <hasp-ora>, resource group <ha-ora>, timeout <90> seconds\r\nAug 17 07:23:19 JDSN-SEC Cluster.RGM.rgmd: [ID 707948 daemon.notice] launching method <bin/oracle_listener_monitor_stop> for resource <ora-listener-res>, resource group <ha-ora>, timeout <120> seconds\r\nAug 17 07:23:19 JDSN-SEC Cluster.RGM.rgmd: [ID 707948 daemon.notice] launching method <bin/oracle_server_monitor_stop> for resource <ora-server-res>, resource group <ha-ora>, timeout <120> seconds\r\nAug 17 07:23:19 JDSN-SEC Cluster.RGM.rgmd: [ID 736390 daemon.notice] method <hastorageplus_monitor_stop> completed successfully for resource <hasp-ora>, resource group <ha-ora>, time used: 0% of timeout <90 seconds>\r\nAug 17 07:23:19 JDSN-SEC Cluster.RGM.rgmd: [ID 707948 daemon.notice] launching method <hastorageplus_stop> for resource <hasp-ora>, resource group <ha-ora>, timeout <1800> seconds\r\nAug 17 07:23:19 JDSN-SEC Cluster.RGM.rgmd: [ID 736390 daemon.notice] method <hastorageplus_stop> completed successfully for resource <hasp-ora>, resource group <ha-ora>, time used: 0% of timeout <1800 seconds>\r\nAug 17 07:23:19 JDSN-SEC Cluster.RGM.rgmd: [ID 736390 daemon.notice] method <hafoip_monitor_stop> completed successfully for resource <JDSN-ORA>, resource group <ha-ora>, time used: 0% of timeout <300 seconds>\r\nAug 17 07:23:19 JDSN-SEC Cluster.RGM.rgmd: [ID 736390 daemon.notice] method <bin/oracle_server_monitor_stop> completed successfully for resource <ora-server-res>, resource group <ha-ora>, time used: 0% of timeout <120 seconds>\r\nAug 17 07:23:19 JDSN-SEC Cluster.RGM.rgmd: [ID 707948 daemon.notice] launching method <bin/oracle_server_stop> for resource <ora-server-res>, resource group <ha-ora>, timeout <300> seconds\r\nAug 17 07:23:20 JDSN-SEC Cluster.RGM.rgmd: [ID 736390 daemon.notice] method <bin/oracle_listener_monitor_stop> completed successfully for resource <ora-listener-res>, resource group <ha-ora>, time used: 0% of timeout <120 seconds>\r\nAug 17 07:23:20 JDSN-SEC Cluster.RGM.rgmd: [ID 707948 daemon.notice] launching method <bin/oracle_listener_stop> for resource <ora-listener-res>, resource group <ha-ora>, timeout <180> seconds\r\nAug 17 07:23:23 JDSN-SEC Cluster.RGM.rgmd: [ID 736390 daemon.notice] method <bin/oracle_listener_stop> completed successfully for resource <ora-listener-res>, resource group <ha-ora>, time used: 2% of timeout <180 seconds>\r\nAug 17 07:23:24 JDSN-SEC in.mpathd[456]: [ID 299542 daemon.error] NIC repair detected on ce0 of group ipmp1\r\nAug 17 07:23:24 JDSN-SEC Cluster.PNM: [ID 890413 daemon.notice] ipmp1: state transition from DOWN to OK.\r\nAug 17 07:24:31 JDSN-SEC Cluster.RGM.rgmd: [ID 736390 daemon.notice] method <bin/oracle_server_stop> completed successfully for resource <ora-server-res>, resource group <ha-ora>, time used: 23% of timeout <300 seconds>\r\nAug 17 07:24:31 JDSN-SEC Cluster.RGM.rgmd: [ID 707948 daemon.notice] launching method <hafoip_stop> for resource <JDSN-ORA>, resource group <ha-ora>, timeout <300> seconds\r\nAug 17 07:24:31 JDSN-SEC ip: [ID 979104 kern.notice] TCP_IOC_ABORT_CONN: local = 010.000.000.031:0, remote = 000.000.000.000:0, start = -2, end = 6\r\nAug 17 07:24:31 JDSN-SEC ip: [ID 524725 kern.notice] TCP_IOC_ABORT_CONN: aborted 24 connections\r\nAug 17 07:24:31 JDSN-SEC Cluster.RGM.rgmd: [ID 736390 daemon.notice] method <hafoip_stop> completed successfully for resource <JDSN-ORA>, resource group <ha-ora>, time used: 0% of timeout <300 seconds>\r\nAug 17 07:24:31 JDSN-SEC Cluster.RGM.rgmd: [ID 707948 daemon.notice] launching method <hastorageplus_postnet_stop> for resource <hasp-ora>, resource group <ha-ora>, timeout <1800> seconds\r\nAug 17 07:24:31 JDSN-SEC Cluster.RGM.rgmd: [ID 736390 daemon.notice] method <hastorageplus_postnet_stop> completed successfully for resource <hasp-ora>, resource group <ha-ora>, time used: 0% of timeout <1800 seconds>\r\nAug 17 07:24:32 JDSN-SEC Cluster.Framework: [ID 801593 daemon.notice] stdout: no longer primary for oraset\r\n发生错误的messages_log.ora-server-res日志如下：\r\nAug 17 07:23:19 SC[SUNWscor.oracle_server.monitor_stop]:ha-orara-server-res: Stopping fault monitor using pmfadm tag ORASERV_MON_ora-server-res\r\nAug 17 07:23:20 SC[SUNWscor.oracle_server.stop]:ha-orara-server-res: Stopping oracle server using shutdown immediate\r\n\r\nSQL*Plus: Release 9.2.0.1.0 - Production on Thu Aug 17 07:23:20 2006\r\n\r\nCopyright (c) 1982, 2002, Oracle Corporation.  All rights reserved.\r\n\r\n\r\nConnected to:\r\nOracle9i Enterprise Edition Release 9.2.0.1.0 - 64bit Production\r\nWith the Partitioning, OLAP and Oracle Data Mining options\r\nJServer Release 9.2.0.1.0 - Production\r\n\r\nSQL> Database closed.\r\nDatabase dismounted.\r\nORACLE instance shut down.\r\nSQL> Disconnected from Oracle9i Enterprise Edition Release 9.2.0.1.0 - 64bit Production\r\nWith the Partitioning, OLAP and Oracle Data Mining options\r\nJServer Release 9.2.0.1.0 - Production\r\nAug 17 07:24:31 SC[SUNWscor.oracle_server.stop]:ha-orara-server-res: Server stopped successfully.\r\nAug 17 10:48:59 SC[SUNWscor.oracle_server.start]:ha-orara-server-res: Starting Oracle server.\r\n\r\nSQL*Plus: Release 9.2.0.1.0 - Production on Thu Aug 17 10:48:59 2006\r\n\r\nCopyright (c) 1982, 2002, Oracle Corporation.  All rights reserved.\r\n\r\nConnected to an idle instance.\r\n\r\nSQL> ORACLE instance started.\r\n\r\nTotal System Global Area 1578601320 bytes\r\nFixed Size                     732008 bytes\r\nVariable Size                 1157627904 bytes\r\nDatabase Buffers          419430400 bytes\r\nRedo Buffers                     811008 bytes\r\nDatabase mounted.\r\nDatabase opened.\r\nSQL> Disconnected from Oracle9i Enterprise Edition Release 9.2.0.1.0 - 64bit Production\r\nWith the Partitioning, OLAP and Oracle Data Mining options\r\nJServer Release 9.2.0.1.0 - Production\r\n\r\n///////////////////////////////////////////////////////////////////////////////////////////////////\r\n# ./scstat\r\n------------------------------------------------------------------\r\n\r\n-- Cluster Nodes --\r\n\r\n                    Node name           Status\r\n                    ---------           ------\r\n  Cluster node:     JDSN-FIR            Online\r\n  Cluster node:     JDSN-SEC            Online\r\n\r\n------------------------------------------------------------------\r\n\r\n-- Cluster Transport Paths --\r\n\r\n                    Endpoint            Endpoint            Status\r\n                    --------            --------            ------\r\n  Transport path:   JDSN-FIR:ce2        JDSN-SEC:ce2        Path online\r\n  Transport path:   JDSN-FIR:ce1        JDSN-SEC:ce1        Path online\r\n\r\n------------------------------------------------------------------\r\n\r\n-- Quorum Summary --\r\n\r\n  Quorum votes possible:      3\r\n  Quorum votes needed:        2\r\n  Quorum votes present:       3\r\n\r\n\r\n-- Quorum Votes by Node --\r\n\r\n                    Node Name           Present Possible Status\r\n                    ---------           ------- -------- ------\r\n  Node votes:       JDSN-FIR            1        1       Online\r\n  Node votes:       JDSN-SEC            1        1       Online\r\n\r\n\r\n-- Quorum Votes by Device --\r\n\r\n                    Device Name         Present Possible Status\r\n                    -----------         ------- -------- ------\r\n  Device votes:     /dev/did/rdsk/d1s2  1        1       Online\r\n\r\n------------------------------------------------------------------\r\n\r\n-- Device Group Servers --\r\n\r\n                         Device Group        Primary             Secondary\r\n                         ------------        -------             ---------\r\n  Device group servers:  oraset              JDSN-SEC            JDSN-FIR\r\n\r\n\r\n-- Device Group Status --\r\n\r\n                              Device Group        Status\r\n                              ------------        ------\r\n  Device group status:        oraset              Online\r\n\r\n------------------------------------------------------------------\r\n\r\n-- Resource Groups and Resources --\r\n\r\n            Group Name          Resources\r\n            ----------          ---------\r\n Resources: ha-ora              JDSN-ORA hasp-ora ora-listener-res ora-server-re\r\ns\r\n\r\n\r\n-- Resource Groups --\r\n\r\n            Group Name          Node Name           State\r\n            ----------          ---------           -----\r\n     Group: ha-ora              JDSN-FIR            Offline\r\n     Group: ha-ora              JDSN-SEC            Online\r\n\r\n\r\n-- Resources --\r\n\r\n            Resource Name       Node Name           State     Status Message\r\n            -------------       ---------           -----     --------------\r\n  Resource: JDSN-ORA            JDSN-FIR            Offline   Offline - LogicalH\r\nostname offline.\r\n  Resource: JDSN-ORA            JDSN-SEC            Online    Online - LogicalHo\r\nstname online.\r\n\r\n  Resource: hasp-ora            JDSN-FIR            Offline   Offline\r\n  Resource: hasp-ora            JDSN-SEC            Online    Online\r\n\r\n  Resource: ora-listener-res    JDSN-FIR            Offline   Offline\r\n  Resource: ora-listener-res    JDSN-SEC            Online    Online\r\n\r\n  Resource: ora-server-res      JDSN-FIR            Offline   Offline\r\n  Resource: ora-server-res      JDSN-SEC            Online    Online\r\n\r\n------------------------------------------------------------------\r\n\r\n-- IPMP Groups --\r\n\r\n              Node Name           Group   Status         Adapter   Status\r\n              ---------           -----   ------         -------   ------\r\n  IPMP Group: JDSN-FIR            ipmp1   Online         ce0       Online\r\n\r\n  IPMP Group: JDSN-SEC            ipmp1   Online         ce0       Online