P740 网卡频繁up &down

xnnt

各位，今天早上我司 p740的ent0网口突然频繁的up&down。检查硬件并做了网卡诊断。未发现报错，重启机器。更换了交换机端口。下午运行突然又出现一次闪断，检查当时最大业务连接有70个session。具体告警信息见下面内容。请高手给于指点。谢谢。

# errptIDENTIFIER TIMESTAMP  T C RESOURCE_NAME  DESCRIPTION3D32B80D   1215162116 P S topsvcs        NIM thread blockedF3931284   1215162016 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215162016 T H ent0           ETHERNET DOWN3D32B80D   1215160616 P S topsvcs        NIM thread blockedF3931284   1215160516 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215160516 T H ent0           ETHERNET DOWNAFA89905   1215125616 I O grpsvcs        Group Services daemon started97419D60   1215125616 I O topsvcs        Topology Services daemon startedA6DF45AA   1215125616 I O RMCdaemon      The daemon is started.2BFA76F6   1215125216 T S SYSPROC        SYSTEM SHUTDOWN BY USER9DBCFDEE   1215125416 T O errdemon       ERROR LOGGING TURNED ON192AC071   1215124916 T O errdemon       ERROR LOGGING TURNED OFFAA8AB241   1215124816 T O OPERATOR       OPERATOR NOTIFICATION173C787F   1215122216 I S topsvcs        Possible malfunction on local adapterF3931284   1215122216 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215122116 T H ent0           ETHERNET DOWN3D32B80D   1215122116 P S topsvcs        NIM thread blockedF3931284   1215122116 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215122116 T H ent0           ETHERNET DOWNF3931284   1215122116 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215122116 T H ent0           ETHERNET DOWNF3931284   1215122016 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215122016 T H ent0           ETHERNET DOWNF3931284   1215103416 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215103416 T H ent0           ETHERNET DOWNF3931284   1215103416 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215103416 T H ent0           ETHERNET DOWNF3931284   1215103416 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215103416 T H ent0           ETHERNET DOWNF3931284   1215103416 I H ent0           ETHERNET NETWORK RECOVERY MODE173C787F   1215103416 I S topsvcs        Possible malfunction on local adapterEC0BCCD4   1215103416 T H ent0           ETHERNET DOWNF3931284   1215103416 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215103416 T H ent0           ETHERNET DOWNF3931284   1215103416 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215103416 T H ent0           ETHERNET DOWNF3931284   1215103316 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215103316 T H ent0           ETHERNET DOWN3D32B80D   1215102816 P S topsvcs        NIM thread blockedF3931284   1215102716 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215102716 T H ent0           ETHERNET DOWNF3931284   1215102716 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215102716 T H ent0           ETHERNET DOWNF3931284   1215102716 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215102716 T H ent0           ETHERNET DOWNF3931284   1215102716 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215102716 T H ent0           ETHERNET DOWNF3931284   1215102716 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215102716 T H ent0           ETHERNET DOWN3D32B80D   1215095916 P S topsvcs        NIM thread blockedF3931284   1215095816 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215095816 T H ent0           ETHERNET DOWNF3931284   1215095816 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215095816 T H ent0           ETHERNET DOWNF3931284   1215094316 I H ent0           ETHERNET NETWORK RECOVERY MODE173C787F   1215094316 I S topsvcs        Possible malfunction on local adapterEC0BCCD4   1215094316 T H ent0           ETHERNET DOWNF3931284   1215094316 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215094316 T H ent0           ETHERNET DOWNF3931284   1215094316 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215094316 T H ent0           ETHERNET DOWNF3931284   1215094316 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215094316 T H ent0           ETHERNET DOWNF3931284   1215094316 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215094316 T H ent0           ETHERNET DOWNF3931284   1215094316 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215094316 T H ent0           ETHERNET DOWNF3931284   1215094216 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215094216 T H ent0           ETHERNET DOWNF3931284   1215094216 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215094216 T H ent0           ETHERNET DOWNF3931284   1215094216 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215094216 T H ent0           ETHERNET DOWNF3931284   1215094216 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215094216 T H ent0           ETHERNET DOWNF3931284   1215094216 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215094116 T H ent0           ETHERNET DOWNF3931284   1215094116 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215094116 T H ent0           ETHERNET DOWN173C787F   1215094116 I S topsvcs        Possible malfunction on local adapterF3931284   1215094116 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215094116 T H ent0           ETHERNET DOWNF3931284   1215094116 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215094116 T H ent0           ETHERNET DOWN173C787F   1215094016 I S topsvcs        Possible malfunction on local adapterF3931284   1215094016 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215093916 T H ent0           ETHERNET DOWN3D32B80D   1215093916 P S topsvcs        NIM thread blockedF3931284   1215093916 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215093916 T H ent0           ETHERNET DOWNF3931284   1215093816 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215093816 T H ent0           ETHERNET DOWNF3931284   1215093816 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215093816 T H ent0           ETHERNET DOWNF3931284   1215093816 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215093816 T H ent0           ETHERNET DOWNF3931284   1215093816 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215093816 T H ent0           ETHERNET DOWNF3931284   1215093816 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215093816 T H ent0           ETHERNET DOWNF3931284   1215093816 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215093816 T H ent0           ETHERNET DOWNF3931284   1215093816 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215093816 T H ent0           ETHERNET DOWNF3931284   1215093716 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215093716 T H ent0           ETHERNET DOWNF3931284   1215093716 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215093716 T H ent0           ETHERNET DOWNF3931284   1215093716 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215093716 T H ent0           ETHERNET DOWNF3931284   1215093716 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215093716 T H ent0           ETHERNET DOWNF3931284   1215093716 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215093716 T H ent0           ETHERNET DOWNF3931284   1215093616 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215093616 T H ent0           ETHERNET DOWNF3931284   1215093616 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215093616 T H ent0           ETHERNET DOWNF3931284   1215093616 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215093616 T H ent0           ETHERNET DOWNF3931284   1215093616 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215093616 T H ent0           ETHERNET DOWNF3931284   1215093616 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215093616 T H ent0           ETHERNET DOWNF3931284   1215092716 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215092716 T H ent0           ETHERNET DOWNF3931284   1215092716 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215092716 T H ent0           ETHERNET DOWN173C787F   1215092716 I S topsvcs        Possible malfunction on local adapterF3931284   1215092716 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215092716 T H ent0           ETHERNET DOWNF3931284   1215092716 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215092716 T H ent0           ETHERNET DOWNF3931284   1215092716 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215092716 T H ent0           ETHERNET DOWN3D32B80D   1215092216 P S topsvcs        NIM thread blockedF3931284   1215092116 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215092116 T H ent0           ETHERNET DOWN3D32B80D   1215091516 P S topsvcs        NIM thread blockedF3931284   1215091416 I H ent0           ETHERNET NETWORK RECOVERY MODEEC0BCCD4   1215091416 T H ent0           ETHERNET DOWNAFA89905   1126164416 I O grpsvcs        Group Services daemon started97419D60   1126164416 I O topsvcs        Topology Services daemon startedA6DF45AA   1126164316 I O RMCdaemon      The daemon is started.67145A39   1126163916 U S SYSDUMP        SYSTEM DUMPF48137AC   1126163816 U O minidump       COMPRESSED MINIMAL DUMPA924A5FC   1126163816 P S SYSPROC        SOFTWARE PROGRAM ABNORMALLY TERMINATED9DBCFDEE   1126164116 T O errdemon       ERROR LOGGING TURNED ON90D3329C   1126162616 P S topsvcs        NIM read/write errorDE3B8540   1126162616 P H hdisk6         PATH HAS FAILEDDE3B8540   1126162616 P H hdisk7         PATH HAS FAILEDDE3B8540   1126162616 P H hdisk4         PATH HAS FAILED4B436A3D   1126162616 T H fscsi2         LINK ERROR4B436A3D   1126162616 T H fscsi2         LINK ERRORDE3B8540   1126162616 P H hdisk5         PATH HAS FAILED4B436A3D   1126162616 T H fscsi0         LINK ERROR4B436A3D   1126162616 T H fscsi0         LINK ERROR173C787F   1126162616 I S topsvcs        Possible malfunction on local adapter7BFEEA1F   1126162616 T H fcs0           LINK ERRORDE3B8540   1126162616 P H hdisk7         PATH HAS FAILEDDE3B8540   1126162616 P H hdisk6         PATH HAS FAILEDDE3B8540   1126162616 P H hdisk5         PATH HAS FAILEDDE3B8540   1126162616 P H hdisk4         PATH HAS FAILED7BFEEA1F   1126162616 T H fcs2           LINK ERROREC0BCCD4   1126162516 T H ent0           ETHERNET DOWNEC0BCCD4   1126162516 T H ent1           ETHERNET DOWN# errpt -aj EC0BCCD4---------------------------------------------------------------------------LABEL:          GOENT_LINK_DOWNIDENTIFIER:     EC0BCCD4Date/Time:       Thu Dec 15 16:20:28 CST 2016Sequence Number: 4530Machine Id:      00F75D6B4C00Node Id:         calldb1Class:           HType:            TEMPWPAR:            GlobalResource Name:   ent0            Resource Class:  adapterResource Type:   14104003Location:        U78AA.001.WZSH9LH-P1-C7-T1VPD:                   2-P NIC-TX PCI-e:        EC Level....................D76567         Part Number.................46K6601        Manufacture ID..............YL1026        FRU Number..................46K6601        Network Address.............5CF3FCEA7C6E        ROM Level.(alterable).......EP0170DescriptionETHERNET DOWN        Recommended Actions        PERFORM PROBLEM DETERMINATION PROCEDURESDetail DataFILE NAMEline: 249 file: goent_intr.cPCI ETHERNET STATISTICS0000 304D 0061 081B 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0029 EC9D 0000 0000 178D 205E 0000 0000 0027 AD31 0000 0038 0000 00EB 0000 0000 0027 16A0 0000 0000 2E08 6C1F 0000 0000 0000 0000 0000 003F 0000 000E 0000 0002 0000 0000 0000 0000 0000 0000 0000 0000 0000 0002 0000 0000 0000 0001 0000 0000 0000 0000 0000 0000 0008 0381 000C 0060 0C00 0000 0000 01A0 0000 0000 0000 0000 0000 0000 0000 0000 0000 C1E1 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 DEVICE DRIVER INTERNAL STATE2222 2222 0000 0000 0000 0000 SOURCE ADDRESS5CF3 FCEA 7C6E ---------------------------------------------------------------------------LABEL:          GOENT_LINK_DOWNIDENTIFIER:     EC0BCCD4Date/Time:       Thu Dec 15 16:05:27 CST 2016Sequence Number: 4527Machine Id:      00F75D6B4C00Node Id:         calldb1Class:           HType:            TEMPWPAR:            GlobalResource Name:   ent0            Resource Class:  adapterResource Type:   14104003Location:        U78AA.001.WZSH9LH-P1-C7-T1VPD:                   2-P NIC-TX PCI-e:        EC Level....................D76567         Part Number.................46K6601        Manufacture ID..............YL1026        FRU Number..................46K6601        Network Address.............5CF3FCEA7C6E        ROM Level.(alterable).......EP0170DescriptionETHERNET DOWN        Recommended Actions        PERFORM PROBLEM DETERMINATION PROCEDURESDetail DataFILE NAMEline: 249 file: goent_intr.cPCI ETHERNET STATISTICS0000 2CC7 0061 081B 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0029 DE2B 0000 0000 1787 4A43 0000 0000 0027 9F1D 0000 0034 0000 00DD 0000 0000 0026 FE80 0000 0000 2DF4 3F06 0000 0000 0000 0000 0000 003B 0000 000A 0000 0002 0000 0000 0000 0000 0000 0000 0000 0000 0000 0002 0000 0000 0000 0001 0000 0000 0000 0000 0000 0000 0008 0381 000C 0060 0C00 0000 0000 01A0 0000 0000 0000 0000 0000 0000 0000 0000 0000 C1E1 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 DEVICE DRIVER INTERNAL STATE2222 2222 0000 0000 0000 0000 SOURCE ADDRESS5CF3 FCEA 7C6E

xnnt

具体查看附件的打包错误信息。