修复sunfire4800的一个软错误

wangsy1818

昨天在做了一个4800的case，
Case描述：在一台sunfire4800（2块cpu板）上再扩一块cpu板，使其达到满配3块cpu板12个cpu，24G内存。
故障现象：
SF4800主机前面板亮黄灯，SB0板亮黄灯。
showbo
Slot     Pwr Component   Type      State      Status    Domain
/N0/SB0   On   CPU Board  V2      Active       Degraded   A
prtdiag –v |more
System Configuration:  Sun Microsystems  sun4u Sun Fire 4800
System clock frequency: 150 MHz
Memory size: 22528 Megabytes
            CPU      Run    E$   CPU      CPU
FRU Name     ID      MHz    MB   Impl.    Mask
----------  -------  ----  ----  -------  ----
/N0/SB0/P0    0      1200   8.0  US-III+  11.0   
/N0/SB0/P1    1      1200   8.0  US-III+  11.0   
/N0/SB0/P3    3      1200   8.0  US-III+  11.0   
/N0/SB2/P0    8      1200   8.0  US-III+  11.0   
/N0/SB2/P1    9      1200   8.0  US-III+  11.0   
/N0/SB2/P2   10      1200   8.0  US-III+  11.0   
/N0/SB2/P3   11      1200   8.0  US-III+  11.0   
/N0/SB4/P0   16      1200   8.0  US-III+  11.0   
/N0/SB4/P1   17      1200   8.0  US-III+  11.0   
/N0/SB4/P2   18      1200   8.0  US-III+  11.0   
/N0/SB4/P3   19      1200   8.0  US-III+  11.0   

只能看到22G内存，11个cpu，所扩的cpu板/N0/SB0/P2其中一个cpu和内存故障。
将其报错和相关信息发给SUN，经SUN分析，此故障是一SF4800cpu板的软故障使用命令即可修复。
修复操作如下：               
SF4800B:SC> service

The use of service commands can be destructive and destabilize the system.
Use of service mode is authorized only by personnel trained in its use.

Enter Password:
Invalid password.


HostID: 8307c36a
ScApp version: 5.18.0
RTOS version: 41
SUN需要主机的hostid和主机的S/N，来计算出service层的password。
输入密码进入service层
SF4800B:SC[service]> help

Platform Shell commands:

addboard         -- assign a board to a domain
addcodlicense    -- add a cod license
clearerrorbuffer -- clear the contents of the error buffer
clearlogs        -- clear the contents of the log buffer
connections      -- show connections to the system controller or a domain
console          -- connect to a domain shell/console
deleteboard      -- unassign a board from a domain
deletecodlicense -- delete a cod license
disablecomponent -- add a component to the blacklist
disconnect       -- disconnect this connection or a specified connection
dumpconfig       -- save the system controller configuration to a server
enablecodboard   -- convert non-COD board to COD board
enablecomponent  -- remove a component from the blacklist
flashupdate      -- update firmware
help             -- show help for a command or list of commands
history          -- show command history
password         -- set the platform or domain password
poweroff         -- powers off components
poweron          -- powers on components
reboot           -- reboot the system controller
restartssh       -- restart SSH server (SSH must be enabled)
restoreconfig    -- restore the system controller configuration from a server
setchs           -- set FRU component health status
setdate          -- set the date and time for the platform
setdefaults      -- set default configuration values
setescape        -- set system controller escape sequence (default "#.")
setfailover      -- set automatic/manual SC failover
setkeyswitch     -- set the keyswitch position for a domain
setls            -- set FRU location status
setupplatform    -- configure the platform
showboards       -- show board information
showchs          -- show component health status
showcodlicense   -- show COD licenses
showcodusage     -- show COD resource usage
showcomponent    -- show state of a component
showdate         -- show the current date and time for the platform or a domain
showenvironment  -- show environmental information
showerrorbuffer  -- show the contents of the error buffer
showescape       -- show system controller escape sequence
showfailover     -- show SC Failover information
showfru          -- show FRUID information
showkeyswitch    -- show the keyswitch positions
showlogs         -- show the logs
showplatform     -- show platform configuration, information and domain status
showsc           -- show system controller version and uptime
ssh-keygen       -- generate SSH host keys or show SSH host key fingerprint
testboard        -- test a CPU/Memory board
testinterconnect -- run interconnect test

在service层有一些在SC层没有的命令。
SF4800B:SC[service]> showchs
Component           Status   
---------------     --------  
/N0/SB0/P2          Faulty   

SF4800B:SC[service]> setchs -s  OK -r "This CPU believed to be good" -c /N0/SB0/P2            此命令是修复的cpu板的软错误
SF4800B:SC[service]> showchs
Component           Status   
---------------     --------  
/N0/SB0/P2          OK        
SF4800B:SC[service]> showchs -b
Component           Status   
---------------     --------  
SF4800B:SC[service]> showchs -v -c sb0
Total # of records: 6
Component           : /N0/SB0/P2         
Time Stamp          : Thu Mar 17 15:10:17 GMT+08:00 2005
New Status          : OK        
Old Status          : Faulty   
Event Code          : Field Engineer Supplied Status
Initiator           : Field Engineer
Message             : This CPU believed to be good
SF4800B:SC> showbo

Slot     Pwr Component Type                 State      Status     Domain
----     --- --------------                 -----      ------     ------
SSC0     On  System Controller              Main       Passed     -        
SSC1     On  Present                        Spare      -          -        
ID0      On  Sun Fire 4800 Centerplane      -          OK         -        
PS0      On  A153 Power Supply              -          OK         -        
PS1      On  A153 Power Supply              -          OK         -        
PS2      On  A153 Power Supply              -          OK         -        
FT0      On  Fan Tray                       Low Speed  OK         -        
FT1      On  Fan Tray                       Low Speed  OK         -        
FT2      On  Fan Tray                       Low Speed  OK         -        
RP0      On  Repeater Board                 -          OK         -
RP2      On  Repeater Board                 -          OK         -
/N0/SB0  On  CPU Board V2                   Active     Degraded   A
/N0/SB2  On  CPU Board V2                   Active     Passed     A
/N0/SB4  On  CPU Board V2                   Active     Passed     A
/N0/IB6  On  PCI I/O Board                  Active     Passed     A
IB8      On  PCI I/O Board                  Available  Not tested Isolated

此时主机和SB0仍亮黄灯，需重启SB0。
SF4800B:SC> poweroff sb0
SF4800B:SC> poweron sb0
SF4800B:SC> test sb0
{/N0/SB0/P0} Passed
{/N0/SB0/P1} Passed
{/N0/SB0/P2} Passed
{/N0/SB0/P3} Passed
SF4800B:SC> console a
Enter Password:
Connected to Domain A

Domain Shell for Domain A

SF4800B:A> setkeyswitch on
进入系统
root@stepprodl1 # prtdiag -v | more
System Configuration:  Sun Microsystems  sun4u Sun Fire 4800
System clock frequency: 150 MHz
Memory size: 24576 Megabytes

========================= CPUs ===============================================

            CPU      Run    E$   CPU      CPU
FRU Name     ID      MHz    MB   Impl.    Mask
----------  -------  ----  ----  -------  ----
/N0/SB0/P0    0      1200   8.0  US-III+  11.0   
/N0/SB0/P1    1      1200   8.0  US-III+  11.0   
/N0/SB0/P2    2      1200   8.0  US-III+  11.0   
/N0/SB0/P3    3      1200   8.0  US-III+  11.0   
/N0/SB2/P0    8      1200   8.0  US-III+  11.0   
/N0/SB2/P1    9      1200   8.0  US-III+  11.0   
/N0/SB2/P2   10      1200   8.0  US-III+  11.0   
/N0/SB2/P3   11      1200   8.0  US-III+  11.0   
/N0/SB4/P0   16      1200   8.0  US-III+  11.0   
/N0/SB4/P1   17      1200   8.0  US-III+  11.0   
/N0/SB4/P2   18      1200   8.0  US-III+  11.0   
/N0/SB4/P3   19      1200   8.0  US-III+  11.0   

SF4800前面板和cpu板SB0状态灯恢复正常，故障修复完毕。


希望能给大家以后的工作有一点帮助。

sunfire123

呵呵 很一般嘛

alex_linux

好 收藏

东方蜘蛛

很好的经验总结，收藏先：）

lyh003473

好帖 !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

xieliangcheng

不错,我也遇到相同的问题, 过年前SF4800主机前面板亮黄灯，SB4板亮黄灯，发现内存少了一个G。
按上方法能修复类似错误。

sf4800-sc1:SC[service]> showchs
Component           Status   
---------------     --------  
SSC1                OK        
ID0                 OK        
PS0                 OK        
PS1                 OK        
FT0                 OK        
FT1                 OK        
FT2                 OK        
RP0                 Suspect   
RP0/P0              OK        
RP0/P1              OK        
RP0/P2              OK        
RP0/P3              OK        
RP0/P4              OK        
RP0/P5              OK        
RP0/P6              OK        
RP0/P7              OK        
RP0/P8              OK        
RP0/P9              OK        
RP2                 Suspect   
RP2/P0              OK        
RP2/P1              OK        
RP2/P2              OK        
RP2/P3              OK        
RP2/P4              OK        
RP2/P5              OK        
RP2/P6              OK        
RP2/P7              OK        
RP2/P8              OK        
RP2/P9              OK        
/N0/SB2             Suspect   
/N0/SB2/P2          OK        
/N0/SB2/P3          OK        
/N0/SB2/P0          OK        
/N0/SB2/P1          OK        
/N0/SB2/P0/B0/D0    OK        
/N0/SB2/P0/B0/D0/L0 OK        
/N0/SB2/P0/B0/D0/L1 OK        
/N0/SB2/P0/B0/D1    OK        
/N0/SB2/P0/B0/D1/L0 OK        
/N0/SB2/P0/B0/D1/L1 OK        
/N0/SB2/P0/B0/D2    OK        
/N0/SB2/P0/B0/D2/L0 OK        
/N0/SB2/P0/B0/D2/L1 OK        
/N0/SB2/P0/B0/D3    OK        
/N0/SB2/P0/B0/D3/L0 OK        
/N0/SB2/P0/B0/D3/L1 OK        
/N0/SB2/P1/B0/D0    OK        
/N0/SB2/P1/B0/D0/L0 OK        
/N0/SB2/P1/B0/D0/L1 OK        
/N0/SB2/P1/B0/D1    OK        
/N0/SB2/P1/B0/D1/L0 OK        
/N0/SB2/P1/B0/D1/L1 OK        
/N0/SB2/P1/B0/D2    OK        
/N0/SB2/P1/B0/D2/L0 OK        
/N0/SB2/P1/B0/D2/L1 OK        
/N0/SB2/P1/B0/D3    OK        
/N0/SB2/P1/B0/D3/L0 OK        
/N0/SB2/P1/B0/D3/L1 OK        
/N0/SB2/P2/B0/D0    OK        
/N0/SB2/P2/B0/D0/L0 OK        
/N0/SB2/P2/B0/D0/L1 OK        
/N0/SB2/P2/B0/D1    OK        
/N0/SB2/P2/B0/D1/L0 OK        
/N0/SB2/P2/B0/D1/L1 OK        
/N0/SB2/P2/B0/D2    OK        
/N0/SB2/P2/B0/D2/L0 OK        
/N0/SB2/P2/B0/D2/L1 OK        
/N0/SB2/P2/B0/D3    OK        
/N0/SB2/P2/B0/D3/L0 OK        
/N0/SB2/P2/B0/D3/L1 OK        
/N0/SB2/P3/B0/D0    OK        
/N0/SB2/P3/B0/D0/L0 OK        
/N0/SB2/P3/B0/D0/L1 OK        
/N0/SB2/P3/B0/D1    OK        
/N0/SB2/P3/B0/D1/L0 OK        
/N0/SB2/P3/B0/D1/L1 OK        
/N0/SB2/P3/B0/D2    OK        
/N0/SB2/P3/B0/D2/L0 OK        
/N0/SB2/P3/B0/D2/L1 OK        
/N0/SB2/P3/B0/D3    OK        
/N0/SB2/P3/B0/D3/L0 OK        
/N0/SB2/P3/B0/D3/L1 OK        
/N0/SB2/P0/E0       OK        
/N0/SB2/P0/E1       OK        
/N0/SB2/P1/E0       OK        
/N0/SB2/P1/E1       OK        
/N0/SB2/P2/E0       OK        
/N0/SB2/P2/E1       OK        
/N0/SB2/P3/E0       OK        
/N0/SB2/P3/E1       OK        
/N0/SB4             Suspect   
/N0/SB4/P2          OK        
/N0/SB4/P3          OK        
/N0/SB4/P0          OK        
/N0/SB4/P1          Faulty   
/N0/SB4/P0/B0/D0    OK        
/N0/SB4/P0/B0/D0/L0 OK        
/N0/SB4/P0/B0/D0/L1 OK        
/N0/SB4/P0/B0/D1    OK        
/N0/SB4/P0/B0/D1/L0 OK        
/N0/SB4/P0/B0/D1/L1 OK        
/N0/SB4/P0/B0/D2    OK        
/N0/SB4/P0/B0/D2/L0 OK        
/N0/SB4/P0/B0/D2/L1 OK        
/N0/SB4/P0/B0/D3    OK        
/N0/SB4/P0/B0/D3/L0 OK        
/N0/SB4/P0/B0/D3/L1 OK        
/N0/SB4/P1/B0/D0    OK        
/N0/SB4/P1/B0/D0/L0 OK        
/N0/SB4/P1/B0/D0/L1 OK        
/N0/SB4/P1/B0/D1    OK        
/N0/SB4/P1/B0/D1/L0 OK        
/N0/SB4/P1/B0/D1/L1 OK        
/N0/SB4/P1/B0/D2    OK        
/N0/SB4/P1/B0/D2/L0 OK        
/N0/SB4/P1/B0/D2/L1 OK        
/N0/SB4/P1/B0/D3    OK        
/N0/SB4/P1/B0/D3/L0 OK        
/N0/SB4/P1/B0/D3/L1 OK        
/N0/SB4/P2/B0/D0    OK        
/N0/SB4/P2/B0/D0/L0 OK        
/N0/SB4/P2/B0/D0/L1 OK        
/N0/SB4/P2/B0/D1    OK        
/N0/SB4/P2/B0/D1/L0 OK        
/N0/SB4/P2/B0/D1/L1 OK        
/N0/SB4/P2/B0/D2    OK        
/N0/SB4/P2/B0/D2/L0 OK        
/N0/SB4/P2/B0/D2/L1 OK        
/N0/SB4/P2/B0/D3    OK        
/N0/SB4/P2/B0/D3/L0 OK        
/N0/SB4/P2/B0/D3/L1 OK        
/N0/SB4/P3/B0/D0    OK        
/N0/SB4/P3/B0/D0/L0 OK        
/N0/SB4/P3/B0/D0/L1 OK        
/N0/SB4/P3/B0/D1    OK        
/N0/SB4/P3/B0/D1/L0 OK        
/N0/SB4/P3/B0/D1/L1 OK        
/N0/SB4/P3/B0/D2    OK        
/N0/SB4/P3/B0/D2/L0 OK        
/N0/SB4/P3/B0/D2/L1 OK        
/N0/SB4/P3/B0/D3    OK        
/N0/SB4/P3/B0/D3/L0 OK        
/N0/SB4/P3/B0/D3/L1 OK        
/N0/SB4/P0/E0       OK        
/N0/SB4/P0/E1       OK        
/N0/SB4/P1/E0       OK        
/N0/SB4/P1/E1       OK        
/N0/SB4/P2/E0       OK        
/N0/SB4/P2/E1       OK        
/N0/SB4/P3/E0       OK        
/N0/SB4/P3/E1       OK        
/N0/IB6             OK        
/N0/IB6/P0/B0       OK        
/N0/IB6/P0/B1       OK        
/N0/IB6/P1/B0       OK        
/N0/IB6/P1/B1       OK        
/N0/IB6/P0          OK        
/N0/IB6/P1          OK        
/N0/IB6/C0          OK        
/N0/IB6/C1          OK        
/N0/IB6/C2          OK        
/N0/IB6/C3          OK        
/N0/IB6/C4          OK        
/N0/IB6/C5          OK        
/N0/IB6/C6          OK        
/N0/IB6/C7          OK        
/N0/IB8             OK        
/N0/IB8/P0/B0       OK        
/N0/IB8/P0/B1       OK        
/N0/IB8/P1/B0       OK        
/N0/IB8/P1/B1       OK        
/N0/IB8/P0          OK        
/N0/IB8/P1          OK        
/N0/IB8/C0          OK        
/N0/IB8/C1          OK        
/N0/IB8/C2          OK        
/N0/IB8/C3          OK        
/N0/IB8/C4          OK        
/N0/IB8/C5          OK        
/N0/IB8/C6          OK        
/N0/IB8/C7          OK  

sf4800-sc1:SC[service]> setchs -s  OK -r "This CPU believed to be good" -c /N0/SB4/P1

sf4800-sc1:SC[service]> showchs -v -c SB4
Total # of records: 10
Component           : /N0/SB4/P1         
Time Stamp          : Sat Feb 18 16:24:36 GMT+08:00 2006
New Status          : OK        
Old Status          : Faulty   
Event Code          : Field Engineer Supplied Status
Initiator           : Field Engineer
Message             : This CPU believed to be good

Component           : /N0/SB4/P1         
Time Stamp          : Mon Jan 16 16:37:59 GMT+08:00 2006
New Status          : Faulty   
Old Status          : Faulty   
Event Code          : Diag      
Initiator           : ScApp   
Message             : SF4800.VCMON.1.07.1433

Component           : /N0/SB4/P1         
Time Stamp          : Sun Jan 15 16:37:27 GMT+08:00 2006
New Status          : Faulty   
Old Status          : Faulty   
Event Code          : Diag      
Initiator           : ScApp   
Message             : SF4800.VCMON.1.07.1433

Component           : /N0/SB4/P1         
Time Stamp          : Sat Jan 14 16:36:46 GMT+08:00 2006
New Status          : Faulty   
Old Status          : Faulty   
Event Code          : Diag      
Initiator           : ScApp   
Message             : SF4800.VCMON.1.07.1432

Component           : /N0/SB4/P1         
Time Stamp          : Fri Jan 13 16:35:45 GMT+08:00 2006
New Status          : Faulty   
Old Status          : Faulty   
Event Code          : Diag      
Initiator           : ScApp   
Message             : SF4800.VCMON.1.07.1432

Component           : /N0/SB4/P1         
Time Stamp          : Thu Jan 12 16:35:03 GMT+08:00 2006
New Status          : Faulty   
Old Status          : Faulty   
Event Code          : Diag      
Initiator           : ScApp   
Message             : SF4800.VCMON.1.07.1432

Component           : /N0/SB4/P1         
Time Stamp          : Wed Jan 11 16:34:29 GMT+08:00 2006
New Status          : Faulty   
Old Status          : Faulty   
Event Code          : Diag      
Initiator           : ScApp   
Message             : SF4800.VCMON.1.07.1432

Component           : /N0/SB4/P1         
Time Stamp          : Tue Jan 10 16:34:27 GMT+08:00 2006
New Status          : Faulty   
Old Status          : Faulty   
Event Code          : Diag      
Initiator           : ScApp   
Message             : SF4800.VCMON.1.06.1431

Component           : /N0/SB4/P1         
Time Stamp          : Mon Jan 09 16:33:47 GMT+08:00 2006
New Status          : Faulty   
Old Status          : Faulty   
Event Code          : Diag      
Initiator           : ScApp   
Message             : SF4800.VCMON.1.06.1431

Component           : /N0/SB4/P1         
Time Stamp          : Sun Jan 08 16:33:20 GMT+08:00 2006
New Status          : Faulty   
Old Status          : Faulty   
Event Code          : Diag      
Initiator           : ScApp   
Message             : SF4800.VCMON.1.06.1431

sf4800-sc1:SC[service]> setkeyswitch -d b off
Powering boards off ...
sf4800-sc1:SC[service]> console -d b

Connected to Domain B

Domain Shell for Domain B

sf4800-sc1:B>
sf4800-sc1:B> poweron SB4
/N0/SB4: powered on
sf4800-sc1:B> setkeyswitch on
Powering boards on ...
Testing CPU Boards ...
....



root@mailserver # prtdiag -v
System Configuration:  Sun Microsystems  sun4u Sun Fire 4800
System clock frequency: 150 MHz
Memory size: 4096 Megabytes

========================= CPUs ===============================================

            CPU      Run    E$   CPU      CPU
FRU Name     ID      MHz    MB   Impl.    Mask
----------  -------  ----  ----  -------  ----
/N0/SB4/P0   16      1200   8.0  US-III+  11.0   
/N0/SB4/P1   17      1200   8.0  US-III+  11.0   
/N0/SB4/P2   18      1200   8.0  US-III+  11.0   
/N0/SB4/P3   19      1200   8.0  US-III+  11.0   

========================= Memory Configuration ===============================

                     Logical  Logical  Logical
               Port  Bank     Bank     Bank         DIMM    Interleave  Interleave
FRU Name        ID   Num      Size     Status       Size    Factor      Segment
-------------  ----  ----     ------   -----------  ------  ----------  ----------
/N0/SB4/P0/B0   16    0       512MB    pass          256MB     8-way       0
/N0/SB4/P0/B0   16    2       512MB    pass          256MB     8-way       0
/N0/SB4/P1/B0   17    0       512MB    pass          256MB     8-way       0
/N0/SB4/P1/B0   17    2       512MB    pass          256MB     8-way       0
/N0/SB4/P2/B0   18    0       512MB    pass          256MB     8-way       0
/N0/SB4/P2/B0   18    2       512MB    pass          256MB     8-way       0
/N0/SB4/P3/B0   19    0       512MB    pass          256MB     8-way       0
/N0/SB4/P3/B0   19    2       512MB    pass          256MB     8-way       0

========================= IO Cards =========================

                                Bus  Max                                             
            IO   Port Bus       Freq Bus  Dev,                                       
FRU Name    Type  ID  Side Slot MHz  Freq Func State Name                              Model
----------  ---- ---- ---- ---- ---- ---- ---- ----- --------------------------------  ----------------------
/N0/IB8/P0  PCI   28   B    0    33   33  1,0  ok    SUNW,qlc-pci1077,2300.1077.106.1+ 0x106                  
/N0/IB8/P0  PCI   28   B    1    33   33  2,0  ok    network-pci108e,abba.11           SUNW,pci-ce            
/N0/IB8/P0  PCI   28   A    3    66   66  1,0  ok    pci-pci8086,b154.0/network (netw+ pci-bridge              
/N0/IB8/P0  PCI   28   A    3    66   66  0,0  ok    network-pci108e,abba.11           SUNW,pci-ce            
/N0/IB8/P0  PCI   28   A    3    66   66  1,0  ok    network-pci108e,abba.11           SUNW,pci-ce            
/N0/IB8/P0  PCI   28   A    3    66   66  2,0  ok    scsi-pci1000,b.7/disk (block)                             
/N0/IB8/P0  PCI   28   A    3    66   66  2,1  ok    scsi-pci1000,b.7/disk (block)                             
/N0/IB8/P1  PCI   29   B    4    33   33  1,0  ok    network-pci108e,abba.11           SUNW,pci-ce            
/N0/IB8/P1  PCI   29   A    7    66   66  1,0  ok    SUNW,qlc-pci1077,2300.1077.106.1+ 0x106                  

========================= Active Boards for Domain ===========================

           Board        Receptacle    Occupant                                                        
FRU Name   Type         Status        Status        Condition Info                                    
---------  -----------  -----------   ------------  --------- ----------------------------------------
/N0/SB4    CPU_V2       connected     configured    ok        powered-on, assigned                  
/N0/IB8    PCI_I/O_Boa  connected     configured    ok        powered-on, assigned                  

========================= Available Boards/Slots for Domain ===========================

           Board        Receptacle    Occupant                                                        
FRU Name   Type         Status        Status        Condition Info                                    
---------  -----------  -----------   ------------  --------- ----------------------------------------
There are currently no Boards/Slots available to this Domain

========================= Hardware Failures ==================================
No Hardware failures found in System

========================= HW Revisions =======================================

System PROM revisions:
----------------------
OBP 5.19.0 06/30/05 14:07

IO ASIC revisions:
------------------
                          Port
FRU Name    Model            ID  Status Version
----------- --------------- ---- ------ -------
/N0/IB8/P0  SUNW,schizo      28   ok     4      
/N0/IB8/P1  SUNW,schizo      29   ok     4      
/N0/IB8/P0  SUNW,sgsbbc      28   ok     2      
root@mailserver #

maike_xiao

收藏了，谢谢楼主，请问一下楼主能否把你给SUN发的  “报错和相关信息” 再具体说一下，（除了机器亮黄灯)，message信息里对这个软错误有什么记录吗？