求助！solaris系统掉电后启动异常

xzq12900

本人机房有一台Sun-Fire-V240，在某日突然掉电后，再启动时发现前面板的扳手状指示灯黄灯长亮。并且通过console口(serial MGT)登录后，不提示输入用户名和密码，输入命令也没有任何反应。

串口线肯定是好的，用来测试其他Sun-Fire-V240机器登录都正常。

然后我就重启了机器，启动时从console口得到启动日志如下：
Apr  3 13:20:19 OTADB2 power: WARNING: Power off requested from power button or SC, powering down the system!

Shutdown started.    Wed Apr  3 13:20:19 CET 2013

Changing to init state 5 - please wait

SC Alert: Host system has shut down.

SC Alert: Host System has Reset

Executing Power On Self Test
0>
0>@(#)Sun Fire[TM] V210/V240,Netra[TM] 210/240 POST 4.22.19 2006/09/07 00:07
       /export/delivery/delivery/4.22/4.22.19/post4.22.x/Fiesta/enxs/integrated  (root)  
0>Copyright ?2006 Sun Microsystems, Inc. All rights reserved
  SUN PROPRIETARY/CONFIDENTIAL.
  Use is subject to license terms.
0>OBP->POST Call with %o0=00000800.01012000.
0>Diag level set to MIN.
0>Verbosity level set to NORMAL.
0>Start Selftest.....
0>CPUs present in system: 0 1
0>Test CPU(s)....Done
0>Interrupt Crosscall....Done
0>Init Memory....Done
0>PLL Reset....Done
0>Init Memory....Done
0>Test Memory....Done
0>IO-Bridge Tests....\
SC Alert: CPU_FAN @ MB.P0.F0.RS has FAILED.                   ----CPU的风扇坏了
Done
0>INFO:
0>      POST Passed all devices.
0>
0>POST: Return to OBP.

Configuring system memory & CPU(s)

Probing system devices
Probing memory
Probing I/O buses

Sun Fire V240, No Keyboard
Copyright 2006 Sun Microsystems, Inc.  All rights reserved.
OpenBoot 4.22.19, 4096 MB memory installed, Serial #75296308.
Ethernet address 0:14:4f:7c:ee:34, Host ID: 847cee34.




Running diagnostic script obdiag/normal

Testing /pci@1e,600000/ide@d
Testing /pci@1e,600000/isa@7/rtc@0,70
Testing /pci@1c,600000/scsi@2
Testing /pci@1c,600000/scsi@2,1
Testing /pci@1e,600000/isa@7/serial@0,2e8
Testing /pci@1e,600000/isa@7/serial@0,3f8


Probing system devices                                                
Probing memory
Probing I/O buses

Sun Fire V240, No Keyboard
Copyright 2006 Sun Microsystems, Inc.  All rights reserved.
OpenBoot 4.22.19, 4096 MB memory installed, Serial #75296308.
Ethernet address 0:14:4f:7c:ee:34, Host ID: 847cee34.



Rebooting with command: boot                                          
Boot device: /pci@1c,600000/scsi@2/disk@0,0:a  File and args:
SunOS Release 5.10 Version Generic_118833-36 64-bit
Copyright 1983-2006 Sun Microsystems, Inc.  All rights reserved.
Use is subject to license terms.
Hardware watchdog enabled
Hostname: OTADB2
/usr/sbin/pmconfig: cannot open/create "/etc/.cpr_config", Bad file number
cron aborted: cannot start cron; FIFO exists
cron aborted: cannot start cron; FIFO exists
SAC: could not open logfile /var/saf/_log: Read-only file system
cron aborted: cannot start cron; FIFO exists
Apr  3 13:24:37 svc.startd[7]: instance svc:/system/sac:default exited with status 1
SAC: could not open logfile /var/saf/_log: Read-only file system
Apr  3 13:24:37 svc.startd[7]: instance svc:/system/sac:default exited with status 1
SAC: could not open logfile /var/saf/_log: Read-only file system
Apr  3 13:24:37 svc.startd[7]: instance svc:/system/sac:default exited with status 1
cron aborted: cannot start cron; FIFO exists
SAC: could not open logfile /var/saf/_log: Read-only file system
Apr  3 13:24:37 svc.startd[7]: instance svc:/system/sac:default exited with status 1
SAC: could not open logfile /var/saf/_log: Read-only file system
cron aborted: cannot start cron; FIFO exists
Apr  3 13:24:37 svc.startd[7]: instance svc:/system/sac:default exited with status 1
SAC: could not open logfile /var/saf/_log: Read-only file system
Apr  3 13:24:38 svc.startd[7]: instance svc:/system/sac:default exited with status 1
SAC: could not open logfile /var/saf/_log: Read-only file system
Apr  3 13:24:38 svc.startd[7]: instance svc:/system/sac:default exited with status 1
SAC: could not open logfile /var/saf/_log: Read-only file system
Apr  3 13:24:38 svc.startd[7]: instance svc:/system/sac:default exited with status 1
cron aborted: cannot start cron; FIFO exists
SAC: could not open logfile /var/saf/_log: Read-only file system
Apr  3 13:24:38 svc.startd[7]: instance svc:/system/sac:default exited with status 1
Apr  3 13:24:38 svc.startd[7]: system/sac:default failed repeatedly
cron aborted: cannot start cron; FIFO exists
cron aborted: cannot start cron; FIFO exists
cron aborted: cannot start cron; FIFO exists
Apr  3 13:24:38 svc.startd[7]: system/cron:default failed repeatedly
Apr  3 13:24:38 svc.startd[7]: failed to abandon contract 78: Permission denied
syslogd: /var/adm/messages: Read-only file system
syslogd: /var/log/syslog: Read-only file system
Apr  3 13:24:40 OTADB2 svc.startd[7]: system/fmd:default failed
Apr  3 13:24:40 OTADB2 sendmail[500]: unable to write pid to /var/spool/clientmqueue/sm-client.pid: Read-only file system
Apr  3 13:24:44 OTADB2 ufs: NOTICE: /: unexpected free inode 304295, run fsck(1M) -o f


而且我从其他机器telnet登录这台机器，提示
root@OTADB1 # telnet 10.76.101.2
Trying 10.76.101.2...
Connected to 10.76.101.2.
Escape character is '^]'.
login: root
Password:
No utmpx entry. You must exec "login" from the lowest level "shell".

是不是/var对应的文件系统坏了？各种Read-only file system是什么意思啊。。。
另外我应该怎么才能登录到系统中呢，现在登录不进去获取不了任何有用的信息了。
还有网上说的通过光盘进入单用户，进行文件系统修复，具体要怎么做呢？

感谢各位大大的指导啊！肯请各位大侠帮忙~~

xzq12900

肿么没有人回复呢。。。。。。我自己顶顶增加人气！恳请各位大侠出手帮忙啊！

xzq12900

好的，感谢回复啊，目前正在看http://docs.oracle.com/cd/E19253 ... ck-62389/index.html这个文档，关于UFS恢复的部分。我坐下方案，等会大家给审批下啊。。。

xzq12900

根据网上查的资料，修复UFS的步骤大概如下：
1.光盘插入光驱，从光盘启动，并进入单用户模式下
2.umount需要修复的FS，如果umount不掉，通过fuser -c检查是否有用户占用当前FS
3.fsck 对应的FS，修复前检查fsck -n,修复后检查下fsck -m

可是我的这个看起来 像是/var有问题，那么/var应该是根卷下面的吧，我的df -k和mount 里没有var的挂载点：（这是1机的，哪个启动后console口进去看不到内容，只能通过ctrl+break进入Ok模式的是2机，但是两个机器的目录结构是一致的）
root@OTADB1 # df -k
Filesystem            kbytes    used   avail capacity  Mounted on
/dev/md/dsk/d20      61807644 13864589 47324979    23%    /
/devices                   0       0       0     0%    /devices
ctfs                       0       0       0     0%    /system/contract
proc                       0       0       0     0%    /proc
mnttab                     0       0       0     0%    /etc/mnttab
swap                 11675112    1112 11674000     1%    /etc/svc/volatile
objfs                      0       0       0     0%    /system/object
fd                         0       0       0     0%    /dev/fd
swap                 11674000       0 11674000     0%    /tmp
swap                 11674040      40 11674000     1%    /var/run
root@OTADB1 # mount
/ on /dev/md/dsk/d20 read/write/setuid/devices/intr/largefiles/logging/xattr/onerror=panic/dev=1540014 on Fri Jan 11 19:00:48 2013
/devices on /devices read/write/setuid/devices/dev=5180000 on Fri Jan 11 19:00:37 2013
/system/contract on ctfs read/write/setuid/devices/dev=51c0001 on Fri Jan 11 19:00:37 2013
/proc on proc read/write/setuid/devices/dev=5200000 on Fri Jan 11 19:00:37 2013
/etc/mnttab on mnttab read/write/setuid/devices/dev=5240001 on Fri Jan 11 19:00:37 2013
/etc/svc/volatile on swap read/write/setuid/devices/xattr/dev=5280001 on Fri Jan 11 19:00:37 2013
/system/object on objfs read/write/setuid/devices/dev=52c0001 on Fri Jan 11 19:00:37 2013
/dev/fd on fd read/write/setuid/devices/dev=5440001 on Fri Jan 11 19:00:48 2013
/tmp on swap read/write/setuid/devices/xattr/dev=5280002 on Fri Jan 11 19:00:50 2013
/var/run on swap read/write/setuid/devices/xattr/dev=5280003 on Fri Jan 11 19:00:50 2013

那么， /var的修复要怎么做呢。。。。

abbend

你的根盘用的disksuit做的镜像？
metastat和metadb的状态怎么样？

xzq12900

回复 6# abbend


    多谢回复啊，我的1机信息如下，2机应该是一致的，可做参考
root@OTADB1 # metastat -a
d23: Mirror
    Submirror 0: d24
      State: Okay
    Submirror 1: d25
      State: Okay
    Pass: 1
    Read option: roundrobin (default)
    Write option: parallel (default)
    Size: 16780224 blocks (8.0 GB)

d24: Submirror of d23
    State: Okay
    Size: 16780224 blocks (8.0 GB)
    Stripe 0:
        Device     Start Block  Dbase        State Reloc Hot Spare
        c1t0d0s1          0     No            Okay   Yes


d25: Submirror of d23
    State: Okay
    Size: 16780224 blocks (8.0 GB)
    Stripe 0:
        Device     Start Block  Dbase        State Reloc Hot Spare
        c1t1d0s1          0     No            Okay   Yes


d20: Mirror
    Submirror 0: d21
      State: Okay
    Submirror 1: d22
      State: Okay
    Pass: 1
    Read option: roundrobin (default)
    Write option: parallel (default)
    Size: 125510784 blocks (59 GB)

d21: Submirror of d20
    State: Okay
    Size: 125510784 blocks (59 GB)
    Stripe 0:
        Device     Start Block  Dbase        State Reloc Hot Spare
        c1t0d0s0          0     No            Okay   Yes


d22: Submirror of d20
    State: Okay
    Size: 125510784 blocks (59 GB)
    Stripe 0:
        Device     Start Block  Dbase        State Reloc Hot Spare
        c1t1d0s0          0     No            Okay   Yes


Device Relocation Information:
Device   Reloc  Device ID
c1t1d0   Yes    id1,sd@SFUJITSU_MAW3073NCSUN72G_000709B0L5LN____DAN0P720L5LN
c1t0d0   Yes    id1,sd@SFUJITSU_MAW3073NCSUN72G_000709B0LDBN____DAN0P730LDBN

root@OTADB1 # df -h
Filesystem             size   used  avail capacity  Mounted on
/dev/md/dsk/d20         59G    13G    45G    23%    /
/devices                 0K     0K     0K     0%    /devices
ctfs                     0K     0K     0K     0%    /system/contract
proc                     0K     0K     0K     0%    /proc
mnttab                   0K     0K     0K     0%    /etc/mnttab
swap                    11G   1.1M    11G     1%    /etc/svc/volatile
objfs                    0K     0K     0K     0%    /system/object
fd                       0K     0K     0K     0%    /dev/fd
swap                    11G     0K    11G     0%    /tmp
swap                    11G    40K    11G     1%    /var/run

root@OTADB1 # metadb
        flags           first blk       block count
     a m  p  luo        16              8192            /dev/dsk/c1t0d0s7
     a    p  luo        8208            8192            /dev/dsk/c1t0d0s7
     a    p  luo        16400           8192            /dev/dsk/c1t0d0s7
     a    p  luo        16              8192            /dev/dsk/c1t1d0s7
     a    p  luo        8208            8192            /dev/dsk/c1t1d0s7
     a    p  luo        16400           8192            /dev/dsk/c1t1d0s7

另外我对子镜像不太明白d20 d21 d22 d23 d24 d25之间是个怎么样的关系呢？他们分别对应的磁盘空间要怎么看~

在修复根卷之前是要detaching根卷的镜像然后操作的吧，那么大概步骤是不是要这样：

1光盘启动进单用户
2detach根卷镜像
3umount根卷
4检查根卷对应的文件系统是否可修复fsck -n /dev/md/dsk/d20
5修复/dev/md/dsk/d20
6如果修复成功，mount根卷
7init 6到多用户模式下
8Reattach根卷镜像

有没有步骤颠倒或者错误的地方啊，我现在主要是细化操作不清楚。。。。。。。求授业解惑~~~~~感谢各位大侠！！

xzq12900

回复 7# xzq12900


    哦，我笨得很， metastat不加-a参数看到device了，但是还是概念不清，搞不懂detach根卷镜像的时候该怎么做，正在插资料ing。。。。。。恳请各位大大有空的来帮我看看该怎么做啊~~~~~，万分感谢！！

root@OTADB1 # metastat
d23: Mirror
    Submirror 0: d24
      State: Okay
    Submirror 1: d25
      State: Okay
    Pass: 1
    Read option: roundrobin (default)
    Write option: parallel (default)
    Size: 16780224 blocks (8.0 GB)

d24: Submirror of d23
    State: Okay
    Size: 16780224 blocks (8.0 GB)
    Stripe 0:
        Device     Start Block  Dbase        State Reloc Hot Spare
        c1t0d0s1          0     No            Okay   Yes


d25: Submirror of d23
    State: Okay
    Size: 16780224 blocks (8.0 GB)
    Stripe 0:
        Device     Start Block  Dbase        State Reloc Hot Spare
        c1t1d0s1          0     No            Okay   Yes


d20: Mirror
    Submirror 0: d21
      State: Okay
    Submirror 1: d22
      State: Okay
    Pass: 1
    Read option: roundrobin (default)
    Write option: parallel (default)
    Size: 125510784 blocks (59 GB)

d21: Submirror of d20
    State: Okay
    Size: 125510784 blocks (59 GB)
    Stripe 0:
        Device     Start Block  Dbase        State Reloc Hot Spare
        c1t0d0s0          0     No            Okay   Yes


d22: Submirror of d20
    State: Okay
    Size: 125510784 blocks (59 GB)
    Stripe 0:
        Device     Start Block  Dbase        State Reloc Hot Spare
        c1t1d0s0          0     No            Okay   Yes


Device Relocation Information:
Device   Reloc  Device ID
c1t1d0   Yes    id1,sd@SFUJITSU_MAW3073NCSUN72G_000709B0L5LN____DAN0P720L5LN
c1t0d0   Yes    id1,sd@SFUJITSU_MAW3073NCSUN72G_000709B0LDBN____DAN0P730LDBN

xzq12900

回复 6# abbend


    再来看看我的帖子啊，大侠~~

我重新写了下恢复步骤，里面描述了一些我搞不清楚的问题。目前同事在找solaris 10 的盘，找到之后开始尝试恢复。

1.以root用户登录
    su - root
2.去挂接根卷的镜像 --------这里面问题多多哦，请帮我看下
    运行metastat命令，检查子镜像0，1处在ok状态。
    metastat d20
     运行metadetach命令，把d10改为单向镜像。----这个是否有先后顺序，先detach第二个子镜像d22 然后是主子镜像d21?
    metadetach d20 d22
     metadetach d20 d21
     因为这是一个root文件系统镜像，所以使用metaroot命令改变/etc/vfstab和/etc/system文件。---这步是否有必要做，还是detach掉子镜像后直接进入步骤3？
    metaroot 原挂接点/dev/dsk/c#t#d#s#   ------这里也有问题啊，怎么看原挂载点?就是镜像前根卷的挂载点？
     查看
    grep c#t#d#s# /etc/vfstab
3.光盘启动到单用户
    插入光盘到光驱
    如果要挂载光驱mount -F hsfs -o ro /dev/dsk/c0t0d0s2 /cdrom/
      init 0
      boot cdrom -s
4.开始修复根卷的文件系统
    先检查
    fsck -n c#t#d#s#
      然后修复
    fsck c#t#d#s#
5.如果没报错的话，磁盘没损坏报错，那么启动到多用户模式下
    init 6
6.挂载根卷的镜像
    metaroot d20    先改挂载点到/dev/md/dsk/d20
      检查
      grep /dev/md/dsk/d20 /etc/vfstab
      tail /etc/system
      df -h /
      metastat
      挂载子镜像
      metattach d20 d21
      metattach d20 d22

大侠帮我看下这样做可否？另外请帮我解答下步骤中出现的疑问啊。。。。。。万分感谢啊~~~

wait空白

no wtmp file。。


这个也是个原因。无法登录。


楼主现在搞起来了没？