vxresize：差点吓出我心脏病

大蚂蚁

系统运行了一段时间了，有一个模块的文件系统空间使用率接近告警门限了，于是，我计划了文件系统扩容，之前已经用下列命令查询过了，
阵列上还有一些没有使用的空间，可以直接扩文件系统，不用加入新硬盘。
[email=root@host2]root@host2[/email]
# vxassist -g optdg maxsize
Maximum volume size: 905977856 (442372Mb)
[email=root@host2]root@host2[/email]
# vxassist -g optdg maxsize layout=mirror
Maximum volume size: 452982784 (221183Mb)
[email=root@host2]root@host2[/email]
# vxassist -g optdg maxgrow lvopt
于是在凌晨的时候执行了vxresize 命令，来扩容文件系统，这条命令虽然没有执行过上百次，但也有过几次在线扩文件系统的经验了，对我来
说，不算很难的事情，虽然我不是很熟悉solaris的阵列管理。但是执行了一条命令后，竟然显示出“WARNING: Volume lvopt-L02: Dirty
region logging will not be enabled until the volume is fully resync'ed.” 天啊，当时我就傻了，本来睡意朦胧的眼睛立刻被这几个
字给惊醒了，然后我用vxtask list命令来观看操作，当时比较心急，没仔细看输出，大概就知道是在进行RESYNC，而不是扩文件系统，然而过
了一会，更吃惊的事情发生了，telnet终端上面，我不能输入任何字符了，好像失去了和主机的联系，然后我新开窗口去telnet主机——登陆
不上去，输入用户名和密码后，系统迟迟没有反映，然后，我马上去测试业务，所有的服务都停止了，所有的终端都登不上服务器了，这时候
，我不止是睡意没有了，脑门都是冷汗了。工作三年多了，大小活也干了不少了，实习的时候都没有把服务器给搞瘫过，现在倒把生产机给搞
瘫了。虽然之前的晚上傲了一个通宵看小说，可现在哪里还有睡意！ 我直接到服务器的物理设备跟前，检查各个指示灯，指示灯显示一切还算
正常，打开显示器，输入相关命令检查服务。但是，命令可以输入，回车后如石沉大海了，再也看不到下一个#字符，哪怕用ctrl+c等暴力手段
。
服务也停止了，系统也等不上去了，啥都做不了，就算服务停止了，你也得让我能登上去看日志啊，现在倒好，直接就登录不上去了。这时我
到其他的设备上去ping服务器的服务地址，结果是alive，登陆到standby的机器上检查，双机也没有切换，备机还是备用状态，这时候我更急
了，数据是在共享阵列上的，就一套数据，现在主机不对外服务了，HA连切换都切换不过来了，那个脑门的汗啊，直往下流，要是有心脏病的
话，我估计早发作了。
怎么办？求助？不可能！由于对该操作很有信心，毕竟之前都做过好多了，来扩文件系统前我也没有和任何技术支持的接口人打招呼，这时候
打电话过去，不可能获得有效的技术支持。但是机器登陆不上去怎么办？直接下电？这个仔细想了一下，也被自己否定了，机器本来已经是死
马了，不能再鞭尸吧？ 但是也不能什么都不做啊……   有一会儿差点走到设备前直接把小型机下电，心想重启了之后我总能看到你到底出啥
错了吧。 正在我由于的时候，系统又莫名奇妙的可以登陆了，服务也都恢复了，但是，我用df-k检查系统，文件系统扩容没有成功，还是老样
子。
这时我对客户的主管说，文件系统扩容失败，我要分析一下原因，改天再做。当时，我已经如惊弓之鸟了，再也不愿意在没有做充分准备的情
况下去操作设备了。但是客户主管不同意我的建议，要求我一定要扩文件系统。我心想，完了，完了，要逼上梁山了。不过再仔细分析一下，
既然之前执行了vxresize命令，系统还能挺过来，但文件系统没有扩成功，一定是什么地方出了问题，找出并解决了问题，再扩文件系统应该
就没问题了，于是，我开始google出错信息，功夫不负有心人，最后终于在doc.sun.com找到了英文说明文档，上面的解释是，可以忽略这条告
警信息，文件系统扩容会继续的，并且会成功。 于是我又开始扩容文件系统，相同的命令，有出现了类似的告警，但这次系统的服务没有停止
，于是打开网页看了一会新闻，大概10分钟后吧，再用df -k查看，我汗！增加了10G的空间，原来两次执行的vxresize都起作用了。至此，我
已经明白了，sun的文档上写的完全正确，该出错信息完全可以被忽略。之前的系统服务停止应该是cpu使用率达到100％或者其他的意外原因导
致的，或者是其他的原因导致了暂时拒绝服务。总之，现在是一切都好了，文件系统也扩了。
于是只有我又执行了两条命令
sync；
scconf -c -D name=optdg,sync
至此，所有的操作完成，收工，回家睡觉！这是工作这么久以来，最紧张的一次，这么简单的问题，却搞得我惊惶失措，差点就紧张出心脏病
了_-!
总结:提前的准备做的不够充分，实际进行操作起来的时候，遇到问题的时候有些手忙脚乱。 唉，看来工作来不得半点马虎啊，不然阴沟里帆
船也是有可能的。
具体的一部分操作信息如下：
[email=root@host2]root@host2[/email]
# vxresize -g optdg lvopt +10240000&
26875
[email=root@host2]root@host2[/email]
#
vxvm:vxresize: WARNING: Volume lvopt-L01: Dirty region logging will not be enabled until the volume is fully resync'ed.
vxvm:vxresize: WARNING: Volume lvopt-L02: Dirty region logging will not be enabled until the volume is fully resync'ed.
vxvm:vxresize: WARNING: Volume lvopt-L03: Dirty region logging will not be enabled until the volume is fully resync'ed.
vxvm:vxresize: WARNING: Volume lvopt-L04: Dirty region logging will not be enabled until the volume is fully resync'ed.
[email=root@host2]root@host2[/email]
# vxtask list
TASKID  PTID TYPE/STATE    PCT   PROGRESS
   168         RDWRBACK/R 88.56% 4681728/7241728/6948864 RESYNC lvopt-L01
you have mail
[email=root@host2]root@host2[/email]
# vxtask list
TASKID  PTID TYPE/STATE    PCT   PROGRESS
   170         RDWRBACK/R 02.88% 4681728/7241728/4755456 RESYNC lvopt-L02
[email=root@host2]root@host2[/email]
# vxtask list
TASKID  PTID TYPE/STATE    PCT   PROGRESS
   170         RDWRBACK/R 38.24% 4681728/7241728/5660672 RESYNC lvopt-L02
[email=root@host2]root@host2[/email]
# vxtask list
TASKID  PTID TYPE/STATE    PCT   PROGRESS
   170         RDWRBACK/R 48.64% 4681728/7241728/5926912 RESYNC lvopt-L02
[email=root@host2]root@host2[/email]
# vxtask list
TASKID  PTID TYPE/STATE    PCT   PROGRESS
   170         RDWRBACK/R 64.96% 4681728/7241728/6344704 RESYNC lvopt-L02
[email=root@host2]root@host2[/email]
# df -k
Filesystem            kbytes    used   avail capacity  Mounted on
/dev/vx/dsk/rootvol  16526762 1943892 14417603    12%    /
/proc                      0       0       0     0%    /proc
fd                         0       0       0     0%    /dev/fd
mnttab                     0       0       0     0%    /etc/mnttab
swap                 18636024     144 18635880     1%    /var/run
swap                 18637264    1384 18635880     1%    /tmp
/dev/vx/dsk/opt      8263373 1394695 6786045    18%    /opt
/dev/vx/dsk/home     27886919 7051450 20556600    26%    /export/home
/dev/vx/dsk/rootdisk_16vol
                      498039    3861  444375     1%    /global/.devices/node@1
/dev/vx/dsk/rootdisk_26vol
                      498039    3861  444375     1%    /global/.devices/node@2
/dev/vx/dsk/optdg/lvopt
                     9216829 6438254 2686407    71%    /opt/opt
[email=root@host2]root@host2[/email]
# vxtask list
TASKID  PTID TYPE/STATE    PCT   PROGRESS
   175         RDWRBACK/R 11.52% 4681728/7241728/4976640 RESYNC lvopt-L03
[email=root@host2]root@host2[/email]
# vxtask list
TASKID  PTID TYPE/STATE    PCT   PROGRESS
   175         RDWRBACK/R 26.64% 4681728/7241728/5363712 RESYNC lvopt-L03
[email=root@host2]root@host2[/email]
# vxtask list
TASKID  PTID TYPE/STATE    PCT   PROGRESS
   178         RDWRBACK/R 20.48% 4681728/7241728/5206016 RESYNC lvopt-L04
[email=root@host2]root@host2[/email]
# vxtask list
TASKID  PTID TYPE/STATE    PCT   PROGRESS
   178         RDWRBACK/R 35.36% 4681728/7241728/5586944 RESYNC lvopt-L04
[email=root@host2]root@host2[/email]
# vxtask list
TASKID  PTID TYPE/STATE    PCT   PROGRESS
   178         RDWRBACK/R 59.68% 4681728/7241728/6209536 RESYNC lvopt-L04
[email=root@host2]root@host2[/email]
# vxtask list
TASKID  PTID TYPE/STATE    PCT   PROGRESS
   178         RDWRBACK/R 67.36% 4681728/7241728/6406144 RESYNC lvopt-L04
[email=root@host2]root@host2[/email]
# vxtask list
TASKID  PTID TYPE/STATE    PCT   PROGRESS
   178         RDWRBACK/R 74.16% 4681728/7241728/6580224 RESYNC lvopt-L04
[email=root@host2]root@host2[/email]
# vxtask list
TASKID  PTID TYPE/STATE    PCT   PROGRESS
   178         RDWRBACK/R 83.28% 4681728/7241728/6813696 RESYNC lvopt-L04
[email=root@host2]root@host2[/email]
# vxtask list
TASKID  PTID TYPE/STATE    PCT   PROGRESS
   178         RDWRBACK/R 90.32% 4681728/7241728/6993920 RESYNC lvopt-L04
[email=root@host2]root@host2[/email]
# vxtask list
TASKID  PTID TYPE/STATE    PCT   PROGRESS
   178         RDWRBACK/R 96.80% 4681728/7241728/7159808 RESYNC lvopt-L04
[email=root@host2]root@host2[/email]
# vxtask list
TASKID  PTID TYPE/STATE    PCT   PROGRESS
[email=root@host2]root@host2[/email]
# vxtask list
TASKID  PTID TYPE/STATE    PCT   PROGRESS
[email=root@host2]root@host2[/email]
# df -k
Filesystem            kbytes    used   avail capacity  Mounted on
/dev/vx/dsk/rootvol  16526762 1943892 14417603    12%    /
/proc                      0       0       0     0%    /proc
fd                         0       0       0     0%    /dev/fd
mnttab                     0       0       0     0%    /etc/mnttab
swap                 18638512     144 18638368     1%    /var/run
swap                 18639752    1384 18638368     1%    /tmp
/dev/vx/dsk/opt      8263373 1394703 6786037    18%    /opt
/dev/vx/dsk/home     27886919 7051450 20556600    26%    /export/home
/dev/vx/dsk/rootdisk_16vol
                      498039    3861  444375     1%    /global/.devices/node@1
/dev/vx/dsk/rootdisk_26vol
                      498039    3861  444375     1%    /global/.devices/node@2
/dev/vx/dsk/optdg/lvopt
                     9216829 6438250 2686411    71%    /opt/opt
[email=root@host2]root@host2[/email]
#



本文来自ChinaUnix博客，如果查看原文请点：http://blog.chinaunix.net/u/9193/showart_392879.html