论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2002-11-02 16:40 |只看该作者 |倒序浏览

\r\n一故障的定义\r\n .弄清楚系统发生了什么问题\r\n .系统现在能做什么？不能做什么？\r\n .故障什么时候发生的？\r\n .有没有做平时不同的操作？\r\n .故障有没有规律？定时还是不定时？发生的频率有多高？\r\n .是一台机器出现故障还是多台机器故障？故障现象是否相同？\r\n .最近有没有做改动？如安装了新的硬件、软件，改变了系统的一些设置。\r\n二故障信息的收集\r\n 1)收集故障信息对于判断、诊断故障原因，修复系统非常重要。\r\n 2)系统故障记录(errorlog)\r\n errdemon 进程在系统启动时自动运行\r\n 记录包括硬件、软件及其他操作信息\r\n 故障记录文件为/var/adm/ras/errlog，可备份下来或拷贝到别的机器上分析\r\n errpt 命令的使用(普通用户权限也可使用)\r\n #errpt |more 列出简短出错信息\r\n\r\nERROR_ID TIMESTAMP T C RESOURCE_NAME ERROR_DESCRIPTION\r\n192AC071 0723100300 T 0 errdemon Error logging turned off\r\n0E017ED1 0720131000 P H mem2 Memory failure\r\n9DBCFDEE 0701000000 T 0 errdemon Error logging turned on\r\n038F2580 0624131000 U H scdisk0 UNDETERMINED ERROR\r\nAA8AB241 0405130900 T O OPERATOR OPERATOR NOTIFICATION\r\n\r\nTIMESTAMP: MMDDHHMMYY (月日时分年）\r\nT（类型）: P 永久; T 临时; U 未知（永久性的错误应引起重视）\r\nC（分类）: H 硬件; S 软件; O 用户; U未知\r\n\r\n#errpt -d H 列出所有硬件出错信息\r\n#errpt -d S 列出所有软件出错信息\r\n#errpt -aj ERROR_ID 列出详细出错信息\r\n# errpt -aj 0502f666 <--- ERROR_ID用大小写均可\r\n例：\r\nLABEL: SCSI_ERR1\r\nID: 0502F666\r\n\r\nDate/Time: Jun 19 22:29:51\r\nSequence Number: 95\r\nMachine ID: 123456789012\r\nNode ID: host1\r\nClass: H\r\nType: PERM\r\nResource Name: scsi0\r\nResource Class: adapter\r\nResource Type: hscsi\r\nLocation: 00-08\r\nVPD: <--- Virtal Product Data \r\nDevice Driver Level.........00\r\nDiagnostic Level............00\r\nDisplayable Message.........SCSI\r\nEC Level....................C25928\r\nFRU Number..................30F8834\r\nManufacturer................IBM97F\r\nPart Number.................59F4566\r\nSerial Number...............00002849\r\nROS Level and ID............24\r\nRead/Write Register Ptr.....0120\r\n Description\r\nADAPTER ERROR\r\n\r\nProbable Causes\r\nADAPTER HARDWARE CABLE\r\nCABLE TERMINATOR DEVICE\r\n\r\nFailure Causes\r\nADAPTER\r\nCABLE LOOSE OR DEFECTIVE\r\n\r\nRecommended Actions\r\nPERFORM PROBLEM DETERMINATION PROCEDURES\r\nCHECK CABLE AND ITS CONNECTIONS\r\n\r\nDetail Data\r\nSENSE DATA\r\n0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000\r\n 3）控制面板上的LED 代码\r\n\r\n.8 位代码，通常系统故障灯会同时亮起。某些机型还会同时显示故障设备位置代码。\r\n.4 位代码，通常是Exxx。\r\n.3 位代码，通常为0yyy，只看后3位。\r\n.8 位和4位代码可查看系统服务手册 (Service Guide)。\r\n 3 位代码可查看系统诊断手册(Diagnostic Information for Multiple Bus System)。\r\n.闪动的 888, 系统崩溃，硬件或软件原因造成。按reset 键会显示更多内容。\r\n\r\n888-102 一般为软件故障（888-102-207 例外）\r\n系统会产生一个dump。\r\n888-102-xxx-0C9 系统正在做dump, 请等待。\r\n888-102-xxx-0C0 系统dump完成，可关电重启。\r\n888-103 或 105 \r\n硬件故障，一般有 SRN 代码及位置代码。\r\n 4)SMS (System Management Service) 故障记录\r\n\r\n如何进入SMS 菜单\r\n当主控台出现键盘图标后(LED 显示E1F1时)按1键。\r\n选择\"Utilities\"\r\n 选择\"Error Log\", 抄下8位故障代码\r\n（在SMS 中还可以更改系统启动顺序表）\r\n 5) MAIL \r\n #mail\r\n 系统会向root用户发mail报告出错信息。通常系统出现故障后没有进行检查修复，系统会定时提醒root。\r\n 6)运行故障诊断程序(Diagnostic)，对系统硬件进行检查和诊断。\r\n\r\n 当发现有硬件故障时应立即使用diag\r\n\r\n#diag \r\n > 选高级诊断（Advance Diagnostic)\r\n > 选问题诊断（Problem Determination) 或\r\n 选系统检查（System Verification)\r\n(选PD 会对系统错误记录进行分析)\r\ndiag运行后会给出SRN 代码，故障设备名称及百分比，地址代码等。\r\n对于PCI机型应在系统报错7天之内运行diag程序对出错记录里的sense数据进行分析。\r\n 7)其他用于收集系统信息的命令\r\nlsdev -C 系统设备信息\r\n#lsdev -Cc disk\r\nhdisk0 Available 00-06-00-2,0 4.5 GB 16 Bit SCSI Disk Drive\r\nhdisk1 Available 00-06-00-1,0 4.5 GB 16 Bit SCSI Disk Drive\r\nhdisk2 Defined 00-06-00-4,0 16 Bit SCSI Disk Drive \r\n\r\nlspv 查看物理卷信息\r\n#lspv\r\nhdisk0 0007821160af3d76 rootvg\r\nhdisk1 000782117f571294 rootvg\r\nhdisk2 0000000045c45bde datavg\r\n\r\nlsvg 查看卷组信息\r\n#lsvg datavg\r\nVOLUME GROUP: datavg VG IDENTIFIER: 0000000055e2458b\r\nVG STATE: active PP SIZE: 4 megabyte(s)\r\nVG PERMISSION: read/write TOTAL PPs: 2169 (8676 megabyt\r\nMAX LVs: 256 FREE PPs: 1 (4 megabytes)\r\nLVs: 3 USED PPs: 2168 (8672 megabyt\r\nOPEN LVs: 2 QUORUM: 2\r\nTOTAL PVs: 1 VG DESCRIPTORS: 2\r\nSTALE PVs: 0 STALE PPs: 0\r\nACTIVE PVs: 1 AUTO ON: yes\r\nMAX PPs per PV: 2032 MAX PVs: 16\r\n\r\n#lsvg -l rootvg\r\nrootvg:\r\nLV NAME TYPE LPs PPs PVs LV STATE MOUNT POINT\r\nhd5 boot 1 1 1 closed/syncd N/A \r\n... \r\nlv00 jfs 51 102 1 closed/stale /ibmcxx\r\nlv01 jfs 1 1 1 open/syncd /cics_regions\r\nlv02 jfs 4 4 1 open/syncd /var/mqm \r\n\r\nlslpp 查看文件组信息\r\n# lslpp -L |grep 23100020\r\n....\r\ndevices.pci.23100020.rte 4.3.2.7 C IBM PCI 10/100 Ethernet Adapt\r\n看某个文件组是否已安装，如以太网卡驱动。也用于查询补丁程序的版本。\r\n\r\nlsattr 查看设备参数设置\r\n# lsattr -El ent2\r\nbusio 0x7fffc00 Bus I/O address False\r\nbusintr 9 Bus interrupt level False\r\nintr_priority 3 Interrupt priority False\r\ntx_que_size 512 TRANSMIT queue size True\r\nrx_que_size 256 RECEIVE queue size True\r\nrxbuf_pool_size 384 RECEIVE buffer pool size True\r\nmedia_speed 10_Half_Duplex Media Speed True\r\nuse_alt_addr no Enable ALTERNATE ETHERNET address True\r\nalt_addr 0x000000000000 ALTERNATE ETHERNET address True\r\nip_gap 96 Inter-Packet Gap True \r\nlscfg 查看VPD信息（Virtual Product Data)\r\n# lscfg -vl ssa1\r\n DEVICE LOCATION DESCRIPTION\r\n\r\n ssa1 30-68 IBM SSA Enhanced RAID Adapter\r\n (14104500)\r\n\r\n Part Number.................097H0645\r\n FRU Number..................097H0645 <-- 备件号\r\n Serial Number...............C8217227\r\n EC Level....................0000F20825\r\n Manufacturer................IBM053\r\n ROS Level and ID............7201 <-- 微码版本\r\n Loadable Microcode Level....04\r\n Device Driver Level.........00\r\n Displayable Message.........SSA-ADAPTER\r\n Device Specific.(Z0)........DRAM=032 \r\n Device Specific.(Z1)........CACHE=0\r\n Device Specific.(Z2)........000000062955dab2\r\n Device Specific.(YL)........P2-I7 <-- 槽号\r\n\r\n不同的硬件设备有不同的VPD，所含的格式和信息都不一样。通常备件号和微码\r\n版本最有参考价值。注：FRU(Field Replace Unit)才是真正的备件号。\r\n三硬件故障定位方法\r\nIBM 小型机故障定位方法包括小型机I/O柜上的显示面板上的Checkpoints信息，Error Code 和SRNs。\r\n\r\nCheckpoints 检查点是系统加电CMOS初始化程序(initial program load (IPL))运行后显示在 I/O柜的显示面板上一系列信息。\r\n IPL 流程\r\n当交流电源接到系统后，IPL流程就开始了，IPL流程包括四个步骤：\r\n. Phase 1: Service Processor 的初始化\r\nPhase 1 开始于交流电源接到系统后，直到OK显示在I/O柜上的显示面板上为止。在这个步骤会显示 8xxx 或9xxx checkpoints代码。\r\n. Phase 2: 由 Service Processor 引导的硬件初始化\r\nPhase 2 开始于按下I/O柜上的白色电源开关。在这个步骤会显示 9xxx checkpoints 。91FF 是最后的代码标志着第三步骤的开始\r\n. Phase 3: 系统固件的初始化\r\n在 Phase 3, 一个系统处理器接管控制并继续初始化系统资源，在这个步骤会显示 Exxx。E105是最后的代码标志着第四步骤AIX启动的开始。在这个过程中还会显示各种位置码（位置码代表着系统的每一个部分）\r\n. Phase 4: AIX 启动\r\n当AIX开始启动时，显示面板上的代码为 0xxx ，同时位置码会出现在第二行。当AIX的登录窗口出现在控制台上时第四步骤结束同时显示面板上再无任何信息出现。\r\n\r\nError Code 当系统运行有错误发现时，一个8位码会显示在显示面板上，同时在第二行显示相对应问题硬件的位置码。\r\n\r\nSRNs （Service request numbers,服务请求码）当系统运行有错误发现时，SRNs码会以 xxx-xxx的形式显示在显示面板上，同时在AIX的error log中也会有记载。\r\n\r\n以上所有代码都会有相应的步骤解决。由于代码繁多，请在出现问题后记录下代码，并致电IBM服务热线。\r\n系统的启动顺序:\r\n\r\n\r\n.系统不能启动\r\n 系统停在Stage 1，可能为电源、系统板、CPU、内存等硬件故障。记录故障代码通知IBM工程师。\r\n\r\n 系统停在Stage 2，可能是启动顺序表(bootlist)损坏或I/O子系统故障。可尝试进入SMS 菜单检查启动顺序表，并修改。若在选择bootlist时没有硬盘设备可选或显示的硬盘信息不正确则可能是硬盘故障。若根本没有SCSI设备可选则链路有问题。\r\n\r\n系统停在Stage3，可能是硬盘数据损坏，系统设置文件出错，或I/O子系统故障。\r\n.系统停在551，555或557\r\n发生在系统启动的第三阶段 (Stage 3)，可能是：\r\n文件系统损坏\r\n文件系统日志(jfslog)损坏\r\nrootvg中有坏硬盘\r\n\r\n修复方法\r\n用系统光盘或系统备份带启动（必须与硬盘中的操作系统版本一致）\r\n\r\n启动后选择选项3\r\n\"Start Maintenance Mode for System Recovery\"\r\n > \"Access a Root Volume Group\"\r\n > \"Access this volume group and start a shell\r\n before mounting the file systems\"\r\n格式化文件系统日志(jfslog)\r\n# /usr/sbin/logform /dev/hd8\r\n\r\n检查修复文件系统\r\n# fsck -y /dev/hd1 （/home 文件系统）\r\n# fsck -y /dev/hd2 （/usr 文件系统）\r\n# fsck -y /dev/hd3 （/tmp 文件系统）\r\n# fsck -y /dev/hd4 （/ 文件系统）\r\n# fsck -y /dev/hd9var （/var 文件系统）\r\n... ...\r\n用 exit 命令退出，文件系统会自动 mount 起来。\r\n\r\n重建bootimage \r\n# lslv -m hd5 找出bootimage所在的硬盘，如hdisk0\r\n# bosboot -ad /dev/hdisk0\r\n# bootlist -m normal /dev/hdisk0 重建启动顺序表。\r\n重启动系统\r\n# shutdown -Fr\r\n\r\n如上述步骤不奏效\r\n用系统备份带恢复系统。\r\n\r\n如备份带不能恢复，用诊断光盘（Diagnostic CDROM）检查是否坏硬盘。\r\n\r\n.CDE图形界面挂死\r\nCDE 运行时不要更改网络参数（如：主机名和IP 地址）\r\n更改网卡设置，请先退出CDE图形环境，选择命令行方式登录，在字符界面下更改。\r\n如CDE 已经挂死\r\n远程 telnet 登录\r\n找出所有dt有关的进程用kill命令杀掉\r\n# ps -ef |grep dt \r\n... ...\r\n# kill PID\r\n检查当前主机名\r\n# hostname \r\n tscf50\r\n查看主机名是否对应有效的IP地址\r\n# netstat -i |grep tscf50 \r\ntr0* 1500 9.185.40 tscf50 506049 0 28247 0 0\r\n更改主机名或IP地址，使主机名与当前有效的IP地址存在对应关系。\r\n# smitty tcpip \r\n重新启动CDE界面\r\n# /etc/rc.dt \r\nHACMP环境下可把主机名alias到127.0.0.1上\r\n# cat /etc/hosts\r\n127.0.0.1 loopback localhost tscf50 # loopback (lo0) name/addressbvg\r\n\r\n.系统dump\r\n发生在系统崩溃时，AIX会做dump(系统内存的快照)。\r\n此时机器会显示闪动的888 102 xxx 0cx 代码：\r\n0c9 系统dump 进行中。0c9状态可能会维持超过2分钟，\r\n 不要关电和按reset, 等待dump做完。\r\n0c0 dump 成功完成，这时可以断电重起。\r\n0c2 手动启动dump 功能\r\n0c4 dump 设备空间不足，只有部分信息保存下来\r\n\r\n0c5 不明原因导致dump 失败\r\n 一般dump是由于软件出错引起(888-102-207 除外)，机器通常可以重启。重启时可能提示用户插入磁带拷贝dump文件，不要选择退出，这样会丢失重要的故障信息。\r\ndump的有关设置\r\n估算系统dump的大小，在系统最繁忙时（内存使用最多）\r\n# sysdumpdev -e\r\n0453-041 Estimated dump size in bytes: 53477376 \r\n# lsps -a\r\nPage Space Physical Volume Volume Group Size %Used Active\r\npaging00 hdisk0 rootvg 480MB 1 yes\r\nhd6 hdisk1 rootvg 544MB 1 yes\r\n当前的设置\r\n#sysdumpdev -l \r\nprimary /dev/hd6 <-- dump的主设备\r\nsecondary /dev/sysdumpnull\r\ncopy directory /var/adm/ras <-- dump拷贝的目录\r\nforced copy flag TRUE\r\nalways allow dump TRUE \r\nhd6应比估算值稍大。\r\n/var/adm/ras 是默认的dump拷贝目录，比较估算值，保证/var文件系统有足够的剩余空间拷贝dump文件。否则机器重起时会提示用户插入磁带。\r\ndump文件名为vmcore.# \r\n对PCI机型如要手动做dump，须把\" always allow dump\" 先设成true。\r\n# sysdumpdev -K\r\ndump打包\r\n# snap -a -o /dev/rmt# 或\r\n# snap -a -c 把/tmp/ibmsupt目录做成一个压缩文件\r\n snap.tar.Z如果/tmp文件系统空间不够，\r\n 可用-d directory 参数指定别的目录代\r\n 替/tmp/ibmsupt\r\n\r\n

疲倦的鱼

白手起家

论坛徽章:: 0

2楼 [报告]

发表于 2002-11-02 16:41 |只看该作者

四 7133-D40 SSA磁盘柜的故障定位\r\n当SSA磁盘柜出现故障时，在磁盘柜前面板的液晶显示屏上会显示相应的SRNs,同时黄色的显示灯会闪动，在AIX的error log中也会有记载错误信息，如：DISK_ERR1，DISK_ERR4，SSA_ARRAY_ERROR等。请在出现问题后记录下代码，并致电IBM服务热线。\r\n\r\n五软件故障定位方法\r\n软件故障情况错综复杂，下面列举几个常见案例的故障处理方法。\r\n\r\n1）文件系统空间不够。\r\n 查看有没有“满”的文件系统。特别是/、/var、/tmp，不要超过90%。文件系统满可导致系统不能正常工作，尤其是AIX的基本文件系统。如/ (根文件系统)满则会导致用户不能登录。用df –k 查看。\r\n# df -k (查看AIX的基本文件系统)\r\nFilesystem 1024-blocks Free %Used Iused %Iused Mounted on\r\n/dev/hd4 24576 1452 95% 2599 22% /\r\n/dev/hd2 614400 28068 96% 22967 15% /usr\r\n/dev/hd9var 8192 4540 45% 649 32% /var\r\n/dev/hd3 167936 157968 6% 89 1% /tmp\r\n/dev/hd1 16384 5332 68% 1402 35% /home\r\n除/usr文件系统，其他文件系统都不应太满，一般不超过80%。\r\n\r\n处理方法1：删除垃圾文件\r\n# du -sk * |sort -rn |head\r\n查找出当前目录下占空间最大的子目录，逐层往下直到找出占空间最大的文件。（要区分哪些目录是文件系统的 mount point，哪些是文件系统的子目录）删除文件，释放空间。有时删除文件后空间并不马上释放，这是由于你删除的文件正被某个程序打开。只有当这个程序停止后空间才释放，有时甚至需要重起系统。\r\n处理方法2：增加文件系统大小\r\n# smitty chjfs \r\n文件系统可以在任何时候加大，前提是卷组(VG)中有剩余空间。\r\n\r\n2) 检查文件系统的完整性\r\n# umount filesystem_name\r\n# fsck -y filesystem_name\r\n\r\n注意：文件系统必须先umount，再做检查和修复，否则可导致未\r\n知的后果。\r\n\r\n3）查看卷组信息(lsvg -l vg_name)：\r\n有没有\"stale\"状态的逻辑卷。若有，用syncvg 命令修复\"stale\"逻辑卷。\r\n\r\n4）检查内存交换区(paging space)使用率(lsps -s)：\r\n使用率是否超过70% ，若有则用chps –sX pgname增加X个PP或用 mkps –a –n –sX myvg在myvg上增加一个PP数为X的内存交换区。\r\n\r\n5）小型机内存泄漏问题\r\n小型机出现内存泄漏，即系统或应用进程无法将使用过的内存释放，使可用内存的容量逐渐减少。如果可用内存降到某最小值将造成系统或应用程序无法FORK子进程，就会造成系统瘫痪。\r\n通常我们可以用ps和sar命令来查看小型机内存和CPU占用率的大概情况以及各进程的内存和CPU占用率的发展趋势。\r\n(a) ps\r\n# ps gv|head -n 1; ps gv|egrep -v \"RSS\" | sort +6b -7 -n -r |head -n 5\r\nPID TTY STAT TIME PGIN SIZE RSS LIM TSIZ TRS %CPU %MEM COMMAND\r\n15674 pts/11 A 0:01 0 36108 36172 32768 5 24 0.6 24.0 ./tctestp\r\n22742 pts/11 A 0:00 0 20748 20812 32768 5 24 0.0 14.0 ./backups\r\n10256 pts/1 A 0:00 0 15628 15692 32768 5 24 0.0 11.0 ./tctestp\r\n2064 - A 2:13 5 64 6448 xx 0 6392 0.0 4.0 kproc\r\n1806 - A 0:20 0 16 6408 xx 0 6392 0.0 4.0 kproc\r\nSIZE virtual size (in the pagingspace), in kilobytes, \r\nRSS real-memory (resident set) size in kilobytes of the process.\r\n通过不同时间输出的比较，就能观察出内存和CPU占用率的基本情况。找出其中占用内存数不断变大的进程，这个进程可能就已经发生了内存泄漏。\r\n(b) sar 指令也可以查看CPU占用率，但统计的结果不是很准确。通常使用sar令的格式为：\r\n#sar -P ALL 2 10 \r\n09:29:37 cpu %usr %sys %wio %idle\r\n09:29:39 0 0 0 4 95\r\n 1 1 0 4 95\r\n - 0 0 4 95\r\n09:29:41 0 0 2 6 92\r\n 1 3 4 2 91\r\n - 2 3 4 92\r\n09:29:43 0 3 1 2 94\r\n 1 2 2 2 95\r\n - 2 1 2 94\r\n09:29:45 0 2 2 7 90\r\n 1 4 5 6 86\r\n - 3 3 6 88\r\n09:29:47 0 1 1 2 96\r\n 1 1 2 2 96\r\n - 1 1 2 96\r\n09:29:49 0 0 0 0 100\r\n 1 0 1 0 99\r\n - 0 0 0 100\r\n09:29:51 0 2 0 0 98\r\n 1 0 1 0 98\r\n - 1 0 0 98\r\n09:29:53 0 7 1 6 86\r\n 1 2 2 5 90\r\n - 5 2 5 88\r\n09:29:55 0 4 5 56 35\r\n 1 12 2 55 32\r\n - 8 4 55 33\r\n09:29:57 0 16 8 14 64\r\n 1 15 9 11 65\r\n - 15 8 12 64\r\n\r\nAverage 0 3 2 10 85\r\n 1 4 3 8 85\r\n - 4 2 9 85\r\n\r\n表示2秒钟输出一次结果总共有10次结果，然后平均。\r\n目前，如果发现内存泄漏，最好重新启动系统。\r\n\r\n六 HACMP环境下的排错\r\n 在一般情况下,HACMP软件很少需要手工干预,但一旦有问题发生,诊断和恢复的技巧是很重要的.需要能很快地断定问题然后运用你对HACMP的理解来恢复HACMP的正常运作.\r\n一般地,HACMP环境下的排错包括:\r\n .了解问题的存在.\r\n .判断问题的出处.\r\n .解决问题.\r\n一了解问题的存在\r\n 您可以通过以下途径了解到一个CLUSTER环境下出现了问题.\r\n .最终用户的投诉,他们无法访问应用程序.\r\n .控制台上出现一些HACMP的信息.\r\n\r\n1.应用服务无法访问\r\n 最终用户的抱怨通常预示CLUSTER出现了问题.他们无法正常执行应用或是无法登录到系统.我们必须采集到详细的信息以判断到底那里出现了问题.是否有错误的信息提示?如果可能的话,让用户重复步骤以确定那里是错误的开始.您也可以在自己的系统上重复.要知道用户应用不可用并不代表HACMP有问题.问题可能出现在应用程序本身或是它的启动或终止脚本出现了问题.因此应用程序本身的排错也应是HA排错的一部分.\r\n2.控制台上出现一些HACMP的信息\r\n 在HACMP启动,终止或出错时,控制台上会出现一些HACMP的信息,同时也会写入相应的文件中.\r\n\r\n二判断问题的出处\r\n 当错误出现时,我们应尝试发现错误的所在.但我们常常被错误的表面所误导.以下的步骤可以使我们得到更详细的信息.\r\n1.保存好一些LOG文件.(/tmp/hacmp.out & /tmp/cm.log).因为它们可能被覆盖.\r\n2.仔细检查HACMP所产生的LOG文件.它们能提供最初的判断线索.\r\n3.用HACMP的工具和AIX的命令来检查HACMP的部件是否正常.\r\n4.打开HACMP的跟踪工具来产生更详细的信息.\r\n\r\n.HACMP的LOG文件:以下文件都是文本文件,可以用VI来看.每个日志文件都含有每个信息的产生时间.\r\n/usr/adm/cluster.log :记录了HACMP的状态,由HA的守护进程所产生.\r\n/tmp/hacmp.out :记录了HA的详细脚本.\r\n/usr/sbin/cluster/history/cluster.mmdd :记录了HA的各个事件的发生.\r\n/tmp/cm.log :由clstrmgr进程产生,每次HA重起时会被覆盖.\r\n\r\n.HACMP FOR AIX的结构\r\n\r\n应用层\r\nHACMP软件层\r\nLVM & TCPIP 层\r\nAIX 层\r\n物理网络层\r\n物理硬盘层\r\n硬件层\r\n\r\n 在物理网络层,物理硬盘层,硬件层,LVM & TCPIP 层,AIX 层我们可以用AIX系统命令来看是否硬件和系统出现了问题.一般地,在用errpt命令来看没有类型为PH的错误,lsvg -o 来看我们所须的VG已varyon,mount来看我们所须的文件系统已安装, netstat -i来看我们所须的service IP是UP的状态(或用ifconfig en*),cluster node 之间的service 与service IP ,standby与 standby IP 互相可以ping通.在各个节点上执行stty<</dev/tty* 有相应的信息出现.说明硬件层,LVM & TCPIP 层,AIX 层没有问题,问题可能出现在应用层与HACMP软件层上.否则问题就出现在相应的层次上.\r\n 在HACMP软件层上,我们可以用vi /tmp/hacmp.out来看,如果出现event failed的字段,则有可能问题出现在该层,如果在问题出现的时段,hacmp.out无信息出现,则问题可能出现在应用层.\r\n\r\n\r\n以下是HA排错的一些守则:\r\n.在第一时间保存好相关的日志文件,特别是那些会被覆盖的文件.\r\n.尝试去重复问题的出现.不要被用户所反映的问题迷惑.\r\n.渐进地去重复问题,如果有多个可能导致问题的出现,一个一个地去重复,而不要一次重复多个可能.\r\n.不要凭经验来判断问题,而是要在各种测试后,由结果来判断.\r\n.隔离问题的来源,根据我们上面所叙述的层次关系,至顶向下地诊断.\r\n.由简到繁地做测试,我们先从一个简单的环境来做测试,不要尝试在一个复杂的环境中测试.\r\n.一次做一次改动,否则我们无法知道是那个改动解决了问题.\r\n.不要忽略各种可能,因小可失大,留心系统的每一个细节,包括电源,插头,连线等.\r\n.保持各种测试的记录以及解决的步骤,用做将来排错的参考.\r\n.拨打IBM服务热线,将问题现象和您所做的测试结果告诉IBM的工程师,他们将在CALL CENTER的测试中心重复试验,必要时会派工程师到场解决问题.\r\n三 IBM HACMP 双机系统的管理和维护\r\n本节将说明HACMP 双机软件的一些基本管理和维护命令这些命令将会在HACMP 双机\r\n系统的日常工作中经常用到.\r\n1 HACMP 双机系统的启动\r\n要启动HACMP 双机系统必须要有root 用户的特权分别进入到系统各节点主机在命令\r\n行上执行下述命令即可.\r\n# smit clstart\r\n或\r\n# /usr/sbin/cluster/etc/rc.cluster -boot -N –I\r\n需要注意的是在双机系统中HACMP 双机软件先启动的节点将成为主节点拥有资源\r\n并对外提供关键服务后启动的节点将成为备节点.\r\n另外在启动HACMP 前需要启动双机上的INFORMIX 和SCP 应用.\r\n2 HACMP 双机系统的关闭\r\n要关闭某节点上的HACMP 双机软件必须要有该节点root 用户的特权以root 用户进入到\r\n该节点主机在命令行上执行下述命令即可.\r\n# smit clstop\r\n或\r\n# clstop -gr\r\n需要注意的是若该节点是主节点并且备节点上的HACMP 软件亦正常运行则需注意\r\nclstop 关闭模式的三种选项的不同1 forced 是指立即关闭双机软件不调用任何客户应用的\r\n善后处理例程.2 graceful 是指在关闭双机软件时将调用客户应用预定义的善后处理例程.3\r\ntakeover 是指该节点将关闭双机软件并释放资源请求备节点进行接管.如该节点是备节点\r\n则关闭模式选项没有多大意义.\r\n另外关闭HACMP 将关闭manager 和informix.\r\n3 查询HACMP 双机系统的状态\r\n在双机系统的运行当中操作员经常需要知道双机系统的当前状态才有可能对双机系\r\n统出现的异常情况进行恢复处理才能保证双机系统的高可用性和高容错性.查询HACMP 双机系统的状态只需以root 用户进入需要查询的节点进行下列操作\r\n首先检查HACMP 双机软件在该节点是否已启动命令如下\r\n# lssrc -g cluster\r\n若是系统显示出下面类似的信息则说明HACMP 双机软件已正常启动.\r\nSubsystem Group PID Status\r\nclstrmgr cluster 22500 active\r\nclsmuxpd cluster 23674 active\r\nclinfo cluster 28674 active\r\n在已确认双机软件HACMP 正常启动的情况下在命令行执行下述命令来察看双机系统的当前状态\r\n# /usr/sbin/cluster/clstat -a\r\n如果双机系统一切工作正常则系统将显示下述类似信息\r\nclstat - HACMP for AIX Cluster Status Monitor\r\n-------------------------------------------------------------------------------------\r\nCluster: scp_cluster(80) Thu Jan 20 08:45:17 TAIST 2000\r\nState: UP Nodes: 2\r\nSubState: STABLE\r\nNode: mscp1 State: UP\r\nInterface: mscp1_svc (0) Address: 192.9.1.60\r\nState: UP\r\nInterface: mscp1_tty (1) Address: 0.0.0.0\r\nState: UP\r\nNode: mscp2 State: UP\r\nInterface: mscp2_svc (0) Address: 192.9.1.61\r\nState: UP\r\nInterface: mscp2_tty (1) Address: 0.0.0.0\r\nState: UP\r\n七常用的系统状态查询命令：\r\n# lsdev –C –s scsi\r\n列出各个SCSI设备的所有相关信息：如逻辑单元号，硬件地址及设备文件名等。\r\n# ps -ef \r\n列出正在运行的所有进程的各种信息：如进程号及进程名等。\r\n# netstat -rn \r\n列出网卡状态及路由信息等。\r\n# netstat -in\r\n列出网卡状态及网络配置信息。\r\n# df -k \r\n列出已加载的逻辑卷及其大小信息。\r\n# mount \r\n列出已加载的逻辑卷及其加载位置。\r\n# uname -a \r\n列出系统ID 号，系统名称，OS版本等信息。\r\n# hostname \r\n列出系统网络名称。\r\n# lsvg –l rootvg,lsvg –p rootvg\r\n显示逻辑卷组信息，如包含哪些物理盘及逻辑卷等。\r\n# lslv –l datalv,lslv –p datalv\r\n显示逻辑卷各种信息，如包含哪些盘，是否有镜像等。\r\n八网络故障定位方法\r\n网络不通的诊断过程：\r\nifconfig 查看网卡是否启动 (up)\r\nnetstat –i 查看网卡状态\r\n Ierrs/Ipkts 和 Oerrs/Opkts是否>1%\r\n ping自己网卡地址 (ip 地址)\r\nping其它机器地址，如不通，在其机器上用diag检测网卡是否有问题。\r\n 在同一网中， subnetmask 应一致。\r\n网络配置的基本方法：\r\n(1) 如需修改网络地址、主机名等，一定要用 chdev 命令\r\n# chdev –l inet0 –a hostname=myhost\r\n# chdev -l en0 -a netaddr=\'9.3.240.58\' -a netmask=255.255.255.0’\r\n(2) 查看网卡状态：# lsdev –Cc if\r\n(3) 确认网络地址：# ifconfig en0\r\n(4) 启动网卡：# ifconfig en0 up\r\n(5) 配置路由\r\n有两种方式加入路由：\r\n永久路由\r\n# chdev -l inet0 -a route=’10.47.0.0’,’9.3.240.59’\r\n临时路由\r\n# route add 10.47.1.2 9.3.240.59\r\n用命令 netstat -rn 查看路由表\r\n附：常用命令列表：\r\nAny XXXX, ####, ****, or X is to be substituted by a name, resource name or #,\r\nfn = filename\r\nDIR = Directory\r\n| = pipe symbol\r\n\r\nbosboot -a -d /dev/hdiskx -rebuilds boot record/image on boot device(hdiskx)\r\ncat -view contents of a file\r\ncat /tmp/****.1 -view a file, look at output\r\ncat fn fn > newfile -combines two files to a single file\r\ncd -will return you to default DIR\r\ncd / -will put in root DIR\r\ncd /xxxx -change you to a DIR anywhere is system\r\ncd .. -will drop you out of 1 DIR at a time\r\ncd xxxxx -will change you to a DIR in current dir\r\ncfgmgr -will auto config devices\r\ncfgmgr -v & -(-v) shows processes (&

puts in background\r\nchps -s xx hd# -increase paging space (xx=# of addt\'l PPs)\r\ncp oldfn newfn -copy a file\r\ncp oldfn Dirn -copy a file to another directory\r\ncrontab -l -list crontab entries for the current user\r\nctrl + v -will page down 1 page\r\nctrl + 6 -will page up 1 page\r\ndel fn -same as rm -i,promts to remove fn\r\ndf -I -shows status of file systems (no inodes)\r\ndf -Ik -(k) show status in 1024 bites(1mb)(only AIX 4\r\ndiag -a -updates changes in hardware configuration\r\ndiag ***** -****= a device type(as tape,disk....Fastpath)\r\ndiag -cd rmtX -resets tape drive\r\ndosformat -formats a diskette to DOS\r\ndosdir -list files on dos formated diskette\r\ndosread XX YY -copies dos file XX to aix file YY\r\ndoswrite YY XX -copies aix file YY to dos file XX\r\nerrpt -generates a one line synopsis of logged errors\r\nerrpt | pg -list errorlog 1 page @ a time(1st column is ID)\r\nerrpt -a -displays detailed information of logged errors\r\nerrpt -s Mmddhhmmyy -select entries posted later than date\r\nerrpt -aj XXXXXXX -list detail error by ID number.(XXX=1st column)\r\nerrpt -d S -list software errors\r\nerrpt -j XXXXXXX -list summary report by ID number.\r\nerrpt -aN XXXXXX -list detailed report by resource name column\r\nerrpt -N XXXXXXX -list summary report by resource name column\r\nerrclear 0 -clears errorlog\r\nerrclear -N XXXXX 0 -clears errorlog by resource name, 0=all enter\r\nerrclear -j XXXXX 0 -clears errorlog by ID number.\r\nfinger -same as who but with more details\r\nflcopy -copies a diskette to another diskette\r\nformat -formats a diskette in default diskette drive\r\nformat -l -formats in lower denity: 1.44 on 2.44 / 720 on 1.44\r\nhostname -responds with host system name\r\nhost (hostname) -responds with internet address\r\ninstfix -ik IPAR# -lists ipar fix was completely installed\r\nlppchk -v -checks install status of LPPs\r\nlppchk -v 2> /dev/lpX -sends output of lppchk to printer lpx\r\nlpstat -a all -view all printer queues\r\nlptest 80 5 > /dev/lp0 -send test pattern to lp0\r\nls -list names of files & directories in current dir\r\nls -lia -list details of files, current dir & subdir\r\nls -al -list details of files or dir in current dir\r\nlsattr -El xxxxxx -list specific settings on a device\r\nlsdev -C | sort -d -f -list system hardware (devices)\r\nlsdev -C | grep 00-0X -list resourses for a adapter\r\nlsdev -Cc xxxxx -H -list devices(xxx=tty,printer,disk,memory,adpt\r\nlsdev -Cs scsi -list scsi devices(not serial or raid)\r\nlsdev -Cc tape -list tape devices\r\nlsdev -Cs pci -list pci devices\r\nlsdev -Cs isa -list isa devices\r\nlscons -lists the assigned console\r\nlscfg -list hardware list (same as diags list)\r\nlscfg -rl mem* |pg -lists the memory on PCI bus machines\r\nlscfg -vl XXXXX -list config info from a device.(rmt0,hdisk,etc)\r\nlscfg -vl sysplanar0 -lists the machine type, model, s/n on SMP\r\nlsfs -list all filesystems + data from \"df\" cmd\r\nlslpp -l | grep BROKEN -lists incomplete ptfs\r\nlslv -m hd5 -finds boot drive under pv1 column\r\nlsps -a -checks available paging space\r\nlsps -s -checks available paging space\r\nlspv -lists information about the physical volumes\r\nlspv hdisk# -list drive info\r\nlspv -l hdisk# -lists logical volume group disk in\r\nlsuser -f ALL -lists all attributes for all users\r\nlsvg -lists volume groups\r\nlsvg -p XXXXXX -lists disks in volume group (xxxxx= volume name)\r\nmore -reads files and displays the text one screen at a time.\r\nmpcfg -df -list all setting the machine is set to (smp)\r\nmpcfg -cf 11 1 -changes to fast IPL on SMP machines (smp)\r\nmv fn (path fn) -move and rename a file\r\noslevel -shows AIX version (3.2.4 and above)\r\npg -reads and displays text one screen at a time.\r\npdisable -makes unavailable or shows all disabled tty\'s\r\npdisable tty# -disables a tty\r\npenable -makes available or shows all enabled tty\'s\r\npenable tty# -enables a tty\r\nps -el |pg -look at process running on system\r\npwd -list what DIR you are currently in\r\nr -repeats last command\r\nrm -i ******* -remove a file & will prompt you if you are sure\r\nrmdev -l XXXXX -removes a device and defines it to data base\r\nrmdev -l XXXXX -d -removes a device and deletes it from data base\r\nset -o vi -sets up to veiw cammands that have been run\r\n:wq -write(save) and quit file\r\nEsc + k -used with SET command to list last command\r\nk,l -k=list next command ran, l=steps you thru command\r\nI -use with SET command inserts characters\r\nj -steps you backwards\r\ncw -cw=removes a word,just type in new word\r\n(use with Esc)\r\na,x,r -a=added text, x=delete text, r=replace text(r+letter)\r\nR -lets you type over letters or words\r\nsmit ***** -(*****= tape,disk,tty,etc.fastpath)\r\nsu -stands for switch user,(NOT super user)\r\nsu -switches to root id or prompts you for password\r\nsu XXXXXX -switches to XXXXXX\'s id\r\ntar -cvf /dev/rmtX /etc -will copy /etc to a tape drive\r\ntar -tvf /dev/rmtX -will read a tape drive\r\ntctl -f /dev/rmtX rewoffl -rewind & eject tape\r\ntctl -f /dev/rmtX.1 fsf 3 -forward advances a tape to be read by TAR\r\ntctl -F -list avail commands(-F flag is not correct)\r\ntctl retension -retensions tape in tape drive\r\n& -put any command in background with process ID\r\nuptime -how long since last IPL and how many users on system\r\nvmstat # # -reports virtual memory statistics and more\r\niostat # # -reports CPU,disk & cdrom statistics\r\nuse with vm & iostat -1st #(how many sec to repeat), 2nd #(how many times)\r\nwho -shows users on system\r\nwho am i -shows user id on your terminal & tty number\r\nUSE the following with other commands.\r\n---------------------------------------------------\r\n>/tmp/****.1 -creates a file (used with lsXXX command)\r\n>/dev/lp# -redirectes output to a printer(use with a comd)\r\n|grep -is useful to search for text in a file.\r\n|pg -use after any command to view one page at a time\r\n| -pipe sign - Takes the output of one command and\r\nfeeds it to the input of another.\r\n> -redirect sign or greater than sign\r\n/ -slash sign\r\n\\ -back slash sign\r\n>> -double redirect will add text to end of file\r\n& -put any command in background with process ID\r\nMUST unmount file system 1st to run fsck & dfsck/only use with a problem\r\n----------------------------------------------------------------------------------------------\r\nfsck XXXXXXX -will check a file system for errors & prompt\r\ndfsck /XXXX /XXXX -will check 2 different file sys at the same time\r\nFOLLOWING command lines will delete a group of devices as a group, the #,\r\nsign is the hdisk#\'s that you want to delete.(this is an exampe.)\r\n--------------------------------------------------------------------------------------------------\r\nfor disk in # # # # -this line and the next 3 line work together\r\ndo -the prompt will be > (REMEMBER to hit enter)\r\nrmdev -l hdisk# {disk} -d -the prompt will be > (brackets around disk change)\r\ndone -the prompt will be > (on a printout. change to -)\r\nSSA RELATED COMMANDS\r\n-----------------------------------------\r\nlsattr -El ssaX -list attributes of SSA adapters\r\nlscfg -vl ssaX -list VPD of SSA adapters\r\nlsdev -C | grep SSA -list all SSA devices\r\nlslpp -L | grep SSA -list SSA device drivers\r\nmaymap -ap -maymap display of SSA loop\r\nmaymap -alph -maymap display of SSA loop\r\nlscfg -vl pdisk* -list VPD of pdisks\r\nssaxlate -l hdiskX -list hdisk to pdisk assignment\r\nssaxlate -l pdiskX -list pdisk to hdisk assignment\r\nssa_rescheck -l hdiskX -show hdisk reservation status\r\nFOLLOWING CMDS LIST, COPY, AND RESTORE FOR cpio,tar,dd,backup,dos:\r\nNOTE: The fd0 is just a dev. so you may use any media you desire.\r\n-----------------------------------------------------------------------------------\r\nLIST COPY\r\n------ --------\r\ncpio -itv < /dev/fd0 ls /tmp/fn | cpio -ov > /dev/fd0\r\ntar -tvf /dev/fd0 tar -cvf /dev/fd0 fn\r\ndd li -l | dd dd if=fn of=/dev/fd0\r\nrestore -Tf /dev/fd0 backup -0 -uf /dev/fd0 fn By INODE\r\nrestore -Tf /dev/fd0 find / -print | backup -i -f/dev/fd0 By NAME\r\ndosdir doswrite -a (AIX fn) (fn.ext)\r\nTO RESTORE\r\n-------------------\r\ncpio -iv fn < /dev/fd0\r\ntar -xvf /dev/fd0\r\ndd of=/dev/fd0 if=fn\r\nrestore -xvf /dev/fd0 fn BY NAME/INODE, restore understands unless special\r\nflags were used.\r\ndosread -a (fn.ext) (AIX fn)\r\nTO DOCUMENT THE SYSTEM\r\n-------------------------------------------\r\nlscfg -v > /dev/lpx -to list sys config/VPD\r\nlsuser -f ALL > /dev/lpX -to list users\r\nlsdev -Cc tty -H -to list all tty\'s\r\nlsdev -Cc lp -H -to list all lp\'s\r\nlsattr -El ttyX > /dev/lpX -to list ttyX parameters (do for each tty)\r\nlsattr -El lpX > /dev/lpX -to list lpX parameters (do for each lp)\r\nlpstat > /dev/lpX -to list queues\r\nlsfs > /dev/lpx -to list filesystems\r\nlspv > /dev/lpx -to list hard drives\r\nlspv hdiskx -to list hard drive config (do for each drive)\r\nlspv -l hdiskx -to list files on drive\r\nlsvg rootvg -to list rootvg data\r\nplus printout of or save to diskette:\r\n------------------------------------------\r\n/etc/inittab\r\n/etc/objrepos/Cu*\r\n/etc/passwd\r\n/etc/filesystems\r\n/etc/security/passwd\r\n/etc/hosts\r\n/sbin/rc.boot