The fork function failed. There is not enough memory available

allanwang77

另外，也可以先清理一下PS。
方法是，设另一个临时的容量相同的PS, deactive 这个，然后reactive 回来，再将临时的PS deavtive， 然后remove。这样可以清理出一些长期存在PS里的无用内容。
用topas 再次检查PS的情况，比较一下前后有什么差别。
如果是24日上午做，估计我在线，需要帮忙就出声。

sthcf

原帖由 allanwang77 于 2008-12-23 23:40 发表
运行topas 检查内存和PS的使用情况，通常是PS太小，一般要设到2倍于内存。用smitty pgsp去设，先计算好要多少PPs.

Topas Monitor for host:    sttems1              EVENTS/QUEUES    FILE/TTY
Wed Dec 24 08:02:34 2008   Interval:  2         Cswitch    3470  Readch  8281.0K
                                                Syscall    5318  Writech 9292.0K
Kernel   12.0   |####                        |  Reads      1873  Rawin         0
User     46.0   |#############               |  Writes     2077  Ttyout      476
Wait      0.5   |#                           |  Forks         6  Igets         0
Idle     41.5   |############                |  Execs         5  Namei       119
                                                Runqueue    2.0  Dirblk        7
Network  KBPS   I-Pack  O-Pack   KB-In  KB-Out  Waitqueue   0.0
en0    1179.2    420.0   840.0    19.1  1160.1
lo0       0.3      2.5     2.5     0.1     0.1  PAGING           MEMORY
                                                Faults      736  Real,MB    4096
Disk    Busy%     KBPS     TPS KB-Read KB-Writ  Steals        0  % Comp     16.6
hdisk2    9.0   2696.0    20.5   768.0  1928.0  PgspIn        0  % Noncomp  80.1
hdisk1    1.0      4.0     1.0     0.0     4.0  PgspOut       0  % Client   76.2
hdisk0    0.0      4.0     1.0     0.0     4.0  PageIn      191
hdisk3    0.0      0.0     0.0     0.0     0.0  PageOut     480  PAGING SPACE
cd0       0.0      0.0     0.0     0.0     0.0  Sios        672  Size,MB     512
                                                                 % Used      0.8
Name            PID  CPU%  PgSp Owner           NFS (calls/sec)  % Free     99.1
topas         28858   0.3   1.3 root            ServerV2       0
vmstat        30818   0.1   0.2 root            ClientV2       0   Press:
sh            20200   0.1   0.5 root            ServerV3       0   "h" for help
dtgreet        9338   0.1   1.4 root            ClientV3       0   "q" to quit
kdsmain        7038   0.1  21.7 root
netmon        27606   0.0   4.7 root
gil            2838   0.0   0.1 root
trapd         24252   0.0   2.9 root
X              9034   0.0   2.5 root
rpc.lock      17036   0.0   0.0 root
ifstat        13846   0.0   0.4 root
syslogd       12408   0.0   0.3 root
stat_dae      14600   0.0   1.0 root
java          26316   0.0  14.6 root
java          25026   0.0  22.8 root
syncd          4424   0.0   0.5 root
java          23736   0.0  81.1 root
kuxagent      17558   0.0   5.0 root
netm           2580   0.0   0.0 root
snmpColl      27348   0.0   2.9 root
lrud           1032   0.0   0.0 root
ovtopmd       26058   0.0   3.2 root
kux_vmst      15304   0.0   0.5 root



# vmstat 1

System configuration: lcpu=2 mem=4096MB

kthr    memory              page              faults        cpu   
----- ----------- ------------------------ ------------ -----------
r  b   avm   fre  re  pi  po  fr   sr  cy  in   sy  cs us sy id wa
1  0 167551 42863   0   0   0   0    0   0   4 5842  71 50  0 49  0

#  lsps -s
Total Paging Space   Percent Used
      512MB               1%



从昨天下午16点左右开始跑到目前为止还没出问题

allanwang77

现在看来没有太大的问题，但PS的确小了，最少要增加到4G。
现在要检查一下文件系统：
#lsvg
#lsvg vgname
#lsvg -l vgname
#df -m
然后把结果传上来

sthcf

# lsvg
rootvg
vg00
vg01

# lsvg rootvg
VOLUME GROUP:       rootvg                   VG IDENTIFIER:  00075caf00004c00000001187eb5f582
VG STATE:           active                   PP SIZE:        32 megabyte(s)
VG PERMISSION:      read/write               TOTAL PPs:      1084 (34688 megabytes)
MAX LVs:            256                      FREE PPs:       310 (9920 megabytes)
LVs:                11                       USED PPs:       774 (24768 megabytes)
OPEN LVs:           10                       QUORUM:         1
TOTAL PVs:          2                        VG DESCRIPTORS: 3
STALE PVs:          0                        STALE PPs:      0
ACTIVE PVs:         2                        AUTO ON:        yes
MAX PPs per VG:     32512                                    
MAX PPs per PV:     1016                     MAX PVs:        32
LTG size (Dynamic): 256 kilobyte(s)          AUTO SYNC:      no
HOT SPARE:          no                       BB POLICY:      relocatable

# lsvg vg00
VOLUME GROUP:       vg00                     VG IDENTIFIER:  00075caf00004c0000000115188eab20
VG STATE:           active                   PP SIZE:        512 megabyte(s)
VG PERMISSION:      read/write               TOTAL PPs:      1900 (972800 megabytes)
MAX LVs:            512                      FREE PPs:       20 (10240 megabytes)
LVs:                5                        USED PPs:       1880 (962560 megabytes)
OPEN LVs:           2                        QUORUM:         2
TOTAL PVs:          1                        VG DESCRIPTORS: 2
STALE PVs:          0                        STALE PPs:      0
ACTIVE PVs:         1                        AUTO ON:        yes
MAX PPs per VG:     130048                                    
MAX PPs per PV:     2032                     MAX PVs:        64
LTG size (Dynamic): 128 kilobyte(s)          AUTO SYNC:      no
HOT SPARE:          no                       BB POLICY:      relocatable

# lsvg vg01
VOLUME GROUP:       vg01                     VG IDENTIFIER:  00075caf2afab7d5
VG STATE:           active                   PP SIZE:        1024 megabyte(s)
VG PERMISSION:      read/write               TOTAL PPs:      271 (277504 megabytes)
MAX LVs:            256                      FREE PPs:       6 (6144 megabytes)
LVs:                2                        USED PPs:       265 (271360 megabytes)
OPEN LVs:           2                        QUORUM:         2
TOTAL PVs:          1                        VG DESCRIPTORS: 2
STALE PVs:          0                        STALE PPs:      0
ACTIVE PVs:         1                        AUTO ON:        yes
MAX PPs per VG:     32512                                    
MAX PPs per PV:     1016                     MAX PVs:        32
LTG size:           128 kilobyte(s)          AUTO SYNC:      no
HOT SPARE:          no                       BB POLICY:      relocatable

# lsvg -l rootvg
rootvg:
LV NAME             TYPE       LPs   PPs   PVs  LV STATE      MOUNT POINT
hd5                 boot       1     2     2    closed/syncd  N/A
hd6                 paging     16    32    2    open/syncd    N/A
hd8                 jfslog     1     2     2    open/syncd    N/A
hd4                 jfs        16    32    2    open/syncd    /
hd2                 jfs        160   320   2    open/syncd    /usr
hd9var              jfs        1     2     2    open/syncd    /var
hd3                 jfs        10    20    2    open/syncd    /tmp
hd1                 jfs        4     8     2    open/syncd    /home
hd10opt             jfs        2     4     2    open/syncd    /opt
lg_dumplv           sysdump    32    32    1    open/syncd    N/A
tivoli              jfs        320   320   1    open/syncd    /tivoli

# lsvg -l vg00
vg00:
LV NAME             TYPE       LPs   PPs   PVs  LV STATE      MOUNT POINT
loglv00             jfslog     1     1     1    closed/syncd  N/A
lv00                jfs        80    80    1    closed/syncd  N/A
loglv01             jfs2log    1     1     1    closed/syncd  N/A
loglv03             jfs2log    1     1     1    open/syncd    N/A
fslv01              jfs2       1797  1797  1    open/syncd    /ftp

# lsvg -l vg01
vg01:
LV NAME             TYPE       LPs   PPs   PVs  LV STATE      MOUNT POINT
loglv02             jfs2log    1     1     1    open/syncd    N/A
fslv00              jfs2       264   264   1    open/syncd    /ftp1

# df -m
Filesystem    MB blocks      Free %Used    Iused %Iused Mounted on
/dev/hd4         512.00    188.04   64%     2240     1% /
/dev/hd2        5120.00   1099.67   79%    67592     6% /usr
/dev/hd9var       32.00      9.82   70%      524     7% /var
/dev/hd3         320.00    253.36   21%      174     1% /tmp
/dev/hd1         128.00    121.02    6%       85     1% /home
/proc                 -         -    -         -     -  /proc
/dev/hd10opt      64.00     14.97   77%      839     6% /opt
/dev/tivoli    10240.00   1390.72   87%    19733     1% /tivoli
/dev/fslv01   920064.00 857228.68    7%    27350     1% /ftp
/dev/fslv00   270336.00 221795.22   18%   143617     1% /ftp1

allanwang77

文件系统也没有大问题，你说在解压文件时看见出错，能告诉是在什么路径下做的吗？另外有多少文件？
# ls -l,看看路径和文件大小。

allanwang77

另外1G的sysdump是否够大，你也要check 一下。

allanwang77

PS 要增加224PPs达到4G。还有我发现hdisk2 的IO工作较忙，也要观察原因。

allanwang77

另外要注意的是你的文件系统是jfs的不是jfs2的，所以增加容量简单，要减少就麻烦了，所以慎重起见，你可以一部分一部分增加，够用就行了，要减少需要reboot。

sthcf

原帖由 allanwang77 于 2008-12-24 09:50 发表
文件系统也没有大问题，你说在解压文件时看见出错，能告诉是在什么路径下做的吗？另外有多少文件？
# ls -l,看看路径和文件大小。

在 /ftp/woffcust   这个目录下
有7000多个文件，每个是2.几W，解压后是20W左右，通过自写的一个AWK脚本进行处理后FTP去别的机器并把原压缩文件搬到备份目录

要增加224PPs达到4G。还有我发现hdisk2 的IO工作较忙，也要观察原因。

因为现在这个脚本在跑，所以才会发现I/O 比较忙。在跑AWK的时候CPU经常达到50%，但内存并没有多大使用

另外因为我系统管理基本没有接触，对于增加pgsp这些也没有操作过，具体 是怎么换算的，还有smitty pgsp进入之后 选change好像是直接填写一个值？

能具体介绍一下吗？谢谢！

allanwang77

这是一个例子：
2. Increase the PS size to 6G:
6G/64M=96PPs; 96-73=23PPs
###64M是PP size，你rootvg的PP size 是32M
所以是4G/32M=128 128-16=112PPs 因为是mirror的，所以要加224PPs。你可以先加一半，观察一段时间，如果还有问题，再加另一半（主要是因为你rootvg容量有限）
iedm2d11:root:/root
# smitty pgsp->Change / Show Characteristics of a Paging Space->
  NUMBER of additional logical partitions            [112]
  Or NUMBER of logical partitions to remove          []  

checking:
iedm2d11:root:/root
# lsvg -l rootvg
rootvg:
LV NAME             TYPE       LPs     PPs     PVs  LV STATE      MOUNT POINT
hd6                 paging     96      96      1    open/syncd    N/A
iedm2d11:root:/root
# lsps -a
Page Space      Physical Volume   Volume Group    Size %Used Active  Auto  Type
hd6             hdisk0            rootvg        6144MB     1   yes   yes    lv