关于awk 处理大数据量崩溃的问题，求救！！

西任

HP-UX prmtrain B.11.31 U ia64 的系统

awk -v FS="|"  -v OFS="|" 'NR==FNR{a[$1]++}NR>FNR&&a[$1]>1'  p2pp.dat  p2pp.dat > aa.log 检重测试时候报错


awk: tostring 函数  内部软件错误。
输入行号是 1.14473e+07。 文件是 p2pp.dat。
源行号是 1。


安装gawk 试了一下，报这个错误
gawk: (FILENAME=p2pp.dat FNR=11699006) fatal: assoc_lookup: bucket->ahname_str: can't allocate 14 bytes of memory (Not enough space)


开始也是怀疑内存不够，但是系统是32G的物理内存，top看了一下，内存没怎么变化
反倒是同样的命令，我在自己本的虚拟机上能跑。

请大家帮忙指点一下，这个问题如何解决呢！！！！！！！！！！！！！

西任

没人回复！自己顶一下！

lbseraph

如果怀疑内存的话，下面的命令输出检查过么？
ulimit -a

西任

回复 3# lbseraph


time(seconds)        unlimited
file(blocks)         unlimited
data(kbytes)         2015464
stack(kbytes)        392192
memory(kbytes)       unlimited
coredump(blocks)     4194303
nofiles(descriptors) 15000

是否 data 段设置问题？

lbseraph

应该不是data段问题，swap占用情况如何？下面命令的输出？

swapinfo -atm
top
kcusage
swlist -l product | grep -i awk

西任

回复 5# lbseraph


   

bash-4.1$ swlist -l product | grep -i awk
  PHCO_40052            1.0            awk(1) cumulative patch
  gawk                  4.0.1          gawk           
bash-4.1$
bash-4.1$
bash-4.1$ swapinfo -atm
              Mb      Mb      Mb   PCT  START/      Mb
TYPE      AVAIL    USED    FREE  USED   LIMIT RESERVE  PRI  NAME
dev       32768       0   32768    0%       0       -    1  /dev/vg00/lvol2
reserve       -   29039  -29039
memory    62305    8457   53848   14%
total     95073   37496   57577   39%       -       0    -
bash-4.1$  kcusage
Tunable                 Usage / Setting      
=============================================
filecache_max      2966642688 / 3266590105
maxdsiz              83734528 / 2063835136
maxdsiz_64bit      1527775232 / 4294967296
maxfiles_lim              149 / 15000
maxssiz               1179648 / 401604608
maxssiz_64bit          786432 / 2147483648
maxtsiz              35868672 / 1073741824
maxtsiz_64bit       201326592 / 8589934592
maxuprc                    43 / 10800
max_thread_proc           101 / 200000
msgmni                      2 / 200000
msgtql                      0 / 200000
nflocks                    65 / 12000
ninode                   1822 / 256000
nkthread                 1001 / 200000
nproc                     288 / 20000
npty                        0 / 60
nstrpty                     9 / 60
nstrtel                     0 / 60
nswapdev                    1 / 32
nswapfs                     0 / 32
semmni                     35 / 15680
semmns                    768 / 31360
shmmax            20602466304 / 34359738368
shmmni                     10 / 512
shmseg                      3 / 300


如何看呀？

lbseraph

感觉系统没啥问题，怀疑同样函数在hpux里使用有问题，在虚拟机用的是linux系统吧~awk方面经验少，到Shell版块问问？