【请教】cygwin下的awk统计问题

keke00

环境：

1. $ bash --version
   
2. GNU bash, version 3.1.17(6)-release (i686-pc-cygwin)
   
3. Copyright (C) 2005 Free Software Foundation, Inc

复制代码

背景：
一文件夹有数千个文件，文件名如下：
0_20100908090020.dat
0_20100909200001.dat
0_20100923180900.dat
........
每个文件650K左右，近8000行
现在想统计每个文件中符合特定字符串的信息

问题：
当输入文件数量接近800，大小接近480MB时，
awk end部分打印两次，如下：

Total：797
F:15
Total：254
F:5

按理只打印一次呀！
个人怀疑是和cygwin的最大存储容量有关
于是修改注册表修改注册表的HKEY_LOCAL_MACHINE和HKEY_CURRENT_USER区段。添加DWORD键
heap_chunk_in_mb
同时用cygwin中的regtool完成该设置。如下：

regtool -i set /HKLM/Software/Cygnus\ Solutions/Cygwin/heap_chunk_in_mb 10240

regtool -v list /HKLM/Software/Cygnus\ Solutions/Cygwin

但问题依旧，请教高手哪里还有问题？


部分代码如下：确定在此时已出问题

1. ls*.dat | awk -F'[_.]' '$2+0>=201009080000 && $2+0 <=201009250000' | xargs awk '/$2~/EOF/{F++；nextfile}END{printf"\nTotal:%d\n",ARGC-1;printf"EOF:%d\n",F}'

复制代码

代码较少，解释下我本意
ls*.dat | awk -F[_.]  '$2+0>=201009080000 && $2+0 <=201009250000' 找出符合条件的文件，之后在这些文件中查找信息包含EOF的文件数量

nuclearxin

ls*.dat | awk -F[_.]  '$2+0>=201009080000 && $2+0 <=201009250000' | xargs awk 'END{printf"\nTotal:%d\n",ARGC-1}'

首先 1)-F[_.] 为啥不用单引号引起来
2) xargs 你确认要这么用?
3) 确认了2 之后你还要用 ARGC的话 为啥不用wc

nuclearxin

....-F[_.]是什么意思 ........我看这有点崩溃

nuclearxin

1. 
   
2. ls*.dat | awk -F'_'  '{if($2>=201009080000 && $2<=201009250000)a++}END{print a}'

复制代码

这个就ok了吧减少io

keke00

回复 2# nuclearxin


    1)-F[_.] 为啥不用单引号引起来，加单引号最好
已编辑

aili_chinaunix

楼主的意思不是很明白
我的理解是在某个目录下，有很多.dat文件，这些文件中有的包含字符串"eof",你想根据这些dat文件的第二列过滤出一个文件列表，在这个列表中统计包含eof的dat文件的数量。
ls *.dat  | awk -F'[_.]'  '$2+0>=201009080000 && $2+0 <=201009250000' >tmpfile
more a.sh
#!/bin/bash
f=0
for file in `cat /tmp/alen/tee/tmpfile`
  do
     grep -i "eof" $file &>/dev/null
     [ $? = 0 ] && f=$((f+1))
  done
echo $f

wtuter

回复 1# keke00

try:
    xargs -0


xargs -零

zhangshebao

主要问题可能是ls *.dat及xargs两个命令命令行缓冲有限制，文件数量较大时不能在命令行用通配符，也不要用xargs.
下面代码调试通过，应该符合楼主要求：

1. 
   
2. ls | awk -F'[_.]' '
   
3. BEGIN{countf=eoff=0;}
   
4. $2+0>=201009080000 && $2+0 <=201009250000 && $3=="dat" && NF==3{
   
5. countf++;FS="[ \t]+";fname=$0;
   
6. while (1==getline<fname){
   
7.   if($2~"EOF"){
   
8.    eoff++;break;
   
9.   }
   
10. };
    
11. close(fname);
    
12. FS="[_.]";
    
13. }
    
14. END{
    
15.   print "\nTotal:,",countf,"EOF:",eoff;
    
16. }'
    

复制代码

下面带调试语句的（去掉#)脚本，并先生成调试数据后测试：

1. echo "1
   
2. 
   
3. 2 EOF">0_200009080900.dat
   
4. echo "2" >1_200009080900.dat
   
5. echo "1
   
6. 2
   
7. 3
   
8. 3 EOF">2_201009080010.dat
   
9. echo "4" >3_201009080030.dat
   
10. echo "4" >4_201009080020.dat
    
11. echo "4" >5_201109080020.dat
    
12. ls | awk -F'[_.]' '
    
13. BEGIN{countf=eoff=0;}
    
14. #{print "#0",NR,$0}
    
15. $2+0>=201009080000 && $2+0 <=201009250000 && $3=="dat" && NF==3{
    
16. countf++;
    
17. FS="[ \t]+";
    
18. fname=$0;
    
19. # print "#1",$0,countf,eoff,fname;
    
20. while (1==getline<fname){
    
21. # print "#2",$0,countf,eoff,fname;
    
22. if($2~"EOF"){
    
23. eoff++;
    
24. # print "#3",$0,countf,eoff,fname;
    
25. break;
    
26. }
    
27. };
    
28. close(fname);
    
29. FS="[_.]";
    
30. }
    
31. END{
    
32. print "\nTotal:,",countf,"EOF:",eoff;
    
33. }'
    

复制代码

cjaizss

接在xargs后面，被分两次执行，这个太正常不过了。
参数再长，也有个容限。xargs会帮你分的
$ seq 1 10000|xargs echo | wc -l
1
$ seq 1 100000|xargs echo | wc -l
5

cjaizss

可以这样，在后面再加一个管道，再接一个awk来最终统计一下