新手的烦恼－－文件处理的效率问题[已解决]

walkerxk

难度很大，很有挑战，赶公交去了，回家再弄。

sthcf

我的文本是有部分是符合要求的（6行连续一起），有部分不是，拜托三位大大了

nuclearxin

1. 
   
2. [root@rhel5test test]# awk -f ss.awk d
   
3. 20081204 23:23:05  13556409826  15  2020 0~4819~0~0~0~0~0~0 0~4804~0~0~0~0~0~0 7544002264722
   
4. 20081204 23:23:05  13612384090  15  2020 0~0~0~0~0~915~0~0 0~0~0~0~0~900~0~0 7544004393795
   
5. 20081204 23:23:05  15815091162  15  2020 0~515~0~0~0~0~0~0 0~500~0~0~0~0~0~0 7544005374769
   
6. [root@rhel5test test]# cat ss.awk
   
7. BEGIN{
   
8. FS="[]|[]+"
   
9. }
   
10. {if(/解析清单/){
    
11.         key1=$1$4$11
    
12.         getline
    
13.         if(/转换后帐单科目/){
    
14.                 gsub(/.*转换后帐单科目: /,"",$0)
    
15.                 gsub(/ FILE:.*/,"",$0)
    
16.                 key2=$0
    
17.                 getline
    
18.                 if(/普通单 FILE:/ || /长单 FILE:/){
    
19.                         getline
    
20.                         if(/Ebox Info:/){
    
21.                                 key3=$4
    
22.                                 getline
    
23.                                 if(/After Woff Ebox Info:/){
    
24.                                         key4=$4
    
25.                                         getline
    
26.                                         if(/销帐结果/){
    
27.                                         key5=$4
    
28.                                         {print key1,key2,key3,key4,key5}
    
29.                                         next
    
30.                                         }
    
31.                                 }
    
32.                         }
    
33.                 }
    
34.         }
    
35. }
    
36. }
    

复制代码

不知是不是你要的

sthcf

原帖由 nuclearxin 于 2008-12-15 18:59 发表

[root@rhel5test test]# awk -f ss.awk d
20081204 23:23:05  13556409826  15  2020 0~4819~0~0~0~0~0~0 0~4804~0~0~0~0~0~0 7544002264722
20081204 23:23:05  13612384090  15  2020 0~0~0~0~0~915~0~0  ...

已经差不多是我要的东西了，但是如果出现像下面这样的顺序的话，会丢失一次6行的循环，如下面这个是可以出来两行的，但这脚本跑的话应该只会出来一行(另外 ~ 这个符号也需要去掉，所有域之间用|做分隔符)


解析清单
解析清单
解析清单
转换后帐单科目
普通单
Ebox Info
After Woff Ebox Info
销帐结果
解析清单
转换后帐单科目
普通单
Ebox Info
After Woff Ebox Info
销帐结果

[ 本帖最后由 sthcf 于 2008-12-15 20:27 编辑 ]

walkerxk

cat urfile|tr -d '\n'|sed -r 's#([0-9 :]+)\[INFO \]\([0-9]+\) 解析清单 \[ ([0-9]+)([^|]+\|){7} ([0-9]+)[^~]+([0-9~]{18})[^~]+([0-9~]{18})([^|]+\|){2} ([0-9]{4})[^,]+,[^]]+\]#\1;\2;\4;\5;\6;\8\n#g'
这是我这辈子写过的最恶心的正则了，调试了N个小时。

biglazybug

FS="[]|[]+" 这是什么写法呢？

sthcf

在第一行加了一个$11+0 !=0 之后是可以符合我的要求的，但是跑出来结果比实际情况少了716条数据,正常情况下跑出来应该要等于 普通单+长单的 数量和的，应该是跟之前那个会有一个skipping影响的，需要怎样处理才能出来正确的结果？

#awk -f test.awk realbill_ora_st_002_20081204_00080.log >tmp.txt
# cat tmp.txt|wc -l
   15265
#awk -F  '(/普通单/){print $0}' realbill_ora_st_002_20081204_00080.log|wc -l
   15473
# awk -F  '(/短单/){print $0}' realbill_ora_st_002_20081204_00080.log|wc -l
    1770
#awk -F  '(/长单/){print $0}' realbill_ora_st_002_20081204_00080.log|wc -l
     508
#awk -F  '(/销帐结果/){print $0}' realbill_ora_st_002_20081204_00080.log|wc -l
   17751
# awk -F '|' '(/解析清单/ && $8+0 != 0 ){print $1}' realbill_ora_st_002_20081204_00080.log|wc -l
   17751

我之前那个低效率的脚本跑出来的结果也是这样，少了716行，应该是那个skipping影响的结果，是否有什么方法可以去除这个影响？

sthcf

原帖由 biglazybug 于 2008-12-15 21:33 发表
FS="[]|[]+" 这是什么写法呢？

这个我之前有看过帖子是这么解释的：FS="[]|[]+"  符合正则表达式,[]里面的任何一个字符可以作为分隔符号，碰到任何一个字符都作为一个域对待。 而+代表，把多连续的域字符作为一个对待

sthcf

原帖由 walkerxk 于 2008-12-15 21:30 发表
cat urfile|tr -d '\n'|sed -r 's#([0-9 :]+)\\([0-9]+\) 解析清单 \[ ([0-9]+)([^|]+\|){7} ([0-9]+)[^~]+([0-9~]{18})[^~]+([0-9~]{18})([^|]+\|){2} ([0-9]{4})[^,]+,[^]]+\]#\1;\2;\4;\5;\6;\8\n#g'
这是我 ...

钻了好一会，完全没看懂 ，试执行了一下
sed: Not a recognized flag: r
Usage:  sed [-n] Script [File ...]
        sed [-n] [-e Script] ... [-f Script_file] ... [File ...]

呵呵 把r参数去掉执行
sed: 0602-404 Function s#([0-9 :]+)\[INFO \]\([0-9]+\) 解析清单 \[ ([0-9]+)([^|]+\|){7} ([0-9]+)[^~]+([0-9~]{18})[^~]+([0-9~]{18})([^|]+\|){2} ([0-9]{4})[^,]+,[^]]+\]#\1;\2;\4;\5;\6;\8\n#g cannot be parsed.

nuclearxin

原帖由 sthcf 于 2008-12-15 20:12 发表


已经差不多是我要的东西了，但是如果出现像下面这样的顺序的话，会丢失一次6行的循环，如下面这个是可以出来两行的，但这脚本跑的话应该只会出来一行(另外 ~ 这个符号也需要去掉，所有域之间用|做分隔符)
...

我在家没有环境调试
不过可以在
第一个if后面用
while(/解析清单/)getline

1. 
   
2. [root@rhel5test test]# cat ss.awk
   
3. BEGIN{
   
4. FS="[]|[]+"
   
5. }
   
6. {if(/解析清单/){
   
7.         key1=$1$4$11
   
8.         getline
   
9.         while(/解析清单/){key1=$1$4$11;getline}
   
10.         
    
11.         
    
12.         if(/转换后帐单科目/){
    
13.                 gsub(/.*转换后帐单科目: /,"",$0)
    
14.                 gsub(/ FILE:.*/,"",$0)
    
15.                 key2=$0
    
16.                 getline
    
17.                 if(/普通单 FILE:/ || /长单 FILE:/){
    
18.                         getline
    
19.                         if(/Ebox Info:/){
    
20.                                 gsub(/~/," ",$4)
    
21.                                 key3=$4
    
22.                                 getline
    
23.                                 if(/After Woff Ebox Info:/){
    
24.                                         gsub(/~/," ",$4)
    
25.                                         key4=$4
    
26.                                         getline
    
27.                                         if(/销帐结果/){
    
28.                                         gsub(/~/," ",$4)
    
29.                                         key5=$4
    
30.                                         {print key1,key2,key3,key4,key5}
    
31.                                         next
    
32.                                         }
    
33.                                 }
    
34.                         }
    
35.                 }
    
36.         }
    
37. }
    
38. }
    

复制代码

does it work?
呵呵忘了改~这个符号了改了

[ 本帖最后由 nuclearxin 于 2008-12-15 22:26 编辑 ]