新手的烦恼－－文件处理的效率问题[已解决]

sthcf

原帖由 walkerxk 于 2008-12-15 23:10 发表
两次的话我的也要改，而且估计幅度可能有点大。

大大，公司保安上来赶人了，要回家了，回家没环境可以测试了，明天见

walkerxk

这么晚还在公司，辛苦了。
我的方法遇到瓶颈了，引用数量超了，如果是perl的话还可以只分组，不捕获，但是sed好像不行，看样子不得不用perl了。
另外，不要叫我大大，我不姓大
其实我的方法不好，容易出错，调试麻烦。

springwind426

1. 
   
2. sed -n '/解析/!D;N;/转换/!D;N;/普通/!D;N;/Ebox/!D;N;/After/!D;N;/销帐/!D;p'
   

复制代码

这段代码能够选出需要的所有6行组，所有的关键字都使用了缩写，如果缩写不符合条件的话，就使用完整的关键字。

至于如何选出需要的部分，不知道那个15的前后有没有什么特殊规律，所以没有写。

[ 本帖最后由 springwind426 于 2008-12-16 08:38 编辑 ]

biglazybug

一下子理解不完 得慢慢消化

sthcf

原帖由 springwind426 于 2008-12-16 08:37 发表

sed -n '/解析/!D;N;/转换/!D;N;/普通/!D;N;/Ebox/!D;N;/After/!D;N;/销帐/!D;p'


这段代码能够选出需要的所有6行组，所有的关键字都使用了缩写，如果缩写不符合条件的话，就使用完整的关键字。

至于如 ...

那个15不一定是15,可能是任意的一个数字，特征是以|为分隔符的话是第8个域

ly5066113

原帖由 walkerxk 于 2008-12-15 21:30 发表
这是我这辈子写过的最恶心的正则了，调试了N个小时。

是比较恶心，你还是用perl吧。

sthcf

在nuclearxin 给出的脚本添加了一下下，能跑出正确结果了，但是比原文件少了一次6行循环，也就是比最终少了一行，原文件是得出的正确结果应该是15981行（长单+普通单 数量的和）的，但是脚本跑出来的结果是15980

# awk  ' (/销帐结果/){print $0}' realbill_ora_st_002_20081204_00080.log|wc -l
   17751
# awk   ' (/长单/){print $0}' realbill_ora_st_002_20081204_00080.log|wc -l
     508
# awk   '(/普通单/){print $0}' realbill_ora_st_002_20081204_00080.log|wc -l
   15473
## awk   '(/短单/){print $0}' realbill_ora_st_002_20081204_00080.log|wc -l
    1770

20081204 23:23:09  13553353270  368  2005~2004 0 0 0 0 0 601 0 0 0 0 0 0 0 233 0 0 7544001841918
20081204 23:23:09  13433849578  88  2004 0 3387 0 0 0 0 0 0 0 3299 0 0 0 0 0 0 7544005088090
20081204 23:23:09  13417175298  15  2020 0 0 0 0 0 4854 0 0 0 0 0 0 0 4839 0 0 7544001374276

1. 
   
2. BEGIN{
   
3. FS="[]|[]+"
   
4. }
   
5. {if(/解析清单/){
   
6.         key1=$1$4$11
   
7.         getline
   
8.         while(/解析清单/){key1=$1$4$11;getline}
   
9.         
   
10.         
    
11.         if(/转换后帐单科目/){
    
12.                 gsub(/.*转换后帐单科目: /,"",$0)
    
13.                 gsub(/ FILE:.*/,"",$0)
    
14.                 key2=$0
    
15.                 getline
    
16.                 key22=""
    
17.                 while(/转换后帐单科目/){
    
18.                         gsub(/.*转换后帐单科目: /,"",$0)
    
19.                         gsub(/ FILE:.*/,"",$0)
    
20.                         key22=$0
    
21.                         getline}
    
22.                
    
23.                 if(/普通单/ || /长单/){
    
24.                         getline
    
25.                         if(/Ebox Info:/){
    
26.                                 gsub(/~/," ",$4)
    
27.                                 key3=$4
    
28.                                 getline
    
29.                                 if(/After Woff Ebox Info:/){
    
30.                                         gsub(/~/," ",$4)
    
31.                                         key4=$4
    
32.                                         getline
    
33.                                         if(/销帐结果/){
    
34.                                         gsub(/~/," ",$4)
    
35.                                         key5=$4
    
36.                                         if (key22==""){print key1,key2,key3,key4,key5}
    
37.                                         else {print key1,key2"~"key22,key3,key4,key5}
    
38.                                         next
    
39.                                         }
    
40.                                 }
    
41.                         }
    
42.                 }
    
43.         }
    
44. }
    
45. }
    
46. 
    

复制代码

[ 本帖最后由 sthcf 于 2008-12-16 09:15 编辑 ]

sthcf

试跑了一下，只是跑长单数量是正确的，但是跑普通单少了一行，脚本没问题，是文件还有存在不知道的结构。谢谢各位大侠

smallstar001

原帖由 biglazybug 于 2008-12-15 21:33 发表
FS="[]|[]+" 这是什么写法呢？

差点就整迷糊了

[]|[]+

这两个是一对

biglazybug

哦 原来是这么看啊 我也迷糊了