快过节了，来点技术小红包，awk/sed程序方面

haooooaaa

1. awk -vRS='\n|     *| *:' '/^ *(Params|Status)$/{next}
   
2.     /^ *Id$/{getline;a[+$0];b=+$0;x=y;next}
   
3.     !x&&/^[A-Z]/{key[$0];x=$0;next}
   
4.     x{all[b,x]=/^ *$/?"":$0;x=y}
   
5. END{
   
6.     s="port";for(i in key)s=s","i;n=split(s,t,",");print s
   
7.     for(i in a){s=i;for(j=2;j<=n;j++)s=s ","(all[i,t[j]]?all[i,t[j]]:"NULL");print s}
   
8. }'

复制代码

mcwolf2000

回复 16# mcwolf2000 port   nofield  PortEnable     MediaType      Duplex   speed   class       Link           Duplex     speed             RecentUpTime         1       null      enable           1000BaseT      auto      auto     802.3     down          half         10Mbps            0 years   0 days... 1       null      enable           100BaseT        auto      auto     802.3     down          half         100Mbps          0 years   0 days.

sunzhiguolu 发表于 2017-01-16 12:44
符合要求?

符合要求啊，就是这个意思？    //sorry，数据是在页面上粘贴的，有些小毛病请体谅。

sunzhiguolu

1. #!/usr/bin/perl
   
2. local $/ = '';
   
3. my @aFieldList = qw /Port NoField PortEnable MediaType Duplex Speed Class Link RecentUpTime/;
   
4. my %hFieldList = map {$_ => 1} @aFieldList;
   
5. my %hDefaults = ('Port' => 1, 'PortEnable' => 'enable'); # 默认值, 可自行指定
   
6. my %hTrace = ();
   
7. 
   
8. my ($flag, %hData) = (1, ());
   
9. while (<>){
   
10.     my ($id, @aLines) = split (/\n/, $_);
    
11.     $id = $1 if ($id =~ /(\d+)/);
    
12.     foreach (splice (@aLines, -2)){
    
13.         my @aT = split;
    
14.         push (@{$hData{$id}{$aT[0]}}, "@aT[2 .. $#aT]") if ($hFieldList{$aT[0]});
    
15.     }
    
16.     foreach (@aLines){
    
17.         my @aFields = split;
    
18.         next if ($aFields[0] eq 'Params' or $aFields[0] eq 'Status');
    
19.         while (/(\S+)\s*:\s*(\S+)/g){
    
20.             next if (!$hFieldList{$1});
    
21.             push (@{$hData{$id}{$1}}, $2);
    
22.             $hTrace{$1}++ if ($flag);
    
23.         }
    
24.     }
    
25.     $flag = 0 if ($flag);
    
26. }
    
27. push (@aFieldList, $_) for grep {$hTrace{$_} > 1} keys %hTrace;
    
28. @aFieldList = sort {$a cmp $b} @aFieldList;
    
29. print join (',', @aFieldList), "\n";
    
30. my @aOut = ();
    
31. foreach my $id (sort {$a <=> $b} keys %hData){
    
32.     my %hCollect = ();
    
33.     my @aT = ();
    
34.     foreach my $k (sort {$a cmp $b} keys %{$hData{$id}}){
    
35.         push (@{$hCollect{$k}}, @{$hData{$id}{$k}});
    
36.     }
    
37.     foreach my $k (sort {$a cmp $b} @aFieldList){
    
38.         push (@{$hCollect{$k}}, exists ($hDefaults{$k}) ? $hDefaults{$k} : 'NULL') if (!exists ($hCollect{$k}));
    
39.     }
    
40.     foreach my $k (sort {$a cmp $b} keys %hCollect){
    
41.         push (@aT, @{$hCollect{$k}});
    
42.     }
    
43.     push (@aOut, join (',', @aT) . "\n");
    
44. }
    
45. print @aOut;
    

复制代码

perl abc.pl urFile
测试记录行数:850000

real 3.99 user 3.90 sys 0.09
real 3.99 user 3.93 sys 0.06
real 4.00 user 3.90 sys 0.09
real 4.00 user 3.90 sys 0.09
real 4.00 user 3.91 sys 0.07
real 4.00 user 3.91 sys 0.09
real 4.00 user 3.96 sys 0.04
real 4.00 user 3.97 sys 0.03
real 4.02 user 3.90 sys 0.10
real 4.02 user 3.96 sys 0.04
real 4.02 user 3.96 sys 0.06
real 4.04 user 3.86 sys 0.12

haooooaaa

1. awk -vRS='\n|     *| *:'  #重新定义换行符为'\n|     *| *:'；中间的 "     *" 是看你的格式中间是 4个以上的空格。
   
2. 
   
3. /^ *(Params|Status)$/{next}
   
4.     /^ *Id$/{getline;a[+$0];b=+$0;x=y;next}
   
5.     !x&&/^[A-Z]/{key[$0];x=$0;next}  # 似乎字段都是以大写开头？
   
6.     x{all[b,x]=/^ *$/?"":$0;x=y}     # 得到数组key后，再把值写入，清空数组key。y未定义就是空 或者 x=""
   
7. END{
   
8.     s="port";for(i in key)s=s","i;n=split(s,t,",");print s
   
9.     for(i in a){s=i;for(j=2;j<=n;j++)s=s ","(all[i,t[j]]?all[i,t[j]]:"NULL");print s}
   
10. }
    
11. 
    
12. # 数据是否是有字段就一定有值。会不会有这样?
    
13.    Enable     :             MediaType      : 1000BaseT
    
14. # 或者：
    
15.    Enable     : enabled       MediaType      :
    
16. # 这样就以 " *:" 为换行符，这样可以得到一个空行，然后： /^ *$/?"":$0
    
17. 
    
18. # 要设置列值，可以在key数组要添加时，跳过。

复制代码

sunzhiguolu

如果将代码再优化下，数据量大点的话 效能应该还会好些。

sunzhiguolu

我将测试文件加大了些，实际大小约 718MB, 行数 16000016 。

sunzhiguolu

回复 27# 本友会机友会摄友会
文件在这里，不知道 PowerShell 的威力到底咋样？
download

mcwolf2000

回复 28# 本友会机友会摄友会

正如微软官方说明：ConvertFrom-String: Example-based text parsing
powershell5的ConvertFrom-String这种模板解决方法确实也是有其特点，比较近似最初想用lex/yacc方法达到的目标。

但是这种模板匹配的性能如何呢，PK awk/sed类 PK perl处理。
请能否搞一下测试方案。