如果用awk命令对一行超长文本进行格式化

where27

回复 9# blackold

1. sed
   
2. real    0m1.287s
   
3. user    0m1.285s
   
4. sys     0m0.003s
   
5. 
   
6. awk
   
7. real    0m0.054s
   
8. user    0m0.033s
   
9. sys     0m0.019s

复制代码

redspider

sed
real    0m1.287s
user    0m1.285s
sys     0m0.003s

awk
real    0m0.054s
user    0m0.033s
sys     0m0.019s
where27 发表于 2010-03-16 10:04

    20MB ?

blackold

对于这种问题，awk处理得费劲。

blackold

回复 12# redspider


        不可能是20M，除非是超级计算机。

where27

回复 12# redspider


    这个没有那么大，只有不到100k

redspider

测个 20MB 试试，看看和 Perl 的性能比较

俺测的 23MB， 11.5s

blackold

用gawk的RT来写比较快，当然处理这种问题没法和perl比，不是一个量级的。

ywlscpl

perl确实快

1. [root@Mylinux tmp]# awk 'BEGIN{for (i=1;i<=10000000;i++) printf i}' >>data
   
2. [root@Mylinux tmp]# ll data
   
3. -rw-r--r-- 1 root root 68888897 03-04 22:33 data
   
4. 
   
5. [root@Mylinux tmp]# time (awk -F '' '{for (i=1;i<=NF;i++) {if (i==10||(i-10)%8==0&&i>10) {print $i;continue}if ((i-10)%4==0&&i>10) $i=$i",";printf $i}}' data >/dev/null)
   
6. 
   
7. real    1m53.031s
   
8. user    0m1.569s
   
9. sys     0m15.693s
   
10. 
    
11. [root@Mylinux tmp]# time (perl my.pl >/dev/null)
    
12. 
    
13. real    0m38.073s
    
14. user    0m11.457s
    
15. sys     0m3.211s

复制代码

blackold

另一种比较快的方法:

1. cat <(head -c 10 superlonogline) <(echo) <(tail -c +11 superlongline|fold -w 8|sed 's/.\{4\}/&,/'

复制代码

处理111M单行文件耗时1min。

redspider

1. open(FILE, '<', 'testdata') or die $!;
   
2. {
   
3.         local $/ = \10;
   
4.         my $headline = <FILE>;
   
5.         print $headline, "\n";
   
6.        
   
7.         local $/ = \8;
   
8.         while (<FILE>) { print $_, "\n"; }
   
9. }
   
10. close FILE;

复制代码

改进了一下， 硬盘有多大，字符串就可以有多大，
不用考虑内存了，  22.8MB字符串， 10.39s