请教awk的容错机制

babysgaler

最近遇上一个问题，查询记录的时候，总是会遇上特殊的太长的纪录行，用nawk分割时有如下错误提示

nawk: input record `E,W,227837997,10,1,8...' too long
input record number 3.16714e+07
source line number 15

这样的话总是导致nawk查询到该行就中断，因此，该行之后的纪录就无法继续查询，这给我造成很大困扰，请问有没有什么用法可以使nawk在某行出错后还能继续之后的行呢？

qsxing

试试awk呢?

babysgaler

一样的，没有办法解决吗，郁闷阿

-_-

Ex:
    if(NF>100)getline;

waker

RS=","
把域变成记录处理试试

babysgaler

Ex:
    if(NF>100)getline;
————————————
试验过了，不行，因为那一行太长，超出awk的处理范围，它无法解析这行有几个字段


RS=","
把域变成记录处理试试
————————————
不是很理解，但我觉得也不行，因为要处理的记录有很多行，以“，”为记录分割符没法做我想要的操作，比如每行第6个字段

-_-

那就处理前先把这行给喀嚓了  所以长行都喀嚓了

waker

比如每行第6个字段
这个找不到么？
如果RS=,
就是第6个记录和在EOF前每个从含\n记录开始数的第6个记录

还是那句名言：shell版90%的问题都是逻辑问题，跟shell基本无关

babysgaler

谢谢帮忙，但问题还是存在


那就处理前先把这行给喀嚓了  所以长行都喀嚓了
——————————————————————
因为不知道哪行会太长，除了长以外没有其它特征，无法先删除该行



比如每行第6个字段
这个找不到么？
如果RS=,
就是第6个记录和在EOF前每个从含\n记录开始数的第6个记录
————————————————————————————
相同错误，那太长的行就是因为有个字段太长导致的，用,作记录分割符并不能把该字段变短，还是提示记录太长退出.....

waker

请问你是如何测试的呢？RS是在读入行以前设置的么？下面是我的测试
文件中有2行，每行有10万个用,分割的小数
测试机器是128Mpc133内存的菜羊,好像没费多大劲

1. 
   
2. [waker@proxy dd3]$ seq -s, 0 0.1 100000 >file
   
3. [waker@proxy dd3]$ seq -s, 100000 -0.1 0 >>file
   
4. [waker@proxy dd3]$ wc  file
   
5.        2        2 15377805 file
   
6. [waker@proxy dd3]$ time awk 'BEGIN{RS=","}
   
7. > NR==6
   
8. > /\n/{print NR}' file
   
9. 0.5
   
10. 1000000
    
11. 1999999
    
12. 
    
13. real    0m7.624s
    
14. user    0m7.171s
    
15. sys     0m0.157s
    

复制代码

如果对awk没信心，可以换perl试试