依然是awk，关于值内分隔符的处理疑问【谁知道awk的FPAT怎么用】

xylcxyfc

众所周知，awk处理CSV文件中逗号分隔符要使用FPAT，因为逗号这个分隔符可能会被包含在值中。
现假设有文件s.dat内容如下：

"2000079086,001859"
"2000079086""001859"
"20000,79086""001859"

这个文本每行事先都认为是一个字段，但是使用下面这个命令输出每行的分割数量时：
awk 'BEGIN{FPAT = "([^,]+)|(\"[^\"]+\")"}{print "line "NR": "NF;print $1"@@"$2}' s.dat
结果却是：

line 1: 1
"2000079086,001859"@@
line 2: 1
"2000079086""001859"@@
line 3: 2
"20000,79086"@@"001859"

第三行只不过是前两种情况的结合，结果却被awk认为是两个字段，这是不正确的。

那么有没办法对第三行也认为是一个分割数量呢？

-------------
这个文件输出时候的规则是：逗号分隔字段，字符串值用引号括住，值内的任何一个双引号替换为两个双引号。

liion631818

回复 1# xylcxyfc

1. px@ubuntu:~$ echo '"2000079086,001859"
   
2. "2000079086""001859"
   
3. "20000,79086""001859"' | awk 'BEGIN{FPAT = "([^,]+)|(\"[^\"]+\")"}{print "line "NR": "NF;print $1"@@"$2}'
   
4. line 1: 1
   
5. "2000079086,001859"@@
   
6. line 2: 1
   
7. "2000079086""001859"@@
   
8. line 3: 1
   
9. "20000,79086""001859"@@

复制代码

运行结果跟你不一样，

1. px@ubuntu:~$ awk --version
   
2. GNU Awk 3.1.8
   
3. Copyright (C) 1989, 1991-2010 Free Software Foundation.
   
4. 
   
5. This program is free software; you can redistribute it and/or modify
   
6. it under the terms of the GNU General Public License as published by
   
7. the Free Software Foundation; either version 3 of the License, or
   
8. (at your option) any later version.
   
9. 
   
10. This program is distributed in the hope that it will be useful,
    
11. but WITHOUT ANY WARRANTY; without even the implied warranty of
    
12. MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
    
13. GNU General Public License for more details.
    
14. 
    
15. You should have received a copy of the GNU General Public License
    
16. along with this program. If not, see http://www.gnu.org/licenses/.

复制代码

zsszss0000

我的和你的一样回复 2# liion631818


   

reyleon

回复 2# liion631818


    我记得 FPAT 貌似是在 gawk 4.0+ 中新增的变量吧

zxy877298415

回复 4# reyleon
恭喜你记对了！ http://bbs.chinaunix.net/thread-4125586-1-1.html


   

xylcxyfc

回复 2# liion631818


    照你的命令写结果和主楼一样。
    我的awk版本是4.0.2，特意为了这个功能换的CentOS7。
    另外一个问题：
    fpat照我之前写的那样竟然直接把空值忽略掉了，也就是说形似,,,,,,这样的内容awk识别的结果NF=0。原因是因为在限制FPAT的同时那个正则也规定了每个值至少一个任意字符，然后我改成了FPAT = "([^,]+)|(\"[^\"]+\")|"，就又可以识别空值了，暂时不知道有没有BUG，因为实在不懂这个FPAT中|的机制是贪婪还是什么。
关于一层的那个问题，如果awk能够识别零宽正则就好办多了。

reyleon

CSV的处理，FPAT 的用法 - 只适用于GNU awk 4 以上

http://bbs.chinaunix.net/thread-4125586-1-1.html