CSV的处理，FPAT 的用法 - 只适用于GNU awk 4 以上

rdcwayx

谈一下如果方便的处理csv格式的文件，只适用于GNU awk 4 以上版本

假设存在以下的csv文件（逗号分隔值），内容为如下格式：

1. Robbins,Arnold,"1234 A Pretty Street, NE",MyTown,MyState,12345-6789,USA

复制代码

注意，其中的字段（"1234 A Pretty Street, NE"）中包含了一个“,”，传统的FS=","来分隔域就会出错，地址会被拆分成两部分：

1. 1234 A Pretty Street  和  NE

复制代码

这不是我们想要的结果。

针对这样的场景，可以使用内置变量FPAT来解决问题。FPAT的值是一个正则表达式，该正则表达式描述了每一个域的内容。

1. FPAT = "([^,]+)|(\"[^\"]+\")"

复制代码

上面的FPAT表示，每个域或者是不包含","的字符串，或者是由一对双引号括起来的字符串。

因此，我们可以这样来解决：

复制代码

1. BEGIN {
   
2.          FPAT = "([^,]+)|(\"[^\"]+\")"
   
3.      }
   
4.      {
   
5.          print "NF = ", NF
   
6.          for (i = 1; i <= NF; i++) {
   
7.              printf("$%d = <%s>\n", i, $i)
   
8.          }
   
9.      }

复制代码

这个是运行结果

1. $ gawk -f simple-csv.awk addresses.csv
   
2. NF =  7
   
3. $1 = <Robbins>
   
4. $2 = <Arnold>
   
5. $3 = <"1234 A Pretty Street, NE">
   
6. $4 = <MyTown>
   
7. $5 = <MyState>
   
8. $6 = <12345-6789>
   
9. $7 = <USA>

复制代码

第三个字段（含逗号）作为一个域了。

再进一步，如果不希望有双引号，

1.      if (substr($i, 1, 1) == "\"") {
   
2.          len = length($i)
   
3.          $i = substr($i, 2, len - 2)    # Get text within the two quotes
   
4.      }

复制代码

参考： https://www.gnu.org/software/gaw ... ing-By-Content.html

注意：这个FPAT设置有个限制，不能处理双引号里含换行符的情况。比如这个例子： http://bbs.chinaunix.net/thread-4132643-1-1.html

1. NOTE: Some programs export CSV data that contains embedded newlines between the double quotes. gawk provides no way to deal with this. Since there is no formal specification for CSV data, there isn't much more to be done; the FPAT mechanism provides an elegant solution for the majority of cases, and the gawk maintainer is satisfied with that.

复制代码

Shell_HAT

学习了

yestreenstars

学习了~

1. $ echo 'Robbins,Arnold,"1234 A Pretty Street, NE",MyTown,MyState,12345-6789,USA' | awk -vFPAT='([^,]+)|("[^"]+")' '{for(i=0;i++<NF;)print $i}'
   
2. Robbins
   
3. Arnold
   
4. "1234 A Pretty Street, NE"
   
5. MyTown
   
6. MyState
   
7. 12345-6789
   
8. USA

复制代码

jason680

回复 1# rdcwayx

try this way if you didn't have awk 4.0

$ awk -f csv.awk FILE
NF =  8
modify for csv
NF =  7
$1 = <Robbins>
$2 = <Arnold>
$3 = <"1234 A Pretty Street, NE">
$4 = <MyTown>
$5 = <MyState>
$6 = <12345-6789>
$7 = <USA>

$ cat csv.awk
BEGIN{
  FS=","
}
{
  print "NF = ", NF
  c = 0
  for (n = 1; n <= NF; n++) {
    if(q == 1){
      if($n~/"$/){
      #if(sub(/"$/,"",$n)){   # for removed the "
        q = 0
      }
      $c = $c FS $n
      continue
    }
    if($n~/^"/){
    #if(sub(/^"/,"",$n)){   # for removed the "
      q = 1
      $(++c) = $n
      continue
    }
    $(++c) = $n
  }
  NF = c
  print "modify for csv"   
  print "NF = ", NF
  for (n = 1; n <= NF; n++) {
    printf("$%d = <%s>\n", n, $n)
  }
}

   

blackold

新东西啊，学习。

jackhuntcn

学习了！

比grep -Po安全：

1. $ grep -Po "([^,]+)|(\"[^\"]+\")" urfile
   
2. Robbins
   
3. Arnold
   
4. "1234 A Pretty Street
   
5. NE"
   
6. MyTown
   
7. MyState
   
8. 12345-6789
   
9. USA
   
10. $ grep -Po "(\"[^\"]+\")|([^,]+)" urfile
    
11. Robbins
    
12. Arnold
    
13. "1234 A Pretty Street, NE"
    
14. MyTown
    
15. MyState
    
16. 12345-6789
    
17. USA

复制代码

elu_ligao

楼主的新知识要跟进，6楼的grep差异也值得注意， 学习啊

rdcwayx

楼上的两个方法也不错啊。

jiejie455

没有GAWK的时候：

1. awk 'BEGIN{FS=",";}{for(i=1;i<=NF;i++){str=$i;if(sub(/^"/,"",$i)==1 && sub(/"$/,"",$i)==0){i=i+1;str=str","$i};print str}}' data

复制代码

@yestreenstars REVISED:

1. awk 'BEGIN{FS=","}{for(i=1;i<=NF;i++){flag=1;str=$i;if(sub(/^"/,"",$i)==1 && sub(/"$/," ",$i)==0){while(flag==1){i=i+1;str=str","$i;if(sub(/"$/," ",$i)==1){flag=0}}};print str}}' data

复制代码

yestreenstars

回复 9# jiejie455

有局限性：如果双引号内含有1个以上的逗号就不行了~比如：

1. Robbins,Arnold,"1234, A Pretty Street, NE",MyTown,MyState,12345-6789,USA

复制代码