如何用SHELL正确分割CSV文件中的列?

nees

好久没有搞过ＳＨＥＬＬ了，最后在用ＳＨＥＬＬ处理ＣＳＶ文件时遇到一个问题，就是如何正确分割列的问题．

如下是ＳＡＭＰＬＥ数据：

1,"A","A B","A  C","A,D"

我想将以上SAMPLE数据以逗号分割,得到的结果如下:

1,
"A",
"A B",
"A  C",
"A,D"

但一直找不到好的方法对最后一列进行正确处理，ＳＨＥＬＬ始终将Ａ与Ｄ间的逗号也认成分割符了，请问各位高人如何解决？

wtuter

针对上面的

sed -r 's/",/&\n/g;s/(,)(")/\1\n\2/g'

blackold

sed 's/,"/,\n"/g'

czcjinu

这个问题好难。我只能用awk来解，而且解得蛮复杂的。
处理过程如下：
1. 确定本列长度大于0；将本列存到s1，并在最后补上一个","
2. 如果s1的长度大于0：
3. 如果s1第一个字元是引号（"），则去掉第一个字元，找到分隔符号（",），输出此栏，并自s1中删除此栏位资料（含结尾的",）
4. 如果s1第一个字元不是引号（"），则找到分隔符号（,），输出此栏，并自s1中删除此栏位资料（含结尾的,）
5. 再回到步骤2

awk script如下（假设存在挡案tmp1.awk）：
length($0) > 0 {
  s1 = $0 ",";
  while (length(s1) > 0) {
    c1 = substr(s1, 1, 1);
    if (c1 == "\"") {
      sub(/\"/, "", s1);
      i1 = index(s1, "\",");
      print "\"" substr(s1, 1, i1);
      sub(/^[^\"]*\",/, "", s1);
    } else {
      i1 = index(s1, ",");
      print substr(s1, 1, i1-1);
      sub(/^[^,]*,/, "", s1);
    }
  }
}

以楼主的sample来执行及结果：
$ echo '1,"A","A B","A  C","A,D"' | awk -f tmp1.awk
1
"A"
"A B"
"A  C"
"A,D"

　

[ 本帖最后由 czcjinu 于 2009-12-1 20:46 编辑 ]

blackold

引号内外问题，用sed也可以。

shell版有很多这种例子。

lostwolf

perl -ne 's/,/,\n/g;print' file

ywlscpl

1. awk 'BEGIN{FS=OFS=""}{for (i=1;i<=NF;i++) {if ($i=="\"") T=!T;if (T&&$i==",") $i="@@##"}}1' file >file1
   
2. awk -F, '{for (i=1;i<=NF;i++) gsub(/@@##/,",",$i)} {urcmd...}' file1

复制代码

[ 本帖最后由 ywlscpl 于 2009-12-2 10:31 编辑 ]

blackold

如果字段以""包围(LZ的字段有些是没有""包围)，用awk也不用这么复杂吧。

1. awk -F '","' -v OFS='"\n"' '{$1=$1;print}'

复制代码

blackold

try

echo 'foo,bar,"1,2,3","A","A B","E,F","A  C","A,D"'|awk -F \" -v OFS=\" '{for(i=1;i<=NF;i=i+2) gsub(/,/,"\n",$i);print}'
foo
bar
"1,2,3"
"A"
"A B"
"E,F"
"A  C"
"A,D"

ywlscpl

只是恰好举了个全带" "包围的例子