shell yaml 文本解析问题

jason680

回复 9# damcool

http://zh.wikipedia.org/zh-cn/YAML
   

damcool

我承认纯bash没办法解析，好像是因为字符"\"会在变量传递时丢失。晕！下面是awk解决方案，顺便带了几个极端例子测试。有兴趣的朋友可以用以测试自己的代码。

1. echo 'type: abc,  attr: x,y,z,  name: kskdf sdf'|awk -F "," '{for (i=1; i<=NF;i++){t=$i;gsub(/^[[:blank:]]+/,"",t);if (match(t,/[^:]+:[^:]+/) && !match(t,/^\"/)){t=k;gsub(/\\\"/,"",t);n=length(t);gsub(/\"/,"",t);n=(n-length(t))%2;if (n<1){ if (j>0) print j"-->"k;j++;k=$i;gsub(/^[[:blank:]]+/,"",k)} else k=k","$i}else k=k","$i} if (j>0) print j"-->"k}'
   
2. 
   
3. echo 'type: abc,  attr: "x,y,z",  name: kskdf sdf'|awk -F "," '{for (i=1; i<=NF;i++){t=$i;gsub(/^[[:blank:]]+/,"",t);if (match(t,/[^:]+:[^:]+/) && !match(t,/^\"/)){t=k;gsub(/\\\"/,"",t);n=length(t);gsub(/\"/,"",t);n=(n-length(t))%2;if (n<1){ if (j>0) print j"-->"k;j++;k=$i;gsub(/^[[:blank:]]+/,"",k)} else k=k","$i}else k=k","$i} if (j>0) print j"-->"k}'
   
4. 
   
5. echo 'type: abc,  attr: "x,y,z::\"$@#%^&",  name: kskdf sdf'|awk -F "," '{for (i=1; i<=NF;i++){t=$i;gsub(/^[[:blank:]]+/,"",t);if (match(t,/[^:]+:[^:]+/) && !match(t,/^\"/)){t=k;gsub(/\\\"/,"",t);n=length(t);gsub(/\"/,"",t);n=(n-length(t))%2;if (n<1){ if (j>0) print j"-->"k;j++;k=$i;gsub(/^[[:blank:]]+/,"",k)} else k=k","$i}else k=k","$i} if (j>0) print j"-->"k}'
   
6. 
   
7. echo 'type: abc,  attr: "x","y","z::\"$@#%^&",  name: kskdf sdf'|awk -F "," '{for (i=1; i<=NF;i++){t=$i;gsub(/^[[:blank:]]+/,"",t);if (match(t,/[^:]+:[^:]+/) && !match(t,/^\"/)){t=k;gsub(/\\\"/,"",t);n=length(t);gsub(/\"/,"",t);n=(n-length(t))%2;if (n<1){ if (j>0) print j"-->"k;j++;k=$i;gsub(/^[[:blank:]]+/,"",k)} else k=k","$i}else k=k","$i} if (j>0) print j"-->"k}'
   
8. 
   
9. echo 'type: abc,  attr: x,y,z::\"$@#%^&,  name: kskdf sdf'|awk -F "," '{for (i=1; i<=NF;i++){t=$i;gsub(/^[[:blank:]]+/,"",t);if (match(t,/[^:]+:[^:]+/) && !match(t,/^\"/)){t=k;gsub(/\\\"/,"",t);n=length(t);gsub(/\"/,"",t);n=(n-length(t))%2;if (n<1){ if (j>0) print j"-->"k;j++;k=$i;gsub(/^[[:blank:]]+/,"",k)} else k=k","$i}else k=k","$i} if (j>0) print j"-->"k}'
   

复制代码

Herowinter

回复 1# yjh777
个人感觉可以用awk  FPAT?
参考这个帖子http://bbs.chinaunix.net/thread-4125586-1-1.html
本来想试一下的，悲剧的发现自己的awk只有3.1.7，不支持这个特性。

   

damcool

合并一下RegEx判断。

1. echo 'type: abc,  attr: "x","y","z::\"$@#%^&",  name: kskdf sdf'|awk -F "," '{for (i=1; i<=NF;i++){t=$i;gsub(/^[[:blank:]]+/,"",t);if (match(t,/^[^\":][^:]*:[^:]+/)) {t=k;gsub(/\\\"/,"",t);n=length(t);gsub(/\"/,"",t);n=(n-length(t))%2;if (n<1){ if (j>0) print j"-->"k;j++;k=$i;gsub(/^[[:blank:]]+/,"",k)} else k=k","$i}else k=k","$i} if (j>0) print j"-->"k}'

复制代码

yjh777

回复 10# LikeLx

看起来很好啊; ) 多谢，我再多测试测试.

自己想出来的shell方法:
parse_y() {
        local ys="$*"
        (set -- $ys
        for i; do
                if echo "$i"|grep -q ",$"; then
                        echo "${i%,}"
                else
                        echo -n "$i "
                fi
        done)
}

[root@221 ~]# parse_y  'type: abc,  attr: "x,y,z::\"$@#%^&",  name: kskdf sdf'
type: abc
attr: "x,y,z::\"$@#%^&"
name: kskdf sdf
   

yjh777

回复 14# damcool


非常感谢damcool, 热心帮忙; )
我看10楼的写法很简单, 也请帮忙review一下, awk的splite()是不是直接可以解决这种问题/

yjh777

回复 7# jason680

Hi jason680 很棒的状态机解析思路; 非常感谢！

yjh777

真的非常感谢大家，帮忙想办法；

但是最佳答案只能有一个，目前看10#给出的写法最简单，而且能满足目前的处理，，

damcool

你试试看在x,y,z任一逗号后加个空格试试看结果如何？

yjh777 发表于 2014-05-30 11:12
回复 10# LikeLx

看起来很好啊; ) 多谢，我再多测试测试.

yjh777

回复 19# damcool

噢！！ 没仔细看，原来是这样啊，被误导了还以为split()会智能把""当一个单词呢。
最佳答案给错了，对不起大家啊，，