复杂的csv文件转换为json

hope1234567hope

导出一个csv文件(tst.csv)格式如下（仅列举2行，此文件数据量大）：ORGNUMBER,ORGPATH,ORGNAME,SUBNODE,PNAME,GSHORTNAME,TDATE,SORGID
131025,0015000000/0015013737/,在册不在岗人员,0,分公司内部退养人员,内部退养人员,2015-11-02 00:00:36,[00150000000,0015013737]
52106532,0350000000/0065513737/,工程技术一分公司,1,公司工程技术公司工程技术一分公司机关,机关,2013-12-31 00:01:32,[0350000000,0065513737]

想转换为json格式，但是有些格式需要改变,主要是TDATE和SORGID列的类型变化
[{"ORGNUMBER":"131025","ORGPATH":"0015000000/0015013737/","ORGNAME":"在册不在岗人员","SUBNODE":"0","PNAME":"分公司内部退养人员","GSHORTNAME":"内部退养人员","TDATE":{"$date":"2015-11-02T00:00:36Z"},"SORGID":["00150000000","0015013737"]},
{"ORGNUMBER":"52106532","ORGPATH":"0350000000/0065513737/","ORGNAME":"工程技术一分公司","SUBNODE":"1","PNAME":"公司工程技术公司工程技术一分公司机关","GSHORTNAME":"机关","TDATE":{"$date":"2013-12-31T00:01:32Z"},"SORGID":["0350000000","0065513737"]}]


这个shell脚本可以实现么?我在用python处理，但是因为初学，写的不顺利，请大家个点建议，谢谢！

jason680

http://bbs.chinaunix.net/thread-4252953-1-1.html

hope1234567hope

回复 2# jason680
嗯，这次要把以前的都放在一个程序里解决

moperyblue

1. sed -r '1{h;d};G;s/(.*)\n(.*)/\2\n\1/;:a;s/([^,]*),([^\n]*)\n([^,]*),/\1":"\3@\2\n/;ta;s/\n/":"/;s/@/,/g;s/[^,]*/"&"/g;s/.*/{&},/;s/(TDATE":)(\S+)\s+([^"]*)"/\1{"\$date":\2T\3Z"}/;s/(SORGID":)"\[([^]]*)]"/\1["\2"]/;2s/^/[/;$s/,$/]/' tst.csv

复制代码

hope1234567hope

回复 4# moperyblue

谢谢，好厉害，这个sed我总是写不来啊！唉。。。。

moperyblue

回复 5# hope1234567hope


这个你完全可以会 只要愿意多花时间去学

jason680

回复 5# hope1234567hope

Here you are by awk

$ awk -F, -vq='"' 'function jx(s,n){gsub("[][]","",s);gsub(",",q","q,s);return(q a[n]q":["q s q"]")}function js(s,n,j,k){if(a[n]=="TDATE"){j="{\"$date\":";k="}"};return(q a[n]q":"j q s q k)}NR==1{for(n=1;n<=NF;++n)a[n]=$n;next}{s="{";for(n=1;n<=NF-2;++n)s=s js($n,n)",";p=p t s jx($(NF-1)","$NF,NF-1);t="},\n "}END{print "["p"}]"}' tst.csv
[{"ORGNUMBER":"131025","ORGPATH":"0015000000/0015013737/","ORGNAME":"在册不在岗人员","SUBNODE":"0","PNAME":"分公司内部退养人员","GSHORTNAME":"内部退养人员","TDATE":{"$date":"2015-11-02 00:00:36"},"SORGID":["00150000000","0015013737"]},
{"ORGNUMBER":"52106532","ORGPATH":"0350000000/0065513737/","ORGNAME":"工程技术一分公司","SUBNODE":"1","PNAME":"公司工程技术公司工程技术一分公司机关","GSHORTNAME":"机关","TDATE":{"$date":"2013-12-31 00:01:32"},"SORGID":["0350000000","0065513737"]}]

hope1234567hope

moperyblue 发表于 2016-09-28 14:00
回复 5# hope1234567hope

谢谢，能帮我解释下s/([^,]*),([^\n]*)\n([^,]*),/\1":"\3@\2\n/ 解释下么？我好理解下！
想好好学习下sed 中匹配

moperyblue

回复 8# hope1234567hope


1.先学正则 => 可通过百度等搜索引擎查找相关资料
2.info sed
3.http://bbs.chinaunix.net/thread-1762006-1-1.html
4.sedsed工具
...

sunzhiguolu

既然列数固定, 直接格式化打印就可以了. 使用正则反而效率低下.