介绍几个处理 JSON 文件的利器

rdcwayx

不清楚这个坛子里用到json的多不多。 有现成的perl/python模块可用，可以优先考虑。如果考虑用 shell/awk/sed 来提取json文件里的信息的话，可以，但是比较费时费力。这里我推荐几个工具 （部分就是用shell/awk/sed写的），如果你碰上类似的JSON文件处理的话，可以省去很多时间。

先来看一下JSON 文件格式，看这里的介绍
http://en.wikipedia.org/wiki/JSON

json首页也有很多介绍：
http://json.org/

1. JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。 易于人阅读和编写。同时也易于机器解析和生成。 它基于JavaScript Programming Language, Standard ECMA-262 3rd Edition - December 1999的一个子集。 JSON采用完全独立于语言的文本格式，但是也使用了类似于C语言家族的习惯（包括C, C++, C#, Java, JavaScript, Perl, Python等）。 这些特性使JSON成为理想的数据交换语言。

复制代码

这篇文章有中文介绍http://tjbmx0987.iteye.com/blog/225755

贴出个典型的例子，后面会用上：

sample1.json

1. {
   
2.     "firstName": "John",
   
3.     "lastName": "Smith",
   
4.     "age": 25,
   
5.     "address": {
   
6.         "streetAddress": "21 2nd Street",
   
7.         "city": "New York",
   
8.         "state": "NY",
   
9.         "postalCode": 10021
   
10.     },
    
11.     "phoneNumbers": [
    
12.         {
    
13.             "type": "home",
    
14.             "number": "212 555-1234"
    
15.         },
    
16.         {
    
17.             "type": "fax",
    
18.             "number": "646 555-4567"
    
19.         }
    
20.     ]
    
21. }

复制代码

JSON 的格式可以通过一些在线工具审核，因为如果写得不正确的话，后面介绍的处理工具可能会出错。

http://jsonlint.com/
http://www.freeformatter.com/json-validator.html

rdcwayx

第一个利器：
1. JQ

http://stedolan.github.io/jq/
具体怎么安装我就不介绍了，网页上都有， 从下面的例子可以大致了解一下这个工具的用途，比如：

1. 
   
2. # 查询 firstName
   
3. $ jq '.firstName' sample1.json     
   
4. "John"

复制代码

1. # 查询 age 以及 第二个电话号码
   
2. $ jq '.age , .phoneNumbers[1]' sample1.json   
   
3. 25
   
4. {
   
5.   "number": "646 555-4567",
   
6.   "type": "fax"
   
7. }
   

复制代码

1. 查询符合家庭（home）的电话号码（phoneNumbers）
   
2. $ jq '.phoneNumbers[]|select (.type=="home")' sample1.json   
   
3. {
   
4.   "number": "212 555-1234",
   
5.   "type": "home"
   
6. }

复制代码

还有很多方法，自己 man一下吧。

rdcwayx

第二个利器

jsawk (jsawk: It's like awk for JSON, in bash.)

主页： https://github.com/micha/jsawk

安装：

1. curl -L http://github.com/micha/jsawk/raw/master/jsawk > jsawk
   
2. chmod 755 jsawk && mv jsawk ~/bin/

复制代码

jsawk是个脚本文件，一千多行。如果你有兴趣和时间的话，可以阅读一下jsawk的内容，或许还能在里面挑错或者提出改进意见。

1. $ wc -l jsawk
   
2. 1327 jsawk

复制代码

但在用这个脚本前，要先安装js

1. apt-get install spidermonkey-bin

复制代码

否则运行jsawk时会有报错：  "js: command not found"

开始举例：

1. ＃取一个属性
   
2. $ jsawk 'return this.firstName' < sample1.json
   
3. John
   
4. # 取多个属性
   
5. $ jsawk -n 'out(this.firstName,this.lastName)' < sample1.json
   
6. ["John","Smith"]

复制代码

1. ＃将年龄增加一岁 （这个功能比上面介绍的jq要强大很多）。
   
2. $ jsawk 'this.age++' < sample1.json
   
3. {"firstName":"John","lastName":"Smith","age":26,"address":{"streetAddress":"21 2nd Street","city":"New York","state":"NY","postalCode":10021},"phoneNumbers":[{"type":"home","number":"212 555-1234"},{"type":"fax","number":"646 555-4567"}]}

复制代码

1. # 返回年龄小于30岁的名字
   
2. $ jsawk 'if (this.age <= 30) return this.firstName' < sample1.json
   
3. John

复制代码

1. # 这里我想取出电话号码，但是要用到两次jsawk命令，大家看看有没有改进的地方
   
2. $ jsawk 'return this.phoneNumbers' < sample1.json |jsawk 'return this.number'
   
3. ["212 555-1234","646 555-4567"]

复制代码

rdcwayx

JSON.sh  (a pipeable JSON parser written in Bash)
https://github.com/dominictarr/JSON.sh

这个工具写的要简单些，思路和上面的工具稍有不同。但是我个人觉得反而更适合shell板块的人使用，因为你可以有自己的发挥。

1. $ ./JSON.sh -l < file
   
2. ["firstName"]   "John"
   
3. ["lastName"]    "Smith"
   
4. ["age"] 25
   
5. ["address","streetAddress"]     "21 2nd Street"
   
6. ["address","city"]      "New York"
   
7. ["address","state"]     "NY"
   
8. ["address","postalCode"]        10021
   
9. ["phoneNumbers",0,"type"]       "home"
   
10. ["phoneNumbers",0,"number"]     "212 555-1234"
    
11. ["phoneNumbers",1,"type"]       "fax"
    
12. ["phoneNumbers",1,"number"]     "646 555-4567"
    

复制代码

通过这样的转换， 你就可以方便的用grep 来查询了，而这个grep命令是shell板块的强项。

1. $ ./JSON.sh -l < file  |grep firstName
   
2. ["firstName"]   "John"
   
3. 
   
4. $ ./JSON.sh -l < file  |grep type
   
5. ["phoneNumbers",0,"type"]       "home"
   
6. ["phoneNumbers",1,"type"]       "fax"
   

复制代码

这个不带参数的，有更多的输出，看你自己的需求。

1. $ ./JSON.sh < file
   
2. ["firstName"]   "John"
   
3. ["lastName"]    "Smith"
   
4. ["age"] 25
   
5. ["address","streetAddress"]     "21 2nd Street"
   
6. ["address","city"]      "New York"
   
7. ["address","state"]     "NY"
   
8. ["address","postalCode"]        10021
   
9. ["address"]     {"streetAddress":"21 2nd Street","city":"New York","state":"NY","postalCode":10021}
   
10. ["phoneNumbers",0,"type"]       "home"
    
11. ["phoneNumbers",0,"number"]     "212 555-1234"
    
12. ["phoneNumbers",0]      {"type":"home","number":"212 555-1234"}
    
13. ["phoneNumbers",1,"type"]       "fax"
    
14. ["phoneNumbers",1,"number"]     "646 555-4567"
    
15. ["phoneNumbers",1]      {"type":"fax","number":"646 555-4567"}
    
16. ["phoneNumbers"]        [{"type":"home","number":"212 555-1234"},{"type":"fax","number":"646 555-4567"}]
    
17. []      {"firstName":"John","lastName":"Smith","age":25,"address":{"streetAddress":"21 2nd Street","city":"New York","state":"NY","postalCode":10021},"phoneNumbers":[{"type":"home","number":"212 555-1234"},{"type":"fax","number":"646 555-4567"}]}
    
18. 
    
19. $ ./JSON.sh < file  |grep "type.*number"
    
20. ["phoneNumbers",0]      {"type":"home","number":"212 555-1234"}
    
21. ["phoneNumbers",1]      {"type":"fax","number":"646 555-4567"}
    
22. ["phoneNumbers"]        [{"type":"home","number":"212 555-1234"},{"type":"fax","number":"646 555-4567"}]
    
23. []      {"firstName":"John","lastName":"Smith","age":25,"address":{"streetAddress":"21 2nd Street","city":"New York","state":"NY","postalCode":10021},"phoneNumbers":[{"type":"home","number":"212 555-1234"},{"type":"fax","number":"646 555-4567"}]}
    
24. 
    

复制代码

一共四个参数，自己要用到的时候，查一下即可上手。

1. $ ./JSON.sh -h
   
2. 
   
3. Usage: JSON.sh [-b] [-l] [-p] [-h]
   
4. 
   
5. -p - Prune empty. Exclude fields with empty values.
   
6. -l - Leaf only. Only show leaf nodes, which stops data duplication.
   
7. -b - Brief. Combines 'Leaf only' and 'Prune empty' options.
   
8. -h - This help text.

复制代码

另外还推荐了一个jsonv.sh的小工具，主要是用来将JSON转换成CSV文件的，有兴趣的话，就自己看看吧。

jsonv.sh - A Bash command line tool for converting JSON to CSV
https://github.com/archan937/jsonv.sh

rogantianwz

坐等更新

yestreenstars

之前有不少人来求json格式处理，现在有了这些利器，就可以让他们直接来这里找了，果断收藏~

jeffreyst

收藏先，多谢楼主！

reyleon

收藏了,我去..版版你太给力了..

bikong0411

学习了，一般不用shell处理这种东西

huang6894

精品贴！！！