免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 24593536 | 回复: 24593536
打印 上一主题 下一主题

[文本处理] 处理json中的内容 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2016-08-25 11:31 |只看该作者 |倒序浏览
将csv的转换为json后,此时为tst.json文件如下:
[{"a":"10.100.121.187","b":"liux18","c":"2015-11-02 00:00:36","d":"GET /1jsp"},
{"a":"10.100.91.88","b":"liyunguo","c":"2012-01-01 00:01:19","d":"GET /p2.jsp"},
{"a":"10.208.26.203","b":"xuaiping1","c":"2010-12-01 00:01:31","d":"GET /in.jsp"},
{"a":"10.100.91.88","b":"liyunguo","c":"2013-12-31 00:01:32","d":"GET /n.jsp"},
{"a":"10.100.59.3","b":"liushubin2","c":"2014-12-14 00:02:46","d":"GET /2"},
{"a":"10.100.59.3","b":"liushubin2","c":"2011-12-12 00:11:46","d":"GET /1"}]

想将文件中所有的c中的内容改为类似如下的(此举例第一行的)
"c":"2015-11-02 00:00:36"  改为 "c" : {"$date" : "2015-11-02T00:00:36Z"}
请问这个shell怎么写?

论坛徽章:
29
程序设计版块每日发帖之星
日期:2016-02-29 06:20:0015-16赛季CBA联赛之天津
日期:2016-08-10 10:33:1115-16赛季CBA联赛之深圳
日期:2016-08-17 15:07:2015-16赛季CBA联赛之佛山
日期:2016-11-07 11:33:5015-16赛季CBA联赛之广夏
日期:2016-11-15 09:13:31CU十四周年纪念徽章
日期:2016-11-24 14:12:25极客徽章
日期:2016-12-07 14:03:4015-16赛季CBA联赛之深圳
日期:2016-12-07 17:15:2715-16赛季CBA联赛之北京
日期:2016-12-22 09:30:0115-16赛季CBA联赛之深圳
日期:2016-12-22 10:49:2115-16赛季CBA联赛之山西
日期:2017-02-10 09:05:3215-16赛季CBA联赛之同曦
日期:2017-02-27 14:19:08
2 [报告]
发表于 2016-08-25 11:40 |只看该作者
本帖最后由 elu_ligao 于 2016-08-25 11:42 编辑
  1. sed 's/\("c":\)\("[^ ]\+\) \([^"]\+\)"/\1{"$date":\2T\3Z"}/'
复制代码

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
3 [报告]
发表于 2016-08-25 11:44 |只看该作者
本帖最后由 moperyblue 于 2016-08-25 11:49 编辑
  1. sed -r '/"c"/s/(.*"c":)(\S+)\s([^"]*)"/\1 {"$date" : \2T\3Z"}/'
复制代码

论坛徽章:
14
15-16赛季CBA联赛之辽宁
日期:2019-06-16 15:47:3515-16赛季CBA联赛之广夏
日期:2016-08-13 21:24:352015亚冠之武里南联
日期:2015-07-07 17:37:372015亚冠之萨济拖拉机
日期:2015-07-06 17:07:482015亚冠之全北现代
日期:2015-06-04 13:54:272015亚冠之城南
日期:2015-05-21 15:43:212015年亚洲杯之伊朗
日期:2015-04-25 18:20:362015年亚洲杯之伊朗
日期:2015-04-20 16:06:052015年亚洲杯之科威特
日期:2015-03-07 12:51:26丑牛
日期:2014-12-30 10:26:38申猴
日期:2014-09-28 22:40:18金牛座
日期:2014-09-13 21:12:22
4 [报告]
发表于 2016-08-25 12:52 |只看该作者
本帖最后由 reb00t 于 2016-08-25 12:53 编辑
  1. n [7]: d = {"a":"10.100.121.187","b":"liux18","c":"2015-11-02 00:00:36","d":"GET /1jsp"}

  2. In [8]: d
  3. Out[8]:
  4. {'a': '10.100.121.187',
  5. 'b': 'liux18',
  6. 'c': '2015-11-02 00:00:36',
  7. 'd': 'GET /1jsp'}

  8. In [17]: d['c']= "%sT%sZ" % tuple(d['c'].split())

  9. In [18]: d['c']
  10. Out[18]: '2015-11-02T00:00:36Z'

  11. In [19]: d['c']={'$date':d['c']}

  12. In [20]: d
  13. Out[20]:
  14. {'a': '10.100.121.187',
  15. 'b': 'liux18',
  16. 'c': {'$date': '2015-11-02T00:00:36Z'},
  17. 'd': 'GET /1jsp'}
复制代码


python的代码本身就能实现,python里面在加shell看起来不伦不类

论坛徽章:
0
5 [报告]
发表于 2016-08-25 13:12 |只看该作者
正打算学习python,能写一个Python的脚本么?我学习下,谢谢!回复 4# reb00t


论坛徽章:
145
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59未羊
日期:2014-02-20 14:12:13白羊座
日期:2014-02-26 12:06:59
6 [报告]
发表于 2016-08-25 14:13 |只看该作者
本帖最后由 jason680 于 2016-08-25 14:28 编辑

回复 1# hope1234567hope

  1. $ perl -pe '{s/("c":)"([^"]+)"/$1\{"\$date":"$2Z"\}/g}' tst.json
  2. [{"a":"10.100.121.187","b":"liux18","c":{"$date":"2015-11-02 00:00:36Z"},"d":"GET /1jsp"},
  3. {"a":"10.100.91.88","b":"liyunguo","c":{"$date":"2012-01-01 00:01:19Z"},"d":"GET /p2.jsp"},
  4. {"a":"10.208.26.203","b":"xuaiping1","c":{"$date":"2010-12-01 00:01:31Z"},"d":"GET /in.jsp"},
  5. {"a":"10.100.91.88","b":"liyunguo","c":{"$date":"2013-12-31 00:01:32Z"},"d":"GET /n.jsp"},
  6. {"a":"10.100.59.3","b":"liushubin2","c":{"$date":"2014-12-14 00:02:46Z"},"d":"GET /2"},
  7. {"a":"10.100.59.3","b":"liushubin2","c":{"$date":"2011-12-12 00:11:46Z"},"d":"GET /1"}]
复制代码



论坛徽章:
0
7 [报告]
发表于 2016-08-25 16:41 |只看该作者
本帖最后由 hope1234567hope1 于 2016-08-25 16:47 编辑

发觉不行,主要是"c": "2015-11-02 00:00:36"的 "2015(也就是与:之间有个空格)前面有个空格,这样此语句就起作用了,该怎么改sed呢?对sed确实不是很明白,谢谢回复 2# elu_ligao


论坛徽章:
29
程序设计版块每日发帖之星
日期:2016-02-29 06:20:0015-16赛季CBA联赛之天津
日期:2016-08-10 10:33:1115-16赛季CBA联赛之深圳
日期:2016-08-17 15:07:2015-16赛季CBA联赛之佛山
日期:2016-11-07 11:33:5015-16赛季CBA联赛之广夏
日期:2016-11-15 09:13:31CU十四周年纪念徽章
日期:2016-11-24 14:12:25极客徽章
日期:2016-12-07 14:03:4015-16赛季CBA联赛之深圳
日期:2016-12-07 17:15:2715-16赛季CBA联赛之北京
日期:2016-12-22 09:30:0115-16赛季CBA联赛之深圳
日期:2016-12-22 10:49:2115-16赛季CBA联赛之山西
日期:2017-02-10 09:05:3215-16赛季CBA联赛之同曦
日期:2017-02-27 14:19:08
8 [报告]
发表于 2016-08-25 17:06 |只看该作者
那就加个空格呀
  1. sed 's/\("c":\s*\)\("[^ ]\+\) \([^"]\+\)"/\1{"$date":\2T\3Z"}/'
复制代码

论坛徽章:
0
9 [报告]
发表于 2016-08-25 17:10 |只看该作者
本帖最后由 hope1234567hope1 于 2016-08-25 17:12 编辑

谢谢。能解释下\("[^ ]\+\) \([^"]\+\)"/\1{"$date":\2T\3Z"}的意思么 ,谢谢了  ,确实对这个不是明白,见笑了
主要是\ 和 )回复 8# elu_ligao


论坛徽章:
16
IT运维版块每日发帖之星
日期:2015-08-24 06:20:00综合交流区版块每日发帖之星
日期:2015-10-14 06:20:00IT运维版块每日发帖之星
日期:2015-10-25 06:20:00IT运维版块每日发帖之星
日期:2015-11-06 06:20:00IT运维版块每日发帖之星
日期:2015-12-10 06:20:00平安夜徽章
日期:2015-12-26 00:06:302016猴年福章徽章
日期:2016-02-18 15:30:34IT运维版块每日发帖之星
日期:2016-04-15 06:20:00IT运维版块每日发帖之星
日期:2016-05-21 06:20:00综合交流区版块每日发帖之星
日期:2016-08-16 06:20:002015七夕节徽章
日期:2015-08-21 11:06:17IT运维版块每日发帖之星
日期:2015-08-14 06:20:00
10 [报告]
发表于 2016-08-25 17:20 |只看该作者
建议你了解下jq,这个才是处理json的标准。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP