免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: yu34po
打印 上一主题 下一主题

[文本处理] 怎么把多个文件按格式合并并生成json格式? [复制链接]

论坛徽章:
0
11 [报告]
发表于 2013-12-12 10:28 |只看该作者
回复 10# yestreenstars
用shell吗?


   

论坛徽章:
32
处女座
日期:2013-11-20 23:41:20双子座
日期:2014-06-11 17:20:43戌狗
日期:2014-06-16 11:05:00处女座
日期:2014-07-22 17:30:47狮子座
日期:2014-07-28 15:38:17金牛座
日期:2014-08-05 16:34:01亥猪
日期:2014-08-18 13:34:25白羊座
日期:2014-09-02 15:03:55金牛座
日期:2014-11-10 10:23:58处女座
日期:2014-12-02 09:17:52程序设计版块每日发帖之星
日期:2015-06-16 22:20:002015亚冠之塔什干火车头
日期:2015-06-20 23:28:22
12 [报告]
发表于 2013-12-12 10:45 |只看该作者
  1. [root@localhost ~]# head a c
  2. ==> a <==
  3. id:         12ce56
  4. times:    5000
  5. type:     apple,lemon,banana

  6. 12.345.121.13    1234
  7. 12.234.123.2    23567

  8. ==> c <==
  9. id:12ce56
  10. times:    345
  11. type:    apple,oragne,grace

  12. 12.345.121.13        10000
  13. [root@localhost ~]# awk -F '[: ]+' '/^i/{t=$2}/^ti/{a[t]+=$2}/^ty/{l=split($2,f,",");for(i=0;++i<=l;)if(!g[t,f[i]]++)b[t]=b[t]?b[t]","f[i]:f[i]}/^[0-9]/{c[$1]+=$2}END{for(i in a)printf "id:\t%s\ntimes:\t%d\ntype:\t%s\n\n",i,a[i],b[i];for(i in c)printf "%s\t%d\n",i,c[i]}' a c
  14. id:     12ce56
  15. times:  5345
  16. type:   apple,lemon,banana,oragne,grace

  17. 12.345.121.13   11234
  18. 12.234.123.2    23567
  19. [root@localhost ~]#
复制代码

论坛徽章:
60
20周年集字徽章-20	
日期:2020-10-28 14:04:3015-16赛季CBA联赛之北京
日期:2016-07-06 15:42:0715-16赛季CBA联赛之同曦
日期:2016-06-12 10:38:0915-16赛季CBA联赛之佛山
日期:2016-05-27 11:54:56黄金圣斗士
日期:2015-12-02 11:44:35白银圣斗士
日期:2015-11-25 14:32:43白银圣斗士
日期:2015-11-23 12:53:352015亚冠之布里斯班狮吼
日期:2015-10-21 16:55:482015亚冠之首尔
日期:2015-09-01 16:46:052015亚冠之德黑兰石油
日期:2015-08-31 11:39:192015亚冠之萨济拖拉机
日期:2015-08-28 21:06:5315-16赛季CBA联赛之广东
日期:2016-07-12 14:58:53
13 [报告]
发表于 2013-12-12 10:46 |只看该作者
我觉得用一个数据举个详细的例子,然后加以说明,你那个json只是格式吧? 具体的数据咋填充呐,有的有type1,type2,还有的有type1,type2,type3等。还有IP,它是咋对应呐

说清楚了处理起来自然不难搞

论坛徽章:
0
14 [报告]
发表于 2013-12-12 10:52 |只看该作者
回复 13# reyleon


id:     abb2c8
times:  365
type:   forecast3d
id:     68faa3
times:  337375
type:   forecast, HBgqxx, forecast3h, alarm, HBxzxxz
id:     5aae5b
times:  122
type:   index, observe, forecast3d

61.4.184.91     5587005
61.4.184.82     17114
61.4.184.90     5591422
case:
{["abb2c8",365,"forecast3d"],["68faa3",337375,"forecast,","HBgqxx","forecast3h","alarm","HBxzxz"],["5aae5b",122,"index","observe","forecast3d"],["61.4.184.91", 5587005],["61.4.184.82", 17114],["61.4.184.90",5591422]}

论坛徽章:
60
20周年集字徽章-20	
日期:2020-10-28 14:04:3015-16赛季CBA联赛之北京
日期:2016-07-06 15:42:0715-16赛季CBA联赛之同曦
日期:2016-06-12 10:38:0915-16赛季CBA联赛之佛山
日期:2016-05-27 11:54:56黄金圣斗士
日期:2015-12-02 11:44:35白银圣斗士
日期:2015-11-25 14:32:43白银圣斗士
日期:2015-11-23 12:53:352015亚冠之布里斯班狮吼
日期:2015-10-21 16:55:482015亚冠之首尔
日期:2015-09-01 16:46:052015亚冠之德黑兰石油
日期:2015-08-31 11:39:192015亚冠之萨济拖拉机
日期:2015-08-28 21:06:5315-16赛季CBA联赛之广东
日期:2016-07-12 14:58:53
15 [报告]
发表于 2013-12-12 10:57 |只看该作者
回复 14# yu34po


    这样子就明白了

论坛徽章:
0
16 [报告]
发表于 2013-12-12 10:58 |只看该作者
回复 12# yestreenstars


    好像type没合并上,很多id都只剩了一个index

论坛徽章:
0
17 [报告]
发表于 2013-12-12 10:59 |只看该作者
回复 15# reyleon


    大神帮我整一个呀。

论坛徽章:
32
处女座
日期:2013-11-20 23:41:20双子座
日期:2014-06-11 17:20:43戌狗
日期:2014-06-16 11:05:00处女座
日期:2014-07-22 17:30:47狮子座
日期:2014-07-28 15:38:17金牛座
日期:2014-08-05 16:34:01亥猪
日期:2014-08-18 13:34:25白羊座
日期:2014-09-02 15:03:55金牛座
日期:2014-11-10 10:23:58处女座
日期:2014-12-02 09:17:52程序设计版块每日发帖之星
日期:2015-06-16 22:20:002015亚冠之塔什干火车头
日期:2015-06-20 23:28:22
18 [报告]
发表于 2013-12-12 11:04 |只看该作者
回复 16# yu34po
我把结果都贴出来了,你看不到type吗?
只能说你给的数据太少,可能有特例没有处理~

   

论坛徽章:
771
金牛座
日期:2014-02-26 17:49:58水瓶座
日期:2014-02-26 18:10:15白羊座
日期:2014-04-15 19:29:52寅虎
日期:2014-04-17 19:43:21酉鸡
日期:2014-04-19 21:24:10子鼠
日期:2014-04-22 13:55:24卯兔
日期:2014-04-22 14:20:58亥猪
日期:2014-04-22 16:13:09狮子座
日期:2014-05-05 22:31:17摩羯座
日期:2014-05-06 10:32:53处女座
日期:2014-05-12 09:23:11子鼠
日期:2014-05-21 18:21:27
19 [报告]
发表于 2013-12-12 11:13 |只看该作者
回复 18# yestreenstars

下载1楼的附件,合并里面的1.txt  2.txt应该就能
达到楼主的需求了,大大加油啊。

   

论坛徽章:
0
20 [报告]
发表于 2013-12-12 11:15 |只看该作者
回复 18# yestreenstars


    啊,我上传了一个压缩文件啊,我刚才就用那个试的。结果出来
id:             71f520
times:  3846
type:           index,
实际上
A:
id:     71f520
times:  1903
type:   index, forecast3d, air
B:
id:     71f520
times:  1943
type:   index, forecast3d, air
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP