免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: yu34po
打印 上一主题 下一主题

[文本处理] 怎么把多个文件按格式合并并生成json格式? [复制链接]

论坛徽章:
0
31 [报告]
发表于 2013-12-12 16:27 |只看该作者
本帖最后由 yu34po 于 2013-12-12 16:28 编辑

回复 30# yestreenstars

IP部分都变成0了。。
awk -F '\t' '/^i/{t=$2}/^ti/{a[t]+=$2}/^ty/{l=split($2,f,", ";for(i=0;++i<=lif(!g[t,f]++)b[t]=b[t]?b[t]","f:f}/^[0-9]/{c[$1]+$2}END{for(i in a)printf "id:\t%s\ntimes:\t%d\ntype:\t%s\n\n",i,a,b;for(i in c)printf "%s\t%d\n",i,c}' 2013-12-10.log.txt 2013-12-11.log.txt > a


cat a
id:     e294c2
times:  344290
type:   observe,alarm

id:     1f7f03
times:  112503
type:   index,observe,forecast3d

id:     d30b9f
times:  793989
......
61.4.184.93     0
61.4.184.90     0
61.4.184.81     0
61.4.184.82     0
61.4.184.91     0
61.4.184.92     0
61.4.184.83     0

论坛徽章:
32
处女座
日期:2013-11-20 23:41:20双子座
日期:2014-06-11 17:20:43戌狗
日期:2014-06-16 11:05:00处女座
日期:2014-07-22 17:30:47狮子座
日期:2014-07-28 15:38:17金牛座
日期:2014-08-05 16:34:01亥猪
日期:2014-08-18 13:34:25白羊座
日期:2014-09-02 15:03:55金牛座
日期:2014-11-10 10:23:58处女座
日期:2014-12-02 09:17:52程序设计版块每日发帖之星
日期:2015-06-16 22:20:002015亚冠之塔什干火车头
日期:2015-06-20 23:28:22
32 [报告]
发表于 2013-12-12 16:30 |只看该作者
本帖最后由 yestreenstars 于 2013-12-12 16:32 编辑

回复 31# yu34po
你用我24楼提供的那两个文件测试一下,另外,把你测试的这两个文件也上传上来,我目测你IP那里的分隔符可能不是制表符~不要通过复制文本到txt文件的方式上传,要原汁原味的unix格式~

   

论坛徽章:
0
33 [报告]
发表于 2013-12-12 17:03 |只看该作者
回复 32# yestreenstars


    这服务器我还不知道咋从上面下载程序来,

论坛徽章:
32
处女座
日期:2013-11-20 23:41:20双子座
日期:2014-06-11 17:20:43戌狗
日期:2014-06-16 11:05:00处女座
日期:2014-07-22 17:30:47狮子座
日期:2014-07-28 15:38:17金牛座
日期:2014-08-05 16:34:01亥猪
日期:2014-08-18 13:34:25白羊座
日期:2014-09-02 15:03:55金牛座
日期:2014-11-10 10:23:58处女座
日期:2014-12-02 09:17:52程序设计版块每日发帖之星
日期:2015-06-16 22:20:002015亚冠之塔什干火车头
日期:2015-06-20 23:28:22
34 [报告]
发表于 2013-12-12 17:13 |只看该作者
回复 33# yu34po
你运行一下这个命令,然后把结果发出来看看:
  1. cat -A file | tail
复制代码
把file换成你的文件~

   

论坛徽章:
0
35 [报告]
发表于 2013-12-12 17:17 |只看该作者
本帖最后由 yu34po 于 2013-12-12 17:18 编辑

回复 34# yestreenstars
cat -A *.txt
type:^Iforecast1d$
id:^Ia1b42a$
times:^I4$
type:^Iforecast5d, observe, forecast3h$
id:^Ic8d6bf$
times:^I27617$
type:^Iindex, forecast4d, observe, indexen, forecast1d, air$
id:^Icf2d61$
times:^I4$
type:^Iobserve, forecast3d$
id:^Id229f3$
times:^I5$
type:^Iforecast5d$
id:^Ie294c2$
times:^I176532$
type:^Iobserve, alarm$
id:^I320723$
times:^I264253$
type:^Iforecast, index, observe, alarm$
id:^I8db47c$
times:^I1378$
type:^Iforecast, observe$
id:^I334cfc$
times:^I3839$
type:^Iindex, forecast3d, alarm$
id:^I7c1429$
times:^I6108866$
type:^Iindex, forecast5d, observe$
id:^I549d81$
times:^I2139225$
type:^Iforecast, index, observe, alarm, calendar$
id:^I589a93$
times:^I1$
type:^Iobserve$
id:^I71f520$
times:^I1903$
type:^Iindex, forecast3d, air$
$
61.4.184.91^I5587005$
61.4.184.82^I17114$
61.4.184.90^I5591422$
61.4.184.81^I5596914$
61.4.184.83^I17132$
61.4.184.92^I5609534$
61.4.184.93^I5601377$

论坛徽章:
32
处女座
日期:2013-11-20 23:41:20双子座
日期:2014-06-11 17:20:43戌狗
日期:2014-06-16 11:05:00处女座
日期:2014-07-22 17:30:47狮子座
日期:2014-07-28 15:38:17金牛座
日期:2014-08-05 16:34:01亥猪
日期:2014-08-18 13:34:25白羊座
日期:2014-09-02 15:03:55金牛座
日期:2014-11-10 10:23:58处女座
日期:2014-12-02 09:17:52程序设计版块每日发帖之星
日期:2015-06-16 22:20:002015亚冠之塔什干火车头
日期:2015-06-20 23:28:22
36 [报告]
发表于 2013-12-12 17:23 |只看该作者
回复 35# yu34po
那没理由不行啊,我的测试文件也是这种格式的啊,你有用我提供的那两个文件测试过吗?

   

论坛徽章:
0
37 [报告]
发表于 2013-12-12 17:29 |只看该作者
回复 36# yestreenstars


    你那俩是可以的。。

论坛徽章:
32
处女座
日期:2013-11-20 23:41:20双子座
日期:2014-06-11 17:20:43戌狗
日期:2014-06-16 11:05:00处女座
日期:2014-07-22 17:30:47狮子座
日期:2014-07-28 15:38:17金牛座
日期:2014-08-05 16:34:01亥猪
日期:2014-08-18 13:34:25白羊座
日期:2014-09-02 15:03:55金牛座
日期:2014-11-10 10:23:58处女座
日期:2014-12-02 09:17:52程序设计版块每日发帖之星
日期:2015-06-16 22:20:002015亚冠之塔什干火车头
日期:2015-06-20 23:28:22
38 [报告]
发表于 2013-12-12 17:38 |只看该作者
回复 37# yu34po
那你比较一下和你的文件有什么区别?

   

论坛徽章:
0
39 [报告]
发表于 2013-12-12 17:49 |只看该作者
回复 38# yestreenstars


    不对不对,你那个数据测试过来,也是IP段为0

论坛徽章:
32
处女座
日期:2013-11-20 23:41:20双子座
日期:2014-06-11 17:20:43戌狗
日期:2014-06-16 11:05:00处女座
日期:2014-07-22 17:30:47狮子座
日期:2014-07-28 15:38:17金牛座
日期:2014-08-05 16:34:01亥猪
日期:2014-08-18 13:34:25白羊座
日期:2014-09-02 15:03:55金牛座
日期:2014-11-10 10:23:58处女座
日期:2014-12-02 09:17:52程序设计版块每日发帖之星
日期:2015-06-16 22:20:002015亚冠之塔什干火车头
日期:2015-06-20 23:28:22
40 [报告]
发表于 2013-12-12 17:51 |只看该作者
回复 39# yu34po
少了个等号,不好意思,已改~

   
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP