免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 3682 | 回复: 15
打印 上一主题 下一主题

[文本处理] 急,有例子,每日统计昨日次数脚本怎么写 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2015-03-04 09:41 |只看该作者 |倒序浏览
       时间   |状态|其他| 网站 | 手机
   201501011211|200|qwe|163.com|13912345678
   201503031225|200|asd|sina.com|18912345678
   201503031332|403|asd|baidu.com|com|13912345678
   201503031722|200|asd|goole.com|13512345678
   201503031712|200|sdf|goole.com|13512345678
   201503031811|200|wer|baidu.com|18912345678
   201503031918|200|sdf|goole.com|13512345678
统计出昨日第二列状态为200,每个网站的访问手机的次数(不用去重)
如果今天是3月4日,我们是今天都要统计昨天的日志,那么按日想要的结果如下:
20150303|sina.com|1
20150303|google.com|3
20150303|baidu.com|1

求职 : 机器学习
论坛徽章:
79
2015年亚洲杯纪念徽章
日期:2015-05-06 19:18:572015七夕节徽章
日期:2015-08-21 11:06:172015亚冠之阿尔纳斯尔
日期:2015-09-07 09:30:232015亚冠之萨济拖拉机
日期:2015-10-21 08:26:3915-16赛季CBA联赛之浙江
日期:2015-12-30 09:59:1815-16赛季CBA联赛之浙江
日期:2016-01-10 12:35:21技术图书徽章
日期:2016-01-15 11:07:2015-16赛季CBA联赛之新疆
日期:2016-02-24 13:46:0215-16赛季CBA联赛之吉林
日期:2016-06-26 01:07:172015-2016NBA季后赛纪念章
日期:2016-06-28 17:44:45黑曼巴
日期:2016-06-28 17:44:4515-16赛季CBA联赛之浙江
日期:2017-07-18 13:41:54
2 [报告]
发表于 2015-03-04 10:03 |只看该作者
本帖最后由 zsszss0000 于 2015-03-04 14:17 编辑
  1. awk -vFS="|" -vOFS="|" '/20150303/{if ($2=200)a[$4]++}END{for(i in a) print 20150303,i,a[i]}' urfile
复制代码
  1. 20150303|goole.com|3
  2. 20150303|sina.com|1
  3. 20150303|baidu.com|2
复制代码
参考3楼进行了一点修改
  1. awk  -vFS="|" -vOFS="|" 'BEGIN{"date +%Y%m%d"| getline v;v--;print v}{if ($1~v&&$2=200)a[$4]++}END{for(i in a) print 20150303,i,a[i]}' urfile     
复制代码
  1. 20150303
  2. 20150303|goole.com|3
  3. 20150303|sina.com|1
  4. 20150303|baidu.com|2
复制代码
修正4楼提出的缺陷
  1. awk  -vFS="|" -vOFS="|" 'BEGIN{" date -d yesterday +%Y%m%d"| getline v;print v}{if ($1~v&&$2=200)a[$4]++}END{for(i in a) print 20150303,i,a[i]}' urfile   
复制代码

论坛徽章:
30
申猴
日期:2014-04-10 09:43:532015年亚洲杯纪念徽章
日期:2015-03-20 14:40:232015亚冠之阿尔纳斯尔
日期:2015-06-02 18:59:042015亚冠之阿尔希拉尔
日期:2015-06-30 15:22:572015亚冠之大阪钢巴
日期:2015-07-20 10:44:332015亚冠之阿尔纳斯尔
日期:2015-10-28 14:57:5215-16赛季CBA联赛之新疆
日期:2015-12-25 10:18:45黑曼巴
日期:2016-06-26 21:39:5315-16赛季CBA联赛之山西
日期:2016-07-25 21:54:2715-16赛季CBA联赛之北京
日期:2016-10-27 12:07:2315-16赛季CBA联赛之八一
日期:2017-07-07 16:39:0915-16赛季CBA联赛之吉林
日期:2017-09-04 12:14:43
3 [报告]
发表于 2015-03-04 10:16 |只看该作者
本帖最后由 zxy877298415 于 2015-03-04 10:17 编辑
  1. awk -F\| 'BEGIN{"date +%Y%m%d"| getline v;}{if((v-1)==substr($1,1,8)) a[substr($1,1,8)"|"$4]++;}END{for( i in a) print i"|"a[i]}' file
  2. 20150303|sina.com|1
  3. 20150303|goole.com|3
  4. 20150303|baidu.com|2
复制代码
回复 1# wzltian


   

论坛徽章:
10
天蝎座
日期:2013-09-22 22:32:23程序设计版块每日发帖之星
日期:2016-08-07 06:20:00lufei
日期:2016-06-17 17:38:40程序设计版块每日发帖之星
日期:2016-06-12 06:20:002016科比退役纪念章
日期:2016-05-31 15:47:20CU十四周年纪念徽章
日期:2016-05-27 12:24:562015年亚洲杯之阿曼
日期:2015-05-03 21:01:352015年辞旧岁徽章
日期:2015-03-03 16:54:15天蝎座
日期:2013-10-20 21:05:24程序设计版块每日发帖之星
日期:2016-08-11 06:20:00
4 [报告]
发表于 2015-03-04 14:03 |只看该作者
本帖最后由 liion631818 于 2015-03-04 14:22 编辑

回复 2# zsszss0000


    遇到月初做减一操作就有问题了,比如20150301
  1. awk -F '|' 'BEGIN{
  2.                 "date -d \"`date` -1 day\" +%Y%m%d" | getline date;
  3.         }
  4.         $1~date && $2==200' testfile
复制代码

求职 : 机器学习
论坛徽章:
79
2015年亚洲杯纪念徽章
日期:2015-05-06 19:18:572015七夕节徽章
日期:2015-08-21 11:06:172015亚冠之阿尔纳斯尔
日期:2015-09-07 09:30:232015亚冠之萨济拖拉机
日期:2015-10-21 08:26:3915-16赛季CBA联赛之浙江
日期:2015-12-30 09:59:1815-16赛季CBA联赛之浙江
日期:2016-01-10 12:35:21技术图书徽章
日期:2016-01-15 11:07:2015-16赛季CBA联赛之新疆
日期:2016-02-24 13:46:0215-16赛季CBA联赛之吉林
日期:2016-06-26 01:07:172015-2016NBA季后赛纪念章
日期:2016-06-28 17:44:45黑曼巴
日期:2016-06-28 17:44:4515-16赛季CBA联赛之浙江
日期:2017-07-18 13:41:54
5 [报告]
发表于 2015-03-04 14:12 |只看该作者
的确是这样的,确实没有考虑到这个问题,请问date指令是否可以查询昨天?回复 4# liion631818


   

求职 : 机器学习
论坛徽章:
79
2015年亚洲杯纪念徽章
日期:2015-05-06 19:18:572015七夕节徽章
日期:2015-08-21 11:06:172015亚冠之阿尔纳斯尔
日期:2015-09-07 09:30:232015亚冠之萨济拖拉机
日期:2015-10-21 08:26:3915-16赛季CBA联赛之浙江
日期:2015-12-30 09:59:1815-16赛季CBA联赛之浙江
日期:2016-01-10 12:35:21技术图书徽章
日期:2016-01-15 11:07:2015-16赛季CBA联赛之新疆
日期:2016-02-24 13:46:0215-16赛季CBA联赛之吉林
日期:2016-06-26 01:07:172015-2016NBA季后赛纪念章
日期:2016-06-28 17:44:45黑曼巴
日期:2016-06-28 17:44:4515-16赛季CBA联赛之浙江
日期:2017-07-18 13:41:54
6 [报告]
发表于 2015-03-04 14:14 |只看该作者
  1. date -d yesterday +%Y%m%d
复制代码
可以查询昨天的日期。回复 4# liion631818


   

论坛徽章:
28
2015年迎新春徽章
日期:2015-03-04 10:16:53午马
日期:2015-03-20 17:11:07亥猪
日期:2015-03-20 17:11:23戌狗
日期:2015-03-20 17:11:33酉鸡
日期:2015-03-20 17:11:47申猴
日期:2015-03-20 17:11:58未羊
日期:2015-03-20 17:12:10子鼠
日期:2015-03-20 17:12:23丑牛
日期:2015-03-20 17:12:40卯兔
日期:2015-03-20 17:12:51辰龙
日期:2015-03-20 17:13:00巳蛇
日期:2015-03-20 17:13:12
7 [报告]
发表于 2015-03-04 14:18 |只看该作者
本帖最后由 我是一隻羊 于 2015-03-04 14:25 编辑

awk -F\| -vDate=$(date +%Y%m%d -d '-1 day') '{if(($1~Date)&&($2~200)){a[$4]++}}END{for(i in a)print Date"|"i"|"a}' inputfile

论坛徽章:
10
天蝎座
日期:2013-09-22 22:32:23程序设计版块每日发帖之星
日期:2016-08-07 06:20:00lufei
日期:2016-06-17 17:38:40程序设计版块每日发帖之星
日期:2016-06-12 06:20:002016科比退役纪念章
日期:2016-05-31 15:47:20CU十四周年纪念徽章
日期:2016-05-27 12:24:562015年亚洲杯之阿曼
日期:2015-05-03 21:01:352015年辞旧岁徽章
日期:2015-03-03 16:54:15天蝎座
日期:2013-10-20 21:05:24程序设计版块每日发帖之星
日期:2016-08-11 06:20:00
8 [报告]
发表于 2015-03-04 14:20 |只看该作者
回复 6# zsszss0000


    好方法,学习了,

论坛徽章:
7
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:57:092015小元宵徽章
日期:2015-03-06 15:58:18程序设计版块每日发帖之星
日期:2015-08-09 06:20:00每日论坛发贴之星
日期:2015-08-09 06:20:00程序设计版块每日发帖之星
日期:2015-08-22 06:20:00程序设计版块每日发帖之星
日期:2015-08-27 06:20:00
9 [报告]
发表于 2015-03-05 10:54 |只看该作者
awk 'BEGIN{FS="|";OFS="|";lastDay=strftime( "%Y%m%d", systime() - 3600*24*2)  }$2==200&& $1~lastDay {a[$4]++}  END{for(i in a) print lastDay, i, a[i]}' urfile

论坛徽章:
1
2015亚冠之柏太阳神
日期:2015-09-29 10:00:55
10 [报告]
发表于 2015-03-13 23:55 |只看该作者
日志数据入库,sql查询多好,再用php写个查询页面。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP