免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 2726 | 回复: 11
打印 上一主题 下一主题

[文本处理] shell删除当前日期前5天的数据 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2016-09-08 14:55 |只看该作者 |倒序浏览
本帖最后由 xixi_fighting 于 2016-09-08 17:17 编辑

过滤文件:test.log文件中,过期数据即5天前数据全部删除。文本是按日期排列的。
我的思路是,按行搜索到第一个匹配关键字时,将该行至行末完全显示。
=================================================================
文本样例:
*** new case 2016-09-01 ***
we
*** new case 2016-09-02 ***
he
*** new case 2016-09-04 ***
she
*** new case 2016-09-04 ***
how
*** new case 2016-09-05 ***
ttt
*** new case 2016-09-10 ***
teacher's day
*** new case 2016-09-10 ***
end

预期处理效果:
*** new case 2016-09-04 ***
she
*** new case 2016-09-04 ***
how
*** new case 2016-09-05 ***
ttt
*** new case 2016-09-10 ***
teacher's day
*** new case 2016-09-10 ***
end

===================================
我是用sed做的,但是中间有许多问题。
date5=$(date --date='5 days ago' +%Y-%m-%d)
date4=$(date --date='4 days ago' +%Y-%m-%d)
date3=$(date --date='3 days ago' +%Y-%m-%d)
if grep -q $date7 test.log; then
        sed -n '/$date5/,$p' test.log
elif grep -q test.log; then
        sed -i '/$date4/,$p' test.log
elif grep -q test.log; then
        sed -i '/$date3/,$p' test.log
fi

问题1:sed中找到关键字date5,但不可以$date5表示,会认为是行末为date的意思,那么如何表示关键字是上述不确定的日期呢?
问题2:尝试将sed中的关键字改成特定字符‘2016-09-04’,一旦遇到匹配的关键字,都会将后面内容重复一遍,而我只想第一次遇到关键字时,显示关键字所在行之后所有内容,后面不再关心。而且使用sed,只是将符合内容重复,并未实现不符合内容删除的功能。

希望大神解答,或者使用别的方法都可以。
不知道我的描述准确不,毕竟第一次来问问题。

论坛徽章:
29
程序设计版块每日发帖之星
日期:2016-02-29 06:20:0015-16赛季CBA联赛之天津
日期:2016-08-10 10:33:1115-16赛季CBA联赛之深圳
日期:2016-08-17 15:07:2015-16赛季CBA联赛之佛山
日期:2016-11-07 11:33:5015-16赛季CBA联赛之广夏
日期:2016-11-15 09:13:31CU十四周年纪念徽章
日期:2016-11-24 14:12:25极客徽章
日期:2016-12-07 14:03:4015-16赛季CBA联赛之深圳
日期:2016-12-07 17:15:2715-16赛季CBA联赛之北京
日期:2016-12-22 09:30:0115-16赛季CBA联赛之深圳
日期:2016-12-22 10:49:2115-16赛季CBA联赛之山西
日期:2017-02-10 09:05:3215-16赛季CBA联赛之同曦
日期:2017-02-27 14:19:08
2 [报告]
发表于 2016-09-08 15:26 |只看该作者
  1. awk -vs=$(date -d "-5days" +%F) '!f&&$0~/^2016-/&&$0>=s{f=1}f'
复制代码

论坛徽章:
2
射手座
日期:2014-10-10 15:59:4715-16赛季CBA联赛之上海
日期:2016-03-03 10:27:14
3 [报告]
发表于 2016-09-08 15:27 |只看该作者
回复 1# xixi_fighting

  1. grep -A1 -Ff  <(for((i=0;i>=-4;i--)); do echo $(date -d "-"$i" days" "+%Y-%m-%d"); done) file
复制代码

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
4 [报告]
发表于 2016-09-08 15:51 |只看该作者
本帖最后由 moperyblue 于 2016-09-08 17:37 编辑

复制代码

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
5 [报告]
发表于 2016-09-08 15:52 |只看该作者
本帖最后由 moperyblue 于 2016-09-08 17:38 编辑

[code][/code]

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
6 [报告]
发表于 2016-09-08 15:53 |只看该作者
本帖最后由 moperyblue 于 2016-09-08 17:47 编辑

[code][/code]

论坛徽章:
0
7 [报告]
发表于 2016-09-08 17:00 |只看该作者
本帖最后由 xixi_fighting 于 2016-09-08 17:06 编辑

回复 2# elu_ligao

可以的。不过我是想改文件,这个结果是显示在屏幕上,文件并未发生改变。后面加上输出文件是可以,但是我是想直接修改文件,test.log这个文件其实是处理过程中的缓存文件,最后会删掉,我不想建太多缓存文件。谢谢啦。还有就是日期那栏不是以数字开头,我是简化内容了,原内容比较复杂。还是谢谢了。

论坛徽章:
0
8 [报告]
发表于 2016-09-08 17:10 |只看该作者
回复 3# yinyuemi

不好意思,报错了

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
9 [报告]
发表于 2016-09-08 17:47 |只看该作者
本帖最后由 moperyblue 于 2016-09-08 17:49 编辑
  1. d=$(awk -v val=$(date --date='5 days ago' +%F) '/[0-9]+-/&&$4>val{print $4;exit}' test.log)      
  2. sed '/'"$d"'/,$!d' test.log #修改原文件 => 加 -i 选项
复制代码

论坛徽章:
2
程序设计版块每日发帖之星
日期:2015-09-07 06:20:00程序设计版块每日发帖之星
日期:2015-09-07 06:20:00
10 [报告]
发表于 2016-09-11 10:12 |只看该作者
这个脚本可以不用预先将文本样例排序,请参考。
  1. [root@study tmp]# cat cut.awk
  2. /new/{
  3.   if($4<=time)
  4.     next
  5.   flag=1
  6. }
  7. (flag==1){
  8.   print $0
  9. }
  10. [root@study tmp]# cat 1.txt
  11. *** new case 2016-09-01 ***
  12. we
  13. *** new case 2016-09-02 ***
  14. he
  15. *** new case 2016-09-04 ***
  16. she
  17. *** new case 2016-09-04 ***
  18. how
  19. *** new case 2016-09-05 ***
  20. ttt
  21. *** new case 2016-09-10 ***
  22. teacher's day
  23. *** new case 2016-09-10 ***
  24. end
  25. [root@study tmp]#  awk -v time=$(date --date='6 days ago' +%F) -f cut.awk 1.txt
  26. *** new case 2016-09-10 ***
  27. teacher's day
  28. *** new case 2016-09-10 ***
  29. end
  30. [root@study tmp]#  awk -v time=$(date --date='8 days ago' +%F) -f cut.awk 1.txt  
  31. *** new case 2016-09-04 ***
  32. she
  33. *** new case 2016-09-04 ***
  34. how
  35. *** new case 2016-09-05 ***
  36. ttt
  37. *** new case 2016-09-10 ***
  38. teacher's day
  39. *** new case 2016-09-10 ***
  40. end
  41. [root@study tmp]#
复制代码
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP