免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 1783 | 回复: 12

[文本处理] 每晚1点跑脚本截取昨天的内容再清除 [复制链接]

论坛徽章:
0
发表于 2017-03-22 12:52 |显示全部楼层
文件内容:
# Time:170320
.........
......
# Time:170320
.......
.....
...
# Time:170321
.....
..
# Time:170322
.......
.....

要求:
每晚1点跑脚本截取昨天的内容再清除
我的想法是找出昨天的第一行行号
今天的第一行行号再减一行(这里怎么用sed一行写完?)
或者用什么方法?





#!/bin/bash
today=$(date +%y%m%d)
yesterday=$(date -d -1day +%y%m%d)
flag_head=$(sed -n -e "/# Time: ${yesterday}/{=;q}" file)
count=$(sed -n -e "/# Time: ${today}/{=;q}" file)
flag_end=$(expr ${count} - 1)
sed -n "${flag_head},${flag_end}p" file > ${yesterday}.log
#保留今天的数据。
sed -i "1,${flag_end}d" file


论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
发表于 2017-03-22 14:54 |显示全部楼层
本帖最后由 moperyblue 于 2017-03-22 14:57 编辑

数据里的日期是 增加的?
删掉 昨天及昨天之前 的数据?

论坛徽章:
0
发表于 2017-03-22 15:44 |显示全部楼层
回复 2# moperyblue

文件是一直读写的,所以日期是每天增加
割切后file只保留今天的数据免得时间长了文件变得超大几百G的

#!/bin/bash
IP=$(ifconfig eth1 | awk -F '[ :]+' NR==2'{print $3}')
today=$(date +%y%m%d)
yesterday=$(date -d -1day +%y%m%d)
ab_file=/root/abc.log
flag_head=$(sed -n -e "/# Time: ${yesterday}/{=;q}" ${ab_file})
count=$(sed -n -e "/# Time: ${today}/{=;q}" ${ab_file})
back_dir=/logs/`date -d -1day +%y%m`
mkdir -p $back_dir
#if can not find yesterday log exit
if [ -z "$flag_head" ];then
exit
fi
#if can not find today log print ab_file the last line
#防止今天的数据还没有产生
if [ -z "$count" ]
    then
        flag_end=$(wc -l $ab_file|awk '{print $1}')
    else
        flag_end=$(expr ${count} - 1)
fi
sed -n "${flag_head},${flag_end}p" $ab_file > ${back_dir}/${IP}_${yesterday}.log
sed -i "1,${flag_end}d" $ab_file

论坛徽章:
0
发表于 2017-03-22 15:44 |显示全部楼层
回复 2# moperyblue

文件是一直读写的,所以日期是每天增加
割切后file只保留今天的数据免得时间长了文件变得超大几百G的

#!/bin/bash
IP=$(ifconfig eth1 | awk -F '[ :]+' NR==2'{print $3}')
today=$(date +%y%m%d)
yesterday=$(date -d -1day +%y%m%d)
ab_file=/root/abc.log
flag_head=$(sed -n -e "/# Time: ${yesterday}/{=;q}" ${ab_file})
count=$(sed -n -e "/# Time: ${today}/{=;q}" ${ab_file})
back_dir=/logs/`date -d -1day +%y%m`
mkdir -p $back_dir
#if can not find yesterday log exit
if [ -z "$flag_head" ];then
exit
fi
#if can not find today log print ab_file the last line
#防止今天的数据还没有产生
if [ -z "$count" ]
    then
        flag_end=$(wc -l $ab_file|awk '{print $1}')
    else
        flag_end=$(expr ${count} - 1)
fi
sed -n "${flag_head},${flag_end}p" $ab_file > ${back_dir}/${IP}_${yesterday}.log
sed -i "1,${flag_end}d" $ab_file

论坛徽章:
0
发表于 2017-03-22 15:44 |显示全部楼层
回复 2# moperyblue

文件是一直读写的,所以日期是每天增加
割切后file只保留今天的数据免得时间长了文件变得超大几百G的

#!/bin/bash
IP=$(ifconfig eth1 | awk -F '[ :]+' NR==2'{print $3}')
today=$(date +%y%m%d)
yesterday=$(date -d -1day +%y%m%d)
ab_file=/root/abc.log
flag_head=$(sed -n -e "/# Time: ${yesterday}/{=;q}" ${ab_file})
count=$(sed -n -e "/# Time: ${today}/{=;q}" ${ab_file})
back_dir=/logs/`date -d -1day +%y%m`
mkdir -p $back_dir
#if can not find yesterday log exit
if [ -z "$flag_head" ];then
exit
fi
#if can not find today log print ab_file the last line
#防止今天的数据还没有产生
if [ -z "$count" ]
    then
        flag_end=$(wc -l $ab_file|awk '{print $1}')
    else
        flag_end=$(expr ${count} - 1)
fi
sed -n "${flag_head},${flag_end}p" $ab_file > ${back_dir}/${IP}_${yesterday}.log
sed -i "1,${flag_end}d" $ab_file

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
发表于 2017-03-22 16:04 |显示全部楼层

  1. #!/bin/bash
  2. today=$(date +%y%m%d)
  3. yesterday=$(date -d -1day +%y%m%d)

  4. #昨天的数据
  5. sed '/# Time:'$yesterday'/,/# Time:'$today'/!d;/# Time:'$today'/d' file > "${yesterday}".log

  6. #删除昨天以昨天之前的数据
  7. sed -i '0,/# Time:'$today'/{/# Time:'$today'/!d}' file
复制代码

评分

参与人数 1信誉积分 +5 收起 理由
all17lai + 5 很给力!

查看全部评分

论坛徽章:
0
发表于 2017-03-22 18:31 |显示全部楼层
回复 6# moperyblue

能解释下吗?不懂

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
发表于 2017-03-22 18:59 |显示全部楼层
回复 7# all17lai


能满足你的需求吗

论坛徽章:
0
发表于 2017-03-22 19:06 |显示全部楼层
回复 6# moperyblue

cat file
# Time:170320

每晚1点跑脚本截取昨天的内容再清除

# Time:170320

每晚1点跑脚本截取昨天的内容再清除

# Time:170321

每晚1点跑脚本截取昨天的内容再清除

# Time:170321

每晚1点跑脚本截取昨天的内容再清除
# Time:170321

每晚1点跑脚本截取昨天的内容再清除
# Time:170321

每晚1点跑脚本截取昨天的内容再清除
# Time:170322
今天
# Time:170322
今天

# Time:170322
今天

sh -x ttt.sh
+ date +%y%m%d
+ today=170322
+ date -d -1day +%y%m%d
+ yesterday=170321
+ sed /# Time:170321/,/# Time:170322/!d;/# Time:170322/d file
+ sed -i 0,/# Time:170322/{/# Time:170322/!d} file

cat file
# Time:170322
今天
# Time:170322
今天

# Time:170322
今天


cat 170321.log
# Time:170321

每晚1点跑脚本截取昨天的内容再清除

# Time:170321

每晚1点跑脚本截取昨天的内容再清除
# Time:170321

每晚1点跑脚本截取昨天的内容再清除
# Time:170321

每晚1点跑脚本截取昨天的内容再清除

sed '/# Time:'$yesterday'/,/# Time:'$today'/!d     非昨天到今天的删除
;/# Time:'$today'/d'   把今天的删除      
为什么不是只删除  # Time:170322 这行,而是  
# Time:170322
今天
这段

sed -i '0,/# Time:'$today'/{/# Time:'$today'/!d}' file
sed -i 0,/# Time:170322/{/# Time:170322/!d} file  不明白

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
发表于 2017-03-22 19:28 |显示全部楼层
回复 9# all17lai


是只删除  # Time:170322 这行
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP