免费注册	查看新帖 \|


平台论坛博客文库

› 论坛 › 程序设计 › Shell › 帮忙看下nginx日志切割的问题

12 3 / 3 页下一页

最近访问板块

发新帖

查看: 3129 | 回复: 20

上一主题

下一主题

[文本处理] 帮忙看下nginx日志切割的问题 [复制链接]

论坛徽章:: 0

电梯直达

跳转到指定楼层

1楼 [收藏(0)] [报告]

发表于 2016-12-01 18:36 |只看该作者 |倒序浏览

现在的需求始是这样每天一台机器nginx产生10G的日志，现在希望做nginx切割日志

每10分钟切一次10分钟的数据，切割完下一个10分钟切割10分钟的日志，日志保证是连续不丢失的。

说明：nginx日志格式原样输出不需要做处理。

谢谢大神给点建议

文库|博客

论坛徽章:: 30

申猴
日期:2014-04-10 09:43:53

2015年亚洲杯纪念徽章
日期:2015-03-20 14:40:23

2015亚冠之阿尔纳斯尔
日期:2015-06-02 18:59:04

2015亚冠之阿尔希拉尔
日期:2015-06-30 15:22:57

2015亚冠之大阪钢巴
日期:2015-07-20 10:44:33

2015亚冠之阿尔纳斯尔
日期:2015-10-28 14:57:52

15-16赛季CBA联赛之新疆
日期:2015-12-25 10:18:45

黑曼巴
日期:2016-06-26 21:39:53

15-16赛季CBA联赛之山西
日期:2016-07-25 21:54:27

15-16赛季CBA联赛之北京
日期:2016-10-27 12:07:23

15-16赛季CBA联赛之八一
日期:2017-07-07 16:39:09

15-16赛季CBA联赛之吉林
日期:2017-09-04 12:14:43

2楼 [报告]

发表于 2016-12-02 09:32 |只看该作者

回复 1# 筷子eason

上文本，举例子！

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

3楼 [报告]

发表于 2016-12-02 17:52 |只看该作者

logrotate 可以按大小切割按分钟貌似没有

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

4楼 [报告]

发表于 2016-12-03 22:05 |只看该作者

zxy877298415 发表于 2016-12-02 09:32
回复 1# 筷子eason

稍等

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

5楼 [报告]

发表于 2016-12-04 08:17 |只看该作者

yebailin 发表于 2016-12-02 17:52
logrotate 可以按大小切割按分钟貌似没有

shell切靠谱

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 2

技术图书徽章
日期:2013-12-17 13:52:15

2015亚冠之萨济拖拉机
日期:2015-07-19 11:07:52

6楼 [报告]

发表于 2016-12-04 21:39 |只看该作者

把日志写在管道里，然后通过awk对这个管道文件按时间关键字匹配，每10分钟切成一个新文件如何？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 1

15-16赛季CBA联赛之福建
日期:2016-10-26 14:32:57

7楼 [报告]

发表于 2016-12-05 09:02 |只看该作者

用计划任务设定10分钟执行一次shell脚本
首先记录现在日志文件的行数，记录在某个文本wc -l，10分钟后，再次记录该日志文件的行数，然后用
head和tail就可以切到你要的10分钟范围内的日志文本，并且用时间来命名应该就可以了吧

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

8楼 [报告]

发表于 2016-12-05 12:32 |只看该作者

StarWingsss 发表于 2016-12-05 09:02
用计划任务设定10分钟执行一次shell脚本
首先记录现在日志文件的行数，记录在某个文本wc -l，10分钟后，再 ...

这样做切割的日志是连续的吗

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 28

15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:42

15-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:04

15-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:29

15-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43

CU十四周年纪念徽章
日期:2016-12-18 13:03:44

15-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:25

15-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:24

15-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:51

2016科比退役纪念章
日期:2017-02-06 17:21:50

黑曼巴
日期:2017-02-10 15:46:12

15-16赛季CBA联赛之上海
日期:2017-03-18 10:14:54

15-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44

9楼 [报告]

发表于 2016-12-05 12:42 |只看该作者

楼主找到方案了没? 网上可以收到logrotate+crontab的方案你可以试试看

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

10楼 [报告]

发表于 2016-12-05 18:54 |只看该作者

moperyblue 发表于 2016-12-05 12:42
楼主找到方案了没? 网上可以收到logrotate+crontab的方案你可以试试看

找到了已经写好了 awk grep 写的

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

12 3 / 3 页下一页

发新帖

Chinaunix › 论坛 › 程序设计 › Shell › 帮忙看下nginx日志切割的问题

北京盛拓优讯信息技术有限公司. 版权所有京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP