免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12345下一页
最近访问板块 发新帖
查看: 5599 | 回复: 40
打印 上一主题 下一主题

[文本处理] 如何查询10G以上的日志文件 [复制链接]

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-03-21 06:20:00数据库技术版块每日发帖之星
日期:2016-04-10 06:20:00
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2016-04-25 15:02 |只看该作者 |倒序浏览
求教大神如何查询指定日期的日志文件,日志文件很大有10G以上!
cat log|grep "date" 这种方式会卡死!有什么办法可以查呢?

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-03-21 06:20:00数据库技术版块每日发帖之星
日期:2016-04-10 06:20:00
2 [报告]
发表于 2016-04-25 15:03 |只看该作者
很着急,求指教菜鸟!

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
3 [报告]
发表于 2016-04-25 15:06 |只看该作者
回复 2# 我叫萌萌
  1. grep "date" log
复制代码
?

   

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-03-21 06:20:00数据库技术版块每日发帖之星
日期:2016-04-10 06:20:00
4 [报告]
发表于 2016-04-25 15:10 |只看该作者
moperyblue 发表于 2016-04-25 15:06
回复 2# 我叫萌萌 ?

我的文件有10G以上  这种方式不行,太慢了...

论坛徽章:
22
2015年亚洲杯之科威特
日期:2015-04-18 15:27:07每日论坛发贴之星
日期:2016-01-27 06:20:0015-16赛季CBA联赛之广夏
日期:2016-03-28 16:20:51程序设计版块每日发帖之星
日期:2016-04-09 06:20:00CU十四周年纪念徽章
日期:2016-05-03 09:35:1415-16赛季CBA联赛之天津
日期:2016-11-18 08:31:3115-16赛季CBA联赛之山西
日期:2016-12-07 16:29:5315-16赛季CBA联赛之八一
日期:2017-01-10 11:34:3415-16赛季CBA联赛之吉林
日期:2017-03-30 22:51:1915-16赛季CBA联赛之广夏
日期:2017-04-13 20:51:52程序设计版块每日发帖之星
日期:2016-01-27 06:20:00每日论坛发贴之星
日期:2015-12-28 06:20:00
5 [报告]
发表于 2016-04-25 15:10 |只看该作者
  1. grep -P '指定日期'  log
复制代码

论坛徽章:
22
2015年亚洲杯之科威特
日期:2015-04-18 15:27:07每日论坛发贴之星
日期:2016-01-27 06:20:0015-16赛季CBA联赛之广夏
日期:2016-03-28 16:20:51程序设计版块每日发帖之星
日期:2016-04-09 06:20:00CU十四周年纪念徽章
日期:2016-05-03 09:35:1415-16赛季CBA联赛之天津
日期:2016-11-18 08:31:3115-16赛季CBA联赛之山西
日期:2016-12-07 16:29:5315-16赛季CBA联赛之八一
日期:2017-01-10 11:34:3415-16赛季CBA联赛之吉林
日期:2017-03-30 22:51:1915-16赛季CBA联赛之广夏
日期:2017-04-13 20:51:52程序设计版块每日发帖之星
日期:2016-01-27 06:20:00每日论坛发贴之星
日期:2015-12-28 06:20:00
6 [报告]
发表于 2016-04-25 15:11 来自手机 |只看该作者
本帖最后由 Windows19 于 2016-04-25 15:12 编辑

grep -P '指定日期' log

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-03-21 06:20:00数据库技术版块每日发帖之星
日期:2016-04-10 06:20:00
7 [报告]
发表于 2016-04-25 15:12 |只看该作者
回复 5# Windows19


    grep -P 可以吗?  文件很大呢  10G呢 还有70G的...

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
8 [报告]
发表于 2016-04-25 15:22 |只看该作者
本帖最后由 moperyblue 于 2016-04-25 15:27 编辑

回复 4# 我叫萌萌


不要cat
cat会将文件读入内容,如果空余内存小于文件,会卡死.

grep 'xxx' log 或 awk '/xxx/' log
可以比较一下

论坛徽章:
33
ChinaUnix元老
日期:2015-02-02 08:55:39CU十四周年纪念徽章
日期:2019-08-20 08:30:3720周年集字徽章-周	
日期:2020-10-28 14:13:3020周年集字徽章-20	
日期:2020-10-28 14:04:3019周年集字徽章-CU
日期:2019-09-08 23:26:2519周年集字徽章-19
日期:2019-08-27 13:31:262016科比退役纪念章
日期:2022-04-24 14:33:24
9 [报告]
发表于 2016-04-25 15:28 |只看该作者
  1. grep -F "date" log
复制代码
这样也许可以稍微快点,你试试10G的文件需要多久。

评分

参与人数 1信誉积分 +10 收起 理由
Windows19 + 10 嗯嗯 这个应该很快 目前最理想了

查看全部评分

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-03-21 06:20:00数据库技术版块每日发帖之星
日期:2016-04-10 06:20:00
10 [报告]
发表于 2016-04-25 15:35 |只看该作者
moperyblue 发表于 2016-04-25 15:22
回复 4# 我叫萌萌

没有了cat 但是用 grep awk还是很慢!
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP