免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 操作系统 › Linux系统管理 › 大数据日志解析
12下一页
最近访问板块 发新帖
查看: 3496 | 回复: 10
打印 上一主题 下一主题

[系统管理] 大数据日志解析 [复制链接]

forgaoqiang

论坛徽章:
40
水瓶座 日期:2013-08-15 11:26:422015年辞旧岁徽章 日期:2015-03-03 16:54:152015年亚洲杯之乌兹别克斯坦 日期:2015-03-27 14:01:172015年亚洲杯之约旦 日期:2015-03-31 15:06:442015亚冠之首尔 日期:2015-06-16 23:24:37IT运维版块每日发帖之星 日期:2015-07-01 22:20:002015亚冠之德黑兰石油 日期:2015-07-08 09:32:07IT运维版块每日发帖之星 日期:2015-08-29 06:20:00IT运维版块每日发帖之星 日期:2015-08-29 06:20:00IT运维版块每日发帖之星 日期:2015-10-10 06:20:00IT运维版块每日发帖之星 日期:2015-10-11 06:20:00IT运维版块每日发帖之星 日期:2015-11-10 06:20:00
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2016-11-21 19:40 |只看该作者 |倒序浏览
有个大概20G的nginx日志，需要提取出来里面的 querystirng 中的某个字段和useragent等信息，现在写了个脚本

cat 文件 | while read line;do
... 各种处理，搜集数据后写入到一个文本
done

但是内存只有1G，~~~~(>_<)~~~~ 想问下 cat 这么用没问题吧
action08

论坛徽章:
223
2022北京冬奥会纪念版徽章 日期:2015-08-10 16:30:32操作系统版块每日发帖之星 日期:2016-05-10 19:22:58操作系统版块每日发帖之星 日期:2016-02-18 06:20:00操作系统版块每日发帖之星 日期:2016-03-01 06:20:00操作系统版块每日发帖之星 日期:2016-03-02 06:20:0015-16赛季CBA联赛之上海 日期:2019-09-20 12:29:3219周年集字徽章-周 日期:2019-10-01 20:47:4815-16赛季CBA联赛之八一 日期:2020-10-23 18:30:5320周年集字徽章-20 日期:2020-10-28 14:14:2615-16赛季CBA联赛之广夏 日期:2023-02-25 16:26:26CU十四周年纪念徽章 日期:2023-04-13 12:23:10操作系统版块每日发帖之星 日期:2016-05-10 19:22:58
2楼 [报告]
发表于 2016-11-22 00:46 |只看该作者
对shell不太懂，理论上没有问题
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
action08

论坛徽章:
223
2022北京冬奥会纪念版徽章 日期:2015-08-10 16:30:32操作系统版块每日发帖之星 日期:2016-05-10 19:22:58操作系统版块每日发帖之星 日期:2016-02-18 06:20:00操作系统版块每日发帖之星 日期:2016-03-01 06:20:00操作系统版块每日发帖之星 日期:2016-03-02 06:20:0015-16赛季CBA联赛之上海 日期:2019-09-20 12:29:3219周年集字徽章-周 日期:2019-10-01 20:47:4815-16赛季CBA联赛之八一 日期:2020-10-23 18:30:5320周年集字徽章-20 日期:2020-10-28 14:14:2615-16赛季CBA联赛之广夏 日期:2023-02-25 16:26:26CU十四周年纪念徽章 日期:2023-04-13 12:23:10操作系统版块每日发帖之星 日期:2016-05-10 19:22:58
3楼 [报告]
发表于 2016-11-22 00:48 |只看该作者
php类的脚本语言应该没有问题的，当然你最好自己代码测试一下
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
forgaoqiang

论坛徽章:
40
水瓶座 日期:2013-08-15 11:26:422015年辞旧岁徽章 日期:2015-03-03 16:54:152015年亚洲杯之乌兹别克斯坦 日期:2015-03-27 14:01:172015年亚洲杯之约旦 日期:2015-03-31 15:06:442015亚冠之首尔 日期:2015-06-16 23:24:37IT运维版块每日发帖之星 日期:2015-07-01 22:20:002015亚冠之德黑兰石油 日期:2015-07-08 09:32:07IT运维版块每日发帖之星 日期:2015-08-29 06:20:00IT运维版块每日发帖之星 日期:2015-08-29 06:20:00IT运维版块每日发帖之星 日期:2015-10-10 06:20:00IT运维版块每日发帖之星 日期:2015-10-11 06:20:00IT运维版块每日发帖之星 日期:2015-11-10 06:20:00
4楼 [报告]
发表于 2016-11-22 09:46 |只看该作者
action08 发表于 2016-11-22 00:46
对shell不太懂，理论上没有问题

恩 应该是没问题 跑了一晚上都解析出来了 看样子并不会一口气载入内容 而是慢慢的读入处理的
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
forgaoqiang

论坛徽章:
40
水瓶座 日期:2013-08-15 11:26:422015年辞旧岁徽章 日期:2015-03-03 16:54:152015年亚洲杯之乌兹别克斯坦 日期:2015-03-27 14:01:172015年亚洲杯之约旦 日期:2015-03-31 15:06:442015亚冠之首尔 日期:2015-06-16 23:24:37IT运维版块每日发帖之星 日期:2015-07-01 22:20:002015亚冠之德黑兰石油 日期:2015-07-08 09:32:07IT运维版块每日发帖之星 日期:2015-08-29 06:20:00IT运维版块每日发帖之星 日期:2015-08-29 06:20:00IT运维版块每日发帖之星 日期:2015-10-10 06:20:00IT运维版块每日发帖之星 日期:2015-10-11 06:20:00IT运维版块每日发帖之星 日期:2015-11-10 06:20:00
5楼 [报告]
发表于 2016-11-22 09:46 |只看该作者
action08 发表于 2016-11-22 00:48
php类的脚本语言应该没有问题的，当然你最好自己代码测试一下

恩 我也挺喜欢用PHP-CLI跑起来解析数据 只不过处理起来 bash更加容易一些
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
action08

论坛徽章:
223
2022北京冬奥会纪念版徽章 日期:2015-08-10 16:30:32操作系统版块每日发帖之星 日期:2016-05-10 19:22:58操作系统版块每日发帖之星 日期:2016-02-18 06:20:00操作系统版块每日发帖之星 日期:2016-03-01 06:20:00操作系统版块每日发帖之星 日期:2016-03-02 06:20:0015-16赛季CBA联赛之上海 日期:2019-09-20 12:29:3219周年集字徽章-周 日期:2019-10-01 20:47:4815-16赛季CBA联赛之八一 日期:2020-10-23 18:30:5320周年集字徽章-20 日期:2020-10-28 14:14:2615-16赛季CBA联赛之广夏 日期:2023-02-25 16:26:26CU十四周年纪念徽章 日期:2023-04-13 12:23:10操作系统版块每日发帖之星 日期:2016-05-10 19:22:58
6楼 [报告]
发表于 2016-11-22 19:19 |只看该作者
回复 4# forgaoqiang

看了shell还是蛮有趣的，毕竟不是做这块的，有些底层细节不是很清楚


自从cpp走出来后写的任何程序代码，我都要测试一下效果才放心commit
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
action08

论坛徽章:
223
2022北京冬奥会纪念版徽章 日期:2015-08-10 16:30:32操作系统版块每日发帖之星 日期:2016-05-10 19:22:58操作系统版块每日发帖之星 日期:2016-02-18 06:20:00操作系统版块每日发帖之星 日期:2016-03-01 06:20:00操作系统版块每日发帖之星 日期:2016-03-02 06:20:0015-16赛季CBA联赛之上海 日期:2019-09-20 12:29:3219周年集字徽章-周 日期:2019-10-01 20:47:4815-16赛季CBA联赛之八一 日期:2020-10-23 18:30:5320周年集字徽章-20 日期:2020-10-28 14:14:2615-16赛季CBA联赛之广夏 日期:2023-02-25 16:26:26CU十四周年纪念徽章 日期:2023-04-13 12:23:10操作系统版块每日发帖之星 日期:2016-05-10 19:22:58
7楼 [报告]
发表于 2016-11-22 19:19 |只看该作者
shell语言博大精深，奥妙无穷
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
lyhabc

求职 : Linux运维
论坛徽章:
203
拜羊年徽章 日期:2015-03-03 16:15:432015年辞旧岁徽章 日期:2015-03-03 16:54:152015年迎新春徽章 日期:2015-03-04 09:57:092015小元宵徽章 日期:2015-03-06 15:58:182015年亚洲杯之约旦 日期:2015-04-05 20:08:292015年亚洲杯之澳大利亚 日期:2015-04-09 09:25:552015年亚洲杯之约旦 日期:2015-04-10 17:34:102015年亚洲杯之巴勒斯坦 日期:2015-04-10 17:35:342015年亚洲杯之日本 日期:2015-04-16 16:28:552015年亚洲杯纪念徽章 日期:2015-04-27 23:29:17操作系统版块每日发帖之星 日期:2015-06-06 22:20:00操作系统版块每日发帖之星 日期:2015-06-09 22:20:00
8楼 [报告]
发表于 2016-11-22 22:44 |只看该作者
干嘛不用elk stack
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
forgaoqiang

论坛徽章:
40
水瓶座 日期:2013-08-15 11:26:422015年辞旧岁徽章 日期:2015-03-03 16:54:152015年亚洲杯之乌兹别克斯坦 日期:2015-03-27 14:01:172015年亚洲杯之约旦 日期:2015-03-31 15:06:442015亚冠之首尔 日期:2015-06-16 23:24:37IT运维版块每日发帖之星 日期:2015-07-01 22:20:002015亚冠之德黑兰石油 日期:2015-07-08 09:32:07IT运维版块每日发帖之星 日期:2015-08-29 06:20:00IT运维版块每日发帖之星 日期:2015-08-29 06:20:00IT运维版块每日发帖之星 日期:2015-10-10 06:20:00IT运维版块每日发帖之星 日期:2015-10-11 06:20:00IT运维版块每日发帖之星 日期:2015-11-10 06:20:00
9楼 [报告]
发表于 2016-11-23 13:06 |只看该作者
lyhabc 发表于 2016-11-22 22:44
干嘛不用elk stack

业务比较简单 shell提取后直接入数据库 用了二十多个小时就解析完成了
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
ooooldman

论坛徽章:
0
10楼 [报告]
发表于 2016-11-28 18:03 |只看该作者

你这里用管道了，所以cat 会把所有的内容读入内存，
你可以直接用awk 试试，
sed 是可以可以的
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
12下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP