免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Shell › 如何用awk 筛查日志中都访问哪些域名，最后输出不重复的 ...
最近访问板块 发新帖
查看: 2345 | 回复: 7
打印 上一主题 下一主题

[文本处理] 如何用awk 筛查日志中都访问哪些域名，最后输出不重复的？ [复制链接]

wanghesen628

论坛徽章:
0
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2014-08-18 11:01 |只看该作者 |倒序浏览
比如日志如下access.log
www.baidu.com
www.baidu.com
www.shou.com
www.123.com
www.123.com
www.sina.com
www.hao123.com

想要的输出效果如下(不重复的)
www.baidu.com
www.sohu.com
www.123.com
www.sina.com
www.hao123.com
huang6894

论坛徽章:
8
技术图书徽章 日期:2013-08-22 11:21:28未羊 日期:2015-01-19 22:22:25巳蛇 日期:2014-08-11 16:53:08子鼠 日期:2014-05-29 09:04:44摩羯座 日期:2014-04-11 14:15:07丑牛 日期:2014-01-24 12:41:28金牛座 日期:2013-11-21 17:38:28射手座 日期:2015-01-21 08:50:32
2楼 [报告]
发表于 2014-08-18 11:03 |只看该作者
awk '!a[$1]++{print}'
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
yestreenstars

论坛徽章:
32
处女座 日期:2013-11-20 23:41:20双子座 日期:2014-06-11 17:20:43戌狗 日期:2014-06-16 11:05:00处女座 日期:2014-07-22 17:30:47狮子座 日期:2014-07-28 15:38:17金牛座 日期:2014-08-05 16:34:01亥猪 日期:2014-08-18 13:34:25白羊座 日期:2014-09-02 15:03:55金牛座 日期:2014-11-10 10:23:58处女座 日期:2014-12-02 09:17:52程序设计版块每日发帖之星 日期:2015-06-16 22:20:002015亚冠之塔什干火车头 日期:2015-06-20 23:28:22
3楼 [报告]
发表于 2014-08-18 11:09 |只看该作者
  1. awk '!a[$1]++'
  2. sort -u
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
q1208c

论坛徽章:
33
荣誉会员 日期:2011-11-23 16:44:17天秤座 日期:2014-08-26 16:18:20天秤座 日期:2014-08-29 10:12:18丑牛 日期:2014-08-29 16:06:45丑牛 日期:2014-09-03 10:28:58射手座 日期:2014-09-03 16:01:17寅虎 日期:2014-09-11 14:24:21天蝎座 日期:2014-09-17 08:33:55IT运维版块每日发帖之星 日期:2016-04-17 06:23:27操作系统版块每日发帖之星 日期:2016-04-18 06:20:00IT运维版块每日发帖之星 日期:2016-04-24 06:20:0015-16赛季CBA联赛之天津 日期:2016-05-06 12:46:59
4楼 [报告]
发表于 2014-08-18 11:26 |只看该作者
如果log很大, 建议使用 sort -u
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
wanghesen628

论坛徽章:
0
5楼 [报告]
发表于 2014-08-18 11:42 |只看该作者
回复 2# huang6894


请解释下!a[$1]++{print} 是什么意思？ 我是小白
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
Shell_HAT

论坛徽章:
33
ChinaUnix元老 日期:2015-02-02 08:55:39CU十四周年纪念徽章 日期:2019-08-20 08:30:3720周年集字徽章-周 日期:2020-10-28 14:13:3020周年集字徽章-20 日期:2020-10-28 14:04:3019周年集字徽章-CU 日期:2019-09-08 23:26:2519周年集字徽章-19 日期:2019-08-27 13:31:262016科比退役纪念章 日期:2022-04-24 14:33:24
6楼 [报告]
发表于 2014-08-18 13:04 |只看该作者
回复 5# wanghesen628


http://bbs.chinaunix.net/viewthread.php?tid=1672726#pid11904888
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
jcdiy0601

论坛徽章:
6
羊年新春福章 日期:2015-03-03 17:16:28双子座 日期:2015-03-03 17:16:56巳蛇 日期:2015-03-03 17:17:2415-16赛季CBA联赛之福建 日期:2016-03-11 09:05:00黑曼巴 日期:2016-07-07 16:58:1215-16赛季CBA联赛之吉林 日期:2016-11-14 09:23:07
7楼 [报告]
发表于 2014-08-18 14:27 |只看该作者
  1. uniq filename
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
bulletmarquis

论坛徽章:
2
摩羯座 日期:2014-11-03 15:28:56卯兔 日期:2015-01-04 17:20:51
8楼 [报告]
发表于 2014-08-18 17:24 |只看该作者
awk '!a[$1]++' 即可
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP