菜鸟碰到个文本处理的头疼问题

钟大發

1.1.1.1 - - [12/Sep/2015:00:00:07 +0800] "url1" 200 14634 "url1a" "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36"
2.2.2.2 - - [12/Sep/2015:00:00:07 +0800] "url2" 404 14634 "url1b" "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36"
3.3.3.3 - - [12/Sep/2015:00:00:07 +0800] "url3" 200 14634 "url1c" "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36"

上面是我从我的一个服务器的日志，主要记录的内容http的访问记录，大致能看出来，里面记录了访问IP，日期，url，http返回值，大小，游览器等信息。

现在我需要从这些日志中提取出对应的信息，每条记录提取一条信息，统计所有返回值为404 的用户，以 _ip_ /t _日期（timestamp格式_ /t _大小_ /t _url来整理成一条。这个日志大概几千条吧，我目前想法是通过awk等将我需要的列拉取到文件，每一列一个文件，最后合并，但是这个方式好像太傻了。。而且说实话很没效率，有大神指导下还有什么办法对这些日志进行规范化处理吗？

钟大發

自己顶一下。。。。。

jason680

$ awk -vOFS="\t" '{if($7==404)print $1,$4" "$5,$8,$6}' FILE
2.2.2.2        [12/Sep/2015:00:00:07 +0800]        14634        "url2"

钟大發

回复 3# jason680

多谢大神回复，我最开始用的也是差不多的办法。主要原因是时间要timestamp时间戳格式的，所以我是先将时间列单独列出到其他文件中，date 转后后再用paste合成一个，我想过直接在awk里转，但这个日期不是标准的，转换了很多次才出来。。。shell 里除了用date 转换timestamp还有其他办法么。？

   

jason680

回复 4# 钟大發

The mktime function can get the timestamp in awk

把问题说清楚，并举例...
或者(问题)留着吧...
   
问题本不难，你又不举例，
描述又乱写，让人费疑猜？

tuyajie

好诗，好诗~~

helloclei

jason大神依旧犀利，文采和技术都是棒棒哒

钟大發

多谢指导~~我换了个办法搞定了~~回复 6# tuyajie


   

waker

钟大發 发表于 2015-09-15 18:38
多谢指导~~我换了个办法搞定了~~回复 6# tuyajie

经典

tuyajie

应该是点错了。。。他是想回楼上大神的。哈哈。回复 9# waker