特殊格式的大文本文件处理

lifeistrue

有一个大文本文件log，格式如下：
IP:1.1.1.1
DNS:2.2.2.2
PAGE:http://a.com/q?pl=xxx
{
........
不同内容，行数不定，各个记录互不相同
........
}
IP:1.1.1.1
DNS:2.2.2.2
PAGE:http://ab.com/q?pl=xxx
{
........
不同内容，行数不定，各个记录互不相同
........
}
对此，我们称从IP到}截止为一个记录，该文件有多个这样的记录组成（可能达到百万级），其中xxx为数字。
现在需要将所有形如PAGE：http://a.com/q?pl=XXX且xxx出现重复的记录提取出来（例如，PAGE:http://a.com/q?pl=123这样的记录出现了2次，则将这两条记录提取出来）。如何高效的完成？

琢磨了一天也没有得到结果，将自己的做的描述一下，当作抛砖。
grep 'PAGE:http://a.com/q?pl=' log>tmp#此步得到所有形如PAGE:http://a.com/q?pl=xxx的url
uniq -D tmp>tmp2#此步得到所有xxx出现重复的url（大概有2K个左右）
设置$/="}"，然后一个记录一个记录的去匹配出现重复的url。但是这样实在是太慢了，每个url要扫描整个文件，2K个就要扫描2K次。。。。

求助各位大虾，如何高效的完成该工作？谢谢啦！

皇家救星

awk -F \= '{
        #匹配记录开始
        if($0 ~ "IP:" && !begin) {begin=1;record[count=1]=$0;next;}
       
        #将记录缓存到record
        record[++count]=$0;
        if($0 ~ "PAGE:http://ab.com/q?pl")
        {
                filename=$2;
                #将xxxx作为文件名
                urls[filename]++;
        }
        begin=1;
       
        #匹配记录结束
        if($0 ~ "}")
        {
                #将记录存到文件
                for(i = 1; i <= count)
                {
                        print record >> filename;
                }
                begin=0;
        }
}
END{
        #把所有出现过两次的xxxx输出到另一个文件
        for(i in urls)
        {
                system("cat "$i" >> res.txt");
        }
}'

皇家救星

基本思路是先扫描一条记录，并将该记录追加到一个以xxxx为命名的文件
同时将xxxx出现的次数加1

最后把所有出现过两次的xxxx对应的文件保存到res.txt

可能生成较多临时文件，可以在END里面删除

皇家救星

另： 你原来的方法只需扫描两次文件即可，而不是你说的扫描2k次

ynchnluiti

原帖由 皇家救星 于 2009-2-5 00:46 发表
另： 你原来的方法只需扫描两次文件即可，而不是你说的扫描2k次

不是两次吧

ynchnluiti

原帖由 皇家救星 于 2009-2-5 00:46 发表
基本思路是先扫描一条记录，并将该记录追加到一个以xxxx为命名的文件
同时将xxxx出现的次数加1

最后把所有出现过两次的xxxx对应的文件保存到res.txt

可能生成较多临时文件，可以在END里面删除

记录多了，只能借助临时文件了

ly5066113

这个意思？

1. awk '/^PAGE/{a[$0]++}END{for(i in a) if(a[i]>1) print i}' log

复制代码

我是DBA

应该是这样。

xinyv

tim 你输出的只是 page 这个一行吧，我觉得楼主的意思是如果 page 这行重复要输出整个信息段 就是  IP 开始 .... } 截至的。

1. 
   
2. awk 'BEGIN{FS="\n";RS="}\n";IGNORECASE=1;}{for(i=1;i<NF;i++){if($i~/^page/){A[$i]++}}for(a in A){if(A[a]>1){A[a]=0;print $0"}\n"}}}' ./log
   

复制代码

[ 本帖最后由 xinyv 于 2009-2-5 09:43 编辑 ]

ynchnluiti

原帖由 ly5066113 于 2009-2-5 09:06 发表
这个意思？
awk '/^PAGE/{a[$0]++}END{for(i in a) if(a>1) print i}' log

记录很多，而且要打印的好像是
IP
...
..
{
..
}
这样的记录