提取文件两行之间的内容放入到一共文件里面

go2cxg

要处理的文本内容如下：
Recno:: 0
URL:: http://digitalcollections.anu.edu.au/
CrawlDatum::
Version: 7
Status: 67 (linked)

Recno:: 1
URL:: http://dspace.anu.edu.au/
CrawlDatum::
Version: 7
Status: 35 (fetch_redir_temp)
Fetch time: Mon Aug 12 18:19:23 CEST 2013


Recno:: 2
URL:: http://ebooks.adelaide.edu.au/
Content::
Version: -1
url: http://ebooks.adelaide.edu.au/
metadata: Date=Mon, 12 Aug 2013 08:18:15 GMT nutch.crawl.score=1.0 _fst_=33 nutch.segment.name=20130813001904 Accept-Ranges=bytes Connection=close Content-Type=text/html Server=Apache/2.0.52 (Red Hat)
Metadata:

Recno:: 4
URL:: http://ebooks.adelaide.edu.au/index.html
CrawlDatum::
Version: 7
Status: 67 (linked)
Fetch time: Mon Aug 12 18:19:33 CEST 2013
Modified time: Thu Jan 01 01:00:00 CET 1970
Retries since fetch: 0
Retry interval: 2592000 seconds (30 days)

处理需求：
希望把Recno::1到Recno::2之间的内容，放入1.txt文件里面；
    把Recno::2到Recno::3之间的内容，放入2.txt文件里面；
就是把相邻2个Recno开头的行之间的内容放入第一个Recno::后跟的数字命名的txt文件中。
以此类推，要处理的文件很大，数百万行。
我的方法很土鳖，用while然后去判断行里是否有Recno开头。。。
希望有快速的处理速度
求各位大大支招。。。

HH106

awk -v RS='Recno::' '{file=$1;gsub($1,"");print >file".txt"}'  urfile

go2cxg

回复 2# HH106


    多谢老兄~
    处理大文件 时候报错

awk: program limit exceeded: maximum number of fields size=32767
        FILENAME="dump" FNR=640 NR=640

guogang225

回复 1# go2cxg

1. awk -vRS="Recno::" -vFS="\n" -vOFS="\n" 'NF>1{n=int($1);$1="";print $0>n".txt"}' urfile

复制代码

go2cxg

回复 4# guogang225


    抛出错误，awk: cannot open "1033.txt" for output (Too many open files)
    可能是因为打开了太多文件，没有关闭。

davidbeckham921

sed干这事是不是专业些。

guogang225

回复 5# go2cxg

Try this one

1. awk -vRS="Recno::" -vFS="\n" -vOFS="\n" 'NF>1{n=int($1);$1="";print $0>n".txt";close(n".txt")}' urfile

复制代码

cao627

1. awk '/Recno/{file=$2;next}{if(file)print $0>file".txt"}' file

复制代码

jason680

回复 5# go2cxg

modify from guogang225 with close function

and add other/debug information with yellow background color

# awk 'BEGIN{RS="Recno:: ";FS=OFS="\n"}NF>1{f=int($1)".txt";print RS$0 > f;close(f);print "output file: "f;c++}END{print "  Total files: "c}' Recno.log
output file: 0.txt
output file: 1.txt
output file: 2.txt
output file: 4.txt
  Total files: 4

   

reyleon

cao627 发表于 2013-08-29 11:56

1. Recno:: 0
   
2. URL:: http://digitalcollections.anu.edu.au/
   
3. CrawlDatum::
   
4. Version: 7
   
5. Status: 67 (linked)

复制代码

Recno:: 0 这段