更新百万行的文件

perlw01f

win环境

1. old.log

内容
一部分如下
"\d{12}"        "\d{8}"        "\w{32}"         "balabala"..."balabala"
还有一部分 跟上面的差异就是第三列是空

两种格式的内容 混合排列 无规律
共1M行

现在有
2. update.log
两列
"\d{12}"        "\w{32}"
是对old.log中那些第三列为空的数据的对应补充  当然old.log.d{12}=update.log.d{12}

现在想把update.log中的内容插入到old中的对应行对应列中
而old.log中第三列不为空 的数据不变

实现不难 难的是效率太低了 几分钟才更新了几十行
我是用数组循环+Tie::File实现的

请教有没有 效率好点的办法
多谢

cobrawgl

估计你是更新完一行就写一行吧

toniz

:wink:
笨办法  把两张表导入到数据库，更新后再导出。

perlw01f

在 Tie::File中 用s///的办法 效率太低了
两张表导入到数据库。。。这样的文件还有不少呢。。。 导入也慢啊

toniz

呵呵  
对于固定格式的文件  我比较喜欢这样做   比较省心 O(∩_∩)O
我用的是oracle，用load比import快多了。

或者你可以把你的代码贴出来大家看看，不然不知道你的资源消耗在那里

toniz

要不你试下用OPEN吧
遍历文件1，如果1的第3列为空就检查文件2是否有对应的数据，有就整合后保存进一个数组，如果第3列不为空就直接存入数组。
数组满一定数量（看你的机器性能了）就写入文件，清空数组。

:wink:

perlw01f

#!/usr/bin/perl #update.log #old.log use strict; use warnings; use Tie::File; $|++; my (@f1, @f2); tie @f1, 'Tie::File', "old.log" or die "Die!\n"; tie @f2, 'Tie::File', "update.log" or die "Die!\n"; for my $j (0..$#f2) {     chomp($f2[$j]);     my ($id1, $id3)= ($f2[$j]=~ m/^(\d+)\t(\w{32})/); #分隔update.log中的两列数据     for my $i (0..$#f1) {         chomp($f1[$i]);         if ($f1[$i]=~ m/'$id1.*?\'(\d+)\'\t''/) {     #匹配old.log中第三列为空           my $match= $&;           my $id2= $1;           $f1[$i]=~ s/$match/\'$id1\'\t\'$id2\'\t\'$id3\'/; #替换对应的第三列           last;         }     }     $f2[$j]= undef; #去掉update.log中更新了的数据 } untie @f1; untie @f2;

初学后进
多谢

[ 本帖最后由 perlw01f 于 2010-1-26 19:40 编辑 ]

cobrawgl

你用了两个 for， 当然会慢了，你不如听三楼的意见了

perlw01f

多谢楼上 可否不借助MySQL之类的。。。那个倒是简单，把col1作为 primary key
update table1 set table1.col3=table2.col2 where table1.col1=table2.col1 and table1.col3='';
可是import估计有困难，数据库太大了 这样的old.log估计有好几个G 不知道效率是不是也会很低。。。

toniz

you may try this::wink:

1. 
   
2. #!/usr/bin/perl
   
3. use strict;
   
4. 
   
5. open FILE1,"old.log" or die "can't open file: old.log .$!";
   
6. open FILE2,"update.log" or die "can't open file: update.log .$!";
   
7. open FILE3,">>result.log" or die "can't open file: update.log .$!";
   
8. my  @result;
   
9. my $count = 0;
   
10. while (my $tmp = <FILE1>) {
    
11.   my ($col1,$col2,$col3) = ($tmp =~/^(\d+)\t(\d+)\t(.*?)\t/);
    
12.   if(!$col3){
    
13.     seek (FILE2,0,0);
    
14.     my @rp = grep /^$col1/,<FILE2>;
    
15.     my $rp = pop @rp;
    
16.     my $rp_c3= $1 if($rp =~ /^\d+\t(\w{32})/);
    
17.     $tmp =~ s/(^\d+\t\d+\t).*?(\t.*)/$1$rp_c3$2/;
    
18.   }
    
19.   push @result,$tmp;
    
20.   $count++;
    
21.   if($#result >2){
    
22.     print FILE3 @result;
    
23.     $count = 0;
    
24.     @result=();
    
25.   }
    
26. }
    
27. print FILE3 @result;
    
28. close FILE1;
    
29. close FILE2;
    
30. close FILE3;
    

复制代码

old.log FILE content

234132454594        39809871        dsoiniunlwiauwefjaopdfiasufiofps        balabala        bwrtla        balabala
234132454594        39588771                balabala        bartrbala        balabala
111111222212        12345771                balabala        bartrbala        balabala
158873235456        31267809                balabala        bartrbala        balabala

update.log FILE content

123248980898        ooireoiroeooooiqoiepqeirpoooppqe
111111222212        sadfadaeferteawteaetwetatawdfase
158873235456        dsoiniunlwiauwefjaopdfiasufiofps

result.log

234132454594        39809871        dsoiniunlwiauwefjaopdfiasufiofps        balabala        bwrtla        balabala
234132454594        39588771                balabala        bartrbala        balabala
111111222212        12345771        sadfadaeferteawteaetwetatawdfase        balabala        bartrbala        balabala
158873235456        31267809        dsoiniunlwiauwefjaopdfiasufiofps        balabala        bartrbala        balabala

[ 本帖最后由 toniz 于 2010-1-27 10:33 编辑 ]