超长文本的字串替换问题

Neo98

文本就一行  有2W多个字符  超出AWK上限了
有何好办法 用脚本的方法替换字串?

zhanglipeng

perl

angle4

awk 有上限？？

awk 处理的上限只和内存大小有关吧

lululau

啥版本的awk呀
我的完全没有问题阿
lululau@localhost: ~ $ ruby -e '
20000.times {|x|print "a"}' | gawk '{gsub(/./,"&&")}1' | wc -c
   40001
lululau@localhost: ~ $ ruby -e '
20000.times {|x|print "a"}' | awk '{gsub(/./,"&&")}1' | wc -c
   40001

haimming

想过dd + sed,但不能确定会不会：

被替换的字符串从中间被切割而导致漏了呢？

请高手指示一二

haimming

因为是行处理，有可能会出现这样的问题的，和内存有关，试了下内存不够会显示
awk: cmd. line:1: (FILENAME=data FNR=1) fatal: set_record: databuf: can't allocate 1073741824 bytes of memory (Cannot allocate memory)
sed 也一样
我73xM的空余，处理了840M的文件

cxfcxf

perl的read
你要做什么呢

1. 
   
2. development:~# cat read.pl
   
3. #!/usr/bin/perl
   
4. 
   
5. use strict;
   
6. use warnings;
   
7. 
   
8. my $string;
   
9. 
   
10. while((read DATA,$string,10) != 0){
    
11.     print "$string\n\n";
    
12. }
    
13. 
    
14. __DATA__
    
15. dhsafhaklfdj;lasfjlkafjlkasd;falkdfhlkasdfhlsfhlFRLKfhlsFHLfhsDFHlfjlSFJLsfdjSJLKSjJfSDFJdf;sF;JKSfjlsfJKLF
    

复制代码

1. 
   
2. development:~# ./read.pl
   
3. dhsafhaklf
   
4. 
   
5. dj;lasfjlk
   
6. 
   
7. afjlkasd;f
   
8. 
   
9. alkdfhlkas
   
10. 
    
11. dfhlsfhlFR
    
12. 
    
13. LKfhlsFHLf
    
14. 
    
15. hsDFHlfjlS
    
16. 
    
17. FJLsfdjSJL
    
18. 
    
19. KSjJfSDFJd
    
20. 
    
21. f;sF;JKSfj
    
22. 
    
23. lsfJKLF
    
24. 
    

复制代码

cxfcxf

发重复了

Minsic

装个gawk吧，就没这问题了

haimming

帮顶，主要想引申一下：
如果一文件只有一行，而且文件大于内存，这时sed,awk都会处理不了，只能分割，但分割可能存在将要替换的字符串割开，怎么处理？

想法有些bt

想到一个：先分割处理，合并后重新分割，再对先前分割处单独处理
再合并
有更好的方法不？

[ 本帖最后由 haimming 于 2009-11-12 00:02 编辑 ]