求合并行的程序

anypager

从文件读入将所有以\r\n为结尾的行与下一行合并，怎么写效率最高？

\r\n把原本是一行的数据辟成了两行，只有\n的无需合并

谢谢

yovn

1. 
   
2.                 FileInputStream in=new FileInputStream("D:\\test\\gentree\\ReadMe.txt");
   
3.                 OutputStream out=new BufferedOutputStream(new          FileOutputStream("D:\\test\\gentree\\ReadMe2.txt"));//to save the merged file
   
4.                 FileChannel inchannel=in.getChannel();
   
5. 
   
6.                
   
7.                 int BUF_SIZE=4096;
   
8.                
   
9.                 ByteBuffer buffer = ByteBuffer.allocate(BUF_SIZE);
   
10.                 boolean remainR=false;
    
11.                 _outer:
    
12.                 while (inchannel.read(buffer) > 0) {
    
13.                         buffer.flip();
    
14.                         while (buffer.hasRemaining()) {
    
15.                                 byte b = buffer.get();
    
16.                                 remainR=false;
    
17.                                 if (b == '\r') {
    
18. 
    
19.                                         if (buffer.hasRemaining()) {
    
20.                                                 byte next = buffer.get();
    
21.                                                 if (next != '\n') {
    
22.                                                         out.write(b);
    
23.                                                         out.write(next);
    
24.                                                 }
    
25. 
    
26.                                         } else {
    
27. 
    
28.                                                 buffer.rewind();
    
29.                                                 buffer.put((byte)b);
    
30.                                                 remainR=true;
    
31.                                                 continue _outer;
    
32.                                         }
    
33.                                 } else {
    
34.                                         out.write(b);
    
35.                                 }
    
36.                         }
    
37.                         buffer.rewind();
    
38.                
    
39.                        
    
40.                 }
    
41.                 if (remainR) {
    
42.                         out.write('\r');
    
43.                 }
    
44. 
    
45.                 out.flush();
    
46.                
    

复制代码

汗一个，这个是最终版了

[ 本帖最后由 yovn 于 2007-10-18 11:16 编辑 ]

anypager

有问题，原本没有折断的行被折断了。

艾斯尼勒

正则替换

String.replace()??
看看api doc

kakasi

原帖由 艾斯尼勒 于 2007-10-17 23:37 发表
正则替换

String.replace()??
看看api doc

没错，一个replaceAll就搞定了，注意转义字符

yovn

OK，改了一下，这次测试正常。

LS的，replaceAll得是String对象上的，等你从文件里读出来就已经丢失了\r\n的信息了，就是说你不知道是 \n还是\r\n.

再说，从算法的角度来考虑，replaceAll是字符串匹配的，KMP效率也才O(p+n),而不用可以O（n）

[ 本帖最后由 yovn 于 2007-10-17 23:12 编辑 ]

kakasi

，没错，效率比较差，简单嘛。
不过“等你从文件里读出来就已经丢失了\r\n的信息了”是什么意思？
nio都会使用了，似乎不应该有这样的看法咯～

yovn

原帖由 kakasi 于 2007-10-17 23:26 发表
，没错，效率比较差，简单嘛。
不过“等你从文件里读出来就已经丢失了\r\n的信息了”是什么意思？
nio都会使用了，似乎不应该有这样的看法咯～

replaceAll是针对String的，你得读出一个String吧，那么你如何读呢？
你应该是要一个BufferedReader.nextLine()类似的接口吧?
ok，这个函数返回的String已经不包含\r\n了.
这样不行,你可能也考虑read一个byte[]然后new String了吧,你得小心不要分开读\r\n.
看完这个你还坚持replaceAll可以很好解决这个问题,那我们实在没有必要讨论下去了,没有交集!

anypager

好像还是有问题只能处理4096的数据量

kakasi

争论是没有必要的，我只是说读取文件的基本思想是保证完整地再现文件的内容而已。
特别在这种需要考虑到不同的换行符的情况下，是不可能使用readline函数的。