shell怎么优化对大文件的排序

huang6894

前几天看了论坛中toniz 大大的关于perl大文件排序处理测试（与oracle外部表比较）
http://bbs.chinaunix.net/forum.p ... mp;fromuid=29097174
这个帖子提到对大文件分块后排序合并，如果我想用shell去合并排序处理两个超大文件，如果用sort的话肯定特费时间和内存，shell会不会有相关的方法可以优化排序呢。
比如我现在的两个大文件，每四行作为一部分，按照第二行的字母顺序排序（ABCDEFG....），如下：
——————————————
排序文件：
1.txt：
@12@vip.com#20120307/1
BCDBCDBD
+
AAAAAAAA
@18@vip.com#20120307/1
BBDACCDA
+
AAAAAAAA
...
2.txt
@14@vip.com#20120307/1
AABCCCCD
+
AAAAAAAA
@12@vip.com#20120307/1
BCACACAD
+
AAAAAAAA
...
————————————————
结果：
@14@vip.com#20120307/1
AABCCCCD
+
AAAAAAAA
@18@vip.com#20120307/1
BBDACCDA
+
AAAAAAAA
@12@vip.com#20120307/1
BCACACAD
+
AAAAAAAA
@18@vip.com#20120307/1
BBDACCDA
+
AAAAAAAA
。。。。。
----------------------------------
我尝试首先把四行处理成一行，然后用split分割成N个文件，几个几个的比较。。。结果当然不理想，因为实在太慢太慢了。。。
只好来求各位高手帮忙了~谢谢大大~

rdcwayx

你要不看看awk 的冒泡排序？

其实shell里sort命令算是快的了。

1. xargs -n4 < infile |sort -k2 |xargs -n1
   
2. @14@vip.com#20120307/1
   
3. AABCCCCD
   
4. +
   
5. AAAAAAAA
   
6. @18@vip.com#20120307/1
   
7. BBDACCDA
   
8. +
   
9. AAAAAAAA
   
10. @12@vip.com#20120307/1
    
11. BCACACAD
    
12. +
    
13. AAAAAAAA
    
14. @12@vip.com#20120307/1
    
15. BCDBCDBD
    
16. +
    
17. AAAAAAAA

复制代码

damcool

好像叫新版本的sort有对大文件排序优化参数。man一下就可以知道。

huang6894

回复 3# rdcwayx


    文件实在太大了，我想试试多路归并的方法，可是一直找不到窍门。。。

huang6894

回复 4# damcool


    有具体的实现方法吗？

damcool

huang6894 发表于 2013-10-14 13:01
回复 4# damcool

先说一下文件格式。是否第三四行总是一样？再说一下文件大小或者数据规模。这样可能比较好考虑你的问题。

huang6894

回复 7# damcool


    第三第四行不影响全局的吧~文件大概是6个G的样子。
   我用了一个很笨的方法去处理，总觉得乖乖的。。。

1. #!/bin/sh
   
2. #$ -S /bin/sh
   
3. 
   
4. fq="$1"
   
5. 
   
6. split -l 2000000 -d $fq use
   
7. for i in `ls ./use*`
   
8. do
   
9. paste -sd '\t\t\t\n' $i>$i".fq"
   
10. sort -k2 $i".fq" >$i".fq.sort"
    
11. rm $i $i".fq"
    
12. done
    
13. 
    
14. sort -m *fq.sort >result.fq
    
15. rm *fq.sort
    

复制代码

而且如果我要还原回去原来的格式 sed 's/\t/\n/g' result.fq太费CPU了。。。那么整个脚本就没意义了