大文件排序问题

redspider

需要用perl对比较大的文本文件(50M以上)按行排序，全部读入内存操作似乎不太合适，请教一个比较好的方法。thanks

apile

看不懂你的問題.....麻煩寫清楚一點....

Qiang

我猜,我猜, 我猜猜猜.... hehe

你 while (<FiH> 就是一行行的读. 要排序的话, 你可以把决定排序的那部分从每行提出来放到一个 hash 里, 相对应行数. 然后你在对 hash 里的那部分排序即可. 看你具体问题可以具体提高.

redspider

一个比较大的文本文件(约5,000,000行)，需要把这个文件排一下序，若全部读入内存操作的话，要占用非常多的内存，怎样做才能使用较少的内存进行操作。

apile

你的問題..只有你看得懂...看不懂你在問什麼?
沒有例子..沒有說明..天曉得你所說的排序的規則是什麼?
對什麼樣的數據排序?

歪把梨

全部读入内存中是不行的，你可以将数据输入数据库，在库里输出，这样比较快；或者你将文件分割为几部分，分别排序，然后再进行汇总排序。
上面只是一个思路。

redspider

感谢 thank

redspider

原帖由 "apile" 发表：
你的問題..只有你看得懂...看不懂你在問什麼?
沒有例子..沒有說明..天曉得你所說的排序的規則是什麼?
對什麼樣的數據排序?

普通的ASCII字符文件，例如这个：

1. ygeafy1654
   
2. 682faweew faew           867
   
3. reft        swf         7       fa
   
4. ewfawe
   
5. 987
   
6. faewf a         erfawef
   
7. .
   
8. .
   
9. .
   

复制代码

以ASCII编码顺序，按行排序

apile

可以考慮..按字頭分成不同文件...在一個個文件去排序...
會比較省ram...
真的要快..得用數據庫...

北京野狼

[quote]原帖由 "redspider"]ASCII编码顺序，按行排序[/quote 发表：


一次读到内存是最好的办法,内存不够就不该干大文件排序这样的事情

只做一次这样的操作,用数据库只会更慢