请问如何用awk排序

dmidecode

回复 9# cao627


    $1 是数字， 1 ，2 ，3 ，4 ，5 ，209 , 1024 之类的，将他排下序，就这要求!

cao627

awk ‘!a[$1]++' file | wc -l
你的文件执行这条命令时们长不长,统计结果行数不多的话:
awk '{print >$1”.out"} file
再对生成的.out文件排序串起来
不知可行。@dmidecode

dmidecode

按你提供的命令来执行，速度比较快，原文件有 72197988 行，现在变成只有230行了，这个怎么回事呢？去重了？

#time awk '!a[$1]++' urls.sort |wc -l
230

real    0m37.646s
user    0m30.181s
sys     0m5.027s

cao627

$1 是数字， 1 ，2 ，3 ，4 ，5 ，209 , 1024 之类的

说明你的$1 只有 230个不同的数字

dmidecode

回复 14# cao627


重复行 不能删掉，希望保留，无非就是sort -k 1 这个功能拿到 awk 中来做

   

cao627

重复行 不能删掉，希望保留，无非就是sort -k 1 这个功能拿到 awk 中来做

awk '{print >$1”.out"} file  
这个命令作用就是在当前目录下生成230个文件（既然你的文件有10g，你的当前目录所在的分区要有10g以上空间），然后对72197988 行中的每个成员说：请你们走进属于自己的文件中去。

最后你按文件名的顺序串起这230个文件，就是你对72197988 行排序后的要求。

zdszdszds

文件非常大的shell层面处理不过来的，写程序排吧

qq5910225

弱弱的问句，sort不就是C写的，shell调用的很多都是C写的程序。。为啥还要用C写，难道大家还能写出比sort还强的程序？我觉得这种大文件只能用分布式的方法解决，多台并行处理，集中式单任务处理，你能快多少。。