shell（sed、awk）处理大数据的文件

yinyuemi

你的问题是数据太大，
下面的代码应该能满足你要求，不过这么大的数据awk处理起来，不知情况会如何，

awk '{a[$0]++}END{for (i in a) print a[i],i|"sort -nr|head"}'

compare2000

你的问题是数据太大，
下面的代码应该能满足你要求，不过这么大的数据awk处理起来，不知情况会如何，

a ...
yinyuemi 发表于 2011-02-22 15:50

    很慢的。
   记得以前用了一上午的时间拷贝无序的500G测试数据文件，脚本跑了老长。

fllintel

只用shell 不管怎么写都不会快啊, 可以用hadoop 来做 但那不是shell......

chenbin200818

11楼 如果是小数据 可以;
可如果向你这样， 你考虑过 数祖边界吗

kelehaier

1. sort file | uniq -c | sort -k1rn | head -10 | awk '{print $2;}'

复制代码

试试看