统计文本中重复数值出现次数并排序

q1208c

回复 10# jason680

如果内存放得下, 那当然好解决了. 但很多时候, 我们遇到的都是内存放不下的数据.

所以, 我才推荐楼主用 sort uniq sort 这样的组合.
   

jason680

回复 11# q1208c

>>如果内存放得下, 那当然好解决了. 但很多时候, 我们遇到的都是内存放不下的数据.
>>所以, 我才推荐楼主用 sort uniq sort 这样的组合.
   
你不觉得毛盾?

如果内存放不下,那 sort ... FILE 可以执行成功?

如果不能成功
  你的方法,也没用...

如果可以成功,
1.要不是内存放得下--那就不是问题
2.要不就是OS系统置换swap --那也不是问题   

q1208c

回复 12# jason680

你可以试试.

我们曾经有4G内存的机器sort 100G的文件.

因为 sort 可以指定 tempdir 的.

这也是因为它的排序算法的原因. 它用的是 merge-sort 算法, 所以, 用临时文件对它来说, 影响最小.
   

jason680

回复 13# q1208c

谢谢. 这也是简单的特解之一...

thank you for your information that sort using temporary file
sort -n | uniq -c | sort -n -k2n
   

pitonas

大神 ~ {:2_172:}
4G内存的机器sort 100G的文件.
多久 时间  ~ {:2_170:}


回复 13# q1208c


   

xiumu2280

jason的意思是分割成数个文件吧····回复 13# q1208c


   

q1208c

回复 15# pitonas

我同事干的, 我也不知道.
   

q1208c

回复 16# xiumu2280

这其实带来了另外一个问题, 就是你怎么保证把同一个key放在同一个文件中. 如果先split文件再处理的话?


   

xiumu2280

通解
1. 大数据 solution 资料库,...
个别特解
2. 特别的解决方案--只适用本问题...
例: 先分组,再排序...
所有数据范围在 0 ~ 1 (不含1)
   分10组则为1/10 = 0.1 (先拆成十个文档)
  分5组则为1/5 = 0.2 (先拆成五个文档)


分文件的时候按如上规律
回复 18# q1208c


   

pitonas

大神 ~ {:2_172:}
机器 swap 多少 ?



回复 17# q1208c