大数据排序提取指定字段对应的指定函数的值

narcissusLin

请问大神，我有一份大文件，表头是：名称-时间戳-日期-流量值
我想根据“每个“名称】获得获得它的流【流量值】降序排序第300个值，最后打印出来：【名称-第300个最大值】，想要获得这个结果怎么写
我用到了sort -k1,1,-k4,4nr这样语句
但是因为【名称】特别多，所以排序非常忙

想大神帮帮忙，看看怎么优化

备注：我截取了部分基础数据在附件

narcissusLin

写错别字了：
我用到了sort -k1,1,-k4,4nr这样语句
但是因为【名称】特别多，所以排序非常  【【慢】】
想优化下时间

narcissusLin

回复 3# 本友会机友会摄友会

不是很明白，我使用shell脚本对该文件进行的处理，具体应该要怎么操作，帮忙详解下，谢谢~

narcissusLin

回复 5# 本友会机友会摄友会

啊 可是我这文件不在数据库里面啊，只是服务器上的一份文件，也能用sql语句？

wh7211

回复 1# narcissusLin


<<<awk4.0

1. awk -F"|" '{a[$1]=--i;b[$1][$4]=$4}END{PROCINFO["sorted_in"]="@val_num_desc";for(i in a){for(j in b[i]){++k;if(k==300){print i,j}};k=0}}' 1

复制代码

narcissusLin

回复 7# wh7211

谢谢大神，不过请教一下a[$1]=--i是什么意思

另外如果想一次性输出第300个值和第400个2个值到一份文件怎么办？


最终结果格式是：名称，第300个最大值，第400个值。

麻烦再教一下，万分感谢

narcissusLin

回复 7# wh7211

刚刚复制了代码是了下，发现提示错误这样是表示我的shell没有办法用awk 4.0嘛？

csccyab

Python 版本

我用小數據來演示, 把人名和流量放進 dictionary, 打印第三大流量值

1. $ cat test.txt
   
2. peter|23123123|2018-10-01|107
   
3. peter|23123123|2018-10-01|100
   
4. peter|23123123|2018-10-01|101
   
5. peter|23123123|2018-10-01|99
   
6. peter|23123123|2018-10-01|105
   
7. peter|23123123|2018-10-01|88
   
8. peter|23123123|2018-10-01|121
   
9. peter|23123123|2018-10-01|76
   
10. mary|23123123|2018-10-01|12
    
11. mary|23123123|2018-10-01|15
    
12. mary|23123123|2018-10-01|18
    
13. mary|23123123|2018-10-01|50
    
14. mary|23123123|2018-10-01|22
    
15. mary|23123123|2018-10-01|11
    
16. 
    
17. $ python test.py
    
18. peter
    
19. ('Original list: ', ['107', '100', '101', '99', '105', '88', '121', '76'])
    
20. ('Sorted list: ', ['121', '107', '105', '101', '100', '99', '88', '76'])
    
21. ('The third in the list: ', '105')
    
22. mary
    
23. ('Original list: ', ['12', '15', '18', '50', '22', '11'])
    
24. ('Sorted list: ', ['50', '22', '18', '15', '12', '11'])
    
25. ('The third in the list: ', '18')
    

复制代码

代碼

1. import re, collections
   
2. 
   
3. dict1 = collections.defaultdict(list)
   
4. 
   
5. f = open("test.txt", "r")
   
6. 
   
7. for line in f:
   
8.    p = re.match("(.+)\|.+\|.+\|(.+)", line)
   
9.    if p:
   
10.       dict1[p.groups()[0]].append(p.groups()[1])
    
11. 
    
12. for i in dict1:
    
13.    print(i)
    
14.    print("Original list: ", dict1[i])
    
15.    print("Sorted list: ", sorted(dict1[i], key=lambda x:int(x), reverse=True))
    
16.    print("The third in the list: ", sorted(dict1[i], key=lambda x:int(x), reverse=True)[2])
    

复制代码