多个文件内容的合并，排序，查重

Fermaa

现有文件a与b，需要将其内容进行整体的查重、排序处理。最终将出现次数>3的内容写到c，=<3的内容写到d中。
问题如下：
#cat a.txt                                 sort a.txt | uniq -c
13899188818                           3 13365250916
13977652354                           6 13899188818
13899188818                           3 13977652354
13365250916
13899188818
13899188818
13365250916
13899188818
13977652354
13899188818
13977652354
13365250916
-----------------
#cat b.txt                                 sort b.txt | uniq -c
13365250916                           4 13365250916
15220160525                           3 13616498281
13616498281                           5 15220160525
15220160525
15220160525
13365250916
13365250916
13616498281                                                                     
13365250916
15220160525
15220160525
13616498281                                                      
--------------------------------------
最终想达到这样的效果                                    求大神指点！！！！！
#cat c.txt
7 13365250916
6 13899188818
5 15220160525
#cat d.txt
3 13616498281
3 13977652354

liion631818

回复 1# Fermaa

1. sort A B | uniq -c | grep -P '^ *[1-3] ' >d

复制代码

1. sort A B | uniq -c | grep -Pv '^ *[1-3] ' >c

复制代码

jason680

$ awk '{++a[$1]}END{for(n in a){f=a[n]>3?"c":"d";print a[n],n > f".txt"}}' a.txt b.txt

$ cat c.txt
6 13899188818
5 15220160525
7 13365250916

$ cat d.txt
3 13616498281
3 13977652354

haooooaaa

1. awk '{a[$1]++}END{for(i in a)print a[i]"\t"i|"sort -k1nr>"(a[i]>2?"max":"min")}'

复制代码

patagonia2

回复 3# liion631818

非常感谢大神指点
   

lll1985911

回复 1# Fermaa


    不能将a和b两个文件合并为一个文件，然后再整体查重、排序处理么？

1. cat a.txt b.txt | sort | uniq -c | awk '$1>3{print > "c.txt";next} {print > "d.txt"}'

复制代码

不知道我理解的对不对！

Fermaa

这个方法也对。实际中的文件更大可能合并之后会很慢回复 7# lll1985911