急，有详细的说明，2个文本求和及合并的shell问题

wzl189189

假如有个学生表  第一列是学号  第二列是选课的名称  第三列是考试的分数
a.txt

11111        tom        30
11111        tom        80
22222        jerry        33
22222        jerry        57
33333     jerry        22

下面这个是  第一列是学号  第二列是选课的名称  第三列是考试的总分
b.txt
11111        tom        100       
22222        jerry        100
33333         jerry        100
44444        merry        100


    由于数据量比较大所以希望的结果如下
结果一： 根据上面的a.txt 和b.txt 列出每个学生的最后加和，如果不在a.txt中就是0
11111        tom        100        110
22222        jerry        100        90
33333        jerry        100        22
44444        merry        100        0
结果二： 在结果1的基础上找出考试加和大于总分的行。
11111        tom        100        110
结果三： 在结果1中找出 加和与总分小于等于10的行
22222        jerry        100        90

这个shell可以合并写，也可以分开单独分别写 ，因为数据量大，所以shell的效率要高

q1208c

楼主的需求其实很简单, 把学生的成绩插入数据库, 然后, 你想要什么结果, 基本上是分分钟的事.

yestreenstars

1. $ awk -vOFS='\t' '{t=$1"\t"$2}NR==FNR{a[t]+=$3;next}{b[t]+=$3}END{for(i in b)printf "%s\t%d\t%d\n",i,b[i],a[i];print "";for(i in a)if(a[i]>b[i])print i,b[i],a[i];print "";for(i in b)if((b[i]-a[i]>=0)&&(b[i]-a[i]<=10))printf "%s\t%d\t%d\n",i,b[i],a[i]}' a.txt b.txt
   
2. 33333   jerry   100     22
   
3. 44444   merry   100     0
   
4. 22222   jerry   100     90
   
5. 11111   tom     100     110
   
6. 
   
7. 11111   tom     100     110
   
8. 
   
9. 22222   jerry   100     90

复制代码

Herowinter

回复 2# q1208c
其实我也觉得是数据库该管的事，
除非楼主有什么特别的原因。

   

rulebook

结果1

1. awk 'NR==FNR{a[$1" "$2]=$3;next}{b[$1" "$2]=b[$1" "$2]?b[$1" "$2]+$3:$3}END{for(i in a){s=b[i]?b[i]:0;print i" 100 "s}}' b.txt a.txt

复制代码

结果2

1. awk 'NR==FNR{a[$1" "$2]=$3;next}{b[$1" "$2]=b[$1" "$2]?b[$1" "$2]+$3:$3}END{for(i in a){s=b[i]?b[i]:0;print i" 100 "s}}' b.txt a.txt | awk '$4>100'

复制代码

结果3

1. awk 'NR==FNR{a[$1" "$2]=$3;next}{b[$1" "$2]=b[$1" "$2]?b[$1" "$2]+$3:$3}END{for(i in a){s=b[i]?b[i]:0;print i" 100 "s}}' b.txt a.txt | awk '$4<=100&&$4>=90'

复制代码

wzl189189

谢谢大家的提醒，但是我这里因为成本等原因，只能用shell分析

wzl189189

数据量比较大，每天可能有几千万或上亿条数据进行分析，所以定下来用shell了

wzl189189

回复 3# yestreenstars

谢谢啊，这个太精炼了,还没有看懂，我这个例子是用 '\t‘ 做分隔符的，你这个能不能对不通过的结果 拆成不同的shell 啊?

   

q1208c

回复 7# wzl189189

这个级别的数据量, 必须是数据库.

shell 处理, 如果中间出错, 你查都没的查. 只能重头来过.

我不是太明白, 数据库要什么成本?
mysql 收你钱了?
   

wzl189189

回复 5# rulebook

谢谢啊，不过有点问题，就是
01.awk 'NR==FNR{a[$1" "$2]=$3;next}{b[$1" "$2]=b[$1" "$2]?b[$1" "$2]+$33}END{for(i in a){s=b?b:0;print i" 100 "s}}' b.txt a.txt


    1、   print i" 100 "s   这个你是固定，不是取b.txt中的第三列的值，第三例的值会变化的  
   2、  结果的字段能否用'\t'  既制表符。