[练习] 合并行，并对值求和

rubyish

问题 1:
有一个文件,内容如下：
A         B                    C                D            E
1        20010201        100610        1.12        6000
1        20010201        100610        1.12        44000
1        20010201        100640        1.12        6000
2        20010201        100825        1.09        30000
2        20010201        100828        1.08        20000
2        20010201        100828        1.08        6000
1        20010202        100610        1.12        6000
1        20010202        100610        1.12        44000
2        20010202        100640        1.12        6000
3        20010202        100825        1.09        30000
3        20010202        100828        1.08        20000
3        20010202        100828        1.08        6000

当某些行的A，B和C列同时匹配时，合并匹配行并把E列的值相加。
其他列的值保持不变。

预期结果是：

A        B                     C                D            E
1        20010201        100610        1.12        50000
1        20010201        100640        1.12        6000
2        20010201        100825        1.09        30000
2        20010201        100828        1.08        26000
1        20010202        100610        1.12        50000
2        20010202        100640        1.12        6000
3        20010202        100825        1.09        30000
3        20010202        100828        1.08        26000

问题 2: 文件 size 有 50G 的时候, 如何 code?

ddd010

1. #!/usr/bin/ruby -w
   
2. 
   
3. aR=[]
   
4. 
   
5. DATA.each_line.map(&:chomp).each do |a|
   
6.   taR=a.split(/\s+/)
   
7.   isOK = false
   
8.   aR.each do |b|
   
9.     if b[0]==taR[0] && b[1]==taR[1] && b[2]==taR[2] && b[3]==taR[3]
   
10.       b[4] = b[4].to_i+taR[4].to_i
    
11.       isOK = true;
    
12.       #return
    
13.     end
    
14. 
    
15.   end
    
16. 
    
17.   aR<<taR if isOK==false
    
18. end
    
19. 
    
20. aR.each {|x|
    
21.   print x[0],?\t,x[1],?\t,x[2],?\t,x[3],?\t,x[4],?\n
    
22. }
    
23. 
    
24. __END__
    
25. 1        20010201        100610        1.12        6000
    
26. 1        20010201        100610        1.12        44000
    
27. 1        20010201        100640        1.12        6000
    
28. 2        20010201        100825        1.09        30000
    
29. 2        20010201        100828        1.08        20000
    
30. 2        20010201        100828        1.08        6000
    
31. 1        20010202        100610        1.12        6000
    
32. 1        20010202        100610        1.12        44000
    
33. 2        20010202        100640        1.12        6000
    
34. 3        20010202        100825        1.09        30000
    
35. 3        20010202        100828        1.08        20000
    
36. 3        20010202        100828        1.08        6000
    

复制代码

感觉写的好丑，还需要加强学习才行。
下次改进。

ddd010

回复 3# Sevk


另外我发现我的代码有以下问题：
1，不需要chomp；
2，each中应该是直接返回，现在没有做；不知道怎么返回,求指教！！
3，我认为这段应该有更好的处理方式：

1.     if b[0]==taR[0] && b[1]==taR[1] && b[2]==taR[2] && b[3]==taR[3]
   
2.       b[4] = b[4].to_i+taR[4].to_i
   
3.       isOK = true;
   
4.       #return
   
5.     end

复制代码

PS：我就是用的each_line，你的意思是read更好？

ddd010

下面代码修改了上个贴子说的三个问题，在第二个each中我发现break和next都能退出。
这儿有什么区别呢？？？

1. #!/usr/bin/ruby -w
   
2. 
   
3. aR=[]
   
4. aI =0
   
5. 
   
6. DATA.each_line do |a|
   
7.   taR=a.split(/\s+/)
   
8.   isOK = false
   
9.   aR.each do |b|
   
10.     if b[0]==taR[0] && b[1]==taR[1] && b[2]==taR[2] && b[3]==taR[3]
    
11.       b[4] = b[4].to_i+taR[4].to_i
    
12.       isOK = true;
    
13.       #next
    
14.       break
    
15.     end
    
16.     aI+=1
    
17. 
    
18.   end
    
19. 
    
20.   aR<<taR if isOK==false
    
21. end
    
22. 
    
23. aR.each {|x|
    
24.   print x[0],?\t,x[1],?\t,x[2],?\t,x[3],?\t,x[4],?\n
    
25. }
    
26. puts aI
    
27. 
    
28. __END__
    
29. 1        20010201        100610        1.12        6000
    
30. 1        20010201        100610        1.12        44000
    
31. 1        20010201        100640        1.12        6000
    
32. 2        20010201        100825        1.09        30000
    
33. 2        20010201        100828        1.08        20000
    
34. 2        20010201        100828        1.08        6000
    
35. 1        20010202        100610        1.12        6000
    
36. 1        20010202        100610        1.12        44000
    
37. 2        20010202        100640        1.12        6000
    
38. 3        20010202        100825        1.09        30000
    
39. 3        20010202        100828        1.08        20000
    
40. 3        20010202        100828        1.08        6000
    

复制代码

ddd010

在Programming Ruby的358页中提到：
无论在那种block中，next语句将退出block，block的值就是传递给next的值，如果没有值传递给next，则为nil。
在raw proc中，break语句可以终止调用block的方法。方法的返回值为传递给break的参数。

在Programming Ruby的104页中提到：
break终止最接近的封闭循环体，然后执行block后面的语句。redo从循环头重新执行循环，但不重计算循环条件表达式或者获得迭代中的下一个元素。next跳到本次循环的末尾，并开始下一次迭代。

综上所述，我应该用next。break在第二个each中其作用其原因是，第二个each block本身就是一个循环。

ddd010

再改下：

1. #!/usr/bin/ruby -w
   
2. 
   
3. aR=[]
   
4. 
   
5. DATA.each_line do |a|
   
6.   taR=a.split(/\s+/)
   
7.   isOK = false
   
8.   aR.each do |b|
   
9.     if b[0..3]==taR[0..3]
   
10.       b[4] = b[4].to_i+taR[4].to_i
    
11.       isOK = true
    
12.       next
    
13.     end
    
14.   end
    
15. 
    
16.   aR<<taR if isOK==false
    
17. end
    
18. 
    
19. aR.each { |x|
    
20.   print x[0], ?\t, x[1], ?\t, x[2], ?\t, x[3], ?\t, x[4], ?\n
    
21. }
    
22. 
    
23. __END__
    
24. 1        20010201        100610        1.12        6000
    
25. 1        20010201        100610        1.12        44000
    
26. 1        20010201        100640        1.12        6000
    
27. 2        20010201        100825        1.09        30000
    
28. 2        20010201        100828        1.08        20000
    
29. 2        20010201        100828        1.08        6000
    
30. 1        20010202        100610        1.12        6000
    
31. 1        20010202        100610        1.12        44000
    
32. 2        20010202        100640        1.12        6000
    
33. 3        20010202        100825        1.09        30000
    
34. 3        20010202        100828        1.08        20000
    
35. 3        20010202        100828        1.08        6000

复制代码

rubyish

Sevk 发表于 2014-01-19 09:28
这里each比read好。read会把整个文件读入内存，如果有8G， 就把内存吃光了。

3 Q ~ ~ ~