大文件处理的设计问题

tuyajie

各位大神，想请教一个大文件处理的问题。我有一个20G的CSV文件，有400列左右。
我想做一些基本的数据质量检查操作,比如判断这列是小数还是整数还是字符串，如果是数字型，输出每一列的最大值，最小值，平均值，以及NULL的数量

我写了个基本的awk。但是性能很差。4个小时还是没有输出。
我能想到的基本的优化是切割文件，split或者cut。我目前在试验cut的效能。
想请教各位大神遇到这种问题有没有别的思路能把性能提高一些？语言可以不限制。当然shell最好。

1. 
   
2. awk 'BEGIN{FS=",";OFS=",";getline}
   
3. {for(i=3;i<=NF;i++){
   
4.     if($i=="" ){$i=0;nullCnt[i]++};
   
5.     if($i>=max[i])(max[i]=$i);
   
6.     if($i<=min[i])(min[i]=$i);
   
7.     sum[i]=sum[i]+$i}
   
8. }
   
9. END{for(i in max)print i,max[i],min[i],sum[i],nullCnt[i],NR}' inputFile> result
   

复制代码

lcz88990200

对于大文件（100M以上），如需进行判断和运算，不建议使用SHELL，速度太慢了。
有一次我处理15G的文本，用SHELL花了3个多小时，后使用C进行处理，10多秒就出来了。

zsszss0000

看来C还是非常重要的，性能之王啊 回复 2# lcz88990200


   

tuyajie

能分享下你的脚本么。我的C是入门中的入门回复 2# lcz88990200


   

aswjh

用go语言做了一个,不太熟,看看性能如何
用gccgo -g -o test test.go -O3比go的默认编译器要快30%

1. 
   
2. package main
   
3. 
   
4. import (
   
5.     //"runtime"
   
6.     "fmt"
   
7.     "os"
   
8.     "bufio"
   
9.     "io"
   
10.     "strings"
    
11.     "strconv"
    
12. )
    
13. 
    
14. func run(fn string) {
    
15.     fp, err := os.Open(fn)
    
16.     defer fp.Close()
    
17.     MAXCOL := 500
    
18.     max := [500]int{}
    
19.     min := [500]int{}
    
20.     sum := [500]int{}
    
21.     empty := [500]int{}
    
22.     nr, colcnt := 0, 0
    
23.     if err == nil {
    
24.         buf := bufio.NewReader(fp)
    
25.         bufio.NewReaderSize(buf, 6553600)
    
26.         for {
    
27.             data, _, err := buf.ReadLine()
    
28.             if err != nil || err == io.EOF {
    
29.                 break
    
30.             }
    
31.             nr++
    
32.             if nr%1000000==0 {
    
33.                 fmt.Println("处理到:", nr, "行")
    
34.             }
    
35.             cols := strings.Split(string(data), ",")
    
36.             leng := len(cols)
    
37.             for c := 3; c < leng; c++  {
    
38.                 num, err := strconv.Atoi(cols[c])
    
39.                 if c > colcnt {
    
40.                     if err == nil {
    
41.                         max[c], min[c], sum[c] = num, num, num
    
42.                     } else {
    
43.                         empty[c] = 1
    
44.                     }
    
45.                     colcnt = c
    
46.                 } else {
    
47.                     if err == nil {
    
48.                         if num > max[c] {
    
49.                             max[c] = num
    
50.                         } else if num < min[c] {
    
51.                             min[c] = num
    
52.                         }
    
53.                         sum[c] += num
    
54.                     } else {
    
55.                         min[c] = 0
    
56.                         empty[c]++
    
57.                     }
    
58.                 }
    
59.             }
    
60.             for c := leng; c< MAXCOL; c++ {
    
61.                 min[c] = 0
    
62.                 empty[c]++
    
63.             }
    
64.         }
    
65.         fmt.Println("处理结束.共", nr, "行")
    
66.         for i, x := range sum {
    
67.             if x > 0 || empty[i] < nr {
    
68.                 fmt.Println(fmt.Sprintf("%d,%d,%d,%d,%d", i+1, max[i], min[i], x, empty[i]))
    
69.             }
    
70.         }
    
71.     } else {
    
72.         fmt.Print("打开文件出错:", fn)
    
73.     }
    
74. }
    
75. 
    
76. func main() {
    
77.     //runtime.GOMAXPROCS(5)
    
78.     for _, f := range os.Args[1:] {
    
79.         fmt.Println("正在处理:", f)
    
80.         run(f)
    
81.     }
    
82. }
    
83. 
    

复制代码

tuyajie

我去试试，谢谢回复 5# aswjh


   

aswjh

刚才的有点问题,改了一下

Georgescott

我有另外一个问题，大神tuyajie 能解答下吗？ 谢谢！

http://bbs.chinaunix.net/forum.p ... ;page=1#pid24439571

substr函数

回复 1# tuyajie

能贴出 2, 3 行 看看么
你的csv
   

expert1

既然是CSV，那excel来做吧，很快的。非常的基础