awk 数据合并的问题

join2

各位老大，我想把

例如文件1：
userid，给用户的打分（类别1）
aaa,30
bbb,40

例如文件2：
userid，给用户的打分（类别2）
aaa,130
bbb,-40


例如文件3：
userid，给用户的打分（类别3）
aaa,10
bbb,12
合并在一起得到
aaa,30,130,10,.....
bbb,40,-40,12.......

现在是这些文件很大1.8g，读到内存里会溢出， 应该怎么处理，给个思路，谢谢

blackold

join or awk

ly5066113

原帖由 join2 于 2008-9-22 10:49 发表
各位老大，我想把

例如文件1：
userid，给用户的打分（类别1）
aaa,30
bbb,40

例如文件2：
userid，给用户的打分（类别2）
aaa,130
bbb,-40


例如文件3：
userid，给用户的打分（类别3）
aaa ...

awk只能用 hash数组，内存不够的话就没办法了。

leetaedong

用db 肯定是可以搞定的.

join2

blackold ： join 的话是2个文件的合并，我这是多个文件的合并，要6个文件合并，在别人最初处理的时候，给的是这样的文件。man一下join没有看到别的选项

ly5066113 老大：awk内存不够还没有别的方法处理？
leetaedong  ：db没有怎么用过给点提示？

leetaedong

用数据库. 像mysql什么的,肯定是可以处理的.

waker

如果每行都是一一对应的就没必要用数组了，直接打印出每个文件的对应行就行了

爱知

split + awk ?
或者把各个文件内容分类输出成几个小文件

[ 本帖最后由 爱知 于 2008-9-22 11:21 编辑 ]

join2

原帖由 waker 于 2008-9-22 11:17 发表
如果每行都是一一对应的就没必要用数组了，直接打印出每个文件的对应行就行了

每个文件是相同的，都是aaa，bbb这样的排序，给数据的时候有排序，如果是呀awk的话，要读到内存哪里，放不下，怎么打印呢？ 谢谢，给个思路

join2

原帖由 leetaedong 于 2008-9-22 11:16 发表
用数据库. 像mysql什么的,肯定是可以处理的.

数据太大了，好几亿的数据，放到数据库都跑死了。