awk 数据合并的问题

爱知

python 中好像有一个iterator应该可以
可以分别一行一行读取三个文件，不占用内存

[ 本帖最后由 爱知 于 2008-9-22 11:31 编辑 ]

leetaedong

呵呵,sorry, mysql上没有处理过.
oracle有处理过类似的事情.
先用sqlloader导入, 然后建索引,分析表索引,再用ctas建新表.再spool出来.

ly5066113

原帖由 join2 于 2008-9-22 11:25 发表


每个文件是相同的，都是aaa，bbb这样的排序，给数据的时候有排序，如果是呀awk的话，要读到内存哪里，放不下，怎么打印呢？ 谢谢，给个思路

while read -u3 a && read -u4 b && read -u5 c
do
         echo "$a $b $c"
done 3<file1 4<file2 5<file3

类似这个思路。

blackold

原帖由 join2 于 2008-9-22 11:25 发表


每个文件是相同的，都是aaa，bbb这样的排序，给数据的时候有排序，如果是呀awk的话，要读到内存哪里，放不下，怎么打印呢？ 谢谢，给个思路

如果是对应的就更加好办了，同时打开这些文件，每次依次读一行。

jinl

三个文件如果每行数据都是一一对应的话，按照楼上ly的脚本就可以解决，内存不是瓶颈，io的速度 是唯一的限制

join2

公司的dba不在，出差了，所以没法是呀oracle，对oracle不熟悉
按照 ly5066113 给的建议写，谢谢楼上各位

ly5066113

原帖由 join2 于 2008-9-22 12:51 发表
公司的dba不在，出差了，所以没法是呀oracle，对oracle不熟悉
按照 ly5066113 给的建议写，谢谢楼上各位

数据库是什么都无所谓，关键在你机器的硬件，内存不够，装啥数据库也白费。

join2

原帖由 ly5066113 于 2008-9-22 12:53 发表


数据库是什么都无所谓，关键在你机器的硬件，内存不够，装啥数据库也白费。

内存是4g的

cpu MHz         : 2992.902
cache size      : 1024 KB
Intel(R) Xeon(TM) CPU 3.00GHz

应该够用

voipexplore

先paste再awk