免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 2196 | 回复: 2
打印 上一主题 下一主题

两台机器间快速传递大数据量的一个难题 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2007-03-01 22:51 |只看该作者 |倒序浏览
我公司系统有两个装了Informix的Linux服务器,两数据库数据量都很大,好几个表千万条记录级的数据,需要每天自动地将其中一台服务器某几个大数据表中的大量数据(上百万条),快速地得到到另一个服务器,弄了很久,在网上也查询了很多类似的资料,还是苦于无策

现在的处理办法是:
将要复制的数据读出来,然后一条一条的插入到目标数据库,这样性能非常低下,完全不能够满足客户的要求

想考虑使用unload来做,但好象不能够用代码来调用unload,只能够手工执行,不能够自动执行

不知道哪位高手有没有好的解决思路,要求能够自动完成传递数据,而且不能够独占方式传递,而且只按条件传递其中的几张表的数据

论坛徽章:
0
2 [报告]
发表于 2007-03-02 08:34 |只看该作者
试试在两机器上配通,直接用insert into tab1 select * from db@srv:tab2

论坛徽章:
0
3 [报告]
发表于 2007-03-02 09:11 |只看该作者
上面的办法不错,不知道速度怎么样.

楼主,你有没有试过UNLOAD一个千万条记录的表需要多长时间,多大空间.
如果单独UNLOAD一个大表时间能够容忍,而且磁盘空间够大,可以把UNLOAD写入LINUX的定时交易,由其自动执行,另一台机器也写个定时交易,在估计传输完成后,自动装入.

我没用过linux ,应该有定时交易机制的吧.  UNIX AIX SALORIS 都有.

[ 本帖最后由 zsmzsm_2005 于 2007-3-2 09:13 编辑 ]
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP