address2 发表于 2009-03-19 19:52

大数据量实时入库的问题

现在项目有个需求，需要大量数据实时入库，从数据生成到可查询不超过10s，数据量大约是50MB/s, 一天2T左右，目前测试表明sybaseIQ如果生成好文件的话，loadtable大约能入59MB/s, 问题是从前端传到数据库服务器，再格式化，然后调用loadtable，效率降低了很多，生成大文件又无法保证实时性，使用管道测试结果也不理想。
   各位大侠有没有什么好办法或类似经验，讨论一下。

enjoy-work 发表于 2009-03-20 11:01

我觉得IQ load table 可以更快。有没有用并行加载？系统的cpu数目是多少？

camham 发表于 2009-03-20 17:32

别的方法load速度达不到要求，只能这样做

address2 发表于 2009-03-20 21:18

原帖由 enjoy-work 于 2009-3-20 11:01 发表 http://bbs3.chinaunix.net/images/common/back.gif
我觉得IQ load table 可以更快。有没有用并行加载？系统的cpu数目是多少？


4 CPU ,   只有一张表，IQ好像不支持单表并行加载

address2 发表于 2009-03-20 21:19

原帖由 camham 于 2009-3-20 17:32 发表 http://bbs3.chinaunix.net/images/common/back.gif
别的方法load速度达不到要求，只能这样做

是不是用管道比用文件要慢?

enjoy-work 发表于 2009-03-23 09:36

原帖由 address2 于 2009-3-20 21:18 发表 http://bbs.chinaunix.net/images/common/back.gif



4 CPU ,   只有一张表，IQ好像不支持单表并行加载


IQ不支持并发加载，但是load可以并发加载。能不能把你的load 语句铁出来看看，我觉得应该可以达到你要的性能的。

zq5143 发表于 2009-03-23 15:47

原帖由 address2 于 2009-3-20 21:18 发表 http://bbs3.chinaunix.net/images/common/back.gif



4 CPU ,   只有一张表，IQ好像不支持单表并行加载

谁说不支持~？

zq5143 发表于 2009-03-23 15:51

楼主说的实时入库是怎么来实现？复制服务器吗？
源库的删改操作也能体现在IQ上吗？

snow888 发表于 2009-03-23 19:08

没明白楼主的意思，不过感觉 IQ 不是干这个活儿的。

chenfeng825 发表于 2009-03-24 10:09

楼主其实问题已经很明确了。iq load本身能够满足性能需求。
但格式化和网络传输限制有些限制，所以是否可以考虑用其他的主机在共享存储格式化，这样总会有很大的节省的。至于总时间窗口的缩小还是要借助于所有的方面。总之，就是找到瓶颈所在着重优化
例如对load memory的调整，使用更好的存储，网络.优化格式化程序等等方面

另外,iq似乎就是干这活的！
页: [1] 2
查看完整版本: 大数据量实时入库的问题