免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 数据库技术 › Oracle › 每秒钟写入10万条记录，能做到不？
123下一页
最近访问板块 发新帖
楼主: cdtits
打印 上一主题 下一主题

[数据库] 每秒钟写入10万条记录，能做到不？ [复制链接]

renxiao2003

论坛徽章:
59
2015七夕节徽章 日期:2015-08-24 11:17:25ChinaUnix专家徽章 日期:2015-07-20 09:19:30每周论坛发贴之星 日期:2015-07-20 09:19:42ChinaUnix元老 日期:2015-07-20 11:04:38荣誉版主 日期:2015-07-20 11:05:19巳蛇 日期:2015-07-20 11:05:26CU十二周年纪念徽章 日期:2015-07-20 11:05:27IT运维版块每日发帖之星 日期:2015-07-20 11:05:34操作系统版块每日发帖之星 日期:2015-07-20 11:05:36程序设计版块每日发帖之星 日期:2015-07-20 11:05:40数据库技术版块每日发帖之星 日期:2015-07-20 11:05:432015年辞旧岁徽章 日期:2015-07-20 11:05:44
11楼 [报告]
发表于 2012-08-06 14:33 |只看该作者
这个要求有点太变态了。10W*1K = 10WK=1G数据了。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
cdtits

论坛徽章:
2
CU大牛徽章 日期:2013-04-17 11:46:28CU大牛徽章 日期:2013-04-17 11:46:39
12楼 [报告]
发表于 2012-08-06 14:36 |只看该作者
本帖最后由 cdtits 于 2012-08-06 14:39 编辑

回复 11# renxiao2003

    个人觉得，老大你说了一句公道话，这个要求貌似有点儿变态。但是其中有一个小问题：貌似老大您将结果算大了一些

          10W * 1K = 100K * 1K = 100M
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
renxiao2003

论坛徽章:
59
2015七夕节徽章 日期:2015-08-24 11:17:25ChinaUnix专家徽章 日期:2015-07-20 09:19:30每周论坛发贴之星 日期:2015-07-20 09:19:42ChinaUnix元老 日期:2015-07-20 11:04:38荣誉版主 日期:2015-07-20 11:05:19巳蛇 日期:2015-07-20 11:05:26CU十二周年纪念徽章 日期:2015-07-20 11:05:27IT运维版块每日发帖之星 日期:2015-07-20 11:05:34操作系统版块每日发帖之星 日期:2015-07-20 11:05:36程序设计版块每日发帖之星 日期:2015-07-20 11:05:40数据库技术版块每日发帖之星 日期:2015-07-20 11:05:432015年辞旧岁徽章 日期:2015-07-20 11:05:44
13楼 [报告]
发表于 2012-08-06 15:21 |只看该作者
回复 12# cdtits


    不错不错，数学没学好，是100M。对不起。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
renxiao2003

论坛徽章:
59
2015七夕节徽章 日期:2015-08-24 11:17:25ChinaUnix专家徽章 日期:2015-07-20 09:19:30每周论坛发贴之星 日期:2015-07-20 09:19:42ChinaUnix元老 日期:2015-07-20 11:04:38荣誉版主 日期:2015-07-20 11:05:19巳蛇 日期:2015-07-20 11:05:26CU十二周年纪念徽章 日期:2015-07-20 11:05:27IT运维版块每日发帖之星 日期:2015-07-20 11:05:34操作系统版块每日发帖之星 日期:2015-07-20 11:05:36程序设计版块每日发帖之星 日期:2015-07-20 11:05:40数据库技术版块每日发帖之星 日期:2015-07-20 11:05:432015年辞旧岁徽章 日期:2015-07-20 11:05:44
14楼 [报告]
发表于 2012-08-06 15:22 |只看该作者
回复 12# cdtits


    另外补充一下，我不做老大已经好多“天”了。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
wolfop

论坛徽章:
5
荣誉会员 日期:2011-11-23 16:44:17CU大牛徽章 日期:2013-09-18 15:15:15CU大牛徽章 日期:2013-09-18 15:15:45未羊 日期:2014-02-25 14:37:19射手座 日期:2014-12-26 22:55:37
15楼 [报告]
发表于 2012-08-06 17:51 |只看该作者
本帖最后由 wolfop 于 2012-08-06 17:52 编辑
cdtits 发表于 2012-08-02 13:37
回复 2# wolfop

一条记录512字节，你的表有那么宽？
就算512字节，又如何？难道不知道数据库有压缩能力。
最近做的一个系统，要求的速度是一小时加载3TB数据。你这点算啥啊。
另外，加载是顺序写，没不要用SSD，而且SSD的写入可靠性一般，普通磁盘就可以，但是设计要合理，避免IO热点。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
cdtits

论坛徽章:
2
CU大牛徽章 日期:2013-04-17 11:46:28CU大牛徽章 日期:2013-04-17 11:46:39
16楼 [报告]
发表于 2012-08-06 18:44 |只看该作者
回复 15# wolfop


    这么牛B，1小时1TB的写入表项。能否说说你是如何设计和架构的？存储怎么处理？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
minyounglee

论坛徽章:
0
17楼 [报告]
发表于 2012-08-07 12:28 |只看该作者

针对这种IO密集型应用，如果不想改变原有系统架构，可以考虑采用服务器内插入PCIE加速卡实现，IOPS可以提升10-20倍。如果采用传统存储架构，您所说的每秒10万的io很难做到，这不仅需要大量的缓存服务器，而且需要大量的硬盘提供IOPS。如有需要，可以咨询我，QQ260158663
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
wolfop

论坛徽章:
5
荣誉会员 日期:2011-11-23 16:44:17CU大牛徽章 日期:2013-09-18 15:15:15CU大牛徽章 日期:2013-09-18 15:15:45未羊 日期:2014-02-25 14:37:19射手座 日期:2014-12-26 22:55:37
18楼 [报告]
发表于 2012-08-08 12:06 |只看该作者
回复 17# minyounglee
Oracle Exadata X2-2 Full rack with HC disk
External table 并行加载，
数据压缩比7:1

   
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
wolfop

论坛徽章:
5
荣誉会员 日期:2011-11-23 16:44:17CU大牛徽章 日期:2013-09-18 15:15:15CU大牛徽章 日期:2013-09-18 15:15:45未羊 日期:2014-02-25 14:37:19射手座 日期:2014-12-26 22:55:37
19楼 [报告]
发表于 2012-08-08 12:11 |只看该作者
回复 17# minyounglee
如果把数据加载做成了高IOPS要求，那系统设计就彻底失败了。

   
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
minyounglee

论坛徽章:
0
20楼 [报告]
发表于 2012-08-08 17:46 |只看该作者
回复 18# wolfop

呵呵，你是oracle厂商的吧，Exadata 这种东西你觉得oracle卖的好吗？这种烧钱的“神器”无非是拉里.埃里森挑衅别人的一贯方式。别在这儿提了~~
   
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
123下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP