免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: cdtits

[数据库] 每秒钟写入10万条记录,能做到不? [复制链接]

论坛徽章:
54
2015七夕节徽章
日期:2015-08-24 11:17:25ChinaUnix专家徽章
日期:2015-07-20 09:19:30每周论坛发贴之星
日期:2015-07-20 09:19:42ChinaUnix元老
日期:2015-07-20 11:04:38荣誉版主
日期:2015-07-20 11:05:19巳蛇
日期:2015-07-20 11:05:26CU十二周年纪念徽章
日期:2015-07-20 11:05:27IT运维版块每日发帖之星
日期:2015-07-20 11:05:34操作系统版块每日发帖之星
日期:2015-07-20 11:05:36程序设计版块每日发帖之星
日期:2015-07-20 11:05:40数据库技术版块每日发帖之星
日期:2015-07-20 11:05:432015年辞旧岁徽章
日期:2015-07-20 11:05:44
发表于 2012-08-06 14:33 |显示全部楼层
这个要求有点太变态了。10W*1K = 10WK=1G数据了。

论坛徽章:
2
CU大牛徽章
日期:2013-04-17 11:46:28CU大牛徽章
日期:2013-04-17 11:46:39
发表于 2012-08-06 14:36 |显示全部楼层
本帖最后由 cdtits 于 2012-08-06 14:39 编辑

回复 11# renxiao2003

    个人觉得,老大你说了一句公道话,这个要求貌似有点儿变态。但是其中有一个小问题:貌似老大您将结果算大了一些

          10W * 1K = 100K * 1K = 100M

论坛徽章:
54
2015七夕节徽章
日期:2015-08-24 11:17:25ChinaUnix专家徽章
日期:2015-07-20 09:19:30每周论坛发贴之星
日期:2015-07-20 09:19:42ChinaUnix元老
日期:2015-07-20 11:04:38荣誉版主
日期:2015-07-20 11:05:19巳蛇
日期:2015-07-20 11:05:26CU十二周年纪念徽章
日期:2015-07-20 11:05:27IT运维版块每日发帖之星
日期:2015-07-20 11:05:34操作系统版块每日发帖之星
日期:2015-07-20 11:05:36程序设计版块每日发帖之星
日期:2015-07-20 11:05:40数据库技术版块每日发帖之星
日期:2015-07-20 11:05:432015年辞旧岁徽章
日期:2015-07-20 11:05:44
发表于 2012-08-06 15:21 |显示全部楼层
回复 12# cdtits


    不错不错,数学没学好,是100M。对不起。

论坛徽章:
54
2015七夕节徽章
日期:2015-08-24 11:17:25ChinaUnix专家徽章
日期:2015-07-20 09:19:30每周论坛发贴之星
日期:2015-07-20 09:19:42ChinaUnix元老
日期:2015-07-20 11:04:38荣誉版主
日期:2015-07-20 11:05:19巳蛇
日期:2015-07-20 11:05:26CU十二周年纪念徽章
日期:2015-07-20 11:05:27IT运维版块每日发帖之星
日期:2015-07-20 11:05:34操作系统版块每日发帖之星
日期:2015-07-20 11:05:36程序设计版块每日发帖之星
日期:2015-07-20 11:05:40数据库技术版块每日发帖之星
日期:2015-07-20 11:05:432015年辞旧岁徽章
日期:2015-07-20 11:05:44
发表于 2012-08-06 15:22 |显示全部楼层
回复 12# cdtits


    另外补充一下,我不做老大已经好多“天”了。

论坛徽章:
5
荣誉会员
日期:2011-11-23 16:44:17CU大牛徽章
日期:2013-09-18 15:15:15CU大牛徽章
日期:2013-09-18 15:15:45未羊
日期:2014-02-25 14:37:19射手座
日期:2014-12-26 22:55:37
发表于 2012-08-06 17:51 |显示全部楼层
本帖最后由 wolfop 于 2012-08-06 17:52 编辑
cdtits 发表于 2012-08-02 13:37
回复 2# wolfop

一条记录512字节,你的表有那么宽?
就算512字节,又如何?难道不知道数据库有压缩能力。
最近做的一个系统,要求的速度是一小时加载3TB数据。你这点算啥啊。
另外,加载是顺序写,没不要用SSD,而且SSD的写入可靠性一般,普通磁盘就可以,但是设计要合理,避免IO热点。

论坛徽章:
2
CU大牛徽章
日期:2013-04-17 11:46:28CU大牛徽章
日期:2013-04-17 11:46:39
发表于 2012-08-06 18:44 |显示全部楼层
回复 15# wolfop


    这么牛B,1小时1TB的写入表项。能否说说你是如何设计和架构的?存储怎么处理?

论坛徽章:
0
发表于 2012-08-07 12:28 |显示全部楼层

针对这种IO密集型应用,如果不想改变原有系统架构,可以考虑采用服务器内插入PCIE加速卡实现,IOPS可以提升10-20倍。如果采用传统存储架构,您所说的每秒10万的io很难做到,这不仅需要大量的缓存服务器,而且需要大量的硬盘提供IOPS。如有需要,可以咨询我,QQ260158663

论坛徽章:
5
荣誉会员
日期:2011-11-23 16:44:17CU大牛徽章
日期:2013-09-18 15:15:15CU大牛徽章
日期:2013-09-18 15:15:45未羊
日期:2014-02-25 14:37:19射手座
日期:2014-12-26 22:55:37
发表于 2012-08-08 12:06 |显示全部楼层
回复 17# minyounglee
Oracle Exadata X2-2 Full rack with HC disk
External table 并行加载,
数据压缩比7:1

   

论坛徽章:
5
荣誉会员
日期:2011-11-23 16:44:17CU大牛徽章
日期:2013-09-18 15:15:15CU大牛徽章
日期:2013-09-18 15:15:45未羊
日期:2014-02-25 14:37:19射手座
日期:2014-12-26 22:55:37
发表于 2012-08-08 12:11 |显示全部楼层
回复 17# minyounglee
如果把数据加载做成了高IOPS要求,那系统设计就彻底失败了。

   

论坛徽章:
0
发表于 2012-08-08 17:46 |显示全部楼层
回复 18# wolfop

呵呵,你是oracle厂商的吧,Exadata 这种东西你觉得oracle卖的好吗?这种烧钱的“神器”无非是拉里.埃里森挑衅别人的一贯方式。别在这儿提了~~
   
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

DTCC2020中国数据库技术大会

【架构革新 高效可控】2020年12月21日-23日第十一届中国数据库技术大会将在北京隆重召开。

大会设置2大主会场,20+技术专场,将邀请超百位行业专家,重点围绕数据架构、AI与大数据、传统企业数据库实践和国产开源数据库等内容展开分享和探讨,为广大数据领域从业人士提供一场年度盛会和交流平台。

http://dtcc.it168.com


大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP