免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
123
最近访问板块 发新帖
楼主: cdtits

[数据库] 每秒钟写入10万条记录,能做到不? [复制链接]

论坛徽章:
0
发表于 2012-08-08 17:59 |显示全部楼层
回复 18# wolfop

Exadata对于比较简单的应用来说确实效率非常好,但是对于复杂应用,或许该去评价对人的要求了。
   

论坛徽章:
5
荣誉会员
日期:2011-11-23 16:44:17CU大牛徽章
日期:2013-09-18 15:15:15CU大牛徽章
日期:2013-09-18 15:15:45未羊
日期:2014-02-25 14:37:19射手座
日期:2014-12-26 22:55:37
发表于 2012-08-08 21:07 |显示全部楼层
minyounglee 发表于 2012-08-08 17:59
回复 18# wolfop

Exadata对于比较简单的应用来说确实效率非常好,但是对于复杂应用,或许该去评价对人的 ...

再设计合理的基础架构,在应用层面遇到把数据加载做成了高IOPS要求的人,那是当然没用的。哈哈哈哈

论坛徽章:
5
荣誉会员
日期:2011-11-23 16:44:17CU大牛徽章
日期:2013-09-18 15:15:15CU大牛徽章
日期:2013-09-18 15:15:45未羊
日期:2014-02-25 14:37:19射手座
日期:2014-12-26 22:55:37
发表于 2012-08-08 21:09 |显示全部楼层
minyounglee 发表于 2012-08-08 17:46
回复 18# wolfop

呵呵,你是oracle厂商的吧,Exadata 这种东西你觉得oracle卖的好吗?这种烧钱的“神器 ...

如果不懂数据库,就别在这里装B,以为拿着一个PCIE的IO加速卡就很牛逼。
竟然把加载这种数据库的操作认为是高IOPS应用,也就暴露你的无知者无畏。

论坛徽章:
5
荣誉会员
日期:2011-11-23 16:44:17CU大牛徽章
日期:2013-09-18 15:15:15CU大牛徽章
日期:2013-09-18 15:15:45未羊
日期:2014-02-25 14:37:19射手座
日期:2014-12-26 22:55:37
发表于 2012-08-08 21:24 |显示全部楼层
回复 16# cdtits
每秒10万数据量并不是什么太大的加载性能要求。任何一个优化合适的数据仓库系统都很容易达到,而且投资来说,并不见得需要很高。
但是关键要看做这个应用的人是否懂数据库,几点很重要:
1)并行加载,比如对于ORACLE来说别傻傻的用sqlldr,应该用外部表,而对于DB2来说需要用LOAD,而非import。
2)绕过LOG机制,比如在Oracle中需要做diret path方式,DB2的LOAD也是绕过LOG的。
3)设计合理的IO,加载主要是一个CPU密集型的过程(尤其在启用压缩的情况下),因为10万条每秒,1K字节,也就一秒钟写的速度不过100MB/s,实在不是什么很大的负载。如果压缩,写入的数据量更小。最简单的做法是确保磁盘被充分条带化,而且条带别太小。比如ASM自带的条带化缺省AU_SIZE就是1M足够了。要达到100MB/s的写速度,用桌面级别的7200转的SATA盘,4块都够了,当然实际如果只有这么少硬盘,那就真只能加载很难提供其他能力。
4) 当然,如果按照那个根本不懂数据库还不懂装懂的家伙楞把顺序写弄成每次只写1K字节的的随机写,10万 IOPS的确需要很高的盘阵配置了。但是我还没听说那种白痴数据库推荐的加载方式会把顺序本来很容易实现的顺序写变成随机写。
5)你这点加载速度的要求,自己设计合理的确根本不需要用Exadata这种级别的硬件,普通PC服务器绝对够了。


   

论坛徽章:
2
C
日期:2016-10-25 16:11:40极客徽章
日期:2016-12-07 14:07:30
发表于 2012-08-11 16:13 |显示全部楼层
要给足够高的硬件设备哦

论坛徽章:
2
C
日期:2016-10-25 16:11:40极客徽章
日期:2016-12-07 14:07:30
发表于 2012-08-11 16:15 |显示全部楼层
I/O是关键哦
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

DTCC2020中国数据库技术大会

【架构革新 高效可控】2020年12月21日-23日第十一届中国数据库技术大会将在北京隆重召开。

大会设置2大主会场,20+技术专场,将邀请超百位行业专家,重点围绕数据架构、AI与大数据、传统企业数据库实践和国产开源数据库等内容展开分享和探讨,为广大数据领域从业人士提供一场年度盛会和交流平台。

http://dtcc.it168.com


大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP