免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
123下一页
最近访问板块 发新帖
查看: 8784 | 回复: 25

[数据库] 每秒钟写入10万条记录,能做到不? [复制链接]

论坛徽章:
2
CU大牛徽章
日期:2013-04-17 11:46:28CU大牛徽章
日期:2013-04-17 11:46:39
发表于 2012-08-02 09:45 |显示全部楼层
本帖最后由 cdtits 于 2012-08-02 09:47 编辑

最近领导有点发疯,要求我们必须做到满足每秒写入10万条记录,每条记录大概 1k 字节左右。
请问各位大牛,哪种数据库系统可以满足要求?采用何种架构?
非常感谢您的回复!

论坛徽章:
5
荣誉会员
日期:2011-11-23 16:44:17CU大牛徽章
日期:2013-09-18 15:15:15CU大牛徽章
日期:2013-09-18 15:15:45未羊
日期:2014-02-25 14:37:19射手座
日期:2014-12-26 22:55:37
发表于 2012-08-02 13:31 |显示全部楼层
有啥做不到。
只是用什么硬件,怎讲写入的问题。

论坛徽章:
2
CU大牛徽章
日期:2013-04-17 11:46:28CU大牛徽章
日期:2013-04-17 11:46:39
发表于 2012-08-02 13:37 |显示全部楼层
本帖最后由 cdtits 于 2012-08-02 21:52 编辑

回复 2# wolfop


按每秒10万条记录,每记录512字节计算:
每秒:
100K条
100K x 0.5K = 50M字节
每分钟:
100K x 60 = 6M条
6M * 0.5K = 3G字节
每小时:
6M x 60 = 360M条(3.6亿条)
3G x 60 = 180G字节
每半天:
360M x 12 = 4320M = 4.32G条(43.2亿条)
180G x 12 = 2160G = 2.16T字节
每天:
4.32G x 2 = 8.64G条(86.4亿条)
2.16T x 2 = 4.32T字节
每月:
8.64G x 30 = 259.2G条(2592亿条)
4.32T x 30 = 129.6T字节
每季度:
259.2G x 3 = 777.6G条(7776亿条)
129.6T x 3 = 388.8T字节

论坛徽章:
0
发表于 2012-08-02 14:51 |显示全部楼层
这个跟硬件关系大,iops要达到10为,ssd必不可少的,而且还得几块做raid1+0或raid0,现在一般ssd一块iops 4w,磁盘一块iops 200,或者用内存数据库吧,cpu内存要求到现在都满足,ibm 3850 pc服务器 tpcc就能到300w

论坛徽章:
2
CU大牛徽章
日期:2013-04-17 11:46:28CU大牛徽章
日期:2013-04-17 11:46:39
发表于 2012-08-02 15:49 |显示全部楼层
ssd 指的是什么?麻烦指点一下

论坛徽章:
11
金牛座
日期:2015-03-19 16:56:22数据库技术版块每日发帖之星
日期:2016-08-02 06:20:00数据库技术版块每日发帖之星
日期:2016-04-24 06:20:00数据库技术版块每日发帖之星
日期:2016-04-13 06:20:00IT运维版块每日发帖之星
日期:2016-04-13 06:20:00数据库技术版块每日发帖之星
日期:2016-02-03 06:20:00数据库技术版块每日发帖之星
日期:2015-08-06 06:20:00季节之章:春
日期:2015-03-27 15:54:57羊年新春福章
日期:2015-03-27 15:54:37戌狗
日期:2015-03-19 16:56:41数据库技术版块每日发帖之星
日期:2016-08-18 06:20:00
发表于 2012-08-03 13:48 |显示全部楼层
硬件,网络都需要高要求~~
尽量使用内存数据库,磁盘的话,估计还是得用SSD。。。

论坛徽章:
2
CU大牛徽章
日期:2013-04-17 11:46:28CU大牛徽章
日期:2013-04-17 11:46:39
发表于 2012-08-03 13:53 |显示全部楼层
回复 6# liaosnet


    需要保存3月以上。
    内存数据库,貌似没有那么大的内存。

论坛徽章:
11
金牛座
日期:2015-03-19 16:56:22数据库技术版块每日发帖之星
日期:2016-08-02 06:20:00数据库技术版块每日发帖之星
日期:2016-04-24 06:20:00数据库技术版块每日发帖之星
日期:2016-04-13 06:20:00IT运维版块每日发帖之星
日期:2016-04-13 06:20:00数据库技术版块每日发帖之星
日期:2016-02-03 06:20:00数据库技术版块每日发帖之星
日期:2015-08-06 06:20:00季节之章:春
日期:2015-03-27 15:54:57羊年新春福章
日期:2015-03-27 15:54:37戌狗
日期:2015-03-19 16:56:41数据库技术版块每日发帖之星
日期:2016-08-18 06:20:00
发表于 2012-08-03 14:15 |显示全部楼层
回复 7# cdtits


    内存数据库也需要写回到磁盘上去,所以配置SSD~

论坛徽章:
0
发表于 2012-08-05 12:09 |显示全部楼层
SSD只是读性能强,不是写!虽然也还可以。

强化结构,业务分拆,例如把每秒10万条拆成10个每秒1万条。
升级网络和硬件。

论坛徽章:
2
CU大牛徽章
日期:2013-04-17 11:46:28CU大牛徽章
日期:2013-04-17 11:46:39
发表于 2012-08-05 13:21 |显示全部楼层
回复 9# hawkli


    请教一下:每秒写入一万条512字节记录,我该用什么样的数据库和硬件?
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

DTCC2020中国数据库技术大会 限时8.5折

【架构革新 高效可控】2020年8月17日~19日第十一届中国数据库技术大会将在北京隆重召开。

大会设置2大主会场,20+技术专场,将邀请超百位行业专家,重点围绕数据架构、AI与大数据、传统企业数据库实践和国产开源数据库等内容展开分享和探讨,为广大数据领域从业人士提供一场年度盛会和交流平台。

http://dtcc.it168.com


大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP