免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
123下一页
最近访问板块 发新帖
查看: 10269 | 回复: 25
打印 上一主题 下一主题

[数据库] 每秒钟写入10万条记录,能做到不? [复制链接]

论坛徽章:
2
CU大牛徽章
日期:2013-04-17 11:46:28CU大牛徽章
日期:2013-04-17 11:46:39
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2012-08-02 09:45 |只看该作者 |倒序浏览
本帖最后由 cdtits 于 2012-08-02 09:47 编辑

最近领导有点发疯,要求我们必须做到满足每秒写入10万条记录,每条记录大概 1k 字节左右。
请问各位大牛,哪种数据库系统可以满足要求?采用何种架构?
非常感谢您的回复!

论坛徽章:
5
荣誉会员
日期:2011-11-23 16:44:17CU大牛徽章
日期:2013-09-18 15:15:15CU大牛徽章
日期:2013-09-18 15:15:45未羊
日期:2014-02-25 14:37:19射手座
日期:2014-12-26 22:55:37
2 [报告]
发表于 2012-08-02 13:31 |只看该作者
有啥做不到。
只是用什么硬件,怎讲写入的问题。

论坛徽章:
2
CU大牛徽章
日期:2013-04-17 11:46:28CU大牛徽章
日期:2013-04-17 11:46:39
3 [报告]
发表于 2012-08-02 13:37 |只看该作者
本帖最后由 cdtits 于 2012-08-02 21:52 编辑

回复 2# wolfop


按每秒10万条记录,每记录512字节计算:
每秒:
100K条
100K x 0.5K = 50M字节
每分钟:
100K x 60 = 6M条
6M * 0.5K = 3G字节
每小时:
6M x 60 = 360M条(3.6亿条)
3G x 60 = 180G字节
每半天:
360M x 12 = 4320M = 4.32G条(43.2亿条)
180G x 12 = 2160G = 2.16T字节
每天:
4.32G x 2 = 8.64G条(86.4亿条)
2.16T x 2 = 4.32T字节
每月:
8.64G x 30 = 259.2G条(2592亿条)
4.32T x 30 = 129.6T字节
每季度:
259.2G x 3 = 777.6G条(7776亿条)
129.6T x 3 = 388.8T字节

论坛徽章:
0
4 [报告]
发表于 2012-08-02 14:51 |只看该作者
这个跟硬件关系大,iops要达到10为,ssd必不可少的,而且还得几块做raid1+0或raid0,现在一般ssd一块iops 4w,磁盘一块iops 200,或者用内存数据库吧,cpu内存要求到现在都满足,ibm 3850 pc服务器 tpcc就能到300w

论坛徽章:
2
CU大牛徽章
日期:2013-04-17 11:46:28CU大牛徽章
日期:2013-04-17 11:46:39
5 [报告]
发表于 2012-08-02 15:49 |只看该作者
ssd 指的是什么?麻烦指点一下

论坛徽章:
11
金牛座
日期:2015-03-19 16:56:22数据库技术版块每日发帖之星
日期:2016-08-02 06:20:00数据库技术版块每日发帖之星
日期:2016-04-24 06:20:00数据库技术版块每日发帖之星
日期:2016-04-13 06:20:00IT运维版块每日发帖之星
日期:2016-04-13 06:20:00数据库技术版块每日发帖之星
日期:2016-02-03 06:20:00数据库技术版块每日发帖之星
日期:2015-08-06 06:20:00季节之章:春
日期:2015-03-27 15:54:57羊年新春福章
日期:2015-03-27 15:54:37戌狗
日期:2015-03-19 16:56:41数据库技术版块每日发帖之星
日期:2016-08-18 06:20:00
6 [报告]
发表于 2012-08-03 13:48 |只看该作者
硬件,网络都需要高要求~~
尽量使用内存数据库,磁盘的话,估计还是得用SSD。。。

论坛徽章:
2
CU大牛徽章
日期:2013-04-17 11:46:28CU大牛徽章
日期:2013-04-17 11:46:39
7 [报告]
发表于 2012-08-03 13:53 |只看该作者
回复 6# liaosnet


    需要保存3月以上。
    内存数据库,貌似没有那么大的内存。

论坛徽章:
11
金牛座
日期:2015-03-19 16:56:22数据库技术版块每日发帖之星
日期:2016-08-02 06:20:00数据库技术版块每日发帖之星
日期:2016-04-24 06:20:00数据库技术版块每日发帖之星
日期:2016-04-13 06:20:00IT运维版块每日发帖之星
日期:2016-04-13 06:20:00数据库技术版块每日发帖之星
日期:2016-02-03 06:20:00数据库技术版块每日发帖之星
日期:2015-08-06 06:20:00季节之章:春
日期:2015-03-27 15:54:57羊年新春福章
日期:2015-03-27 15:54:37戌狗
日期:2015-03-19 16:56:41数据库技术版块每日发帖之星
日期:2016-08-18 06:20:00
8 [报告]
发表于 2012-08-03 14:15 |只看该作者
回复 7# cdtits


    内存数据库也需要写回到磁盘上去,所以配置SSD~

论坛徽章:
0
9 [报告]
发表于 2012-08-05 12:09 |只看该作者
SSD只是读性能强,不是写!虽然也还可以。

强化结构,业务分拆,例如把每秒10万条拆成10个每秒1万条。
升级网络和硬件。

论坛徽章:
2
CU大牛徽章
日期:2013-04-17 11:46:28CU大牛徽章
日期:2013-04-17 11:46:39
10 [报告]
发表于 2012-08-05 13:21 |只看该作者
回复 9# hawkli


    请教一下:每秒写入一万条512字节记录,我该用什么样的数据库和硬件?
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP