免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 16369 | 回复: 15

【讨论中】每秒钟写入10万条记录,能行不? [复制链接]

论坛徽章:
2
CU大牛徽章
日期:2013-04-17 11:46:28CU大牛徽章
日期:2013-04-17 11:46:39
发表于 2012-08-02 09:46 |显示全部楼层
本帖最后由 cenalulu 于 2012-08-07 16:24 编辑

最近领导有点发疯,要求我们必须做到满足每秒写入10万条记录,每条记录大概 1k 字节左右。
请问各位大牛,哪种数据库系统可以满足要求?采用何种架构?
非常感谢您的回复!

论坛徽章:
0
发表于 2012-08-07 12:14 |显示全部楼层
针对这种IO密集型应用,如果不想改变原有系统架构,可以考虑采用服务器内插入PCIE加速卡实现,IOPS可以提升10-20倍。如果采用传统存储架构,您所说的每秒10万的io很难做到,这不仅需要大量的缓存服务器,而且需要大量的硬盘提供IOPS。

论坛徽章:
0
发表于 2012-08-07 12:21 |显示全部楼层
考虑nosql吧

论坛徽章:
9
每日论坛发贴之星
日期:2016-01-04 06:20:00数据库技术版块每日发帖之星
日期:2016-01-04 06:20:00每日论坛发贴之星
日期:2016-01-04 06:20:00数据库技术版块每日发帖之星
日期:2016-01-04 06:20:00IT运维版块每日发帖之星
日期:2016-01-04 06:20:00IT运维版块每日发帖之星
日期:2016-01-04 06:20:00综合交流区版块每日发帖之星
日期:2016-01-04 06:20:00综合交流区版块每日发帖之星
日期:2016-01-04 06:20:00数据库技术版块每周发帖之星
日期:2016-03-07 16:30:25
发表于 2012-08-07 16:30 |显示全部楼层
本帖最后由 cenalulu 于 2012-08-07 16:30 编辑

回复 2# minyounglee


    2楼还真是哪里都回复PCIE方案阿。。。MySQL就算是纯内存,no binlog单机也很难达到上万的DML QPS。。。楼主考虑NoSQL解决方案吧,redis,mongo之流

论坛徽章:
1
2015亚冠之本尤德科
日期:2015-06-05 17:25:48
发表于 2012-08-07 16:33 |显示全部楼层
回复 2# minyounglee


    nosql是个不错的选择,可以选择mongodb

论坛徽章:
0
发表于 2012-08-08 17:25 |显示全部楼层
本帖最后由 minyounglee 于 2012-08-08 17:30 编辑

回复 4# cenalulu


这并不冲突,对于10万的IO,关系型数据库很难做到,NOSQL可以提供很高的处理性能,但瓶颈在于磁盘IO,对于这10万条1K的记录,完全可以使用nosql+PCIE卡配合进行。

论坛徽章:
0
发表于 2012-08-08 17:27 |显示全部楼层
回复 4# cenalulu

我并没有建议楼主使用mysql。

   

论坛徽章:
2
CU大牛徽章
日期:2013-04-17 11:46:28CU大牛徽章
日期:2013-04-17 11:46:39
发表于 2012-08-09 10:06 |显示全部楼层
本帖最后由 cdtits 于 2012-08-09 10:12 编辑


mysql 官网上面有个 oracle 做的集群测试,貌似采用 memcached + mysql,共 15 个集群,update 可达每分钟 12 亿条
不知道是不是真的能实现?
MySQL Cluster Benchmarks
另外想请教一下各位大牛:针对一般 pc 服务器,mysql 极限性能到底如何?

论坛徽章:
218
2022北京冬奥会纪念版徽章
日期:2015-08-10 16:30:3215-16赛季CBA联赛之上海
日期:2019-09-20 12:29:32操作系统版块每日发帖之星
日期:2016-03-02 06:20:00操作系统版块每日发帖之星
日期:2016-03-01 06:20:00操作系统版块每日发帖之星
日期:2016-02-18 06:20:00操作系统版块每日发帖之星
日期:2016-05-10 19:22:58操作系统版块每日发帖之星
日期:2016-05-10 19:22:58操作系统版块每日发帖之星
日期:2016-05-10 19:22:58月度论坛发贴之星
日期:2016-01-31 22:25:02操作系统版块每日发帖之星
日期:2016-05-10 19:22:58操作系统版块每日发帖之星
日期:2016-05-10 19:22:58操作系统版块每日发帖之星
日期:2016-05-10 19:22:58
发表于 2012-08-09 10:52 |显示全部楼层
nosql能做到这个地步??

论坛徽章:
0
发表于 2012-08-09 11:48 |显示全部楼层
本帖最后由 horizonhyg 于 2012-08-09 11:50 编辑

@cdtits哈,改程序多点写入呗,干嘛非要在一台机器上下功夫,这种情况水平拆分嘛。说实话,即便数据库能达到10wqps,应用少了也写不进去。你老板大概说的是峰值。当然单机也是可以优化的,10w估计是达不到,网卡也就能支撑这些,难道还不干点别的了?用fushionIO应该能优化到6w-8w的样子,也不容易。nosql现在单机也到不了,估计是Mysql单机的2倍。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

DTCC2020中国数据库技术大会 限时8.5折

【架构革新 高效可控】2020年8月17日~19日第十一届中国数据库技术大会将在北京隆重召开。

大会设置2大主会场,20+技术专场,将邀请超百位行业专家,重点围绕数据架构、AI与大数据、传统企业数据库实践和国产开源数据库等内容展开分享和探讨,为广大数据领域从业人士提供一场年度盛会和交流平台。

http://dtcc.it168.com


大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP