免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12
最近访问板块 发新帖
楼主: cdtits

【讨论中】每秒钟写入10万条记录,能行不? [复制链接]

论坛徽章:
2
CU大牛徽章
日期:2013-04-17 11:46:28CU大牛徽章
日期:2013-04-17 11:46:39
发表于 2012-08-09 11:54 |显示全部楼层
回复 10# horizonhyg


    应该要采用多台服务器,貌似单台撑不住的。
    请问:多台设备最好如何处理?包括存储?

论坛徽章:
0
发表于 2012-08-09 12:00 |显示全部楼层
回复 11# cdtits


    Mysql优化的好,一般情况1w-2w的qps也就是峰值了,跟导入速度差不多,我们的应用有qps达到2w的插入,大概32G内存,1.5w转的企业磁盘,没有fushionIO,这么算下来至少得10台服务器,做5主5从,或者更多些。这你们得实地压测。架构不要太复杂,就是主从,程序水平切分。

论坛徽章:
2
CU大牛徽章
日期:2013-04-17 11:46:28CU大牛徽章
日期:2013-04-17 11:46:39
发表于 2012-08-09 12:22 |显示全部楼层
回复 12# horizonhyg


    请教一下:水平切分后,查询统计如何合并?应用程序来将每个数据库的结果集进行合并,还是将结果集写入另外数据库来完成查询统计合并?

论坛徽章:
27
CU大牛徽章
日期:2013-03-13 15:15:08CU大牛徽章
日期:2013-05-20 10:46:38CU大牛徽章
日期:2013-05-20 10:46:44CU大牛徽章
日期:2013-09-18 15:24:09CU大牛徽章
日期:2013-09-18 15:24:20CU大牛徽章
日期:2013-09-18 15:24:25CU大牛徽章
日期:2013-09-18 15:24:31CU大牛徽章
日期:2013-09-18 15:24:36CU大牛徽章
日期:2013-09-18 15:24:41CU大牛徽章
日期:2013-09-18 15:24:48CU大牛徽章
日期:2013-09-18 15:24:52处女座
日期:2013-09-27 17:45:43
发表于 2012-08-09 13:58 |显示全部楼层
建议用内存数据库,先让写进程把数据写到内存中,然后另外一个进程每隔一分钟把内存中的数据写到硬盘中

论坛徽章:
0
发表于 2012-08-09 14:14 |显示全部楼层
回复 13# cdtits


    是的,阿里系的TDDL,Corba都已经开源,可以参考,不过这个是个很大规模的改造啊。。。

论坛徽章:
0
发表于 2012-08-13 10:56 |显示全部楼层
redis            
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

DTCC2020中国数据库技术大会

【架构革新 高效可控】2020年12月21日-23日第十一届中国数据库技术大会将在北京隆重召开。

大会设置2大主会场,20+技术专场,将邀请超百位行业专家,重点围绕数据架构、AI与大数据、传统企业数据库实践和国产开源数据库等内容展开分享和探讨,为广大数据领域从业人士提供一场年度盛会和交流平台。

http://dtcc.it168.com


大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP