【讨论中】每秒钟写入10万条记录，能行不？

cdtits

最近领导有点发疯，要求我们必须做到满足每秒写入10万条记录，每条记录大概 1k 字节左右。
请问各位大牛，哪种数据库系统可以满足要求？采用何种架构？
非常感谢您的回复！

minyounglee

针对这种IO密集型应用，如果不想改变原有系统架构，可以考虑采用服务器内插入PCIE加速卡实现，IOPS可以提升10-20倍。如果采用传统存储架构，您所说的每秒10万的io很难做到，这不仅需要大量的缓存服务器，而且需要大量的硬盘提供IOPS。

rucypli

考虑nosql吧

cenalulu

回复 2# minyounglee


    2楼还真是哪里都回复PCIE方案阿。。。MySQL就算是纯内存，no binlog单机也很难达到上万的DML QPS。。。楼主考虑NoSQL解决方案吧，redis，mongo之流

zhangshengdong

回复 2# minyounglee


    nosql是个不错的选择，可以选择mongodb

minyounglee

回复 4# cenalulu


这并不冲突，对于10万的IO，关系型数据库很难做到，NOSQL可以提供很高的处理性能，但瓶颈在于磁盘IO，对于这10万条1K的记录，完全可以使用nosql+PCIE卡配合进行。

minyounglee

回复 4# cenalulu

我并没有建议楼主使用mysql。

   

cdtits

mysql 官网上面有个 oracle 做的集群测试，貌似采用 memcached + mysql，共 15 个集群，update 可达每分钟 12 亿条
不知道是不是真的能实现？
MySQL Cluster Benchmarks
另外想请教一下各位大牛：针对一般 pc 服务器，mysql 极限性能到底如何？

action08

nosql能做到这个地步？？

horizonhyg

@cdtits哈，改程序多点写入呗，干嘛非要在一台机器上下功夫，这种情况水平拆分嘛。说实话，即便数据库能达到10wqps，应用少了也写不进去。你老板大概说的是峰值。当然单机也是可以优化的，10w估计是达不到，网卡也就能支撑这些，难道还不干点别的了？用fushionIO应该能优化到6w-8w的样子，也不容易。nosql现在单机也到不了，估计是Mysql单机的2倍。