【大话IT】电商突击战：流量高峰如何破解IO瓶颈？

aslkdfieamv

某宝的服务器应该很nb，据说双十一都是一夜一夜的加班，平时貌似也是

jiangwen277

看看，挣礼品

jiangwen277

看看，挣礼品

michael1983

大家讨论的很热烈嘛，我也来聊几句

michael1983

1.您在工作中，面临哪些具体的应用会体会到系统的IO瓶颈？
其实很多应用都会遇到IO瓶颈，在性能调优层面，也只有IO问题是最难以诊断和定位的。IO就是Input/Output的缩写，因此理论上所有涉及数据、指令、信令、代码等进出的都可以称之为IO。狭义上，我们把IO会缩小在磁盘这一层面，因为磁盘跟IO密切相关。
磁盘的性能指标一般又会考虑两点，IOPS和带宽。
所以上文中所说的SSD硬盘、ESSD卡都是为了提升IOPS，而高带宽网卡则是为了提升带宽。传统的IO调优，无非也是从这两方面入手。
就我所在企业来说，系统IO瓶颈出现较多的情况主要在数据挖掘系统和高并发的数据库访问上。
数据挖掘系统，因为其大量的数据存放（我们企业的DataWare系统已经有超过60T数据），不同于OLTP系统，对带宽和IO的要求极其之高，一个报表涉及到的查询就有上千张表，瞬间IO和带宽相当之高，因此瓶颈存在。
还有就是我们的网上交易系统，高峰时段，并发量会达到每秒上万次，导致服务器的IO值瞬间飙升100%。
这些都是非常典型的高IO应用。

2.面对IO瓶颈，您有何良策？比如，冷热数据的SSD硬盘存取策略，请畅谈下您的想法。
面对IO瓶颈，受制于不同的技术条件和约束，应对的措施也不尽相同。
比如上述的DW系统，我们会采用分布式的数据仓库系统，比如hadoop，叠加众多节点的计算和IO，从而实现高带宽、大IO的满足。
而对网上交易系统，由于其数据库一致性的要求（分布式数据库还不太敢用，其在一致性层面尚未解决的很好），所以无法采用分布式节点的方法分担IO，因此只能提供单节点的IO能力，比如将存储由raid5改为raid10，优化缓存读写算法提高缓存命中率，甚至使用固态硬盘提升IO，等等。

3.在您的工作当中，您具体应用了哪些解决方案来解决系统瓶颈？
针对系统瓶颈用到的具体解决方案来说，有多种多样，有硬件层面的，也有软件层面的，更有架构层面的。
硬件层面就是针对单节点系统，提升该节点的硬件配置，比如CPU从2个8核心换位4个10核心，硬盘从7200rpm SATA盘换位15000rpm的SAS盘，内存从64G升为256G，raid从raid5变为raid10，raid卡缓存从64M升为512M，这些都是针对单点系统的硬件升级，多节点的则是提升单点系统的硬件配置同时，也扩展节点数量，从而增大整个系统及其的服务能力。
软件层面则有很多，优化软件算法，提升cache命中，改变开发架构，考虑轻量化开发转型等。
架构层面则是单机改双机，增强稳定性；双机改集群，增强可扩展性；甚至由双活、多活的系统架构，全面提升系统可用性，解决系统的整体风险瓶颈。

4.您觉得双十一、双十二高峰流量会对电商平台带来哪些瓶颈？从服务器硬件IO系统（存储、网络、互联）的角度来说可以用哪些优化方式？
双十一、双十二高峰流量对电商平台带来的流量、交易延迟等，对系统影响较大。
服务器硬件IO系统（存储、网络、互联）的角度来说，优化的方式除了硬软件层面意外，更要有流程的管控和应急措施的制定。
扩大集群节点数量，提升集群服务能力；冗余节点数量，随时应急使用；调整IO消耗高的批处理时间，确保资源全力投入交易过程。
除此之外，还要有限流措施等应急手段。
没有一种方案是万能的，所以最后的应急措施还是要有。

jiangwen277

在云时代，服务器的性能更成为云计算能力的核心瓶颈

jiangwen277

交流交流               

xinba555

服务器系统的CPU已经十分强悍，但存储和IO却小步加快跑，还是跟不上节奏。

xinba555

发愁啊。。。。。。。。。。。。。。。。。

xinba555

这个话题不错，坐等好方法