【大话IT】电商突击战：流量高峰如何破解IO瓶颈？

michael1983

大家讨论的很热烈嘛，我也来聊几句

michael1983

1.您在工作中，面临哪些具体的应用会体会到系统的IO瓶颈？
其实很多应用都会遇到IO瓶颈，在性能调优层面，也只有IO问题是最难以诊断和定位的。IO就是Input/Output的缩写，因此理论上所有涉及数据、指令、信令、代码等进出的都可以称之为IO。狭义上，我们把IO会缩小在磁盘这一层面，因为磁盘跟IO密切相关。
磁盘的性能指标一般又会考虑两点，IOPS和带宽。
所以上文中所说的SSD硬盘、ESSD卡都是为了提升IOPS，而高带宽网卡则是为了提升带宽。传统的IO调优，无非也是从这两方面入手。
就我所在企业来说，系统IO瓶颈出现较多的情况主要在数据挖掘系统和高并发的数据库访问上。
数据挖掘系统，因为其大量的数据存放（我们企业的DataWare系统已经有超过60T数据），不同于OLTP系统，对带宽和IO的要求极其之高，一个报表涉及到的查询就有上千张表，瞬间IO和带宽相当之高，因此瓶颈存在。
还有就是我们的网上交易系统，高峰时段，并发量会达到每秒上万次，导致服务器的IO值瞬间飙升100%。
这些都是非常典型的高IO应用。

2.面对IO瓶颈，您有何良策？比如，冷热数据的SSD硬盘存取策略，请畅谈下您的想法。
面对IO瓶颈，受制于不同的技术条件和约束，应对的措施也不尽相同。
比如上述的DW系统，我们会采用分布式的数据仓库系统，比如hadoop，叠加众多节点的计算和IO，从而实现高带宽、大IO的满足。
而对网上交易系统，由于其数据库一致性的要求（分布式数据库还不太敢用，其在一致性层面尚未解决的很好），所以无法采用分布式节点的方法分担IO，因此只能提供单节点的IO能力，比如将存储由raid5改为raid10，优化缓存读写算法提高缓存命中率，甚至使用固态硬盘提升IO，等等。

3.在您的工作当中，您具体应用了哪些解决方案来解决系统瓶颈？
针对系统瓶颈用到的具体解决方案来说，有多种多样，有硬件层面的，也有软件层面的，更有架构层面的。
硬件层面就是针对单节点系统，提升该节点的硬件配置，比如CPU从2个8核心换位4个10核心，硬盘从7200rpm SATA盘换位15000rpm的SAS盘，内存从64G升为256G，raid从raid5变为raid10，raid卡缓存从64M升为512M，这些都是针对单点系统的硬件升级，多节点的则是提升单点系统的硬件配置同时，也扩展节点数量，从而增大整个系统及其的服务能力。
软件层面则有很多，优化软件算法，提升cache命中，改变开发架构，考虑轻量化开发转型等。
架构层面则是单机改双机，增强稳定性；双机改集群，增强可扩展性；甚至由双活、多活的系统架构，全面提升系统可用性，解决系统的整体风险瓶颈。

4.您觉得双十一、双十二高峰流量会对电商平台带来哪些瓶颈？从服务器硬件IO系统（存储、网络、互联）的角度来说可以用哪些优化方式？
双十一、双十二高峰流量对电商平台带来的流量、交易延迟等，对系统影响较大。
服务器硬件IO系统（存储、网络、互联）的角度来说，优化的方式除了硬软件层面意外，更要有流程的管控和应急措施的制定。
扩大集群节点数量，提升集群服务能力；冗余节点数量，随时应急使用；调整IO消耗高的批处理时间，确保资源全力投入交易过程。
除此之外，还要有限流措施等应急手段。
没有一种方案是万能的，所以最后的应急措施还是要有。

michael1983

回复 51# jxzkin


内存数据库倒不失为一种解决性能瓶颈的应对之策，把数据库的读写IO放到内存中，大大降低IO瓶颈，很不错。
但是在数据的易失性方面，要考虑全面。
其实数据库这一层面优化的余地还不少，读写分离，在线日志与归档日志隔离，OS层面LVM做条带，最大限度增强IO响应能力

michael1983

回复 57# qingduo04


集群化的分布式数据库跟传统关系型数据库最大的缺点就是不一致性问题，但是还是可以在很多层面可以降低这种问题发生的概率，甚至可以规避它。
只要它不影响我正常的交易即可。
比如实时交易是一定要保持一致性的，但非实时的查询类就不需要保持实时一致，也没太大必要。
云计算这一块儿是趋势，阿里云已经非常厉害了，看看今年的12306网站吧，你会发现阿里技术团队的牛逼之处。

michael1983

回复 44# qingduo04


嗯，OLAP环境中，对于MPP数据库来说，其实主要瓶颈在于各节点数据同步的带宽，这一点建议使用万兆网络或IB网络，而对外提供服务的网络其实千兆基本足够。
hadoop也是如此，至少要是万兆网。

michael1983

回复 32# 孙轩


    淘宝就是通过应用层面实现了读写分离，在传统扩展节点已经无法实现更高IO性能的时候，找到了这一优化措施，值得很多企业借鉴。

michael1983

回复 87# qingduo04


    建议分节点定位问题，传输速度不满足要求，这个是有很多因素造成的。
是不是有带宽争用？看看别的应用是不是占用了大量带宽。
是不是数据传输时a或b上资源繁忙，导致处理不过来。
可以尝试到每一个节点交换机上测试传输速度，最终定位到哪一环节的问题。