【大话IT】电商突击战：流量高峰如何破解IO瓶颈？

pipihappy8888

获奖名单已公布：http://bbs.chinaunix.net/thread-4169473-1-1.html

众所周知，服务器系统的CPU已经十分强悍，但存储和IO却小步加快跑，还是跟不上节奏。正因如此，一些厂商倒腾了一些解决IO瓶颈的解决方案，例如后端配SSD硬盘、PCI-ESSD卡、高带宽网卡，让存储更靠近计算节点，实现软件定义存储等等……你在具体应用服务器的时候，有木有切身体会呢？

IO带宽对电商平台系统来说意味着什么？在电商企业的IT系统中，服务器承载了80%以上的企业数据处理任务。在云时代，服务器的性能更成为云计算能力的核心瓶颈。面对双十一瞬间访问量激增带来的负载苦恼，业务流程频繁带来的海量数据I/O瓶颈，电商平台又是如何应对的呢？ 从服务器硬件系统角度来说，如何实现快、稳、维呢？有哪些应对方式？欢迎大家畅所欲言。

话题讨论：

1.您在工作中，面临哪些具体的应用会体会到系统的IO瓶颈？

2.面对IO瓶颈，您有何良策？比如，冷热数据的SSD硬盘存取策略，请畅谈下您的想法。

3.在您的工作当中，您具体应用了哪些解决方案来解决系统瓶颈？

4.您觉得双十一、双十二高峰流量会对电商平台带来哪些瓶颈？从服务器硬件IO系统（存储、网络、互联）的角度来说可以用哪些优化方式？

活动时间：2014年12月8日-1月23日

活动奖励：欢迎亲们针对以上问题踊跃回帖，言之有理即可，我们将根据大家的回复情况评选获奖会员

功劳奖：回复内容质量高的会员2名，赠送价值100元的京东购物卡

苦劳奖：参与回帖积极活跃的会员7名，赠送无线鼠标1个

  

jieforest

1.您在工作中，面临哪些具体的应用会体会到系统的IO瓶颈？
我们在开发高并发的Web应用经常会遇到系统IO瓶颈。因为我们开发的一些应用，用户数通常都有数百万。当用户比较集中访问时（尤其是在做推广活动时）就会遇到系统IO瓶颈。

2.面对IO瓶颈，您有何良策？比如，冷热数据的SSD硬盘存取策略，请畅谈下您的想法。
我们公司租用了阿里和网宿的云服务器，也遇到过IO瓶颈。
记得有一回是这样的，对用户的响应非常慢，即时是我们远程登录后台，也很慢。随后我们检查服务器，用iostat命令发现iowait的值很高，接着用iotop查看是哪些进程导致IO瓶颈的。结果我们发现没有对IO负载影响大的进程。再后来我们请阿里的运维工程师一起找问题，发现是阿里云存储本身的问题。
阿里云存储是存储设备的虚拟化，我们使用的那块区域正好存在IO瓶颈，是其它的应用（非我公司应用）造成的结果。
对于物理磁盘，如果遇到IO瓶颈，考虑SSD是很正常的方案。

3.在您的工作当中，您具体应用了哪些解决方案来解决系统瓶颈？
系统瓶颈不一定是IO瓶颈，IO瓶颈只是系统瓶颈中的一个类别。
一般我们在应用上线前，都会做性能测试，找出潜在的会引起系统瓶颈的点。
比如找出耗时的数据库操作；找出CPU占用率高的代码；找出内存占用大的模块；找出磁盘IO频繁的代码等等，然后对症下药，做出相应的优化。

4.您觉得双十一、双十二高峰流量会对电商平台带来哪些瓶颈？从服务器硬件IO系统（存储、网络、互联）的角度来说可以用哪些优化方式？
解决瓶颈的手段有很多，各自的应用场景也各不相同。其实双十一、双十二等活动的背后，阿里在系统瓶颈的预防和处理方面已经做得很好了，但还不够。主要体现在有些业务在高峰流量时仍然会表现出数据的不一致性，当然，这种数据的不一致性都是非关键应用的数据。对于关键业务的数据，都是通过“烧”服务器，通过堆积大量的软硬件资源来解决系统的瓶颈。

其实以上都是泛泛而谈，在互联网巨头公司工作的牛人们更有发言权。

lvruiming

银行系统在双11、双12、每月月底几日也会遇到交易峰值
出现瓶颈主要是两方面：一方面就是硬件io（存储、网络） ，一方面就是应用程序处理响应
硬件io效率的提升主要是配SSD硬盘、PCI-ESSD卡、高带宽网卡等设备
软件方面还是有一些方法提升处理效率，比如
1、同步通讯转为异步通讯，提升通讯处理能力，可参考MQ的通讯实现方式
2、硬盘不建议使用传统的RAID方式，比较好的做法是每块磁盘单独mount，通过程序来控制对多块磁盘进行并发读写。采用单盘mount，文件的备份和冗余可以通过多台机器实现

瀚海书香

1.您在工作中，面临哪些具体的应用会体会到系统的IO瓶颈？
Hadoop集群的计算明显受制于磁盘；
推流缓存系统的瓶颈点也出现在磁盘；
2.面对IO瓶颈，您有何良策？比如，冷热数据的SSD硬盘存取策略，请畅谈下您的想法。
增加缓存系统，调优缓存算法；
内存+SSD+SAS的三级架构；
用运算资源换取IO资源；
3.在您的工作当中，您具体应用了哪些解决方案来解决系统瓶颈？
异步队列IO；
内存/SSD二级缓存系统；
4.您觉得双十一、双十二高峰流量会对电商平台带来哪些瓶颈？从服务器硬件IO系统（存储、网络、互联）的角度来说可以用哪些优化方式？
没运维过电商平台，不了解

dicc

1.您在工作中，面临哪些具体的应用会体会到系统的IO瓶颈？
大量文件读取集中时，造成IO瓶颈；
2.面对IO瓶颈，您有何良策？比如，冷热数据的SSD硬盘存取策略，请畅谈下您的想法。
如果对于热度非常集中，可以上ssd扩大单台服务器的网络吞吐量，否则单点流量不是非常高，或是对单台网络吞吐要求不是非常高，可以不必要用ssd，直接用磁盘做直通靠业务业务逻辑拆分方问到不同磁盘上，平均磁盘的的io访问量；
3.在您的工作当中，您具体应用了哪些解决方案来解决系统瓶颈？
单块盘做直通，靠前端用户调度拆分request访问每个点，在每个点上做调度拆分到不同机器，在每台机器上做调度折分request平均到不同磁盘，使io不要因内容集中到单块盘上，即使同一内容，可以在10块盘的服务器上各存一份，对来的request平均到10份在不同物理磁盘上
4.您觉得双十一、双十二高峰流量会对电商平台带来哪些瓶颈？从服务器硬件IO系统（存储、网络、互联）的角度来说可以用哪些优化方式？
最主要的是写入记录的同步，这块需要通过应用逻辑打散，中间件，缓存和db拆库分表的一同努力合作才能完成，不是简单的从一个服务器的io就能解决

hexilanlan

1.您在工作中，面临哪些具体的应用会体会到系统的IO瓶颈？
测试系统本地磁盘性能不足。。

2.面对IO瓶颈，您有何良策？比如，冷热数据的SSD硬盘存取策略，请畅谈下您的想法。
可以用后端存储；但后端存储贵，木有规划给测试系统用。

3.在您的工作当中，您具体应用了哪些解决方案来解决系统瓶颈？
简单的就是加硬盘。。
再就是要求后台存储。

4.您觉得双十一、双十二高峰流量会对电商平台带来哪些瓶颈？从服务器硬件IO系统（存储、网络、互联）的角度来说可以用哪些优化方式？
带宽是个大问题。。。木有好想法。
存储的话，加盘加卡；高端存储都可扩。。

bbzsxjj

1.您在工作中，面临哪些具体的应用会体会到系统的IO瓶颈？
   当前面所有的压力都推到后端数据库后，数据库系统IO瓶颈会很大，特别是使用mysql的同学。
2.面对IO瓶颈，您有何良策？比如，冷热数据的SSD硬盘存取策略，请畅谈下您的想法。
    使用ssd存放数据，使用raid保障ssd的高可用。
3.在您的工作当中，您具体应用了哪些解决方案来解决系统瓶颈？
    使用多服务器的实时，异步同步保障数据的高可用，还有就是读写分离/分库/索引。
4.您觉得双十一、双十二高峰流量会对电商平台带来哪些瓶颈？从服务器硬件IO系统（存储、网络、互联）的角度来说可以用哪些优化方式？
      我觉的高峰流量会对电商平台的应用处理/网络流量/数据库都会是个很大的压力，比如：用户登录系统，交易系统，IDC带宽这类，集群的数据一致性等。
     存储可以使用分布式存储，具体看存的东西，比如:fastdfs
     网络一般将流量放到CDN中跑，能静态化的内容一定要静态化，能压缩的内容一定要压缩，比如：手机APP上的图片，压缩下将会节省大量的流量。
     使用多家CDN，并对各种请求进行分类分流，并使用第三方的监控对各节点进行监控，出问题了迅速切换（智能DNS很关键）

孙轩

回复 1# pipihappy8888


本人从业于互联网企业,虽然比不上那些电商，每天上亿的访问还是有的。这里小小谈下体会.其实系统中的i/o问题就如其名 分为读和写的问题。

读的问题解决方法一般都是做cache用memcache等用内存读来提高读取能力,这里要解决的主要是数据恢复和数据同步的问题。

写的问题              一如果你有钱可以任性可以提高你的硬件水平比如上磁盘整列什么的提高i/o的吞吐水平

                         二如果你不能任性，那么一般还是采取集群的方式来解决,其实对于淘宝，京东这种规模的电商再任性你也无法在硬件i/o上赶上需求，解决之道还是用分布式或集群的方式吧i/o的需求分散到多个机器上去解决,那么要解决的就是数据同步，资源竞争，集群划分的问题。
                         三如果即使集群也不能满足你的需求，毕竟集群和分布式的拓展仍然会受限于其他因素如网络架构等，那么这时候你就只好去修改系统的框架,优化系统对i/o的读写需求，简化i/o读写,这个方法或许能带来质的提升。
         


   

Gray1982

1.您在工作中，面临哪些具体的应用会体会到系统的IO瓶颈？
IO目前遇到的主要来自于网络IO及硬盘IO两个方面。网络中交换机等设备就不多说了。主要是网卡方面的，如果服务器自带的网口不能满足当前业务的话会考虑另外购买Intel网卡或者万兆网卡来解决。另外网卡本身还需要调整，根据不同的业务来调整不同的方面。部分方面可以看我的博客http://blog.chinaunix.net/uid-10915175-id-4503728.html。

2.面对IO瓶颈，您有何良策？比如，冷热数据的SSD硬盘存取策略，请畅谈下您的想法。
硬盘方面的IO，以往都是机械硬盘，所以必然会有迟延。在不需要持久化的业务使用SSD是可以增加数倍的效率，很明显的提升。但如果需要的话可能只能用高速硬盘或者是分布式来解决房读写效率的问题了。如果静态资源目前国内大多使用CDN方式来解决，当然这也得看量，以及谈。不然价格可能不太合适 。

3.在您的工作当中，您具体应用了哪些解决方案来解决系统瓶颈？
一是在LVS服务器上调整，看我上面博客的连接。另一个是大数据方面的调整，同上。因为成本的原因，并没有买万兆交换机及万兆网卡，所以只能各种调整。

4.您觉得双十一、双十二高峰流量会对电商平台带来哪些瓶颈？从服务器硬件IO系统（存储、网络、互联）的角度来说可以用哪些优化方式？
个人感觉负载不是问题，中间的缓存也不是问题（有问题的是逻辑架构，硬件不是问题）。后面的数据库会有点问题，看是不是时时或者可以先放缓存中再放到数据库中。
个人认为硬件的IO在目前来说一般不是问题，因为只要肯花钱，逻辑架构差点也没事，就是看准备花钱多钱，包括网络啊，DB啊什么的。
逻辑不错的话可以节省很多钱，这也看架构师的能力吧。
还有另外不可控的是网络带宽及DNS。网络带宽就看各地区吧，别的地不清楚，可能一线城市会好一些。另外的DNS现在大多是使用的智能DNS， 这也看各地缓存，这个不好说。

qingduo04

1.您在工作中，面临哪些具体的应用会体会到系统的IO瓶颈？

当前所处环境中，是非电商环境，是OLAP环境，部分业务是OLTP业务。
主要的IO瓶颈在与处理不同系统中的文件的时候，当前传统的设备一般都是千兆网络，新增设备一般都是万兆网络。
从千兆网络传输到万兆网络有这方面的IO问题。
而从万兆网络中X86服务器接口机加载到MPP数据库中，不同的X86服务器的加载速度也是不一样的。
前期出现过不同厂家的服务器，两套MPP数据库A厂家的刀片搭建一套，B厂家的搭建一套，A刀片比B刀片贵，但是单台DD测试却不是一个级别的。
究其原因最后A厂给出的是cache较差

2.面对IO瓶颈，您有何良策？比如，冷热数据的SSD硬盘存取策略，请畅谈下您的想法。

    如果限制的是网络非服务器，则通过万兆交换机或者infiniband高速交换。
如果限制的是X86服务器，则会升级cache进行操作。
如果不能升级，只能购买高性能的设备，热点数据采用SSD盘或者是采用加速卡。

3.在您的工作当中，您具体应用了哪些解决方案来解决系统瓶颈？

   hadoop平台搭建，datanode可以采用SATA盘或者SAS盘进行搭建，但是namenode简易采用加速卡或者SSD盘进行搭建，以便提高元数据的数据交互。
       如果舍得投入，可以在datanode也采用ssd盘，只是性价比太低。
  

4.您觉得双十一、双十二高峰流量会对电商平台带来哪些瓶颈？从服务器硬件IO系统（存储、网络、互联）的角度来说可以用哪些优化方式？

   当前电商应对双十一，双十二 都是采用峰值前进行扩容，包含网络扩容、服务器性能扩容，在峰值的时候进行性能均摊，确保服务器以及网络无太高的消耗。

jxzkin

1.您在工作中，面临哪些具体的应用会体会到系统的IO瓶颈？
接触到的系统中，面临IO瓶颈问题的一般都是数据库服务器。



3.在您的工作当中，您具体应用了哪些解决方案来解决系统瓶颈？
对于数据库应用，从应用和数据层来简单说明下解决方案：
应用：
对于系统中读压力比较大的系统，可以考虑从架构来解决，
1>对比较静态数据可考虑加一缓存层，Memcached或Redis都是不错的选择。
2>对于实时更新的数据，而不需要入库，如有必要，异步入库，同样考虑利用缓存，方案同上。

数据库：
1>建立合适数量和合适的索引
2>小量、静态热数据考虑keep在内存中。
3>redo日志，考虑设定为合适大小。

硬件：
考虑混合磁盘，利用存储的分层技术，避免磁盘浪费及提高利用率。

michael1983

1.您在工作中，面临哪些具体的应用会体会到系统的IO瓶颈？
其实很多应用都会遇到IO瓶颈，在性能调优层面，也只有IO问题是最难以诊断和定位的。IO就是Input/Output的缩写，因此理论上所有涉及数据、指令、信令、代码等进出的都可以称之为IO。狭义上，我们把IO会缩小在磁盘这一层面，因为磁盘跟IO密切相关。
磁盘的性能指标一般又会考虑两点，IOPS和带宽。
所以上文中所说的SSD硬盘、ESSD卡都是为了提升IOPS，而高带宽网卡则是为了提升带宽。传统的IO调优，无非也是从这两方面入手。
就我所在企业来说，系统IO瓶颈出现较多的情况主要在数据挖掘系统和高并发的数据库访问上。
数据挖掘系统，因为其大量的数据存放（我们企业的DataWare系统已经有超过60T数据），不同于OLTP系统，对带宽和IO的要求极其之高，一个报表涉及到的查询就有上千张表，瞬间IO和带宽相当之高，因此瓶颈存在。
还有就是我们的网上交易系统，高峰时段，并发量会达到每秒上万次，导致服务器的IO值瞬间飙升100%。
这些都是非常典型的高IO应用。

2.面对IO瓶颈，您有何良策？比如，冷热数据的SSD硬盘存取策略，请畅谈下您的想法。
面对IO瓶颈，受制于不同的技术条件和约束，应对的措施也不尽相同。
比如上述的DW系统，我们会采用分布式的数据仓库系统，比如hadoop，叠加众多节点的计算和IO，从而实现高带宽、大IO的满足。
而对网上交易系统，由于其数据库一致性的要求（分布式数据库还不太敢用，其在一致性层面尚未解决的很好），所以无法采用分布式节点的方法分担IO，因此只能提供单节点的IO能力，比如将存储由raid5改为raid10，优化缓存读写算法提高缓存命中率，甚至使用固态硬盘提升IO，等等。

3.在您的工作当中，您具体应用了哪些解决方案来解决系统瓶颈？
针对系统瓶颈用到的具体解决方案来说，有多种多样，有硬件层面的，也有软件层面的，更有架构层面的。
硬件层面就是针对单节点系统，提升该节点的硬件配置，比如CPU从2个8核心换位4个10核心，硬盘从7200rpm SATA盘换位15000rpm的SAS盘，内存从64G升为256G，raid从raid5变为raid10，raid卡缓存从64M升为512M，这些都是针对单点系统的硬件升级，多节点的则是提升单点系统的硬件配置同时，也扩展节点数量，从而增大整个系统及其的服务能力。
软件层面则有很多，优化软件算法，提升cache命中，改变开发架构，考虑轻量化开发转型等。
架构层面则是单机改双机，增强稳定性；双机改集群，增强可扩展性；甚至由双活、多活的系统架构，全面提升系统可用性，解决系统的整体风险瓶颈。

4.您觉得双十一、双十二高峰流量会对电商平台带来哪些瓶颈？从服务器硬件IO系统（存储、网络、互联）的角度来说可以用哪些优化方式？
双十一、双十二高峰流量对电商平台带来的流量、交易延迟等，对系统影响较大。
服务器硬件IO系统（存储、网络、互联）的角度来说，优化的方式除了硬软件层面意外，更要有流程的管控和应急措施的制定。
扩大集群节点数量，提升集群服务能力；冗余节点数量，随时应急使用；调整IO消耗高的批处理时间，确保资源全力投入交易过程。
除此之外，还要有限流措施等应急手段。
没有一种方案是万能的，所以最后的应急措施还是要有。

shang2010

2.面对IO瓶颈，您有何良策？比如，冷热数据的SSD硬盘存取策略，请畅谈下您的想法。

加cache永远是不二法则

banggou

1.您在工作中，面临哪些具体的应用会体会到系统的IO瓶颈？
对于ms级别的调度处理，总是有调度完成到将调度结果存入存储设备这之间的性能差
当然对于大数据并行写入，同样也有这样的问题，需要在有限的时间内保证记录数据的完整性


4.您觉得双十一、双十二高峰流量会对电商平台带来哪些瓶颈？从服务器硬件IO系统（存储、网络、互联）的角度来说可以用哪些优化方式？
一般也就是上面说的，用空间换时间，各种 cache （如 CPU L1/L2/RAM） 到硬盘的多种组合使用。
同时根据实际使用的数据库类型，合理配置CPU 以及OS的调度级别，评估需要的硬盘的合理数量

应该说，这个优化应该从一个整体考虑，系统级别优化吧

xike2002

来和大家聊一聊。

欧利斯基

小米抢购的时候  秒杀的时候 服务器流量是真正高峰
sqbijia.com

wangsuxiaorong

双12前夕我们网站流量就突增了！！唉又是个麻烦事~~明年还要新年促销，网站扛不住啊~老板让给个解决办法，我打算给老板推荐使用CDN，缓解下带宽压力。哪位用过的大神给推荐下谁家的比较好用？广告贴勿扰，要说明具体哪家好呀！

pingdanorcale

1.您在工作中，面临哪些具体的应用会体会到系统的IO瓶颈？
大批量处理数据库导致I/O 100%（INSERT ）
2.面对IO瓶颈，您有何良策？比如，冷热数据的SSD硬盘存取策略，请畅谈下您的想法。
  做条带 打散磁盘 做radio 加cache等等

3.在您的工作当中，您具体应用了哪些解决方案来解决系统瓶颈？
一般修改业务进行处理
4.您觉得双十一、双十二高峰流量会对电商平台带来哪些瓶颈？从服务器硬件IO系统（存储、网络、互联）的角度来说可以用哪些优化方式？

一般是网络、存储优化 业务层优化

duronshi

真送还是假送呀？