免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: pipihappy8888
打印 上一主题 下一主题

[存储网络] 【大话IT】电商突击战:流量高峰如何破解IO瓶颈? [复制链接]

论坛徽章:
0
31 [报告]
发表于 2014-12-22 16:29 |只看该作者
回复 1# pipihappy8888


本人从业于互联网企业,虽然比不上那些电商,每天上亿的访问还是有的。这里小小谈下体会.其实系统中的i/o问题就如其名 分为读和写的问题。

读的问题解决方法一般都是做cache用memcache等用内存读来提高读取能力,这里要解决的主要是数据恢复和数据同步的问题。

写的问题              一如果你有钱可以任性可以提高你的硬件水平比如上磁盘整列什么的提高i/o的吞吐水平

                         二如果你不能任性,那么一般还是采取集群的方式来解决,其实对于淘宝,京东这种规模的电商再任性你也无法在硬件i/o上赶上需求,解决之道还是用分布式或集群的方式吧i/o的需求分散到多个机器上去解决,那么要解决的就是数据同步,资源竞争,集群划分的问题。
                         三如果即使集群也不能满足你的需求,毕竟集群和分布式的拓展仍然会受限于其他因素如网络架构等,那么这时候你就只好去修改系统的框架,优化系统对i/o的读写需求,简化i/o读写,这个方法或许能带来质的提升。
         


   

论坛徽章:
17
天蝎座
日期:2014-03-10 14:35:04数据库技术版块每日发帖之星
日期:2015-12-13 06:20:00IT运维版块每日发帖之星
日期:2015-12-13 06:20:00数据库技术版块每日发帖之星
日期:2015-10-20 06:20:00数据库技术版块每日发帖之星
日期:2015-08-21 06:20:00数据库技术版块每日发帖之星
日期:2015-06-17 22:20:002015年迎新春徽章
日期:2015-03-04 09:57:092015年辞旧岁徽章
日期:2015-03-03 16:54:15技术图书徽章
日期:2015-01-12 17:05:35亥猪
日期:2014-11-09 13:05:04金牛座
日期:2014-09-25 11:28:54处女座
日期:2014-09-15 19:58:36
32 [报告]
发表于 2015-01-08 16:58 |只看该作者
学习了!

论坛徽章:
0
33 [报告]
发表于 2015-01-09 11:31 |只看该作者
这活动还没结束么?

论坛徽章:
2
技术图书徽章
日期:2013-11-15 00:23:25双鱼座
日期:2013-11-25 13:13:29
34 [报告]
发表于 2015-01-09 15:29 |只看该作者
回复 30# bbzsxjj


    CDN服务器都部署到哪里

论坛徽章:
0
35 [报告]
发表于 2015-01-09 18:46 |只看该作者
真的好活动啊,有奖品也

论坛徽章:
0
36 [报告]
发表于 2015-01-09 18:46 |只看该作者
还是得有好的服务器才行啊

论坛徽章:
0
37 [报告]
发表于 2015-01-09 18:50 |只看该作者
大批量处理数据库导致I/O 100%(INSERT )

论坛徽章:
0
38 [报告]
发表于 2015-01-09 18:51 |只看该作者
听听大家的意见

论坛徽章:
0
39 [报告]
发表于 2015-01-09 18:52 |只看该作者
来来来。交流起来

论坛徽章:
0
40 [报告]
发表于 2015-01-10 22:39 |只看该作者
1.您在工作中,面临哪些具体的应用会体会到系统的IO瓶颈?
IO目前遇到的主要来自于网络IO及硬盘IO两个方面。网络中交换机等设备就不多说了。主要是网卡方面的,如果服务器自带的网口不能满足当前业务的话会考虑另外购买Intel网卡或者万兆网卡来解决。另外网卡本身还需要调整,根据不同的业务来调整不同的方面。部分方面可以看我的博客http://blog.chinaunix.net/uid-10915175-id-4503728.html

2.面对IO瓶颈,您有何良策?比如,冷热数据的SSD硬盘存取策略,请畅谈下您的想法。
硬盘方面的IO,以往都是机械硬盘,所以必然会有迟延。在不需要持久化的业务使用SSD是可以增加数倍的效率,很明显的提升。但如果需要的话可能只能用高速硬盘或者是分布式来解决房读写效率的问题了。如果静态资源目前国内大多使用CDN方式来解决,当然这也得看量,以及谈。不然价格可能不太合适 。

3.在您的工作当中,您具体应用了哪些解决方案来解决系统瓶颈?
一是在LVS服务器上调整,看我上面博客的连接。另一个是大数据方面的调整,同上。因为成本的原因,并没有买万兆交换机及万兆网卡,所以只能各种调整。

4.您觉得双十一、双十二高峰流量会对电商平台带来哪些瓶颈?从服务器硬件IO系统(存储、网络、互联)的角度来说可以用哪些优化方式?
个人感觉负载不是问题,中间的缓存也不是问题(有问题的是逻辑架构,硬件不是问题)。后面的数据库会有点问题,看是不是时时或者可以先放缓存中再放到数据库中。
个人认为硬件的IO在目前来说一般不是问题,因为只要肯花钱,逻辑架构差点也没事,就是看准备花钱多钱,包括网络啊,DB啊什么的。
逻辑不错的话可以节省很多钱,这也看架构师的能力吧。
还有另外不可控的是网络带宽及DNS。网络带宽就看各地区吧,别的地不清楚,可能一线城市会好一些。另外的DNS现在大多是使用的智能DNS, 这也看各地缓存,这个不好说。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP