【大话IT】流量成倍增长的背后你该如何应对？（获奖名单已公布）

stay_sun

获奖公布：
有奖回复：qingduo04   Forgaoqiang   Proxydemo|   chenxing2   Fl_wolf
请以上获奖人员在5月25日前将姓名、电话、邮箱、公司、职务、快递地址站短给hyukhae079408，以便尽快给大家发放礼品。


话题背景：

开题前，多讲几句题外话。

2014年12月份 iphone 刚出了6 和6plus。由于比较穷就买了一个6 plus 16G。因为本人喜欢大屏。为了苹果的系统下来订单。
等了一个月手机才到高高兴兴的使用的.刚开始用用着很好。偶尔清理下照片就好了。现在俩年多过去了。发现空间不够用了。
各种卸载软件。刚开始用什么都有app 。慢慢把不常用的app 卸载了。到了最近为了下载王者荣耀。基本上手机上没有几个app了。

后来想了想。俩年的时间it圈的发展太快了。数据量已经成几何倍数的增长。在增长的背后。我们又用什么来保障业务的增长呢？
其实我们能学习的案例很多。最成功的案例也就是阿里了。阿里的技术很牛。很多人在讨论阿里的技术。

双11 业务量有太多。其实我觉得你的业务量到不了阿里的数量级。反正我们是到不了。（互联网金融行业）

但是我们的数据量也在增大。我们用什么样的技术来保证我们的业务呢？本次讨论不包括代码级的问题。说起改代码，改架构，那个很长时间也说不完，还得根据业务逻辑来聊聊。


讨论问题：

1. 你任务目前的系统业务量增加10倍  可能出现瓶颈的业务节点是什么？（根据自己的业务思考，10倍压力不够的，那就100倍吧，100倍在不需要的话辞职吧）
2. 你想用什么样的办法 优化你的系统。
3. 增加10倍的压力后。你想怎么管理你的服务器。

活动时间：3月29日--4月29日


活动奖励：

活动结束后，我们将会选取1个精彩回复，送DTCC2017大会入场券一张。

选取5名最佳回复，赠送《尽在双11——阿里巴巴技术演进与超越》各一本。

作者： 阿里巴巴集团双11技术团队   
丛书名： 阿里巴巴集团技术丛书
出版社：电子工业出版社
ISBN：9787121309175
上架时间：2017-3-20
出版日期：2017 年3月
开本：16开
页码：240
版次：1-1
所属分类：经济管理 > 经济/经济学 > 各行业经济 > IT行业 > 电子商务

内容简介：《尽在双11--阿里巴巴技术演进与超越》是迄今唯一由阿里巴巴集团官方出品、全面阐述双 11 八年以来在技术和商业上演进和创新历程的书籍。内容涵盖在双 11 背景下阿里技术架构八年来的演进，如何确保稳定性这条双 11 生命线的安全和可靠，技术和商业交织发展的历程，无线和互动的持续创新与突破，以及对商家的赋能和生态的促进与繁荣。
《尽在双11--阿里巴巴技术演进与超越》主要面向广大互联网技术和商业从业者，内容包括基础设施、云计算、大数据、AR/VR、人工智能、物联网等技术领域的剖析，以及在电商、金融、客服、物流等商业层面的洞察；同时，《尽在双11--阿里巴巴技术演进与超越》也可以作为了解科技与商业最新发展的一个窗口，供科研人员和高校在校师生参考。

试读样章： 尽在双11——阿里巴巴技术演进与超越试读文章.pdf (1.75 MB, 下载次数: 58)

2017-03-29 15:28 上传

点击文件名下载附件

购书链接：http://product.dangdang.com/24221588.html



DTCC 2017 来啦！

随着云计算和大数据时代的来临，数据正在以前所未有的速度成为各个领域价值创造的核心驱动力。

在此背景下，国内最受关注的数据库技术盛会——2017第八届中国数据库技术大会（DTCC2017）将于2017年5月11-13日如约而至。本届大会以“数据驱动•价值发现”为主题，汇集来自互联网、电子商务、金融、电信、政府、行业协会等20多个领域的120多位技术专家，共同探讨Oracle、MySQL、NoSQL、云端数据库、智能数据平台、区块链、数据可视化、深度学习等领域的前瞻性热点话题与技术。大会共设定2大主场和20个技术专场，将吸引5000多名IT人士参会，为数据库人群、大数据从业人员、广大互联网人士及行业相关人士提供最具价值的交流平台。



官网链接：http://dtcc.it168.com/
购票链接：http://dtcc.it168.com/goupiao.html

欢迎扫码关注DTCC官方微信，获取最新信息！

qingduo04

1. 你任务目前的系统业务量增加10倍  可能出现瓶颈的业务节点时什么？（根据自己的业务思考，10倍压力不够的，那就100倍吧，100倍在不需要的话辞职吧）

对客户来说，直观感觉应该在如下三方面感觉不好
登录页面缓慢
查询访问缓慢
增删改缓慢

2. 你想用什么样的办法 优化你的系统

扩容方式：
             采购硬件进行扩容，包含新购主机，更换机械硬盘到SSD盘,热点数据存放到SSD盘，增加读写响应能力
优化方式：
             优化操作系统参数（读写参数）、优化架构（读写分离）
             调整数据库参数，清理历史数据
             根据业务逻辑调整SQL，优化索引，信息收集，数据整合
                        
3. 增加10倍的压力后。你想怎么管理你的服务器

nmon等监控主机的CPU、内存等信息或者通过nagios进行监控
文件系统级别自动进行空间告警和清理。
数据库级别监控数据库的服务，数据库正常与否。

路过支持....................
好书
支持楠楠活动

王楠w_n

回复 2# qingduo04

谢谢支持

forgaoqiang

现在技术图书奖励的讨论少了一些呢 这个参加下 占坑回复 O(∩_∩)O
1. 你任务目前的系统业务量增加10倍  可能出现瓶颈的业务节点是什么？
其实和大部分一样，瓶颈基本上都会出现在I/O位置，再进一步的话就是数据库部分，数据的查询和写入会成为瓶颈。因为一开始设计业务的时候会评估一个大概的用户并发以及最大用户的问题，然后根据对应的情况选择架构设计、开发和生产服务器部署情况。最容易出现问题的地方就是随着大量的数据的突然涌入导致数据库处理不过来。

2. 你想用什么样的办法 优化你的系统。
最直接的方法就是增加硬件，因为设计之初就考虑如何扩展，最有效的方式还是提升硬件性能。其次还是一个非常有效的办法就是临时限制高性能消耗业务的访问，特别是遇到CC攻击时，可以考虑关闭一些大量查询接口。开源中国遭受CC攻击的时候就把搜索功能取消了，避免了高消耗查询对系统的影响。

3. 增加10倍的压力后。你想怎么管理你的服务器。

增加压力后首先得和研发部门确认性能问题，很多时候程序员的一句程序优化胜过运维优化。增加服务器后业务复杂程度就会上升，因此需要优化自动化运维。

Fl_wolf

1. 你任务目前的系统业务量增加10倍  可能出现瓶颈的业务节点是什么？（根据自己的业务思考，10倍压力不够的，那就100倍吧，100倍在不需要的话辞职吧）   瓶颈应该是后端的机器处理速度，因为这边的业务来说，代码真!%@$@#@!的很垃圾，只要实现功能，完全没有考虑性能，现在的业务量增加都是一直在横向扩展机器，无脑堆机器。
  不同的业务瓶颈也可能不一样，比如数据库的查询语句是否优化，是否有做缓存等等。这些都会成为影响体验的一大瓶颈。
2. 你想用什么样的办法 优化你的系统。
系统而言，看系统上跑得什么业务类型吧 根据不同的类型调整 程序的参数，实现资源利用最大化，以及调整系统内核一些参数达到IO最优化等等。
系统成名其实优化的地方不多，剩下就是程序，协议的优化了。
3. 增加10倍的压力后。你想怎么管理你的服务器。
压力多了就是机器多了而已，机器多了用saltstack或者abs就好了

而且可以使用监控查看业务存活以及用ELK查询程序报错与异常情况

东风玖哥

1. 你任务目前的系统业务量增加10倍，可能出现瓶颈的业务节点是什么？
（1）文字存储在本地数据库，文件（图片、多媒体）存储在七牛云，在生成链接的时候可能掉链子
（2）和技术无关的：用户增加10倍后，使用APP内商城的用户也会增加10倍，电商部门估计忙不过来

2. 你想用什么样的办法优化你的系统？
（1）减少系统调用
（2）利用本地缓存减少内存分配和释放
（3）请求频繁的功能考虑使用TCP长连接代替HTTP短连接
（4）改进I/O模型

3. 增加10倍的压力后，你想怎么管理你的服务器？
排名分先后，难度大小和结果好坏皆依次递减，若不成功，依次选后项
（1）系统整体迁移到阿里云
（2）改进硬件环境，向老板申请出资购买更昂贵的服务器
（3）提高CPU并发计算能力
（4）改进服务器并发策略

4.《尽在双11——阿里巴巴技术演进与超越》的两千字书评
http://blog.csdn.net/dongfeng9ge/article/details/70975408

shang2010

说说现在的手机app吧
批评两个比较负面的app，一个是高德地图，还有个是易信

因为特殊原因，现在一个手机卡月200m流量纯留给高德地图了，不知道更新两年后还够不够
易信也是消耗流量的大户，，不过我只用到其中的免费电话功能。。。

不说了，你们专家讲讲，另外要不要听听我们小老百姓的意见。

shang2010

说说现在的手机app吧
批评两个比较负面的app，一个是高德地图，还有个是易信

因为特殊原因，现在一个手机卡月200m流量纯留给高德地图了，不知道更新两年后还够不够
易信也是消耗流量的大户，，不过我只用到其中的免费电话功能。。。

不说了，你们专家讲讲，另外要不要听听我们小老百姓的意见。

shang2010

说说现在的手机app吧
批评两个比较负面的app，一个是高德地图，还有个是易信

因为特殊原因，现在一个手机卡月200m流量纯留给高德地图了，不知道更新两年后还够不够
易信也是消耗流量的大户，，不过我只用到其中的免费电话功能。。。

不说了，你们专家讲讲，另外要不要听听我们小老百姓的意见。

proxydemo

1. 你任务目前的系统业务量增加10倍 可能出现瓶颈的业务节点是什么？（根据自己的业务思考，10倍压力不够的，那就100倍吧，100倍在不需要的话辞职吧）
一：流量，如果是10倍或者是100倍，我们最大的压力可能是流量，对于整站https，很多东西不能上cdn，和云存储，静态的东西相对比较少，一些图片放在云上，七牛或者又拍云。但是我们这个行业，如果业务增加到100倍，估计就是行业的巨头了，到时候买流量也没有什么压力；
二：中间件压力，对宇前端可以用nginx和ha来负载，但是反向代理的中间件比如tomcat，默认并发是150.肯定来不及处理前端的数据，然后尽量做到异步来处理信息，我们是用的阿里开源的rockermq集群和zookeeper，这点和电商是有区别的
三：数据库的压力，相对于电商的数据，我们要的相当于安全。数据库的压力对于对与普通电商来比相对较小；但是也有是，我们变态的地方是日志也记录在DB中
四：服务器的压力，堆一大堆的服务器是必须的，由于行业原因，我们是不上公有云的，所以后期肯定是docker化；
五：构建，发布，回滚。现在我们已经是分布式的微服务，100多个应用，单单用jenkins是有压力的。
六：安全：网络，数据库，灾备的安全都要考虑进去
2. 你想用什么样的办法 优化你的系统。
一：流量：不涉及money和隐私的全不用云或者cdn。买流量；
二：尽量异步和对应用的服务器来提高中间件的处理速度
三：数据库集群，redis，对于业务的需求使用不同类型的数据库，当然数据库优化是最基础的
四：服务器数量的增多，肯定是要docler化。批量管理工具ansible+salt联合使用，估计监控zabbix也要重新定制和二次开发
五：构建，发布，回滚必须有个二次开发的平台。多种自动化的工具配合使用
六：对于代码级别的要找专业的安全公司去审核。然后机房必须做到异地灾备；
3. 增加10倍的压力后。你想怎么管理你的服务器。
二次开发造个大轮子，cmbd。那个时候，钱不会少。也会好玩很多。
另外，书很想要，看看阿里是怎么做的。