【大话IT】双十一保卫战：电商平台该如何进行系统优化？

pipihappy8888

获奖名单已公布：http://bbs.chinaunix.net/thread-4165561-1-1.html

现如今，电商大比拼，拼的是什么？拼的不只是货源，还有后台系统的技术实力啦！过去几年的双十一，秒杀当天商家页面打不开，系统崩溃的窘境时有发生。到底幕后有哪些应用可以为电商平台保驾护航呢？前端Web应用、虚拟化应用、Hadoop集群应用、MySQL数据库应用、Exchange邮件应用、Oracle数据库应用等？减少 HTTP 的请求数、使用CDN（内容分发网络）、减少DNS查询又能否真正优化到Web服务器系统？面对双十二的高并发负载，如何做好双十一的保卫战？电商平台该如何进行系统优化？

话题讨论：

1. 服务器的优化，您更偏向于哪个级别的？硬件级别，操作系统级别，应用级别？

2. 电商平台中常见的具体应用有哪些？请举例说明。

3. 你感觉其中哪些应用可能会让电商客户感到最头痛？

4. 这些让人头痛的具体应用对系统资源通常有哪些特殊的需求？

5. 服务器系统针对这些令人头疼的应用可以做怎样的优化？

活动时间：2014年12月4日-12月27

活动奖励：欢迎亲们针对以上问题踊跃回帖，言之有理即可，我们将根据大家的回复情况评选获奖会员

功劳奖：回复内容质量高的会员2名，赠送价值100元的京东购物卡

苦劳奖：参与回帖积极活跃的会员7名，赠送克拉克保温杯

shenlanyouyu

学习了京东技术解密，收获不小。

2. 电商平台中常见的具体应用有哪些？请举例说明。
(1) Hadoop集群应用：构建大数据挖掘平台，可以应用在用户消费行为深度挖掘、EDM 精准营销策略实施、销量预测与库房自动补货、搜索推荐系统的持续优化，广告精准投放技术等方面。
(2) 基于Storm的分布式流数据计算：实时计算，实时数据太重要了，在客户在搜索时，在搜索结果中显示已购买、已浏览就是实时计算的结果。
(3) 基于Spark、PrestoDB的即时查询：解决海量数据下的客户搜索和查询，快速响应。
(4) 网络爬虫系统：网络爬虫系统是自动比价系统的核心。电商之间的竞争已经白热化，电商之间大打价格战，通过自动比价系统获取竞争对手的同品类产品的价格，然后对价格、品类、成本等进行分析后，进行自动调价、促销策略等决策。
3. 你感觉其中哪些应用可能会让电商客户感到最头痛？
自动比价系统：电商客户刚买产品没多久，就发现产品降价了。这会让客户非常愤怒。
商品推荐系统：没有推荐合适的产品，客户会非常反感推荐系统。
4. 这些让人头痛的具体应用对系统资源通常有哪些特殊的需求？
自动比价系统，需要爬虫系统、匹配系统、大数据挖掘和分析、报表系统、决策系统。其中爬虫系统每天都是千万级数据抓取，大数据挖掘和分析也需要及时有效。对系统资源方面的要求高效的存储、计算。
商品推荐系统：在线实时分析，通过客户的浏览产品，推荐商品。需要精准分析并获取到客户的需求，通过获取数据库中合适产品推荐给客户。需要大数据实时分析，通过客户的购买力，获取到客户需求，推荐合适的商品。对系统资源方面的要求高效的存储、计算。

shenlanyouyu

1. 服务器的优化，您更偏向于哪个级别的？硬件级别，操作系统级别，应用级别？
各个大的电商平台都是有钱的主，硬件上的优化，在前期上业务扩展过快，计算能力不足时有作用。在业务增加，系统海量数据累积时，从操作系统级别和应用级别优化，针对具体业务从架构来优化。从京东大数据团队的经验看，搭建大数据平台，最初选择有Oracle RAC小型机，在Oracle BIEE商业智能平台上提高数据处理效率。基于Hadoop，Mapreduce作为计算引擎的分布式数据仓库，搭建集群的方式，从第一版集群40台机器，第二版机器增加到110台，升级万兆带宽后，第三版服务器增加到200台，第四版集群服务器数量达到310台。在Oracle退出京东数据仓库后，集群服务器数量增加到800台。

2.电商平台中常见的具体应用有哪些？请举例说明。
补充：商品搜索系统：存储海量的商品信息，能够并发准确快速地响应用户搜索请求，实时返回响应的结果。在海量存储数据中，需要合理组织数据。一号店的经验是使用Hadoop的分布式特性，建立搜索索引可以非常容易实现横向扩展。

5. 服务器系统针对这些令人头疼的应用可以做怎样的优化？
京东大数据平台的经验是从集中式到如今的分布式，从Oracle 数据仓库到京东自建数据库JDW2.0，放弃小型机等专用系统借助集群优势。
其次，使用CDN 内容分发网络，尽可能避开网络中有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。在网络各处合理布置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上，Cache服务器加速站点(电商网站都含有大量的图片和页面)的访问速度。

jszxcyit

电商平台中常见的具体应用有哪些？请举例说明。
Hadoop集群应用：构建大数据挖掘平台，可以应用在用户消费行为深度挖掘、EDM 精准营销策略实施、销量预测与库房自动补货、搜索推荐系统的持续优化，广告精准投放技术等方面。
你感觉其中哪些应用可能会让电商客户感到最头痛？
商品推荐系统：没有推荐合适的产品，客户会非常反感推荐系统。
这些让人头痛的具体应用对系统资源通常有哪些特殊的需求？
商品推荐系统：在线实时分析，通过客户的浏览产品，推荐商品。需要精准分析并获取到客户的需求，通过获取数据库中合适产品推荐给客户。需要大数据实时分析，通过客户的购买力，获取到客户需求，推荐合适的商品。对系统资源方面的要求高效的存储、计算。

wmxcn2000

1. 服务器的优化，您更偏向于哪个级别的？硬件级别，操作系统级别，应用级别？
首先是硬件，硬件投入不足，其他的白玩，操作系统能改动的可能性几乎为零，不管是不是开源的，在应用层面，谁家也有优秀的 coding ,他们之间的的差距，应该不会太大，第二重要的就是系统的设计人员，也就是常说的架构师。

2. 电商平台中常见的具体应用有哪些？请举例说明。
分布式、集群、逻辑分层， 太具体说不清楚，没接触过。

3. 你感觉其中哪些应用可能会让电商客户感到最头痛？
就是与外部系统数据交互，

4. 这些让人头痛的具体应用对系统资源通常有哪些特殊的需求？
比如某商家没有自己的支付系统，付款成功的确认，就相对麻烦一些。

5. 服务器系统针对这些令人头疼的应用可以做怎样的优化？
服务器也不能很好的解决外部接口的头疼问题。

jxzkin

1. 服务器的优化，您更偏向于哪个级别的？硬件级别，操作系统级别，应用级别？
个人认为，不管是硬件、系统级别的调优最终都必须以实际跑的应用系统服务，每种业务系统，调优的侧重点也不尽相同。
数据库服务:
OS:
Oracle建议swap为内存两倍或1.5倍，而mysql最佳实践建议将sawppiness设置为0
Oracle对Numa架构支持好，而mysql却建议关闭。
HW:
开启BBWC
RAID卡都有写cache(Battery Backed Write Cache)，写cache对IO性能的提升非常明显，因为掉电会丢失数据，所以必须由电池提供支持。电池会定期充放电，一般为90天左右，当发现电量低于某个阀值时，会将写cache策略从writeback置为writethrough，相当于写cache会失效，这时如果系统有大量的IO操作，可能会明显感觉到IO响应速度变慢。目前，新的RAID卡内置了flash存储，掉电后会将写cache的数据写入flash中，这样就可以保证数据永不丢失，但依然需要电池的支持。
解决方案有两种：1.人工触发充放电，可以选择在业务低谷时做，降低对应用的影响；2.设置写cache策略为force write back，即使电池失效，也保持写cache策略为writeback，这样存在掉电后丢失数据的风险。
目前，有一些硬件厂家提供了电容供电的RAID卡，没有电池充放电的问题，可以联系自己的硬件厂商。
RAID卡配置
关闭读cache：RAID卡上的cache容量有限，我们选择direct方式读取数据，从而忽略读cache。
关闭预读：RAID卡的预读功能对于随机IO几乎没有任何提升，所以将预读功能关闭。
关闭磁盘cache：一般情况下，如果使用RAID，系统会默认关闭磁盘的cache，也可以用命令强制关闭。

应用服务:
Web服务注重处理并发请求，相应操作系统级别可以通过操作系统参数提高并发能力。
OS:
sysctl.conf
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_time = 1200
net.ipv4.ip_local_port_range = 10000 65000
net.ipv4.tcp_max_syn_backlog = 8192
net.ipv4.tcp_max_tw_buckets = 5000
等等
最后是结合实际应用，调整->测试。

double_life

1. 服务器的优化，您更偏向于哪个级别的？硬件级别，操作系统级别，应用级别？

我个人更偏向于应用级别。原因主要是：摩尔定于决定了服务器硬件只会越来越牛X，配合硬件虚拟化的含金量，关于服务器的优化，基本上交给服务器或者云服务器提供商了。操作系统，尤其是服务器端操作系统，应该是非常智能的，不光适应不同的硬件负载，也适应不同的软件负载，如果真正出现问题，也不应该是我去搞定，只能交给专门的服务器操作系统厂商解决。而服务器厂商唯一不可控的，是服务器上跑的用户应用程序。因为1000个人有1000个哈姆雷特，每台服务器，无论是物理的，还是逻辑的，运行的应用程序都不一样，最熟悉他们的，还是应用程序开发者，是我们这些人。因此，整体上，我更偏向于应用级别的优化。

2. 电商平台中常见的具体应用有哪些？请举例说明。

其实，电商对于系统的反应速度是非常高的。举个例子，当IBM给苏宁易购做电商系统的时候，一个最重要的系统性能衡量指标，是页面的访问时间。基本上，给用户的感觉是，一点就开，不存在图片加载的问题。这就要求电商系统，无论是前端Web服务器基于图片的缓存，还是CDN缓存，还是数据库级别的缓存[等等，都必须具备强大的优化能力。

3. 你感觉其中哪些应用可能会让电商客户感到最头痛？

我觉得应该是后端的供应链、库存、物流等。确切地说，是ERP与CRM系统。电商头疼的关键在于，中国的消费模式与国外有很大不同，没有现成的参考模式，因此花在ERP与CRM业务系统的时间，必然会很多。

4. 这些让人头痛的具体应用对系统资源通常有哪些特殊的需求？

实际上，系统资源如果不足的话，可以通过分布式、云计算等方式解决。关键就是这些应用系统如何快速应对变化的业务需求，比如今天一个促销，明天一个让利，后天一个推荐，这些需求是随时在变化的，缓存如何去适应这些变化呢？这就是特殊需求。

5. 服务器系统针对这些令人头疼的应用可以做怎样的优化？

具体问题具体分析，归结有两点：第一，缓存的合理化运用；第二，健壮的设计框架。除此之外，我觉得其余的各位专家，都有自己独到的见解吧。

jieforest

1. 服务器的优化，您更偏向于哪个级别的？硬件级别，操作系统级别，应用级别？
系统的扩展有两大类，一是横向扩展，二是纵向扩展。
纵向扩展是通过升级硬件使服务器达到更好的性能。
横向扩展是通过添加服务器节点来实现更好的性能。
纵向扩展提升的性能有限，比如加内存、加SSD，但是是最方便的，短期内的性能升级可以考虑这个。
横向扩展跟软件系统的架构有关系，可能还涉及到架构的调整，长期的性能升级应该使用此方法。


2. 电商平台中常见的具体应用有哪些？请举例说明。
很多嘛。
秒杀类的商品抢购。
猜你喜欢。
商品比价。
促销活动。


3. 你感觉其中哪些应用可能会让电商客户感到最头痛？
秒杀类的商品抢购会让电商客户感到最头痛。
因为它涉及到用户访问量的剧增，导致支撑业务的服务器数量不足，需采购一堆服务器来抗住用户访问的峰值。而增加的这些服务器在非秒杀期间又容易处于闲置状态。如果不增加服务器数量，用户体验会很差，会导致用户投诉或者用户流失，所以很头痛。


4. 这些让人头痛的具体应用对系统资源通常有哪些特殊的需求？
对系统带宽资源的需求，带宽要能动态扩容。
对系统内存资源的需求，内存要大，业务数据尽可能放在内存中处理。
对系统设计的需求，系统在架构上要是高可用、高可靠、高性能的。


5. 服务器系统针对这些令人头疼的应用可以做怎样的优化？
在业务系统的设计上，数据存储在内存中，定期持久化。
系统在集群方面要灵活，可以根据对网络访问流量做监控，流量增加则动态启动服务器节点，以分担访问流量。
还有无数的调优手段，根据采用的具体技术，使用适合的调优技术。

action08

1. 服务器的优化，您更偏向于哪个级别的？硬件级别，操作系统级别，应用级别？
我更喜欢在应用级别做优化，针对业务做定制的数据结构，协议等等
硬件业界就那样了，系统也大同小异，这些该花钱的时候花钱就行了。


2. 电商平台中常见的具体应用有哪些？请举例说明。


3. 你感觉其中哪些应用可能会让电商客户感到最头痛？


4. 这些让人头痛的具体应用对系统资源通常有哪些特殊的需求？


5. 服务器系统针对这些令人头疼的应用可以做怎样的优化？

action08

谢谢楼上补充，敢情是做电商行业的同学了？？

睿智2012

硬件软件重来都是一体的，硬件性能为主
软件优化为辅

fengzhanhai

好活动，持续围观中

action08

5. 服务器系统针对这些令人头疼的应用可以做怎样的优化？

感觉这个话题，不是简单对服务器系统优化就成了，关键还是业务问题从业务思路解决。
可以从设计数据结构，架构模型的针对考虑了，一个简单的模型不仅能精妙地解决本身的业务问题，还能高效优化不少业务代码。


现实中shit代码太多了，凭良心说没法彻底优化，只能关键时候针对应对处理了。

hw56gs

海量数据下的客户搜索和查询

shang2010

hw56gs 发表于 2014-12-07 10:15
海量数据下的客户搜索和查询

如果只是处理客户倒好办，hash呗，
hash桶也是可以有的应对海量的

action08

reallyfly_1 发表于 2014-12-07 15:44
电商平台中常见的具体应用

秒杀

稍微神秘性，都是骗子多