【大话IT】双十一保卫战：电商平台该如何进行系统优化？

jszxcyit

电商平台中常见的具体应用有哪些？请举例说明。
Hadoop集群应用：构建大数据挖掘平台，可以应用在用户消费行为深度挖掘、EDM 精准营销策略实施、销量预测与库房自动补货、搜索推荐系统的持续优化，广告精准投放技术等方面。
你感觉其中哪些应用可能会让电商客户感到最头痛？
商品推荐系统：没有推荐合适的产品，客户会非常反感推荐系统。
这些让人头痛的具体应用对系统资源通常有哪些特殊的需求？
商品推荐系统：在线实时分析，通过客户的浏览产品，推荐商品。需要精准分析并获取到客户的需求，通过获取数据库中合适产品推荐给客户。需要大数据实时分析，通过客户的购买力，获取到客户需求，推荐合适的商品。对系统资源方面的要求高效的存储、计算。

wmxcn2000

1. 服务器的优化，您更偏向于哪个级别的？硬件级别，操作系统级别，应用级别？
首先是硬件，硬件投入不足，其他的白玩，操作系统能改动的可能性几乎为零，不管是不是开源的，在应用层面，谁家也有优秀的 coding ,他们之间的的差距，应该不会太大，第二重要的就是系统的设计人员，也就是常说的架构师。

2. 电商平台中常见的具体应用有哪些？请举例说明。
分布式、集群、逻辑分层， 太具体说不清楚，没接触过。

3. 你感觉其中哪些应用可能会让电商客户感到最头痛？
就是与外部系统数据交互，

4. 这些让人头痛的具体应用对系统资源通常有哪些特殊的需求？
比如某商家没有自己的支付系统，付款成功的确认，就相对麻烦一些。

5. 服务器系统针对这些令人头疼的应用可以做怎样的优化？
服务器也不能很好的解决外部接口的头疼问题。

jxzkin

1. 服务器的优化，您更偏向于哪个级别的？硬件级别，操作系统级别，应用级别？
个人认为，不管是硬件、系统级别的调优最终都必须以实际跑的应用系统服务，每种业务系统，调优的侧重点也不尽相同。
数据库服务:
OS:
Oracle建议swap为内存两倍或1.5倍，而mysql最佳实践建议将sawppiness设置为0
Oracle对Numa架构支持好，而mysql却建议关闭。
HW:
开启BBWC
RAID卡都有写cache(Battery Backed Write Cache)，写cache对IO性能的提升非常明显，因为掉电会丢失数据，所以必须由电池提供支持。电池会定期充放电，一般为90天左右，当发现电量低于某个阀值时，会将写cache策略从writeback置为writethrough，相当于写cache会失效，这时如果系统有大量的IO操作，可能会明显感觉到IO响应速度变慢。目前，新的RAID卡内置了flash存储，掉电后会将写cache的数据写入flash中，这样就可以保证数据永不丢失，但依然需要电池的支持。
解决方案有两种：1.人工触发充放电，可以选择在业务低谷时做，降低对应用的影响；2.设置写cache策略为force write back，即使电池失效，也保持写cache策略为writeback，这样存在掉电后丢失数据的风险。
目前，有一些硬件厂家提供了电容供电的RAID卡，没有电池充放电的问题，可以联系自己的硬件厂商。
RAID卡配置
关闭读cache：RAID卡上的cache容量有限，我们选择direct方式读取数据，从而忽略读cache。
关闭预读：RAID卡的预读功能对于随机IO几乎没有任何提升，所以将预读功能关闭。
关闭磁盘cache：一般情况下，如果使用RAID，系统会默认关闭磁盘的cache，也可以用命令强制关闭。

应用服务:
Web服务注重处理并发请求，相应操作系统级别可以通过操作系统参数提高并发能力。
OS:
sysctl.conf
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_time = 1200
net.ipv4.ip_local_port_range = 10000 65000
net.ipv4.tcp_max_syn_backlog = 8192
net.ipv4.tcp_max_tw_buckets = 5000
等等
最后是结合实际应用，调整->测试。

xuexiaogang

1. 服务器的优化，您更偏向于哪个级别的？硬件级别，操作系统级别，应用级别？
答：都要做，不过硬件提升一小步，整体提升一大步。

xuexiaogang

3. 你感觉其中哪些应用可能会让电商客户感到最头痛？
答：我觉得大并发下，抢购是最头疼的。刷不开，或者购买时候发现没有了。
5. 服务器系统针对这些令人头疼的应用可以做怎样的优化？
答：不同产品不同数据库。这样不会造成拥挤和竞争。

geohox

本人只是在电商行业匆匆飘过不到一年时间，这里只是我的雕虫小技，
觉得系统优化是一件从始而终的事情，从写代码的时候就需要考虑减少服务器压力，
在客户端能做的事就不要往服务端程序里写，比如尽量多使用脚本发请求。

jieforest

1. 服务器的优化，您更偏向于哪个级别的？硬件级别，操作系统级别，应用级别？
系统的扩展有两大类，一是横向扩展，二是纵向扩展。
纵向扩展是通过升级硬件使服务器达到更好的性能。
横向扩展是通过添加服务器节点来实现更好的性能。
纵向扩展提升的性能有限，比如加内存、加SSD，但是是最方便的，短期内的性能升级可以考虑这个。
横向扩展跟软件系统的架构有关系，可能还涉及到架构的调整，长期的性能升级应该使用此方法。


2. 电商平台中常见的具体应用有哪些？请举例说明。
很多嘛。
秒杀类的商品抢购。
猜你喜欢。
商品比价。
促销活动。


3. 你感觉其中哪些应用可能会让电商客户感到最头痛？
秒杀类的商品抢购会让电商客户感到最头痛。
因为它涉及到用户访问量的剧增，导致支撑业务的服务器数量不足，需采购一堆服务器来抗住用户访问的峰值。而增加的这些服务器在非秒杀期间又容易处于闲置状态。如果不增加服务器数量，用户体验会很差，会导致用户投诉或者用户流失，所以很头痛。


4. 这些让人头痛的具体应用对系统资源通常有哪些特殊的需求？
对系统带宽资源的需求，带宽要能动态扩容。
对系统内存资源的需求，内存要大，业务数据尽可能放在内存中处理。
对系统设计的需求，系统在架构上要是高可用、高可靠、高性能的。


5. 服务器系统针对这些令人头疼的应用可以做怎样的优化？
在业务系统的设计上，数据存储在内存中，定期持久化。
系统在集群方面要灵活，可以根据对网络访问流量做监控，流量增加则动态启动服务器节点，以分担访问流量。
还有无数的调优手段，根据采用的具体技术，使用适合的调优技术。

pipihappy8888

阿里用到的是HBase回复 3# shenlanyouyu


   

pipihappy8888

对应用级别的可以详谈下回复 29# jieforest


   

namalaobia

非常不错的话题，我遇到最头疼的应用是邮箱服务，公司的邮箱经常宕机，不知道是不是服务器不稳定导致的？回复 1# pipihappy8888