bbzsxjj 发表于 2015-01-12 13:43

回复 35# lgatuk


    CDN服务器一般都是使用已有的CDN运营商的服务器,国内比较大的CDN运营商一般是:蓝讯,帝联,网宿。
如果自己部署就需要了解一些:
   智能DNS
   智能路由
   缓存技术
   CDN的原理
   一般需要使用第三方监控监控下全国范围,你们网站的范围情况,网络质量,在比较差的地方部署服务器,使用智能DNS技术将这些网络差的地区访问请求解析到你增加的服务器上

tomac_cu 发表于 2015-01-12 20:37

话题讨论:
1.您在工作中,面临哪些具体的应用会体会到系统的IO瓶颈?
系统日志的分析,尤其是出了问题以后的故障排除。

2.面对IO瓶颈,您有何良策?比如,冷热数据的SSD硬盘存取策略,请畅谈下您的想法。
分段交错存储。

3.在您的工作当中,您具体应用了哪些解决方案来解决系统瓶颈?
应用低档过时的服务器来满足IO的需要

4.您觉得双十一、双十二高峰流量会对电商平台带来哪些瓶颈?从服务器硬件IO系统(存储、网络、互联)的角度来说可以用哪些优化方式?
这个真不好说,对这些平台没有感性认识。

qingduo04 发表于 2015-01-13 13:08



1.您在工作中,面临哪些具体的应用会体会到系统的IO瓶颈?

当前所处环境中,是非电商环境,是OLAP环境,部分业务是OLTP业务。
主要的IO瓶颈在与处理不同系统中的文件的时候,当前传统的设备一般都是千兆网络,新增设备一般都是万兆网络。
从千兆网络传输到万兆网络有这方面的IO问题。
而从万兆网络中X86服务器接口机加载到MPP数据库中,不同的X86服务器的加载速度也是不一样的。
前期出现过不同厂家的服务器,两套MPP数据库A厂家的刀片搭建一套,B厂家的搭建一套,A刀片比B刀片贵,但是单台DD测试却不是一个级别的。
究其原因最后A厂给出的是cache较差

2.面对IO瓶颈,您有何良策?比如,冷热数据的SSD硬盘存取策略,请畅谈下您的想法。
    如果限制的是网络非服务器,则通过万兆交换机或者infiniband高速交换。
如果限制的是X86服务器,则会升级cache进行操作。
如果不能升级,只能购买高性能的设备,热点数据采用SSD盘或者是采用加速卡。

3.在您的工作当中,您具体应用了哪些解决方案来解决系统瓶颈?
   hadoop平台搭建,datanode可以采用SATA盘或者SAS盘进行搭建,但是namenode简易采用加速卡或者SSD盘进行搭建,以便提高元数据的数据交互。
       如果舍得投入,可以在datanode也采用ssd盘,只是性价比太低。



4.您觉得双十一、双十二高峰流量会对电商平台带来哪些瓶颈?从服务器硬件IO系统(存储、网络、互联)的角度来说可以用哪些优化方式?
   当前电商应对双十一,双十二 都是采用峰值前进行扩容,包含网络扩容、服务器性能扩容,在峰值的时候进行性能均摊,确保服务器以及网络无太高的消耗。

qingduo04 发表于 2015-01-13 14:04

回复 4# jieforest


    学习了,谢谢

ruochen 发表于 2015-01-13 15:13

本帖最后由 ruochen 于 2015-01-13 15:22 编辑

1.您在工作中,面临哪些具体的应用会体会到系统的IO瓶颈?

IO其实是个很宽泛的概念,CPU(L1/L2/L3 cache)、MEM、network(PPS、throughput)、storage(disk)等等都有IO
目前大家常说的IO瓶颈主要是说storage层的,也即disk,因为这是大家最常见遇到的瓶颈,也是大家在架构的过程中最先遇到的IO瓶颈
一般常见的IO瓶颈在DBA这里,之前在SSD没出现之前,RDBMS的随机IO需求只能通过多块机械磁盘做RAID10来提升IOPS


2.面对IO瓶颈,您有何良策?比如,冷热数据的SSD硬盘存取策略,请畅谈下您的想法。

最快的办法无外乎新硬件,特使是SSD、PCIe-SSD、FIO、8639、


3.在您的工作当中,您具体应用了哪些解决方案来解决系统瓶颈?
更强的CPU--更好的主频和更大的L3 cache size
更大的mem
更好的网络--千兆、万兆、FC、IB
更好的storage--PATA、SATA、SAS、SSD、PCIe-SSD、FIO、MEM

应对高并发无外乎水平扩展、削峰填谷、cache、异步、队列这几板虎


4.您觉得双十一、双十二高峰流量会对电商平台带来哪些瓶颈?从服务器硬件IO系统(存储、网络、互联)的角度来说可以用哪些优化方式?
和上面一条有点重复

ruochen 发表于 2015-01-13 15:28

zhonggeneral 发表于 2014-12-16 11:30 static/image/common/back.gif
这是个蛋疼问题,我们也想有好的解决方案,目前我们也使用cache之类的处理,但是网站交易没法cache.

写用buffer :curse:

qingduo04 发表于 2015-01-13 18:12

本帖最后由 qingduo04 于 2015-01-13 18:17 编辑

回复 7# lvruiming


    2、硬盘不建议使用传统的RAID方式,比较好的做法是每块磁盘单独mount,通过程序来控制对多块磁盘进行并发读写。采用单盘mount,文件的备份和冗余可以通过多台机器实现

//这种方式适合hadoop扥架构,但是不做raid安全不太好考虑,并且多块本地盘做raid5,读写速度应该是可以的。
不知道这个兄弟有什么好的想法。

qingduo04 发表于 2015-01-13 18:19

回复 32# 孙轩


    学习了,说的很大气。

jxzkin 发表于 2015-01-13 20:05

1.您在工作中,面临哪些具体的应用会体会到系统的IO瓶颈?
接触到的系统中,面临IO瓶颈问题的一般都是数据库服务器。



3.在您的工作当中,您具体应用了哪些解决方案来解决系统瓶颈?
对于数据库应用,从应用和数据层来简单说明下解决方案:
应用:
对于系统中读压力比较大的系统,可以考虑从架构来解决,
1>对比较静态数据可考虑加一缓存层,Memcached或Redis都是不错的选择。
2>对于实时更新的数据,而不需要入库,如有必要,异步入库,同样考虑利用缓存,方案同上。

数据库:
1>建立合适数量和合适的索引
2>小量、静态热数据考虑keep在内存中。
3>redo日志,考虑设定为合适大小。

硬件:
考虑混合磁盘,利用存储的分层技术,避免磁盘浪费及提高利用率。


jxzkin 发表于 2015-01-13 20:05

1.您在工作中,面临哪些具体的应用会体会到系统的IO瓶颈?
接触到的系统中,面临IO瓶颈问题的一般都是数据库服务器。



3.在您的工作当中,您具体应用了哪些解决方案来解决系统瓶颈?
对于数据库应用,从应用和数据层来简单说明下解决方案:
应用:
对于系统中读压力比较大的系统,可以考虑从架构来解决,
1>对比较静态数据可考虑加一缓存层,Memcached或Redis都是不错的选择。
2>对于实时更新的数据,而不需要入库,如有必要,异步入库,同样考虑利用缓存,方案同上。

数据库:
1>建立合适数量和合适的索引
2>小量、静态热数据考虑keep在内存中。
3>redo日志,考虑设定为合适大小。

硬件:
考虑混合磁盘,利用存储的分层技术,避免磁盘浪费及提高利用率。


页: 1 2 3 4 [5] 6 7 8 9 10
查看完整版本: 【大话IT】电商突击战:流量高峰如何破解IO瓶颈?