bbzsxjj
发表于 2015-01-12 13:43
回复 35# lgatuk
CDN服务器一般都是使用已有的CDN运营商的服务器,国内比较大的CDN运营商一般是:蓝讯,帝联,网宿。
如果自己部署就需要了解一些:
智能DNS
智能路由
缓存技术
CDN的原理
一般需要使用第三方监控监控下全国范围,你们网站的范围情况,网络质量,在比较差的地方部署服务器,使用智能DNS技术将这些网络差的地区访问请求解析到你增加的服务器上
tomac_cu
发表于 2015-01-12 20:37
话题讨论:
1.您在工作中,面临哪些具体的应用会体会到系统的IO瓶颈?
系统日志的分析,尤其是出了问题以后的故障排除。
2.面对IO瓶颈,您有何良策?比如,冷热数据的SSD硬盘存取策略,请畅谈下您的想法。
分段交错存储。
3.在您的工作当中,您具体应用了哪些解决方案来解决系统瓶颈?
应用低档过时的服务器来满足IO的需要
4.您觉得双十一、双十二高峰流量会对电商平台带来哪些瓶颈?从服务器硬件IO系统(存储、网络、互联)的角度来说可以用哪些优化方式?
这个真不好说,对这些平台没有感性认识。
qingduo04
发表于 2015-01-13 13:08
1.您在工作中,面临哪些具体的应用会体会到系统的IO瓶颈?
当前所处环境中,是非电商环境,是OLAP环境,部分业务是OLTP业务。
主要的IO瓶颈在与处理不同系统中的文件的时候,当前传统的设备一般都是千兆网络,新增设备一般都是万兆网络。
从千兆网络传输到万兆网络有这方面的IO问题。
而从万兆网络中X86服务器接口机加载到MPP数据库中,不同的X86服务器的加载速度也是不一样的。
前期出现过不同厂家的服务器,两套MPP数据库A厂家的刀片搭建一套,B厂家的搭建一套,A刀片比B刀片贵,但是单台DD测试却不是一个级别的。
究其原因最后A厂给出的是cache较差
2.面对IO瓶颈,您有何良策?比如,冷热数据的SSD硬盘存取策略,请畅谈下您的想法。
如果限制的是网络非服务器,则通过万兆交换机或者infiniband高速交换。
如果限制的是X86服务器,则会升级cache进行操作。
如果不能升级,只能购买高性能的设备,热点数据采用SSD盘或者是采用加速卡。
3.在您的工作当中,您具体应用了哪些解决方案来解决系统瓶颈?
hadoop平台搭建,datanode可以采用SATA盘或者SAS盘进行搭建,但是namenode简易采用加速卡或者SSD盘进行搭建,以便提高元数据的数据交互。
如果舍得投入,可以在datanode也采用ssd盘,只是性价比太低。
4.您觉得双十一、双十二高峰流量会对电商平台带来哪些瓶颈?从服务器硬件IO系统(存储、网络、互联)的角度来说可以用哪些优化方式?
当前电商应对双十一,双十二 都是采用峰值前进行扩容,包含网络扩容、服务器性能扩容,在峰值的时候进行性能均摊,确保服务器以及网络无太高的消耗。
qingduo04
发表于 2015-01-13 14:04
回复 4# jieforest
学习了,谢谢
ruochen
发表于 2015-01-13 15:13
本帖最后由 ruochen 于 2015-01-13 15:22 编辑
1.您在工作中,面临哪些具体的应用会体会到系统的IO瓶颈?
IO其实是个很宽泛的概念,CPU(L1/L2/L3 cache)、MEM、network(PPS、throughput)、storage(disk)等等都有IO
目前大家常说的IO瓶颈主要是说storage层的,也即disk,因为这是大家最常见遇到的瓶颈,也是大家在架构的过程中最先遇到的IO瓶颈
一般常见的IO瓶颈在DBA这里,之前在SSD没出现之前,RDBMS的随机IO需求只能通过多块机械磁盘做RAID10来提升IOPS
2.面对IO瓶颈,您有何良策?比如,冷热数据的SSD硬盘存取策略,请畅谈下您的想法。
最快的办法无外乎新硬件,特使是SSD、PCIe-SSD、FIO、8639、
3.在您的工作当中,您具体应用了哪些解决方案来解决系统瓶颈?
更强的CPU--更好的主频和更大的L3 cache size
更大的mem
更好的网络--千兆、万兆、FC、IB
更好的storage--PATA、SATA、SAS、SSD、PCIe-SSD、FIO、MEM
应对高并发无外乎水平扩展、削峰填谷、cache、异步、队列这几板虎
4.您觉得双十一、双十二高峰流量会对电商平台带来哪些瓶颈?从服务器硬件IO系统(存储、网络、互联)的角度来说可以用哪些优化方式?
和上面一条有点重复
ruochen
发表于 2015-01-13 15:28
zhonggeneral 发表于 2014-12-16 11:30 static/image/common/back.gif
这是个蛋疼问题,我们也想有好的解决方案,目前我们也使用cache之类的处理,但是网站交易没法cache.
写用buffer :curse:
qingduo04
发表于 2015-01-13 18:12
本帖最后由 qingduo04 于 2015-01-13 18:17 编辑
回复 7# lvruiming
2、硬盘不建议使用传统的RAID方式,比较好的做法是每块磁盘单独mount,通过程序来控制对多块磁盘进行并发读写。采用单盘mount,文件的备份和冗余可以通过多台机器实现
//这种方式适合hadoop扥架构,但是不做raid安全不太好考虑,并且多块本地盘做raid5,读写速度应该是可以的。
不知道这个兄弟有什么好的想法。
qingduo04
发表于 2015-01-13 18:19
回复 32# 孙轩
学习了,说的很大气。
jxzkin
发表于 2015-01-13 20:05
1.您在工作中,面临哪些具体的应用会体会到系统的IO瓶颈?
接触到的系统中,面临IO瓶颈问题的一般都是数据库服务器。
3.在您的工作当中,您具体应用了哪些解决方案来解决系统瓶颈?
对于数据库应用,从应用和数据层来简单说明下解决方案:
应用:
对于系统中读压力比较大的系统,可以考虑从架构来解决,
1>对比较静态数据可考虑加一缓存层,Memcached或Redis都是不错的选择。
2>对于实时更新的数据,而不需要入库,如有必要,异步入库,同样考虑利用缓存,方案同上。
数据库:
1>建立合适数量和合适的索引
2>小量、静态热数据考虑keep在内存中。
3>redo日志,考虑设定为合适大小。
硬件:
考虑混合磁盘,利用存储的分层技术,避免磁盘浪费及提高利用率。
jxzkin
发表于 2015-01-13 20:05
1.您在工作中,面临哪些具体的应用会体会到系统的IO瓶颈?
接触到的系统中,面临IO瓶颈问题的一般都是数据库服务器。
3.在您的工作当中,您具体应用了哪些解决方案来解决系统瓶颈?
对于数据库应用,从应用和数据层来简单说明下解决方案:
应用:
对于系统中读压力比较大的系统,可以考虑从架构来解决,
1>对比较静态数据可考虑加一缓存层,Memcached或Redis都是不错的选择。
2>对于实时更新的数据,而不需要入库,如有必要,异步入库,同样考虑利用缓存,方案同上。
数据库:
1>建立合适数量和合适的索引
2>小量、静态热数据考虑keep在内存中。
3>redo日志,考虑设定为合适大小。
硬件:
考虑混合磁盘,利用存储的分层技术,避免磁盘浪费及提高利用率。
页:
1
2
3
4
[5]
6
7
8
9
10