Chinaunix

标题: 互联网技术新热点之--突破云计算和虚拟化环境下的网络瓶颈（获奖名单已公布-13-7-2） [打印本页]

作者: send_linux 时间: 2013-05-28 14:50
标题: 互联网技术新热点之--突破云计算和虚拟化环境下的网络瓶颈（获奖名单已公布-13-7-2）
获奖名单已公布，详情请看：http://bbs.chinaunix.net/thread-4088731-1-1.html

作为IT基础设施的核心，网络起到了互通、融合、零承载的主要作用。云单元(构成云的基础概念)和虚拟主机之间是需要用高速的宽带网连接起来的，所以宽带网络是云的基础。网络能力是云计算规模发展的基础，没有宽带网络，云服务谈不上。
而众多虚拟机所面临的关键瓶颈--网络方面，英特尔则拥有丰富的万兆以太网产品可以提供相关特性支持和超高带宽。英特尔万兆以太网产品普遍支持RSS特性、VMDq、VMDc等技术，从而为虚拟化环境下的网络传输带来极大便利。除了对虚拟化的支持，英特尔网络产品对于数据中心统一网络也有很大的促进作用。通过Open FCoE技术，英特尔万兆以太网允许存储设备可以用原来的FC协议在万兆以太网物理介质中通讯。这进一步简化了数据中心的网络复杂度，使其管理和业务交付模式进一步向企业云计算的方向靠拢。

本期话题：
1、说说您目前的虚拟化和云计算中遇到的网络瓶颈有哪些？
2、目前您遇到的这些网络瓶颈时如何解决的？分享其中的一二。

活动时间：2013年5月27日-6月15日

邀请嘉宾：
Michael Jin, Intel网络部门资深TME，主要负责Intel以太网产品技术支持。解决客户应用中网络相关问题，提供Intel网络解决方案，支持网络性能优化以及网络产品知识的深度培训。

本期奖品：
最佳经验分享奖1名，奖励价值250元的防水耳机一副；
积极经验分享奖5名，奖励60元的星座马克杯一个；
所有参与讨论的会员，即可获得社区积分20分

更多参与，更多好礼！

作者: wenhq 时间: 2013-05-28 16:00
1、说说您目前的虚拟化和云计算中遇到的网络瓶颈有哪些？
a.遇到的问题是esxi不支持online 的migration这个比较讨厌。如果需要vmotion那的付费。
b.openstack中用horizon新建instance以后，还需要手动设置iptables才能访问。很揪心。
c.openstack中用Dashboard访问instance总出现VNC无法连接。
d.ec2环境中有一次遇到过，instance起来后我的NFS没有自动及时的挂好，导致一些服务不能正常启动。

2、目前您遇到的这些网络瓶颈时如何解决的？分享其中的一二。
.至于esxi不支持online migration.不想付钱。我选用KVM虚拟机了。参考的link ： http://www.ibm.com/developerworks/cn/linux/l-cn-mgrtvm1/

作者: chenyx 时间: 2013-05-28 16:07
沙发支持下.
说到虚拟化,集中化的存储是关键.没有存储,Vmotion,FT等一切都是空谈.
在实际应用中,存储又分为IP SAN,FC SAN,NAS以及楼主体积的FCoE.各种存储方案,各有特点.
总体来说,NAS基本上没有利用价值,Iscsi由于受制于以太网的速度,价格便宜,扩展性好,效率处于中等.FC san速度快,可惜价格偏贵,扩展比较麻烦.
PCoE可以说是集成了IP san和FC San的优点,扩展性和速度可以兼顾,但是要求硬件支持,同时要求网络必须是10G的,造价也不低.

所以,在预算有限的情况下,如何能兼顾性能与价格,既能解决存储速度,又能兼顾整体造价,确实很让人头疼.

作者: chenyx 时间: 2013-05-28 16:09

通过Open FCoE技术，英特尔万兆以太网允许存储设备可以用原来的FC协议在万兆以太网物理介质中通讯。

这个比较好,不知道是不是解决了PCoE固有的要求10G网卡支持扩展属性的问题,让所有的普通网卡都能直接连接上SAN.
要是能够解决的话,PCoE一定能够取代Fc的架构.

作者: seesea2517 时间: 2013-05-28 16:59
没接触很相关的这方面业务。目前有关数据中心的业务中网络瓶颈还是主干网的网速不快，处理办法是将数据分批获取，并且较多的在凌晨比较空闲的时候进行数据获取。

作者: fengzhanhai 时间: 2013-05-28 21:53
目前单台pcserver的性能也在提升，在虚拟化时主要瓶颈还是在宿主机的网卡IO 与磁盘的IO上，如果虚拟化设备映射到存储上，存储本身就存在数据传输方面的瓶颈

作者: emperor9 时间: 2013-05-28 22:43
本帖最后由 emperor9 于 2013-05-28 22:44 编辑

点评：这个论题很有讨论的必要，本吊才疏学浅，抖抖然扯之如下：
1、说说您目前的虚拟化和云计算中遇到的网络瓶颈有哪些？
---常见的是批量小数据文件的传输与流媒体介质的传输，以及虚拟交换机，虚拟网卡的处理能力。

2、目前您遇到的这些网络瓶颈时如何解决的？分享其中的一二。
---解决方法大致分两种：a）采用infiniband，毫无疑问，但凡资金雄厚的主儿，HPC的首选。无论是吞吐还是时延都是当世第一，不管用iscsi还是fcoe，performance参数都是无法与之匹敌的，其缺点除了费银子外，就是另外搭建一套网络，走的协议不一样，已经成型且彪悍的技术，咱就不多赘述了。
b）采用FCoE，有无聊屌丝做过测试，据科学统计，同样的数据，fcoe的传输时延通常在13ms左右，仅仅是iscsi的一半。那么为啥fcoe的时延会少一些呢？其实道理很简单，首先在连接上采用edge protocol，大大缩减了连接成本。本吊还有第二个问题要提出来，为啥要用fcoe呢？这个问题其实很有戏剧性，技术角度来说，两个关键字，consolidation，翻译成中文，一统江湖，不管是e还是f都从咱上面过。virtualization，换成国语，虚拟化能力，无论是哪个行业都在虚拟化，这个必须跟上。说白了是cloud的需要，硬性的。说完技术角度，咱说非技术角度，这个本吊需要罗列：
1.思科想德智体美劳全面发展，少不了fcoe
2.博科认为fcoe是其可以从思科蛋糕上切一块下来的刀叉
3.Qlogic，Emulex，Broadcom都认为这是另一块可以多卖点芯片的领地
4.Intel想drive CPU换代
5.NetAPP作为native FCoE target可以在存储界吊一把
6.EMC和HDS想借用FCoE拓展其高端的多面性
基于以上各大武林门派的鼎力相助，咋的也得用。值得玩味的是还有大家常见的几大武林世家只是持观望态度，休闲的中立。

作者: shang2010 时间: 2013-05-28 23:16
听过intel的讲座，感觉做的技术还是很有底子的，

毕竟台子搭得大，做技术的舞台也不一样啊，，

作者: crazyhadoop 时间: 2013-05-28 23:36
先不说别的，就是不虚拟的情况下，我们的网络都是瓶颈啊，别的就别提了，简直斗提留不起来啊

作者: chenyx 时间: 2013-05-29 08:06
@crazyhadoop
你是数据集群吧.
集群是一台满足不了要求了,虚拟化是一台机器闲的发慌,两个方向,没有可比性.

作者: crazyhadoop 时间: 2013-05-29 08:19
回复 10# chenyx

对于网络虚拟化来说，就是好多个小网络凑成一个大网络撒，而且对于网络虚拟化来说，网卡已经不是普通的网卡，都是智能的网卡，可以自己拆包，分发网络包，可不用CPU的干涉了。

作者: chenyx 时间: 2013-05-29 08:26
@crazyhadoop
自主分发网络包?这么无组织无纪律?
你说的那个网络虚拟化,是不是现在的大二层网咯?

作者: crazyhadoop 时间: 2013-05-29 09:36
回复 12# chenyx

是滴哦，不是无组织无纪律，而是根据规则来转发，壮哉我大二层网络

作者: chenyx 时间: 2013-05-29 09:43
同意,大二层网络是虚拟存储的发展方向.

作者: niao5929 时间: 2013-05-29 10:02
集群系统环境中最大的瓶颈就是主节点，如果主节点宕机，那么集群系统规模再大，它也是没有意义的。事实上传统的集群系统中如果承担负载均衡功能的主节点出问题，意味着服务已经终止了。

作者: heaven_sky 时间: 2013-05-29 14:21
由于网络接入限制，很多人把云计算定义为未来的应用。
一方面：如此大量的应用服务器集中在一起，如何有效地运行？
第二方面：云计算将跨越广域网运行，如何有效解决网络接入问题？例如南北互通、网络流量瓶颈等问题。
第三方面：真正的云计算结构将会有分布式的多个数据中心，这些分布在各地的数据中心如何有效协调？用户到底要访问哪个数据中心的应用？
第四方面：庞大的数据将如何有效安全地存储/管理？

作者: qingduo04 时间: 2013-05-29 15:59
路过，先支持一下。

作者: laputa73 时间: 2013-05-29 18:28
参与,学习.还没用到.

作者: GB_juno 时间: 2013-06-02 01:38
1、说说您目前的虚拟化和云计算中遇到的网络瓶颈有哪些？
虚拟化的服务器端的问题都在是研究阶段。
跨数据中心的大二层网络是研究重点，跨数据中心的虚拟机迁移都得依赖这个大二层，vxlan、nvgre，nvp等大多数解决方案都是基于IP的通道进行解决，但貌似都没有非常成熟。
此外关注的就是虚拟网络流量问题，如果是用虚拟机里面的软件交换机还是不太靠谱吧，总归要把流量引导外头的硬件设备，这就vepa和vn-tag标准之争了，这个只是等产品和结果。

就是虚拟机的后端存储问题了。
由于磁盘顺序io和随机io标准不一，IO读写速度是很难控制。不知道如何实现限制虚拟机的网络存储访问速度，使得各主机之间能够平分io。

2、目前您遇到的这些网络瓶颈时如何解决的？分享其中的一二。
服务器端的问题都在研究..没有着重解决方法
后端存储IO的平分目前也没有好的方法解决。

作者: 快乐的土豆 时间: 2013-06-03 11:25
mark一下,正准备学习虚拟网络.

作者: jieforest 时间: 2013-06-05 22:16
1、说说您目前的虚拟化和云计算中遇到的网络瓶颈有哪些？
1）SSD引起的网络瓶颈；
2）IP SAN环境需要高速连接；
3）私有云网络进行虚拟化时也容易遇到网络瓶颈。

2、目前您遇到的这些网络瓶颈时如何解决的？分享其中的一二。
针对SSD引起的网络瓶颈：非读密集型的应用不应使用SSD；高随机数据访问不应使用SSD；高度虚拟化环境不适合使用SSD；不要使用服务器端的SSD解决存储I/O瓶颈；不要使用Tier 0解决网络瓶颈；不要为企业级的应用部署用户级SSD产品。
IP SAN环境目前普遍采用万兆以太网。如果选用千兆以太网就容易存在网络瓶颈。
私有云网络虚拟化时遇到网络瓶颈的一种解决办法是采用软件定义网络SDN。
通常构建私有云遇到网络瓶颈的解决方法有：租用更大带宽；建立多个镜像节点；优化前端服务器；优化后台数据库、采用网络加速技术等。

作者: mcyeah 时间: 2013-06-08 10:02
经验不足坐等积分啊

作者: xiaodylan 时间: 2013-06-08 10:04
我可能接触到的也就XEN 和 KVM 我觉得XEN相对而言对网络的利用率还是很充分的..但是既然是虚拟化，那必定没有实机的利用率强。
无非虚拟化是为了解决成本问题、自动化问题、可管理性问题。所以优点有，缺点也不少。

作者: txdgtwpv 时间: 2013-06-13 19:39
本帖最后由 txdgtwpv 于 2013-06-13 19:40 编辑

说说您目前的虚拟化和云计算中遇到的网络瓶颈有哪些？目前您遇到的这些网络瓶颈时如何解决的？分享其中的一二。

(1) 虚拟机访问权限的问题（可以访问谁，不可以访问谁）
简单来说，就是希望同一租户的虚拟机可以自由地互相访问，而不能访问其它租户的虚拟机，主要是出于安全和隔离的考虑。

按照传统，哪里漏了补哪里，我们就设定防火墙规则吧

但是，既然号称“弹性”，怎么应对频繁变化的规则？

建立中央控制集群，hypervisor监听集群上有关于它的信息，有变化就变

但是，防火墙有时候性能不好怎么办，我有一些特殊的需求完成不了怎么办？

重新写几个netfilter模块，定制得一塌糊涂

从此，事情就再也不那么简单了

(2) 后端服务集群的负载均衡和容错，后端服务器随时可能增加或者减少

lvs又快又好用，改吧改吧代码直接拿去用

后端服务幻化为一个vip，均衡和容错都让这个模块来做吧

接入设备不好弄怎么办？

把lvs装在每个母机上吧

配置频繁变化怎么办

真好，我们有中央控制集群

(3) 带宽控制和借用

如何获知虚拟机的网络使用情况，如何防止恶意占满带宽的行为？

好，我们来定制定制，见一个坑填一个坑

(4) 突然，感觉不会再爱了！

作者: txdgtwpv 时间: 2013-06-13 19:43

txdgtwpv 发表于 2013-06-13 19:39
说说您目前的虚拟化和云计算中遇到的网络瓶颈有哪些？目前您遇到的这些网络瓶颈时如何解决的？分享其中的一 ...

打算先看看vxlan，把虚拟机的网络整利落了再说

如果能发展壮大，还可以搞搞碉堡的openflow

自己瞎玩容易掉沟里

作者: txdgtwpv 时间: 2013-06-13 19:45

niao5929 发表于 2013-05-29 10:02
集群系统环境中最大的瓶颈就是主节点，如果主节点宕机，那么集群系统规模再大，它也是没有意义的。事实上传 ...

用chubby/zookeeper容灾

作者: ae305 时间: 2013-06-14 19:15
提示: 作者被禁止或删除内容自动屏蔽

作者: niao5929 时间: 2013-06-17 08:45
有没有详细的介绍哦。是自由开源软件吗？！回复 26# txdgtwpv

作者: txdgtwpv 时间: 2013-06-17 11:43

niao5929 发表于 2013-06-17 08:45
有没有详细的介绍哦。是自由开源软件吗？！回复 26# txdgtwpv

chubby是google云的第五件法宝，zookeeper是hadoop的子项目

我前面提到的我们一直在滥用的中央控制集群就依赖于zookeeper

是个挺靠谱的东西

作者: niao5929 时间: 2013-06-17 13:12
呵呵，有没有详细的技术资料哦。或者原理资料。回复 29# txdgtwpv

作者: tomer 时间: 2013-06-17 14:38
我去年刚买了个表，我刚学的

作者: tech坦克 时间: 2013-06-21 13:57
这个回复，真的是很吊~~~
视野相当的开阔啊。。。

emperor9 发表于 2013-05-28 22:43
点评：这个论题很有讨论的必要，本吊才疏学浅，抖抖然扯之如下：
1、说说您目前的虚拟化和云计算中遇到的网 ...

作者: tangye 时间: 2013-07-04 19:16
认真学习！

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)