忘记密码   免费注册 查看新帖 | 论坛精华区

ChinaUnix.net

  平台 论坛 博客 认证专区 大话IT HPC论坛 徽章 文库 沙龙 自测 下载 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
最近访问板块 发新帖
查看: 363172 | 回复: 75

[网络管理] 网络优化论坛胜利结束!(负载均衡、数据库优化、CDN)资料下载!有奖征文活动 [复制链接]

论坛徽章:
5
2010年中国数据库技术大会
日期:2012-02-28 22:05:302009年中国系统架构师大会
日期:2012-02-28 22:05:30ChinaUnix元老
日期:2012-02-28 22:26:02CU大牛徽章
日期:2012-02-28 22:08:51CU十周年纪念徽章
日期:2012-02-28 22:08:51
发表于 2009-01-13 13:23 |显示全部楼层
网络优化论坛胜利结束,(网络运维架构、负载均衡、数据库优化、CDN)资料下载!
“CU网络优化论坛归来,我有话说”有奖征文活动!

2009年1月9日下午,在新世纪饭店,网络优化论坛顺利结束了。真诚地感谢大家的积极捧场,本次技术论坛规模空前,总人数近290人。直到下午6:20时还基本全场满座。到目前为止,我们已经举办了多次论坛沙龙,互动沙龙的影响力可谓越来越好。

本次论坛,云集了国内各大网站、以及传统企业的运维工程师,例如有的来自新浪、SOHU、TOM、BAIDU、YAHOO,有的来自搜房网、凤凰网,有的来自中国网通、中国移动、中国联通,有的来自东海证券、银河证券等等。本次活动,还有来自南京、长沙的企业用户,专程前来参与本会。

本次论坛有一个重要的特征:
此前的沙龙,往往在周末进行,所以,大家参与沙龙时,往往以个人网友的身份参与,并没有经过公司的流程。然而,本次论坛在工作日进行,这涉及到很多网友请假的问题。实际上,本次网络优化论坛得到了很多企业的大力支持、肯定:有不少企业单位组织、派遣相应的运维工程师参与本会,甚至有的企业在运维总监、技术总监的带队下,结队过来参与交流,在此深表感谢。

附:2008.9月负载均衡沙龙讨论、资料下载!(这是上次的互动活动)
http://bbs.chinaunix.net/thread-1260074-1-1.html
2008.6月,线下沙龙:“网络流量分析”工具大讨论
http://bbs.chinaunix.net/thread-1186419-1-1.html

应该说,一次论坛,在有限的时间里,并不能让一个网友学到太多内容,讨论太深的主题。不过,这让大家相互有一个系统的认识并相互交流,以后,我们将组织更系统化的互动活动。

借此机会,我们发起一次“CU网络优化论坛归来,我有话说!”有奖征文活动。

现场参与本次论坛的网友们,如果方便,请将你参与本次论坛的感受写出来,大家一起讨论,可以是主题演讲技术的总结笔记,也可以对论坛现场的建议,以及对未来互动活动的建议,建议有奖。
1、主题演讲技术的总结笔记
2、对论坛现场的建议
3、对未来互动活动的建议,(未参与现场的伙计们可以大大的提建议)

奖励措施:
请网友将总结笔记、建议跟贴在本贴后面(也可同时发布在自己的博客里),只要建议有价值,我们将奖励100-400积分

现在,我们将本次论坛的演讲PPT、图片资料发出来,以供大家进一步参考。并请大家多多提意见。
草上飞(唐川) 2009.1.13

日程表:
下  午(1.9日)北京•新世纪日航饭店
主题:企业网络优化技术论坛(网络运维架构、负载均衡、数据库优化、CDN)
主持:张旭,新浪网网络系统部 运维开发经理;;
        唐川 IT168
13:00-13:40: 签到(领取调查表、礼品)
13:45-14:20: 曹刚:门户网站系统运维架构规划设计实战
14:35-15:10: 吴炳锡:LVS、Nginx负载分衡构建实战,以及应用性能对比
15:30-16:10: Radware梁世鹏:负载均衡解决方案:应对网络流量峰值瓶颈
16:20-16:55: SOHO叶金荣:My SQL与网络应用相关的数据库优化
17:10-17:45:田逸:网络多数据中心站点CDN网络构建实例精讲
17:55-18:20:  根据调查表,抽奖

演讲PPT下载:Radware梁世鹏:负载均衡解决方案:应对网络流量峰值瓶颈

[ 本帖最后由 草上飞2008 于 2009-2-4 15:40 编辑 ]

曹刚:门户网站系统运维架构规划设计实战.rar

885.58 KB, 下载次数: 7779

吴炳锡:LVS、Nginx负载分衡构建实战,以及应用性能对比.rar

357.99 KB, 下载次数: 5771

叶金荣:Linux下的MySQL调优.rar

218.73 KB, 下载次数: 3757

田逸:网络多数据中心站点CDN网络构建实例精讲.rar

1.53 MB, 下载次数: 6035

论坛徽章:
5
2010年中国数据库技术大会
日期:2012-02-28 22:05:302009年中国系统架构师大会
日期:2012-02-28 22:05:30ChinaUnix元老
日期:2012-02-28 22:26:02CU大牛徽章
日期:2012-02-28 22:08:51CU十周年纪念徽章
日期:2012-02-28 22:08:51
发表于 2009-01-13 13:24 |显示全部楼层

回复 #1 草上飞2008 的帖子

网络优化论坛会场高清图片下载:
http://dl1.it168.com/editor/net/networkphoto.rar

这是全场的照片,整个会场狭长,所以,我们分成了两道投影屏,前面一个投影屏,中间一个投影屏。
IMG_0333.JPG
IMG_0454.JPG

下面这张是后半场的照片,以第二个投影屏为分界线:
20090114_8e8e8395cca613361267Ua5ISSnuC5aK.jpg

主题演讲人:分别是曹刚、吴炳锡、梁世鹏、叶金荣、田逸,以及主持人张旭:
IMG_0350.JPG IMG_0369.JPG IMG_0411.JPG
IMG_0483.JPG IMG_0521.JPG IMG_0409.JPG


部分网友们的提问:
在台上讲的是高手,其实,在台下的网友们,同样高手云集!

例如,互动期间,提问及交流的台下网友,有不少企业的技术总监、运维高手、CU的资深版主等。
其中有一个提问者(应该说是互动交流),是快网科技(Fastweb)的总裁刘总,他向叶提了关于“数据库负载均衡”的问题,
其实,之后,我跟刘总在电话交流中发现,原来他早在几年前就在专门研究“数据库负载均衡”技术,并推出了相关的产品。

IMG_0346.JPG IMG_0356.JPG IMG_0361.JPG IMG_0379.JPG IMG_0465.JPG IMG_0500.JPG


以下两张分别是:
1、有两位网友是来自长沙 湖南卫视的运维经理,专程飞过来参与我们的论坛,如下图。
2、大家提问热情很高啊,争着提问,有人甚至想从我跟刚提问完的网友交接话筒时,抢话筒。
IMG_0392.JPG IMG_0384.JPG

3、这是来自南京的一家生物制药企业的运维经理 张先生,大老远过来的,顶级帅哥。
IMG_0551.JPG

抽奖环节:
本次奖品多多,有20个CU背包,20本书,5个MP4,5个4GB闪存盘。(CU背包没有原计划的多,不好意思了)
IMG_0559.JPG IMG_0562.JPG

[ 本帖最后由 草上飞2008 于 2009-2-18 20:18 编辑 ]

论坛徽章:
5
2010年中国数据库技术大会
日期:2012-02-28 22:05:302009年中国系统架构师大会
日期:2012-02-28 22:05:30ChinaUnix元老
日期:2012-02-28 22:26:02CU大牛徽章
日期:2012-02-28 22:08:51CU十周年纪念徽章
日期:2012-02-28 22:08:51
发表于 2009-01-13 13:32 |显示全部楼层

回复 #2 草上飞2008 的帖子

这是CU网友超群自发写的笔记,在这里贴一下,大家可以参考一下,呵呵

ChinaUnix网络优化论坛归来
January 10th, 2009 | by 超群.com |
http://chaoqun.17348.com/2009/01/cu-net-opt-salon/

特意把调休放在1.9,主要是想去听听CU组织的网络优化论坛,报名的时候有点意外,貌似丢失了报名信息,和组织者沟通了一下,感谢周平同学的热心帮助,说到的时候找他就可以,去的时候其实也没有查邀请函什么的,还给了件CU的T-Shirt,甚是感谢,一般这种开源技术研讨会都是很开放的。

首先是TOM网的曹刚带来的“浅析系统架构”,主要讲的是Myspace和SOHU社区架构的演变过程,基本的内容可以参考构建可扩展网络应用的七个步骤,一般他们的历程都是从第一步到第四步,大体上差不多,我这里列举这个关键词:

64位:Myspace为了让服务器管理更多的内容,操作系统由32位升级到64位,我们都知道32位的操作系统最多支持4G内存(当然有方法可以实现超过4G,不推荐。),64位操作系统理论上支持4G个G,估计我是看不到用完的那天,这里要注意的是32位操作系统下,一个处理器最多处理2G内存,所以如果是Memcached服务器,不要一个进程给超过2G内存,浪费。好的做法是多开几个服务,或者直接把Memcached服务器和APP服务器合二为一,很多公司都这样。
分表:论坛的特点是数据一般是按照板块分组,所以对于论坛这样的应用来说,最好是按照板块ID分表甚至分库分机器。
板块帖子列表页:论坛的特性是新帖子、新更新的帖子排在最前面,所以可能的情况是每次刷新的时候页面都在变,SOHU社区的做法是把板块新帖子保持在一个链表里面,链表的特点是插入和删除都很快,问题是查询的时候只能遍历。
其实对于一个论坛板块来说,热门的帖子不会太多,估计大家也就翻前几页,大可以把这个数据放进缓存中,比如维护一个队列,最新的500个帖子ID,帖子Title,新帖子放在最前面,自动顶掉最后一个,大可以用数组而不用链表,虽然插入的时候慢点,读取的时候却不用遍历链表。

对于跟帖数据,一般都是按照时间顺序排列,新增加的帖子自动在最后,压力不会很大。

google去搜一下Carp算法,一致性哈希算法consistent hashing(可以参考http://tech.idv2.com/2008/08/17/memcached-pdf/),Amazon S3 环形算法(是不是就是consistent hashing?不知)。
曹刚最后做了个总结,个人觉得:熟悉业务需求应该是核心。

第二位演讲者是来自占座网的吴炳锡,讲的是LVS和Nginx的负载均衡,这块以前只是从资料上看过,接触比较少,不过炳锡的介绍深入浅出,以前觉得LVS晦涩难懂,不敢动手,听完之后无知者无畏了,有机会试试看去。其实很多事情都这样,看上去挺难,做起来就容易了,下面是几个关键字:

DR模式:LVS有NAT、TUN、DR模式,推荐使用DR模式,更多的信息去google吧。
LVS->Nginx->Squid:组合的模式,LVS是四层的转发,Nginx是七层的转发,可以支持URL规则的转发,组合起来用就可以随心所欲了。
性能:Nginx的性能和LVS NAT模式相当,都是很好的解决方案,熟悉哪个就用哪个吧,性能都不是问题。
keepalived:LVS居家旅行、杀人灭口必配武器。
搜房网:搜房网前端采用LVS做负载均衡,中间用Nginx做URL负载均衡,动态的URL跳到App服务器,静态的URL跳转到Squid服务器。
第三位演讲者来自某个赞助商,感谢他们对活动的赞助,就不做广告了。

第四位演讲者来自SOHU的MySQL DBA叶金荣,报告的内容网上大多有,这里也列出一些关键字:

发现问题:系统响应慢、load avg >=5、IO wait >= 10、swap使用情况、mysql status、mysql report、mysql 5.1 profline
xfs:如果可能,mysql数据文件系统分区采用xfs,效果高30%~50%
innodb_buffer_pool_size:如果是专用的数据库服务器,设定为内存的80%吧
MyIsam适合低并发、低更新、高读取的需求,InnoDB适合高并发、高更新、高读取的需求,MyIsam读取的速度比InnoDB快许多。
Explain:查询检查、查询优化
联合索引:貌似MySQL一次查询只用到一个索引,联合索引要注意先后顺序的问题,“左派”比较吃香。
字段按需配置,能用TinyINT的不用INT,字段越短越好,具体差别可以参见:http://chaoqun.17348.com/2008/11/mysql-data-types-int/
把大表拆成小表,如果表字段里面有Text,尽量拆开吧。
缩短事务周期
字符型的字段,最好采用前缀索引。
复杂的查询拆成小的简单的查询,比如用循环查询替代。这点不敢苟同,还是按照自己的业务测试一下吧。一条sql语句总比N条要快吧,除非有问题。
left join:把条目数少的放左边,如果你了解left join的话,这个是肯定的。
实时备份:用slave做实时备份吧,一个slave就是一个备份。
第五个演讲最为精彩,走了的人实在可惜,掌声和笑声不断,田逸这个家伙说话太有意思的,有机会要认识一下。讲的是CDN方面的事情,关键字:策略,技术很重要,策略更重要。

昨天的网络优化论坛受益匪浅,演讲者都有丰富的经验,其实网站架构就那么点事情,多分享才能共同进步,不过从互动环节可以看出国内做技术的对这方面关注还是比较少,有些问题比较原始,多关注一些就不会那样了。

[ 本帖最后由 草上飞2008 于 2009-1-15 13:18 编辑 ]

论坛徽章:
0
发表于 2009-01-13 16:41 |显示全部楼层
强帖留名

论坛徽章:
0
发表于 2009-01-13 16:55 |显示全部楼层
第五个演讲最为精彩,走了的人实在可惜,掌声和笑声不断,田逸这个家伙说话太有意思的,有机会要认识一下。讲的是CDN方面的事情,关键字:策略,技术很重要,策略更重要

谢谢夸赞 很受用 哈哈

论坛徽章:
8
综合交流区版块每周发帖之星
日期:2015-12-02 15:03:53数据库技术版块每日发帖之星
日期:2015-10-02 06:20:00IT运维版块每日发帖之星
日期:2015-10-02 06:20:00IT运维版块每日发帖之星
日期:2015-09-14 06:20:00金牛座
日期:2014-10-10 11:23:34CU十二周年纪念徽章
日期:2013-10-24 15:41:34酉鸡
日期:2013-10-19 10:17:1315-16赛季CBA联赛之北京
日期:2017-03-06 15:12:44
发表于 2009-01-13 17:10 |显示全部楼层
高手如云呀

论坛徽章:
0
发表于 2009-01-13 17:15 |显示全部楼层
顶个,内容还是不错的。推好啊

论坛徽章:
0
发表于 2009-01-13 19:42 |显示全部楼层
总的来说搞的不错,就是时间太短,提问的时间太少

[ 本帖最后由 forward51 于 2009-3-10 20:33 编辑 ]

论坛徽章:
0
发表于 2009-01-13 20:59 |显示全部楼层
看到我的后脑勺了,哈哈

论坛徽章:
0
发表于 2009-01-13 21:31 |显示全部楼层

回复 #1 草上飞2008 的帖子

技术精英
补发一下:
目前的工作就是做一个业务站点的负载均衡,使用的是开源的架构、数据库使用mysql,初期公司停留在一个cluster模式上,80年代到M国的人强调O的数据库的强调,务必使Mysql的与O的抗衡,这样项目组就出现了很多啼笑皆非的问题……
还是说说这次CU论坛的活动的话题,08年底有编辑联系我参加虚拟化的专题讲演,不过目前在西安工作不是很方便离开也就推脱了。从元月9日的各个的分论坛的资料上可以感受到技术精英已经成长起来。目前网络优化对于很过的企业尤其是互联网的企业的意义就已经很大了,当前LVS基于linux内核的负载均衡调度部署的便捷是在Linux内核发展的前提下变得更加的容易,在2.4以及之前的内核上默认是没有编译这个选项的,但是做一个项目的时候,编译内核就要花费N长的时间,现在的os基本上都将此选项编译进入内核,对于现在从事这个工作或者是入行的新人来说不能不说这个是一个非常利好的消息。
开源意味的并不是可以无限的索取,而是对于工程师来说有更多的实现项目的选择方式。LVS实现了是负载均衡不过对于高可用性没有提供,这样就有很多的方案补充呢lvs的高可用性这个部分,在选择项目的时候将会有更多的选择方式。
同样对于mysql的方案也是很多的,memcache、proxy、cluster、drbd很多眼花缭乱的东东只有自己可以直到那个是经过自己实践的符合项目要求的。

[ 本帖最后由 kns1024wh 于 2009-1-22 09:22 编辑 ]
您需要登录后才可以回帖 登录 | 注册

本版积分规则

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号 北京市公安局海淀分局网监中心备案编号:11010802020122
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP