免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
打印 上一主题 下一主题

千万级pv高性能高并发网站架构与设计交流探讨帖 活动结束 获奖名单公布 [复制链接]

论坛徽章:
2
午马
日期:2015-01-27 11:22:392015年辞旧岁徽章
日期:2015-03-03 16:54:15
111 [报告]
发表于 2011-12-10 22:32 |只看该作者
回复 111# 兰花仙子


这个观点不错~~~

但有个地方要区别的就是并行度(Parallelization) 和并发性(Concurrency)。
也许大量的访问和业务要处理的时候,不能单纯的讲并发性高, 因为有的业务 前台接了下来但后台堵塞着,这只能讲并行业务量大,整个架构的并发性没有得到质的改变。

拿我们平时的数据库环境举例, 需要有大量的业务或者session/connection来测试最大负载, 当访问量达到一个高度之后,继续增大,整个系统的性能会急剧下降,甚至会crash掉。
这也是你讲的 要注重整个架构前后台的瓶颈的原因。 如果一个客户连接得到了回应但处理得慢,占服务器资源的时候,会比被拒绝服务 ,对服务器来说 更危险。

论坛徽章:
2
午马
日期:2015-01-27 11:22:392015年辞旧岁徽章
日期:2015-03-03 16:54:15
112 [报告]
发表于 2011-12-10 22:39 |只看该作者
回复 95# yuhongchun


    数据库的性能优化无非也是在那边看瓶颈了。。。

   只是MySQL不像ORACLE有很多的解决方案摆那边, 不过大吞吐量的开放方案我更喜欢postgreSQL~~

论坛徽章:
5
CU大牛徽章
日期:2013-09-18 15:16:55CU大牛徽章
日期:2013-09-18 15:18:22CU大牛徽章
日期:2013-09-18 15:18:432015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:49:45
113 [报告]
发表于 2011-12-11 13:13 |只看该作者
这个要学习

论坛徽章:
0
114 [报告]
发表于 2011-12-12 10:30 |只看该作者
大流量DDOS
kns1024wh 发表于 2011-12-09 20:28



    CDN遭攻击也是经常发生的,有时规模几十G的攻击。中小企业 多用CDN 从哪方面讲 都是可取的。

论坛徽章:
0
115 [报告]
发表于 2011-12-12 10:56 |只看该作者
回复 115# 老男孩linux培训


    这个ddos 既是技术问题 也是社会问题  。只要接入互联网的ip就会有遇到ddos的经历。

论坛徽章:
0
116 [报告]
发表于 2011-12-12 16:07 |只看该作者
本帖最后由 老男孩linux培训 于 2011-12-12 16:09 编辑

回复 78# to407

回复 73# 老男孩linux培训


    恩。。。我的工作内容只做RDBMS和cluster方面, 其实对于存储方面还有互联网行业的解决方案比较感兴趣,

    因为一些低成本的解决方案技术上反而要比传统行业来得新。
。。。。。。。。--------------------------------------------------------------------------------------------------------------------------
老男孩回复:生活中不缺少美,而是缺少发现。
也就是说,方法其实大家都知道,就是大公司做的更细致专业更到位,那些中小公司照猫画虎(有时因为开发水平及程序架构制约,N多公司开发人员连读写分离还搞不定)。

数据库的优化 其实常规方法就是大家经常说的那些,关键是怎么能做的恰到好处,或者说做到极至,你会一套刀法,我也会 可能用起来差距就很大。
在举个连锁加盟的例子 麦当劳/KFC等的模式就是成功一个然后 逐个地区推广普及,其实 运维和数据库的高并发也是如此。

优化也一样。。单单就是SQL语句调优。。就不简单。

虽然维护了多年的MYSQL,和ORACLE集群,但我的数据库经验依然不专业,这里和大家简单聊下。
希望数据库专家给补充。

数据库优化:
1.先硬后软,即硬件首先要跟上。到后面软的解决到瓶径了再二次增加硬件。
  如:单盘sata-->单盘SAS-多盘SAS-SSD(或硬盘加速卡) 根据公司预算购买相关硬件。
     NAS,SAN架构。。
    在存储端,也看过如 3par的网状解决方案 来分散disk i/o 也是细节了,我们大部分的优化 归根结底都是在减少磁盘IO,或不使用磁盘。

2 尽量 数据库前端cache,包括使用NOSQL。
在ORACLE DB这一块,用RAC cluster引入cache fusion机制,把数据库的硬盘i/o瓶颈 移到memory端处理,来代替传统的单节点响应。
在数据库机Exadata方面用infiniband来替代fiber channel, 在数据库表结构层面,引入smart scan 减少select等SQL的i/o size
这是更细的细节了。

3 软件参数:如KEY BUFFER加大,INNODB BUFFER加大,SGA,DB_CACHE,SHARE_POOL等参数调整。

4 SQL优化,让SQL语句 尽量使用索引,对于ORACLE可绑定变量解析等等。

5 分库分表,再基础上再分库分表,进行业务拆分。横分纵分。

6 mysql多M多S,mysql cluster,  ORACLE RAC+DG。

7 借助程序来分布式读写库(请注意,后面的库已经都是负载均衡)。

8 借助DNS来处理。

最后高可用切换软件都会发广播的,如果heart beat冲突了,请检查广播的地址是不是冲突,一般最好是直连心跳线。

数据库的高可用,离不开系统运维和开发。。

一切的大仗 饿仗 都是多个部门协同 搞定的。DBA,SA PROGRAMER 单独都是搞不定的。

论坛徽章:
381
CU十二周年纪念徽章
日期:2014-01-04 22:46:58CU大牛徽章
日期:2013-03-13 15:32:35CU大牛徽章
日期:2013-03-13 15:38:15CU大牛徽章
日期:2013-03-13 15:38:52CU大牛徽章
日期:2013-03-14 14:08:55CU大牛徽章
日期:2013-04-17 11:17:19CU大牛徽章
日期:2013-04-17 11:17:32CU大牛徽章
日期:2013-04-17 11:17:37CU大牛徽章
日期:2013-04-17 11:17:42CU大牛徽章
日期:2013-04-17 11:17:47CU大牛徽章
日期:2013-04-17 11:17:52CU大牛徽章
日期:2013-04-17 11:17:56
117 [报告]
发表于 2011-12-12 16:37 |只看该作者
回复 117# yuhongchun


    en,有道理,我们的网络南北割据非常有问题

论坛徽章:
0
118 [报告]
发表于 2011-12-12 17:44 |只看该作者
回复 119# chenyx


    特色 很多都是如此的

论坛徽章:
381
CU十二周年纪念徽章
日期:2014-01-04 22:46:58CU大牛徽章
日期:2013-03-13 15:32:35CU大牛徽章
日期:2013-03-13 15:38:15CU大牛徽章
日期:2013-03-13 15:38:52CU大牛徽章
日期:2013-03-14 14:08:55CU大牛徽章
日期:2013-04-17 11:17:19CU大牛徽章
日期:2013-04-17 11:17:32CU大牛徽章
日期:2013-04-17 11:17:37CU大牛徽章
日期:2013-04-17 11:17:42CU大牛徽章
日期:2013-04-17 11:17:47CU大牛徽章
日期:2013-04-17 11:17:52CU大牛徽章
日期:2013-04-17 11:17:56
119 [报告]
发表于 2011-12-12 17:53 |只看该作者
回复 120# kns1024wh


    现在不是反垄断调查呢吗,不知道会不会不了了之.

论坛徽章:
381
CU十二周年纪念徽章
日期:2014-01-04 22:46:58CU大牛徽章
日期:2013-03-13 15:32:35CU大牛徽章
日期:2013-03-13 15:38:15CU大牛徽章
日期:2013-03-13 15:38:52CU大牛徽章
日期:2013-03-14 14:08:55CU大牛徽章
日期:2013-04-17 11:17:19CU大牛徽章
日期:2013-04-17 11:17:32CU大牛徽章
日期:2013-04-17 11:17:37CU大牛徽章
日期:2013-04-17 11:17:42CU大牛徽章
日期:2013-04-17 11:17:47CU大牛徽章
日期:2013-04-17 11:17:52CU大牛徽章
日期:2013-04-17 11:17:56
120 [报告]
发表于 2011-12-12 17:56 |只看该作者
回复 118# 老男孩linux培训


    同意.知道问题是一回事,能解决问题是另外一回事.道理大家都知道,真正完美解决问题的,才是高手
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP