架构师之旅之---设计大型分布式网站可能遇到的问题（获奖名单已公布-2014-10-24）

send_linux

获奖名单已公布，详情请看：http://bbs.chinaunix.net/thread-4158433-1-1.html

系统架构师是一个既需要掌控整体又需要洞悉局部瓶颈并依据具体的业务场景给出解决方案的人。具体来说是一个确认和评估系统需求，给出开发规范，搭建系统实现的核心构架，并澄清技术细节、扫清主要难点的技术人员。主要着眼于系统的“技术实现”。
而对于大型网站来说，这些问题具体来说就是：千万级的注册用户，千万级的帖子，nTB级的附件，还有巨大的日访问量，大型网站采用什么系统架构保证性能和稳定性？
这些大型的互联网应用是设计出来的？还是演化出来的？在设计的过程中需要考虑哪些因素？演化过程中都会面临哪些问题，哪些挑战？

本期话题：
1．如何实现基于HTTP协议和TCP协议的RPC调用，它们之间有何差别？
2．常见的分布式系统存储解决方案有哪些？
3．常见的Web攻击手段和防御方法？
4．如何进行集群的监控？
5.  说说您读完试读样章后的启发

活动规则：
阅读我们提供的图书试读章节来参加活动，写试读心得或根据提供的话题参与讨论！

本期嘉宾：ChinaUnix架构设计版资深版主 duanjigang

活动时间：2014-9-23~10-23

本期奖品：活动结束后将会抽取5名会员赠送《大型分布式网站架构设计与实践》一本

图书试读：http://wenku.it168.com/d_001532056.shtml

奖品简介：
大型分布式网站架构设计与实践             购买链接

作者： 陈康贤   
出版社：电子工业出版社
ISBN：9787121238857
上架时间：2014-8-26
出版日期：2014 年9月
开本：16开
页码：460

renxiao2003

沙发先坐上。

chenyx

板凳支持,稍后读完再写

BlueSky_Yu84

我是来学习的，望大大们踊跃发言

forgaoqiang

看上去挺像是原来的一本书的

niao5929

参加一下，支持起来

Shell_HAT

1. 如何实现基于HTTP协议和TCP协议的RPC调用，它们之间有何差别？
http工作在OSI模型的上层；tcp工作在OSI模型的下层，需要自己控制连接。

2．常见的分布式系统存储解决方案有哪些？
（1）分布式文件系统：淘宝的TFS，谷歌的GFS，亚马逊的EBS
（2）分布式键值系统：一般用作缓存，比如Memcach和淘宝的Tair
（3）分布式表格系统：谷歌的Bigtable，微软的Azure Table，亚马逊的DynamoDB
（4）分布式数据库：MySQL数据库分片集群，亚马逊的RDS，Microsoft SQL Azure

3．常见的Web攻击手段和防御方法？

（1）服务拒绝攻击

死亡之ping （ping of death）

防御：现在所有的标准TCP/IP实现都已实现对付超大尺寸的包，并且大多数防火墙能够自动过滤这些攻击，包括：从windows98之后的windows,NT(service pack 3之后)，linux、Solaris、和Mac OS都具有抵抗一般ping ofdeath攻击的能力。此外，对防火墙进行配置，阻断ICMP以及任何未知协议，都讲防止此类攻击。

泪滴（teardrop）
防御：服务器应用最新的服务包，或者在设置防火墙时对分段进行重组，而不是转发它们。

UDP洪水（UDP flood）
防御：关掉不必要的TCP/IP服务，或者对防火墙进行配置阻断来自Internet的请求这些服务的UDP请求。

SYN洪水（SYN flood）
防御：打最新的补丁，或者在防火墙进行配置，将那些在外部接口上入站的含有内部源地址滤掉。（包括10域、127域、192.168域、172.16到172.31域）

Smurf攻击
防御：为了防止黑客利用你的网络攻击他人，关闭外部路由器或防火墙的广播地址特性。为防止被攻击，在防火墙上设置规则，丢弃掉ICMP包。

Fraggle攻击
防御：在防火墙上过滤掉UDP应答消息

电子邮件炸弹
防御：对邮件地址进行配置，自动删除来自同一主机的过量或重复的消息。

畸形消息攻击
防御：打最新的服务补丁。

（2）利用型攻击

口令猜测
防御：要选用难以猜测的口令，比如词和标点符号的组合。确保像NFS、NetBIOS和Telnet这样可利用的服务不暴露在公共范围。如果该服务支持锁定策略，就进行锁定。

特洛伊木马
防御：避免下载可疑程序并拒绝执行，运用网络扫描软件定期监视内部主机上的监听TCP服务。

缓冲区溢出
防御：利用SafeLib、tripwire这样的程序保护系统，或者浏览最新的安全公告不断更新操作系统。

（3）信息收集型攻击

扫描技术
防御：在防火墙上过滤掉ICMP应答消息。

端口扫描
防御：许多防火墙能检测到是否被扫描，并自动阻断扫描企图。

反响映射
防御：NAT和非路由代理服务器能够自动抵御此类攻击，也可以在防火墙上过滤“hostunreachable”ICMP应答。

慢速扫描
防御：通过引诱服务来对慢速扫描进行侦测。

体系结构探测
防御：去掉或修改各种Banner，包括操作系统和各种应用服务的，阻断用于识别的端口扰乱对方的攻击计划。

DNS域转换
防御：在防火墙处过滤掉域转换请求。

Finger服务
防御：关闭finger服务并记录尝试连接该服务的对方IP地址，或者在防火墙上进行过滤。

LDAP服务
防御：对于刺探内部网络的LDAP进行阻断并记录，如果在公共机器上提供LDAP服务，那么应把LDAP服务器放入DMZ。

（4）假消息攻击

DNS高速缓存污染
防御：在防火墙上过滤入站的DNS更新，外部DNS服务器不应能更改你的内部服务器对内部机器的认识。

伪造电子邮件
防御：使用PGP等安全工具并安装电子邮件证书

4．如何进行集群的监控？
Ganglia, Nagios, Cacti, Zabbix
我感觉吧，只有工具还不够。熟悉各种脚本（Linux/Windows）的话会更好，可以根据项目的实际情况定制化监控插件，配合工具一起搞定各种奇葩的环境。

5. 说说您读完试读样章后的启发
最近想多学习一些负载均衡的知识，这本书涉及到的不多，我要继续找其它资料。
另外，书里面提到的这些方案，如果能对应的介绍一下淘宝的哪些系统使用了某方案之后能够顶住多大的并发之类的，读者可能更加有 try 1 try 的冲动

bulletmarquis

感兴趣却又不懂，搬小板凳来听课

send_linux

Shell_HAT 发表于 2014-09-24 08:28
学习一下

hat哥多分享噢

lxylxy888666

凑个数
1.如何实现基于HTTP协议和TCP协议的RPC调用，它们之间有何差别？
http协议是应用层协议：建立连接、发送请求信息、发送响应信息、关闭
RPC客户机/服务器模式：调用信息和答复信息，表现为本地过程调用

2．常见的分布式系统存储解决方案有哪些？
文件：fastdfs, NFS , MooseFS
缓存：memcache, redis,
搜索：sphinx, solr
数据库：mysql分片，mongodb分片（划分存储，介于缓存）

3．常见的Web攻击手段和防御方法？
1.利用多台机器狂攻，syn,肉鸡,udp等
防火墙
2.程序漏洞，注入
优化程序
3.利用功能漏洞
比如利用某个点不限制，狂刷接口; 利用验证码不防暴力破解
优化程序

4．如何进行集群的监控？
了解cacti，都是根据需求开发管理工具，shell脚本

5. 说说您读完试读样章后的启发
样章讲的一些安装东西，mysql集群,redis,solr等介绍或技术点介绍
期望看到实际运用的分享呀，比如某个场景的数据库为什么分片，多大数据量，QPS，达到什么样的效果，需要‘干货’。
要深入运用还是需要自己去学习研究，尝试，有点浅。