架构师之旅之---设计大型分布式网站可能遇到的问题（获奖名单已公布-2014-10-24）

send_linux

niao5929 发表于 2014-09-28 15:33
回复 22# send_linux
南非蚂蚁看什么哦。呵呵

请南非蚂蚁帮你看一下你说的问题啊

niao5929

回复 32# send_linux
现在所谓的雪崩问题有没有很好的解决方案。上次看个帖子讨论集群技术的时候似乎也有雪崩问题。比如集群里有4台服务主机。1台MASTER主机。当其中1台server下线后。负载会被过多的分配到剩下3台中负载最轻的那台SERVER上。而客户的整体访问量是不会下降的。这样很有可能出现的情况就是一台一台的SERVER会因为过载而下线，MASTER又会不断的制造新的过载SERVER。导致整个集群不可用。而且似乎已经有云计算供应商出过这样的问题了。我想问下现在有没有很好的解决这种问题的方案和开源技术

   

Kasiotao

来迟了，好内容，搬个小板凳学习

niao5929

回复 34# Kasiotao
放学了！！！

   

Vendor_Lau

我是来凑热闹的--！

laputa73

回复 20# niao5929


    可以看看mpp数据库，比如老版的greenplum

niao5929

讲讲细节哦

yunas

继续一如既往支持好活动。

q1208c

我是进来呵呵的.

itTangzeng

1．如何实现基于HTTP协议和TCP协议的RPC调用，它们之间有何差别？
TCP/IP通讯协议采用了4层的层级结构，每一层都调用它的下一层所提供的信息来完成自己的功能。
这4层分别为：
(1)应用层：应用程序间沟通的层，如超文本传送协议（HTTP）、简单电子邮件传输（SMTP）、文件传输协议（FTP）、网络远程访问协议（Telnet）等。
(2)传输层：在此层中，它提供了节点间的数据传送服务，如传输控制协议（TCP）、用户数据报协议（UDP）等，TCP和UDP给数据包加入传输数据并把它传输到下一层中，这一层负责传送数据，并且确定数据已被送达并接收。
(3)互连网络层：负责提供基本的数据封包传送功能，让每一块数据包都能够到达目的主机（但不检查是否被正确接收），如网际协议（IP）。
(4)网络接口层：对实际的网络媒体的管理，定义如何使用实际网络（如Ethernet、Serial Line等）来传送数据。
如果简单用，只要了解大概结构，然后使用就可以了，当然如果精力许可就阅读《TCP-IP详解(卷一、二、三)》
  
2．常见的分布式系统存储解决方案有哪些？
(1)HDFS
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。

特点：
(a)流式读取方式，主要是针对一次写入，多次读出的使用模式。写入的过程使用的是append的方式。
(b) 设计目的是为了存储超大文件，主要是针对几百MB，GB，甚至TB的文件
(c)该分布式系统构建在普通PC机组成的集群上，大大降低了构建成本，并屏蔽了系统故障，使得用户可以专注于自身的操作运算。

(2)TFS(Taobao File System)
淘宝自己研发的

特点：
(a)支持小文件的应用比较好
(b)用户接口，TFS没有提供POSIX接口，提供的API也与标准接口不一致
(c)源码，使用了C++实现，注释被屏蔽了，文档也少，这是开源项目的通病
(d)技术文档，官方有一些文档，但不够深入和全面，慢慢摸索吧

3．常见的Web攻击手段和防御方法？
洪水攻击，制造诸多傀儡机器，同时攻击某个服务器；
利用OS或WEB应用的漏洞。
安全接触不够深入，建议购买成熟服务，特别是做外网应用时，很容易受到对手方的攻击。

4．如何进行集群的监控？
Zabbix
开源监控软件，功能都差不多，实现有些差异，重要是理解，然后做二次开发跟自己的系统集成，这样能更好地监控。

5.  说说您读完试读样章后的启发
从试读章节中受益匪浅，作者跟大家分享自己的经验。
你的很多实际经验可以运用到我们的工作中，是一本比较专业的书籍。
尤其对于做 大型分布式网站 的读者比较适合，很多“干货”。