免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: send_linux
打印 上一主题 下一主题

架构师之旅之---设计大型分布式网站可能遇到的问题(获奖名单已公布-2014-10-24) [复制链接]

论坛徽章:
33
ChinaUnix元老
日期:2015-02-02 08:55:39CU十四周年纪念徽章
日期:2019-08-20 08:30:3720周年集字徽章-周	
日期:2020-10-28 14:13:3020周年集字徽章-20	
日期:2020-10-28 14:04:3019周年集字徽章-CU
日期:2019-09-08 23:26:2519周年集字徽章-19
日期:2019-08-27 13:31:262016科比退役纪念章
日期:2022-04-24 14:33:24
1 [报告]
发表于 2014-09-24 08:28 |显示全部楼层
本帖最后由 Shell_HAT 于 2014-09-24 11:08 编辑

1. 如何实现基于HTTP协议和TCP协议的RPC调用,它们之间有何差别?
http工作在OSI模型的上层;tcp工作在OSI模型的下层,需要自己控制连接。

2.常见的分布式系统存储解决方案有哪些?
(1)分布式文件系统:淘宝的TFS,谷歌的GFS,亚马逊的EBS
(2)分布式键值系统:一般用作缓存,比如Memcach和淘宝的Tair
(3)分布式表格系统:谷歌的Bigtable,微软的Azure Table,亚马逊的DynamoDB
(4)分布式数据库:MySQL数据库分片集群,亚马逊的RDS,Microsoft SQL Azure

3.常见的Web攻击手段和防御方法?

(1)服务拒绝攻击

死亡之ping (ping of death)

防御:现在所有的标准TCP/IP实现都已实现对付超大尺寸的包,并且大多数防火墙能够自动过滤这些攻击,包括:从windows98之后的windows,NT(service pack 3之后),linux、Solaris、和Mac OS都具有抵抗一般ping ofdeath攻击的能力。此外,对防火墙进行配置,阻断ICMP以及任何未知协议,都讲防止此类攻击。

泪滴(teardrop)
防御:服务器应用最新的服务包,或者在设置防火墙时对分段进行重组,而不是转发它们。

UDP洪水(UDP flood)
防御:关掉不必要的TCP/IP服务,或者对防火墙进行配置阻断来自Internet的请求这些服务的UDP请求。

SYN洪水(SYN flood)
防御:打最新的补丁,或者在防火墙进行配置,将那些在外部接口上入站的含有内部源地址滤掉。(包括10域、127域、192.168域、172.16到172.31域)

Smurf攻击
防御:为了防止黑客利用你的网络攻击他人,关闭外部路由器或防火墙的广播地址特性。为防止被攻击,在防火墙上设置规则,丢弃掉ICMP包。

Fraggle攻击
防御:在防火墙上过滤掉UDP应答消息

电子邮件炸弹
防御:对邮件地址进行配置,自动删除来自同一主机的过量或重复的消息。

畸形消息攻击
防御:打最新的服务补丁。

(2)利用型攻击

口令猜测
防御:要选用难以猜测的口令,比如词和标点符号的组合。确保像NFS、NetBIOS和Telnet这样可利用的服务不暴露在公共范围。如果该服务支持锁定策略,就进行锁定。

特洛伊木马
防御:避免下载可疑程序并拒绝执行,运用网络扫描软件定期监视内部主机上的监听TCP服务。

缓冲区溢出
防御:利用SafeLib、tripwire这样的程序保护系统,或者浏览最新的安全公告不断更新操作系统。

(3)信息收集型攻击

扫描技术
防御:在防火墙上过滤掉ICMP应答消息。

端口扫描
防御:许多防火墙能检测到是否被扫描,并自动阻断扫描企图。

反响映射
防御:NAT和非路由代理服务器能够自动抵御此类攻击,也可以在防火墙上过滤“hostunreachable”ICMP应答。

慢速扫描
防御:通过引诱服务来对慢速扫描进行侦测。

体系结构探测
防御:去掉或修改各种Banner,包括操作系统和各种应用服务的,阻断用于识别的端口扰乱对方的攻击计划。

DNS域转换
防御:在防火墙处过滤掉域转换请求。

Finger服务
防御:关闭finger服务并记录尝试连接该服务的对方IP地址,或者在防火墙上进行过滤。

LDAP服务
防御:对于刺探内部网络的LDAP进行阻断并记录,如果在公共机器上提供LDAP服务,那么应把LDAP服务器放入DMZ。

(4)假消息攻击

DNS高速缓存污染
防御:在防火墙上过滤入站的DNS更新,外部DNS服务器不应能更改你的内部服务器对内部机器的认识。

伪造电子邮件
防御:使用PGP等安全工具并安装电子邮件证书

4.如何进行集群的监控?
Ganglia, Nagios, Cacti, Zabbix
我感觉吧,只有工具还不够。熟悉各种脚本(Linux/Windows)的话会更好,可以根据项目的实际情况定制化监控插件,配合工具一起搞定各种奇葩的环境。

5. 说说您读完试读样章后的启发
最近想多学习一些负载均衡的知识,这本书涉及到的不多,我要继续找其它资料。
另外,书里面提到的这些方案,如果能对应的介绍一下淘宝的哪些系统使用了某方案之后能够顶住多大的并发之类的,读者可能更加有 try 1 try 的冲动

评分

参与人数 1可用积分 +6 收起 理由
send_linux + 6 很给力!

查看全部评分

论坛徽章:
33
ChinaUnix元老
日期:2015-02-02 08:55:39CU十四周年纪念徽章
日期:2019-08-20 08:30:3720周年集字徽章-周	
日期:2020-10-28 14:13:3020周年集字徽章-20	
日期:2020-10-28 14:04:3019周年集字徽章-CU
日期:2019-09-08 23:26:2519周年集字徽章-19
日期:2019-08-27 13:31:262016科比退役纪念章
日期:2022-04-24 14:33:24
2 [报告]
发表于 2014-09-28 09:29 |显示全部楼层
本帖最后由 Shell_HAT 于 2014-09-28 09:47 编辑

回复 20# niao5929


MySQL不是可以搭建成双主吗
这本书的第76页有介绍

论坛徽章:
33
ChinaUnix元老
日期:2015-02-02 08:55:39CU十四周年纪念徽章
日期:2019-08-20 08:30:3720周年集字徽章-周	
日期:2020-10-28 14:13:3020周年集字徽章-20	
日期:2020-10-28 14:04:3019周年集字徽章-CU
日期:2019-09-08 23:26:2519周年集字徽章-19
日期:2019-08-27 13:31:262016科比退役纪念章
日期:2022-04-24 14:33:24
3 [报告]
发表于 2014-09-28 09:45 |显示全部楼层
回复 21# niao5929


书里面有这样一段:
memcache 本身并不是一种分布式的缓存系统,它的分布式是由访问它的客户端来实现的。
一种比较简单的实现方式是根据缓存的key 来进行Hash,当后端有N 台缓存服务器时,访问的
服务器为hash(key)%N,这样可以将前端的请求均衡地映射到后端的缓存服务器,如图2-1 所示。
但这样也会导致一个问题,一旦后端某台缓存服务器宕机,或者是由于集群压力过大,需要新
增缓存服务器时,大部分的key 将会重新分布。对于高并发系统来说,这可能会演变成一场灾
难,所有的请求将如洪水般疯狂地涌向后端的数据库服务器,而数据库服务器的不可用,将会
导致整个应用的不可用,形成所谓的“雪崩效应”。

论坛徽章:
33
ChinaUnix元老
日期:2015-02-02 08:55:39CU十四周年纪念徽章
日期:2019-08-20 08:30:3720周年集字徽章-周	
日期:2020-10-28 14:13:3020周年集字徽章-20	
日期:2020-10-28 14:04:3019周年集字徽章-CU
日期:2019-09-08 23:26:2519周年集字徽章-19
日期:2019-08-27 13:31:262016科比退役纪念章
日期:2022-04-24 14:33:24
4 [报告]
发表于 2014-09-28 11:13 |显示全部楼层
回复 25# niao5929


可以在前端搭建Nginx、HAProxy、LVS之类的来实现负载均衡吧

论坛徽章:
33
ChinaUnix元老
日期:2015-02-02 08:55:39CU十四周年纪念徽章
日期:2019-08-20 08:30:3720周年集字徽章-周	
日期:2020-10-28 14:13:3020周年集字徽章-20	
日期:2020-10-28 14:04:3019周年集字徽章-CU
日期:2019-09-08 23:26:2519周年集字徽章-19
日期:2019-08-27 13:31:262016科比退役纪念章
日期:2022-04-24 14:33:24
5 [报告]
发表于 2014-09-28 11:36 |显示全部楼层
回复 27# niao5929


这事吧,就算你花几十万买硬件负载均衡,那么硬件负载均衡本身理论上也存在单点故障。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP