分布式

lidnux

何时要用分布式

• 单台服务器无法承受压力。
  
• 需要实现发生错误时候，自动切换
  
• 学习或者测试分布式技术

应用分布式的场景
一、提供多个对外的接口，按照一定规则，分派不同请求由不同接口来处理。
这时候需要考虑：

• 如何实现负载均衡
  
  
  
  • 在哪个层次实现转移负载
    
  • 负载的均衡如何实现
  
  
• 如何实现故障转移
  
  
  
  • 如何监控故障
    
  • 如何切换服务

二、把一个功能拆分成多个功能，不同功能分布部署到不同服务器上

• 对外功能的拆分  
  
  
  
  • http://news.sina.com.cn/ http://sports.sina.com.cn/ http://mobile.sina.com.cn/
    
  • http://www.microsoft.com/china/  http://www.microsoft.com/downloads/
    
  • SOA
  
  
• n层架构，其中的一些层分布到不同服务器上
  
  
  
  • WEB + DB 模式

网站请求中的分布式
按照请求流程，我们可以在以下环节按照一定规则，把用户的请求分流到不同服务器上：

• Web Client Level
  
  
  
  • 例子：QQ 设置中你可以选择登陆的服务器IP
  
  
• DNS Based Selection
  
  
  
  • 优点：
    
  • 缺点：
    
    
    
    • 不能区分服务器的差异，也不能反映服务器的当前运行状态。
      
    • DNS 的刷新需要时间，无法及时故障切换。
  
  
• TCP balancing proxies
  
  
  
  • 硬件
    
  • 软件
  
  
• HTTP-aware routers
  
  
  
  
  
• URL重定向
  
  
  

网站应用中的分布式

• 代理服务器实现请求的分离
  
  
  
  • Squid是Linux下一个缓存Internet数据的代理服务器软件
  
  
• 拆分网站对外功能
  
  
  
  • 不同域名前、后缀
    
  • URL 重写
  
  
• SOA
  
  
  
  • 每个Service 分布到一台服务器上
  
  
• n 层架构
  
  
  
  • 缓存分布式部署
    
    
    
    • 文件Cache
      
    • 内存Cache （memcached ）
      
      
      
      • http://www.danga.com/memcached/
        
      • https://sourceforge.net/projects/memcacheddotnet/
    
    
  • DB分布式集群部署
    
    
    
    • 故障转移
      
    • 发布订阅
      
    • 分布式分区视图
    
    
  • 应用服务器（比如定时发送邮件通知的服务）
    
    
    
    
    
  • 相关技术：
    
    
    
    • 企业服务
      
    • .net Remoting
      
    • WCF
      
    • Web Service

如何判断一个应用是否支持分布式
如果发现某一部分应用需要做分布式了，就可以按照以下思路来考虑如何改造：
从应用所用数据看是否支持分布式

• 多份并存数据（一个数据存在多份）最大多长时间同步一次是可接受的。
  
  
  
  • 内存缓存的数据跟数据库的数据（页面级缓存和业务逻辑缓存）
    
  • 静态文件跟数据库
    
  • 查询数据库跟业务变更数据库
  
  
• 数据按照一定规则拆分（一个数据只存在一份）对业务是否有影响
  
  
  
  • 过去每年的数据迁移到一个对应历史库中。
    
  • 专用的图片服务器 http://pics.ebaystatic.com/

此处可分析：QQ的在线用户数据，会是如何处理的呢？
从应用逻辑过程看是否支持分布式

• 是否可以并行执行这个逻辑过程
  
  
  
  
  
• 这个逻辑过程是否可以拆分成几个松耦合的过程
  
  
  

微软在群集/分布式领域已经做了大量的工作，在Windows 2000发布时，它就已经支持了四种分布式模型，分别对应于不用的应用场合。他们是：Microsoft群集服务（MSCS）、网络负载平衡（NLB）、组件负载平衡（CLB）和Application Center 2000。详情见：
http://www.microsoft.com/china/technet/archives/columns/tips/w2kclust.asp
我对分布式计算一直比较有兴趣，今年在上海TechEd听了一个讲Windows Compute Cluster Server（CCS）的Session，才知道有这么个东西存在。MSDN上已经有下载了，发布日期是2006/07/17。但不知何故微软似乎没有怎么给这个产品作市场宣传嗯。
Product Overview：
http://www.microsoft.com/windowsserver2003/ccs/overview.mspx
我在TechEd会后和微软的工作人员（来自开发团队）小聊了一会儿，得知这个产品最佳的应用领域在于那些“Task的数量很少，但每个Task都需要很长时间计算”的问题，比如Pi的计算。实际上这个产品是为科学计算准备的，比如气象模拟、地质勘探等领域。
CCS基于
MPI 2.0标准
，所以它可以和其他基于MPI 2.0栈的服务器协同工作。CCS目前可以安装在Windows Server 2003/R2 64bit版本上。32-bit对于高性能计算（HPC）可能确实字长太短了，所以微软的方案也根本没有打算支持。
这里有个从微软网站copy过来的table，我在最右边加了一列，来描述CCS和它们的不同之处：
MSCS
NLB
CLB
Application Center
CCS
用途
应用程序故障恢复与故障返回
IP通信负载平衡
COM+对象负载平衡
创建并管理Web区
高性能计算
（High Performance Computing/HPC）
优势
可用性与可管理能力
可用性与可伸缩性
可用性与可伸缩性
可用性、可伸缩性与可管理能力
可伸缩性与可管理能力
每个群集中的最大节点数量
2个（针对Win2k AS）或4个（针对Datacenter）
32
16
16
无限制
群集类型
共享存储机制
无共享资源
无共享资源
无共享资源
N/A
状态信息
有状态
无状态（如果需要的话，可以支持有状态连接）
无状态
无状态
N/A
是否需要对服务器应用程序进行修改
需要
不需要
不需要
不需要
需要（使用MPI 2.0库，只支持Fortran77、Fortran90和C语言）
是否需要使用专用硬件设备
需要
不需要
不需要
不需要
64-bit CPU from Intel or AMD
...
是否独立
是
是
否（需要使用AppCenter）
是
否（需要使用Compute Cluster Pack）
分布式计算可以让你的程序或者服务拥有更好的可靠性，或更高的可伸缩性。CCS是为性能而生的产品，它可以以高度scalable的方式增强群集的性能。微软在多CPU/多核方面已经提供了对了
SMP
的支持（通过VC2005的
OpenMP 2.0
支持 — 同时支持Managed和Unmanaged代码！），在多机并行运算方面又实现了MPI 2.0，它的计算机群集方面的产品线应该已经相当完善了。


本文来自ChinaUnix博客，如果查看原文请点：http://blog.chinaunix.net/u/17895/showart_200182.html