架构师之旅之---设计大型分布式网站可能遇到的问题（获奖名单已公布-2014-10-24）

niao5929

对MEMCACHE架构最感兴趣，不知道这种架构是否确实已经实现了主机节点的自动加入和退出集群。同时群系统也可以感知到它的退出并进行删除操作。这样的集群系统如何扩展又如何收缩呢？？！！应用场景实例又是个什么样子。能不能举个实例说说便于理解。

send_linux

niao5929 发表于 2014-09-28 08:38
对MEMCACHE架构最感兴趣，不知道这种架构是否确实已经实现了主机节点的自动加入和退出集群。同时群系统也可 ...

请 @南非蚂蚁帮忙看看~

Shell_HAT

回复 20# niao5929


MySQL不是可以搭建成双主吗
这本书的第76页有介绍

Shell_HAT

回复 21# niao5929


书里面有这样一段：

memcache 本身并不是一种分布式的缓存系统，它的分布式是由访问它的客户端来实现的。
一种比较简单的实现方式是根据缓存的key 来进行Hash，当后端有N 台缓存服务器时，访问的
服务器为hash(key)%N，这样可以将前端的请求均衡地映射到后端的缓存服务器，如图2-1 所示。
但这样也会导致一个问题，一旦后端某台缓存服务器宕机，或者是由于集群压力过大，需要新
增缓存服务器时，大部分的key 将会重新分布。对于高并发系统来说，这可能会演变成一场灾
难，所有的请求将如洪水般疯狂地涌向后端的数据库服务器，而数据库服务器的不可用，将会
导致整个应用的不可用，形成所谓的“雪崩效应”。

niao5929

回复 24# Shell_HAT
雪崩效应如何有效解决。另外就是前端的请求均衡压力本身如何有效进行均衡。
   

Shell_HAT

回复 25# niao5929


可以在前端搭建Nginx、HAProxy、LVS之类的来实现负载均衡吧

niao5929

回复 26# Shell_HAT
这些大多是双机系统吧。而备机的资源实际又浪费了！！

   

Shell_HAT

回复 27# niao5929


这事吧，就算你花几十万买硬件负载均衡，那么硬件负载均衡本身理论上也存在单点故障。

niao5929

回复 28# Shell_HAT

是呀，我似乎又问了个终极问题。
我在想会不会有人也在想这样的一种架构：
1、如何在操作系统层定义一个多机器计算资源协作的语义层，这样借助于操作系统提供的库函数，可以直接在进程级进行对等计算资源分配，这样可以绕开网络层需要考虑的通讯问题，计算机将通过在网络层之上的语义层直接进行进程间通讯。 2、计算任务的分派和整合算法。用户最终需要的是一个能解决自己问题的终端，而不是一个没有任何用途的具有超级运算能力的超级计算机，这样的计算机除了发热没有任何意义。很多时候浏览器其实是将原来的本地计算压力转嫁给了充当服务器的计算机而本地资源却又白白的浪费了。应用程序其实就是一个特殊的功能应用接口，实现了用户需要的功能，如果我们直接将本地计算机中的应用程序当作一个服务的管理者，它为用户提供了需要的功能，用户在使用应用程序时，应用程序应该通过操作系统向语义层内的对等计算资源分派计算任务，并负责整合计算资源。资源分派时可以广播，整合时，服务管理者只要接收到相同分派任务的计算机结果将再次广播相关分派任务结束，并最终将结果整合完成输出给用户。这样的话一个服务器其实就是应用发起者本身。网络中其他语义层的计算机都将成为它计算资源的一部分。这样传统的服务器模式就被颠倒了。只要网路的语义层拓扑是无限大的，那么用户的计算机逻辑计算能力也是无限大的。如果用户关掉计算机，那么其实也意味着应用发起者本身已经不需要使用计算资源了。 3、离线和在线模式的转换。这其中涉及到自主网络的问题。比如A－B通过网线连接，那么AB就可以感知到对方的存在。于是他们自主为一个网络。C－D也是这样，当再将他们连成更大的网络时，他们将彼此感知到对方三个的存在。而A脱利网络时，A将以自我为中心，语义层将会把所有计算任务都分配给A自身（一旦加入网络，语义层分配将根据网络拓扑自动开始分配计算任务），。BCD也将不再认为网络中有A的存在，相关A的语义层信息将保留到超时之前，之后A的加入将被认为是一次新的加入。 能为一个城市提供所有面包的店铺是不存在的，这样看来分布式并行计算本身要比云考普的多。云计算的内部其实到底是不是分布式并行计算，我个人感觉很可能就是的，但他们就是不愿意承认。套个云这个概念，为的更多的是商业利益。技术上到未必真的有什么革命性的提高！！