服务器技术之NUMA分布式内存存取技术

zhaoshan

服务器技术之NUMA分布式内存存取技术


--------------------------------------------------------------------------------

　　目前服务器的技术热点主要有：IRISC与CISC技术、处理器技术、多处理器技术（AMP技术、SMP技术、MPP技术、COMA技术、集群技术和NUMA技术）、SCSI接口技术、智能I/O技术、容错技术、磁盘阵列技术、热插拔技术、双机热备份。

　　服务器在网络中承担传输和处理大量数据的任务，要具备高可伸缩性、高可靠性、高可用性和高可管理性。IA－64体系将带动服务器技术特性的提高，如高性能CPU、多处理器技术、总线和内存技术、容错技术、群集技术、硬件管理接口、均衡服务器平台技术等。

　　NUMA(Non-Uniform Memory Access)分布式内存存取技术

　　NUMA技术是在SMP和集群技术的基础上发展起来的，结合了两种技术的优势，它将多个SMP结构的服务器通过专用高速网络连接起来，组成多CPU的高性能主机。NUMA技术克服了SMP结构的服务器在多CPU共享内存总线带宽时产生的系统性能瓶颈，可以支持64个以上的CPU。如果采用NUMA技术，每一个SMP节点机都拥有其自己的局部内存，并能够形成与其他节点中的内存静态或动态的连接。NUMA体系结构的服务器从内部来看，整体上是分布内存式的，但是由于它的传输通道带宽较高，不存在Cluster结构下的通信带宽瓶颈问题，因而从用户使用的角度来看和共享内存式的机器一样。NUMA技术实现了大量处理器间接共享内存，是一种具有前途的大型服务器技术，是今后几年大型服务器发展的重要方向。

david5337

Alpha一直使用该技术！
高端的野火系列全部都是！

斜晖

多谢楼主！
有没有更详细的，在贴上来

zhaoshan

模块化的NUMA服务器


--------------------------------------------------------------------------------


模块化服务器的优势

模块化服务器主要包括计算模块、I/O模块和海量存储器模块。这些模块协同工作，构成一个模块化服务器系统。在一个模块化服务器系统中，可以分别对每一个模块进行升级，进行故障查找，或用新模块替换旧模块，同类模块也可以随时加入到模块化服务器中，以便对系统进行扩展。
模块化服务器的最大好处之一，就是可以保护客户的投资。模块化服务器是一种可伸缩的服务器，客户可以随着业务需要，通过向服务器中添加各种模块，扩展他们的服务器系统;另一个显著优点是维护管理十分方便。模块化服务器增强了系统的可用性和容错性。从高性能多处理器计算机体系结构观点来看，CC-NUMA（高速缓存一致性非均衡存储器访问）体系结构，把多个处理器通过路由器光纤互连在一起，系统带宽可随系统规模扩大而增加，从而克服了基于总线的SMP（对称多处理）体系结构所造成的瓶颈。CC-NUMA结构采用超立方体的多维互连特性，加上模块化计算所带来的灵活性，使系统的可伸缩性达到了前所未有的水平，同时节省了费用。因此，模块化的NUMA服务器在灵活性和经济性方面达到了一个新境界。

NUMA 3体系结构

SGI 3000系列服务器采用第三代NUMA体系结构。在该结构中，所有的处理器和存储器使用SGI开发的特殊交叉开关连接在一起。这些处理器、存储器和交叉开关的结合组成了被称为NUMAlink的互连结构。
NUMA3体系结构通过一个超立方体（hypercube）把路由器与节点连在一起构成。节点是由装有4个CPU的C-brick构成，路由器由R-brick构成。
从概念上说，每个路由器模块与超立方体的一个顶点等价，两个顶点之间每条光纤电缆与超立方体的一条边等价。因此，超立方体的基础结构是路由器的互连。
超立方体的空间维数为n,n为大于或等于0的整数。一个超立方体共有2n个顶点，每个顶点有n个连接（边），各个顶点上所有的连接彼此正交。
4维超立方体可以通过“加倍-延伸”的方法，由3维超大型立方体和1维超立方体构成，4维超立方体共有16个顶点、128个CPU和32个连接。
依此类推，6维超立方体的顶点数为64，CPU数为512个。
NUMA 3服务器内含有Bedrock芯片，该ASIC芯片是一个有8个输入、6个输出的交互开关，用于处理器和本地存储器及远地存储器之间的存储控制。Bedrock同样也可连接处理器和系统I/O的通道，使得每个处理器可以直接访问系统中每一个I/O槽。
NUMA 3中另一个关键部件是路由芯片，它是一个有8个端口的交叉开关，位于R-brick中。路由节点是所有计算节点的信息枢纽。
上述这些交叉开关和NUMAlink互连结构组成了具有极低延迟和高带宽的结构。从最少4个CPU的系统到最多512个CPU的超级计算系统，NUMA 3的远地和本地存储器的访问延迟比只有2:1，在最大配置下往返延迟低于600ns，在业界同类的NUMA机中是领先的。
鉴于NUMA 3体系结构从概念上讲是超立方体系统，当维数从n维增至n+1维时，它的顶点数将加倍，而每个CPU的对分带宽仍可保持常数，所以随着维数的增加，顶点和CPU数目增加，系统总的带宽呈线性增长。
由于SGI NUMA 3服务器采用模块化结构的超立方体连接，因此系统具有杰出的可扩展性，并且可以随着计算机新技术的发展而同步发展，这是计算机设计中的一个巨大变革， 它实现了人们盼望已久的模块化计算的理想。可以预料，这种第三代NUMA服务器在互联网经济时代，在电信、能源、交通、科技等领域将发挥重要作用。

实现高性能计算的新方法-NUMAflex

NUMAflex把卓越的NUMA体系结构和模块化技术融合为一，创建了业界领先的第三代NUMA 超级计算机。系统可以在不同方面独立的扩展，其灵活性、可扩展性堪称一流，并充分地保护客户的投资。NUMAflex设计可以 大大提高系统的可用性，利用各种模块和互连光纤及高速电缆，模块化的NUMA 体系结构可以隔离各部件，因此提高了系统的容错性，并且便于维护和升级。模块化特性也便于提供N+1的冗余，如可热插拔电源和风扇。
为了达到最大的系统可用性，可对系统进行分区。分区是指把一个分布式共享内存系统划分为一系列更小的系统。每个分区可以表现为独立的子系统，它们可以自行启动、停止或重启，而不影响其他分区的正常运行。同理，一个分区的故障不会导致其他系统崩溃。由于实行故障隔离，系统可达到最大的容错，因此可以提高系统的可靠性、可用性和可服务性。
由于系统不使用总线，NUMAflex完全不需要使用背板。系统可以分别更换各种部件或者进行升级，因此可以更好地保护客户的投资。NUMAflex的推出，表明“铲车式”的全面升级方式已经过时。利用NUMAflex构成一个系统，类似于构建一座可以扩展的房屋，而不是购买一套面积一定的房间。NUMAflex量体裁衣的系统功能使用户的投资更经济、更合理。例如，研究基因的排列需要很强的计算能力和大容量的内存，但外存容量需要并不很大; 相反，媒体流传输需要外存容量大、输入输出快，但计算能力并不要求很强。NUMAflex可以使客户根据需要随意配置各种积木块，系统维护方便，还可以随时独立地升级。NUMAflex还可以按照需要把共享内存的机器配置成集群系统。

斜晖

如果式选斑竹的话，我头你一票！：）
多谢1

yuanf

好文，我喜欢。。。。。。。。。。谢谢

wq4113

lastfile

技术性的文章，收藏

robin4295

学习学习

abcman_cu

有没有更详细的？