关于M5000的domain的划分

chen1mao

呃..由于某些原因,正常的单一和四分分割domain的方法都无法用上另两块的硬盘.
自己想了下,按照如下的方式划分了下,但提示有"错误"
setdcl -d 0 -a 0=00-0
setdcl -d 0 -a 1=00-2
setdcl -d 0 -a 2=01-1
addboard -c assign -d 0 00-0
下面两个添加有错误:
XSB#01-1 is not installed.
XSB#00-2 is not installed.
addboard -c assign -d 0 00-2
addboard -c assign -d 0 01-1


setdcl -d 1 -a 2=01-0
setdcl -d1 -a 0=00-1
setdcl -d 1 -a 1=00-3
addboard -c assign -d 1 00-1
下面两个添加有错误
addboard -c assign -d 1 01-0
addboard -c assign -d 1 00-3

总的划分图:
domain(DID)        XSB        LSB        模块        CPU/MEM
0         00-0        0        DISK/GbE/IOU-PCI:00,01,02        有
0        00-2        1        N/A        有
0        01-1        2        IOU-PCI:13,14        无
                                    
1        01-0        2        DISK/GbE/IOU-PCI:10,11,12        无
1        00-1        0        IOU-PCI:03,04        有
1        00-3        1        N/A        有

不知道这样的划分是否有问题,或者不合理的地方.

123yang123

首先你要先分割PSB板吧
setupfru -x 4 sb 0

3sun

00-1 和00-0怎么不在一个域 这样让所有pci在一个IOU上啊
01-2  01-3 上没有CPU 内存?

chen1mao

原帖由 123yang123 于 2009-4-3 13:26 发表
首先你要先分割PSB板吧
setupfru -x 4 sb 0

呃,这步肯定是做完了

chen1mao

原帖由 3sun 于 2009-4-3 14:06 发表
00-1 和00-0怎么不在一个域 这样让所有pci在一个IOU上啊
01-2  01-3 上没有CPU 内存?

本打算把另外两块硬盘也利用上.
分两个DOMAIN:
两块硬盘在DOMAIN0
另两块硬盘在DOMAIN1上.

chen1mao

原帖由 fenglipiao 于 2009-4-3 21:17 发表



让你showhardconf一下看一下


你只是要分2个domain  分别2个硬盘
跟你硬件的配置 插法有关


具体操作如下
M5000 (two equal domains)

XSCF> setupfru -x 1 sb 0
XSCF> showfru sb 0
XSCF> ...

谢谢指教,不好意思没有回您的帖子因为当时的确showhardconf看了下.也没看出来有啥端倪
不知兄弟让我showhardconf看什么信息呢?
M5000就4个CPU(两块CPU板子),都插在0123 的01位置.
刚刚开始想将两块PCB四分,
XSB:
00-0 00-1 00-2 00-3
01-0 01-1 01-2 01-3
因为文档里说四分之后只有00-0 和01-0能使用硬盘.
但01-x里是没有CPU和内存的.又一时糊涂,想分为两个DOMAIN所以想出来前面贴出的划分方案.

如果想用另两块硬盘,的确和硬件配置和安装方式有关.
后来得知:只能划分一个DOMAIN所以就将0123位置的1的硬件(CPU和MEM)都放到了2的位置.
之后两个PCB都为uni模式.之后都分到了DOMAIN0里.这样就可以用所有的硬盘了(不知道是否是使用了所有的硬件资源)

问题是解决了,可还有三个问题:
1.如果不物理更换槽位,还是用四分法分割PCB,在只使用一个DOMAIN下,无论怎么划分都不可能用到另两块硬盘吧?
2.如果更换了槽位,0123中1槽位的CPU和MEM都放到了2的位置.还是使用四分法分割,只使用一个DOMAIN,还要使用到大部分硬件资源(所有的硬盘等),这样不知道是否有可能性呢?
3.四分法是平均分配CPU资源吗?还是CPU资源是自动分配的呢?

最后一个问题:
如何删除以分配的LSB/XSB的映射呢?

[ 本帖最后由 chen1mao 于 2009-4-4 00:31 编辑 ]

小鹭

1. 能否访问硬盘取决于有没有IOU，有就可以没有就不行。能否划成domain取决于xsb，这个xsb如果包括了CPU，内存和IO通道，就可以做。想想如果连CPU都没有，如何安装OS。
2。如果只创建一个domain，能够包含所有xsb，不管是quad还是uni方式，都能访问所有资源。
3。quad分割法具体可以参考资料。对于m5000，简述如下

xsb   CPU                    MEM        Disk            Ethernet  PCI-X  PCI-E
----- --------------    --------   ------------ --------  ------ -----
00-0  CPUM#0-CHIP#0  MEMB#0   2 SAS Disks  2 GBE      1       2
00-1  CPUM#0-CHIP#1  MEMB#1                                           2
00-2  CPUM#1-CHIP#0  MEMB#2   NO I/O
00-3  CPUM#1-CHIP#1  MEMB#3   NO I/O
01-0  CPUM#2-CHIP#0  MEMB#4   2 SAS Disks  2 GBE      1       2
01-1  CPUM#2-CHIP#1  MEMB#5
01-2  CPUM#3-CHIP#0  MEMB#6   NO I/O
01-3  CPUM#3-CHIP#1  MEMB#7   NO I/O


理论上M5000可以划分8个domain，其中4个domain没有IO 通道，实际无法实现。
可以划domain有4个，其中2个不带内置硬盘(00-1, 01-1)，但是有pci－e接口，可以做san boot，所以做domain也是可行的。

[ 本帖最后由 小鹭 于 2009-4-5 09:05 编辑 ]

chen1mao

原帖由 小鹭 于 2009-4-5 08:46 发表
1. 能否访问硬盘取决于有没有IOU，有就可以没有就不行。能否划成domain取决于xsb，这个xsb如果包括了CPU，内存和IO通道，就可以做。想想如果连CPU都没有，如何安装OS。
2。如果只创建一个domain，能够包含所有 ...

呃,明白了很多.可是还有一些问题:
1:
00-0  CPUM#0-CHIP#0  MEMB#0   2 SAS Disks  2 GBE      1       2
00-1  CPUM#0-CHIP#1  MEMB#1   
在物理上
CPUM#0-CHIP#0和CPUM#0-CHIP#1 是一块板子
MEMB#0和MEMB#1是一块板子.
买来的时候:
00-0  CPUM#0-CHIP#0  MEMB#0   2 SAS Disks  2 GBE      1       2
00-1  CPUM#0-CHIP#1  MEMB#1                                           2
00-2  CPUM#1-CHIP#0  MEMB#2   NO I/O
00-3  CPUM#1-CHIP#1  MEMB#3   NO I/O
上面的在物理上是有板子插得.
01-0  CPUM#2-CHIP#0  MEMB#4   2 SAS Disks  2 GBE      1       2
01-1  CPUM#2-CHIP#1  MEMB#5
01-2  CPUM#3-CHIP#0  MEMB#6   NO I/O
01-3  CPUM#3-CHIP#1  MEMB#7   NO I/O
而上面在物理上没有板子插.也就是说01-0 01-1 01-2 01-3是没有CPUM CHIP 和MEMB的.但有  2 SAS Disks
那么是否可以这样划分?
DOMAIN0:
00-0  CPUM#0-CHIP#0  MEMB#0   2 SAS Disks  2 GBE      1       2
00-1  CPUM#0-CHIP#1  MEMB#1                                           2
00-2  CPUM#1-CHIP#0  MEMB#2   NO I/O
00-3  CPUM#1-CHIP#1  MEMB#3   NO I/O
01-0  CPUM#2-CHIP#0  MEMB#4   2 SAS Disks  2 GBE      1       2
01-1  CPUM#2-CHIP#1  MEMB#5
01-2  CPUM#3-CHIP#0  MEMB#6   NO I/O
01-3  CPUM#3-CHIP#1  MEMB#7   NO I/O
我把所有的XSB都划到一个DOMAIN里,当然01-0 01-1 01-2 01-3是没有CPUM CHIP和MEMB的.这样不知道可否?
换句话说,domain在一部分XSB有CPUM CHIP和MEMB一部分没有CPUM CHIP和MEMB的情况下是否可以划为一个DOMAIN?

我记得有个命令好像可以人为的设置没有CPUM或者MEMB.
这是问题一.

问题二是:

我在设置LSB和XSB的时候有些混乱,如何删除LSB和XSB之间的关系?
添加我会setdcl -d 0 -a 0=00-0
可是就是没有找到删除的.有时候会报错,说LSB已经被注册.

小鹭

1. 如果只划一个domain何苦要四分法呢，单分就够啦。
2. lsb和xsb对应关系：
lsb是逻辑系统板，xsb是扩展系统板，他们之间没有强制对应关系。
比如用四分法，你得到了00-0,00-1,00-2还有00-3, 对把? 这个概念很清楚了。
至于如何设定lsb，你自己想怎么定义就怎么定义。
setdcl -d 0 -a 0=00-0,
我们都知道＝前面的0，表示lsb，实际上你也可以改成15或者16，你自己想设定的数字。
为什么呢？这个lsb到底是做什么用的？
就是用来在Host （OS）中标识硬件地址的，仅仅如此。
同时，你也可以把一个xsb赋给多个 domain, 不会出错, 试试下面的命令就知道了。
setdcl -d 0 -a 0=00-0,
setdcl -d 1 -a 0=00-0
有的人就会疑惑了，这样不是有冲突了吗？一个xsb怎么可能分给2个domain呢？
实际上setdcl只是描述了逻辑对应关系，真正的xsb要分给哪个domain，取决于
addboard，这个命令就是要把xsb从物理上真正分配给domain的。

不知道上面的解释清楚没有？lsb 是逻辑描述，没有其他意思。假如lsb = 0,
在OS中硬件地址是 CMU@100000, 那么 lsb=15, 地址可能就是 CMU@160000.
(只是举例，真正地址请参考prtdiag 输出).

[ 本帖最后由 小鹭 于 2009-4-6 09:39 编辑 ]

brucewoo

不错