lustre:如何选择监听哪一块网卡

sealinger

大家好，我是Lustre新手，向大家请教一些问题。

我装的1.4.10版lustre，我的OST主机启动成功了，但是在MDS上启动时：
启动MDS：

1. # lconf --node lustre-mds config.xml   
   
2. loading module: libcfs srcdir None devdir libcfs
   
3. loading module: lnet srcdir None devdir lnet
   
4. loading module: ksocklnd srcdir None devdir klnds/socklnd
   
5. loading module: lvfs srcdir None devdir lvfs
   
6. loading module: obdclass srcdir None devdir obdclass
   
7. loading module: ptlrpc srcdir None devdir ptlrpc
   
8. loading module: mdc srcdir None devdir mdc
   
9. loading module: osc srcdir None devdir osc
   
10. loading module: lov srcdir None devdir lov
    
11. loading module: mds srcdir None devdir mds
    
12. loading module: ldiskfs srcdir None devdir ldiskfs
    
13. loading module: fsfilt_ldiskfs srcdir None devdir lvfs
    
14. NETWORK: NET_lustre-mds_tcp NET_lustre-mds_tcp_UUID tcp lustre-mds
    
15. MDSDEV: mds-test mds-test_UUID /dev/sda9 ldiskfs 0 no
    
16. MDS mount options: errors=remount-ro
    
17. 
    
18. 一直停在这里不动了
    

复制代码

MDS端log显示：

1. Apr 27 18:38:38 mob24 kernel: LDISKFS-fs: mounted filesystem with ordered data mode.
   
2. Apr 27 18:38:38 mob24 kernel: LustreError: 4196:0:(socklnd_cb.c:2160:ksocknal_recv_hello()) Error -104 reading HELLO from 192.168.4.182
   
3. Apr 27 18:38:38 mob24 kernel: LustreError: Connection to 192.168.4.182@tcp at host 192.168.4.182 on port 988 was reset: is it running a compatible version of Lustre and is 192.168.4.182@tcp one of its NIDs?
   
4. Apr 27 18:38:38 mob24 kernel: Lustre: 12:0:(linux-debug.c:98:libcfs_run_upcall()) Invoked LNET upcall /usr/lib/lustre/lnet_upcall ROUTER_NOTIFY,192.168.4.182@tcp,down,1177669950

复制代码

且MDS一直尝试连接OST，但OST端log显示拒绝：

1. Apr 27 18:37:53 mob25 kernel: LustreError: Refusing connection from 192.168.4.181 for 192.168.4.182@tcp:  No matching NI

复制代码

为什么NI不匹配呢？NI是不是就是NID啊？？我的脚本有问题？：

1. #!/bin/bash
   
2. # Create node
   
3. rm -rf config.xml
   
4. lmc -m config.xml --add node --node lustre-mds
   
5. lmc -m config.xml --add node --node lustre-ost
   
6. lmc -m config.xml --add node --node lustre-client
   
7. lmc -m config.xml --add net --node lustre-mds --nid lustre-mds --nettype tcp
   
8. lmc -m config.xml --add net --node lustre-ost --nid lustre-ost --nettype tcp
   
9. lmc -m config.xml --add net --node lustre-client --nid '*' --nettype tcp
   
10. # Configure MDS
    
11. lmc -m config.xml --add mds --node lustre-mds --mds mds-test --fstype ext3 --dev /dev/sda9
    
12. # Configure LOV
    
13. lmc -m config.xml --add lov --lov lov-test --mds mds-test --stripe_sz 1048576 --stripe_cnt 0 --stripe_pattern 0
    
14. # Configure OSTs
    
15. lmc -m config.xml --add ost --node lustre-ost --lov lov-test --ost ost1-test --fstype ext3 --dev /dev/sda9
    
16. # Configure CLIENTs
    
17. lmc -m config.xml --add mtpt --node lustre-client --path /mnt/lustre --mds mds-test --lov lov-test

复制代码

希望得到指教。。。多谢了。。。。！

[ 本帖最后由 sealinger 于 2007-6-21 09:56 编辑 ]

sealinger

发现问题原因：

我用三台机器做测试，mds,ost,client，每台机器都有两块网卡，但ost启动只监听eth0的公网IP，而我在hosts文件中配置的是指向eth1内网IP的，所以不能连接 192.168.4.182@tcp ，OST启动后：

1. # cat /proc/sys/lnet/nis
   
2. nid                      refs peer   max    tx   min
   
3. 0@lo                        2    0     0     0     0
   
4. 1**.*1.4.1**@tcp            1    8   256   256   256  #公网IP

复制代码

尝试更改/etc/modeprobe.conf文件为：

1. # vi /etc/modprobe.conf
   
2. 
   
3. alias eth0 e1000
   
4. alias eth1 e1000
   
5. alias scsi_hostadapter ata_piix
   
6. alias usb-controller ehci-hcd
   
7. alias usb-controller1 uhci-hcd
   
8. alias lustre llite
   
9. options lnet 'networks="tcp0(eth1)"'

复制代码

重启系统，重启OST，还是只监听1**.*1.4.1**@tcp 公网IP这个。。。

请教大侠该如何让lustre监听第2块网卡IP？

请大家能帮我解释一下下图的意思吗？

[ 本帖最后由 sealinger 于 2007-4-28 12:44 编辑 ]

bdw

没用过1.4的
options lnet networks=tcp试试看可以可以Listen到所有的ip

molecar

关闭iptables和ip6tables和selinux

czcaozheng

我也遇到了同样的问题,按楼上的方法试了也不行,还有其他的办法吗,谢谢

sealinger

原帖由 bdw 于 2007-4-28 13:41 发表于 3楼  
没用过1.4的
options lnet networks=tcp试试看可以可以Listen到所有的ip

使用这个配置依然只监听第1块网卡！

大家还有其他办法吗？？

molecar

你可以加到group156812@xiaoi.com 问问里面的人

sealinger

晕 ，楼上是广告吧。。。

大家帮忙啊···

gaolimin_lose

1是楼上得说得关掉selinux,解决不能连得问题
2是改成tcp1,解决监听eth0得问题