lustre1.4.5版本放出

chutianyin

http://www.clusterfs.com/download.html

suran007

恩，有空测试一下

suran007

今天用虚拟机测试了一下，没什么问题，运行正常，测试环境是redhat as 3update4,
结构为2个client,1个ost，1个mds

suran007

由于手头没有机器，所以关于lustre集群性能的测试一直无法进行，那位朋友作过lustre集群性能的测试，不知道在性能方面比redhat gfs集群有优势么，大家发表一下意见

nntp

原帖由 chutianyin 于 2005-11-26 14:47 发表
http://www.clusterfs.com/download.html

well, you'd wait till 062H for 146.

chutianyin

我装是装好了，client楞是连不上，苦恼ing……！
suran007把安装以后的配置过程发一下看看！

suran007

client第一次可能会出现无法mount的现象，你可以用lconf -d --node client config.xml命令来卸载分区并且卸载相应模块，然后再执行mount命令：lconf --node client config.xml ，看看如何？
还有一个问题：
我的系统是redhat as3 update4，内核为2.4.21-27,
为了在内核中打好lustre的补丁，我下载lustre-1.2.4.tar.gz然后从新编译2.4.21-27的内核，我的服务器很多，要每台服务器都要重新编译内核，那样太浪费时间了，所以小弟想问问如何将已经打好lustre补丁的新内核做成一个rpm包，以后再其他pc上直接安装这个rpm包就可以了，不用再重新编译内核了，哪个大哥帮帮忙。该如何做？

[ 本帖最后由 suran007 于 2005-12-1 14:59 编辑 ]

chutianyin

你的生成config.xml文件的代码给我看看，我就是用的直接官方的说明文档里面的。

#!/bin/sh

# config.sh

# Create nodes
rm -f config.xml
lmc -m config.xml --add net --node node-mds --nid node-mds --nettype tcp
lmc -m config.xml --add net --node node-ost1 --nid node-ost1 --nettype tcp
lmc -m config.xml --add net --node node-ost2 --nid node-ost2 --nettype tcp
lmc -m config.xml --add net --node node-ost3 --nid node-ost3 --nettype tcp
lmc -m config.xml --add net --node client --nid '*' --nettype tcp

# Cofigure MDS
lmc -m config.xml --add mds --node node-mds --mds mds-test --fstype ext3 --dev /tmp/mds-test --size 50000

# Configures OSTs
lmc -m config.xml --add lov --lov lov-test --mds mds-test --stripe_sz 1048576 --stripe_cnt 0 --stripe_pattern 0
lmc -m config.xml --add ost --node node-ost1 --lov lov-test --ost ost1-test --fstype ext3 --dev /tmp/ost1-test --size 100000
lmc -m config.xml --add ost --node node-ost2 --lov lov-test --ost ost2-test --fstype ext3 --dev /tmp/ost2-test --size 100000
lmc -m config.xml --add ost --node node-ost3 --lov lov-test --ost ost3-test --fstype ext3 --dev /tmp/ost3-test --size 100000

# Configure client (this is a 'generic' client used for all client mounts)
lmc -m config.xml --add mtpt --node client --path /mnt/lustre --mds mds-test --lov lov-test

suran007

这是我的newconfig.xml文件，内容如下
#!/bin/sh

#config.sh

#Create nodes
rm -f newconfig.xml
lmc -m newconfig.xml --add net --node n03 --nid n03 --nettype tcp
lmc -m newconfig.xml --add net --node n01 --nid n01 --nettype tcp
lmc -m newconfig.xml --add net --node n02 --nid n02 --nettype tcp
lmc -m newconfig.xml --add net --node client --nid '*' --nettype tcp

#Configure mds
lmc -m newconfig.xml --add mds --node n03 --mds n03-mds1 --fstype ext3 --dev /dev/sda1 --size 200000

#Configure ost
lmc -m newconfig.xml --add lov --lov lov1 --mds n03-mds1 --stripe_sz 1048576 --stripe_cnt 0 --stripe_pattern 0
lmc -m newconfig.xml --add ost --node n01 --lov lov1 --ost n01-ost1 --fstype ext3 --dev /dev/sda1 --size 1000000
lmc -m newconfig.xml --add ost --node n02 --lov lov1 --ost n02-ost1 --fstype ext3 --dev /dev/sda1 --size 1000000

#Configure client
lmc -m newconfig.xml --add mtpt --node client --path /mnt/lustre --mds n03-mds1 --lov lov1

chutianyin

我发现client如果也这样写的话
lmc -m newconfig.xml --add net --node client --nid '*' --nettype tcp

lconf --node client config.xml的时候

会一直连他自己本地的ip 127.0.0.1

两台机器（虚拟机，一个ip是192.168.3.115，还有一个是192.168.3.112）
两边生成的配置文件相同：
#!/bin/sh

# config.sh

# Create nodes
rm -f config.xml
lmc -m config.xml --add net --node node-ost1 --nid node-ost1 --nettype tcp
lmc -m config.xml --add net --node node-ost2 --nid node-ost2 --nettype tcp
lmc -m config.xml --add net --node node-ost3 --nid node-ost3 --nettype tcp
lmc -m config.xml --add net --node client --nid '*' --nettype tcp

# Cofigure MDS
lmc -m config.xml --add mds --node node-ost1 --mds mds-test --fstype ext3 --dev /tmp/mds-test --size 50000

# Configures OSTs
lmc -m config.xml --add lov --lov lov-test --mds mds-test --stripe_sz 1048576 --stripe_cnt 0 --stripe_pattern 0
lmc -m config.xml --add ost --node node-ost2 --lov lov-test --ost ost2-test --fstype ext3 --dev /tmp/ost2-test --size 20000
lmc -m config.xml --add ost --node node-ost3 --lov lov-test --ost ost3-test --fstype ext3 --dev /tmp/ost3-test --size 20000

# Configure client (this is a 'generic' client used for all client mounts)
lmc -m config.xml --add mtpt --node client --path /mnt/lustre --mds mds-test --lov lov-test


在192.168.3.115上面
[root@myas4 home]# lconf --reformat --node node-ost2 config.xml
loading module: libcfs srcdir None devdir libcfs
loading module: portals srcdir None devdir portals
loading module: ksocknal srcdir None devdir knals/socknal
loading module: lvfs srcdir None devdir lvfs
loading module: obdclass srcdir None devdir obdclass
loading module: ptlrpc srcdir None devdir ptlrpc
loading module: ost srcdir None devdir ost
loading module: ldiskfs srcdir None devdir ldiskfs
loading module: fsfilt_ldiskfs srcdir None devdir lvfs
loading module: obdfilter srcdir None devdir obdfilter
NETWORK: NET_node-ost2_tcp NET_node-ost2_tcp_UUID tcp node-ost2 988
OSD: ost2-test ost2-test_UUID obdfilter /tmp/ost2-test 20000 ldiskfs no 0 0
OST mount options: errors=remount-ro
[root@myas4 home]# lconf --reformat --node node-ost3 config.xml
OSD: ost3-test ost3-test_UUID obdfilter /tmp/ost3-test 20000 ldiskfs no 0 0
OST mount options: errors=remount-ro
[root@myas4 home]# lconf --reformat --node node-ost1 config.xml
loading module: mdc srcdir None devdir mdc
loading module: osc srcdir None devdir osc
loading module: lov srcdir None devdir lov
loading module: mds srcdir None devdir mds
MDSDEV: mds-test mds-test_UUID /tmp/mds-test ldiskfs no
recording clients for filesystem: FS_fsname_UUID
Recording log mds-test on mds-test
LOV: lov_mds-test 322e5_lov_mds-test_37c8958c67 mds-test_UUID 0 1048576 0 0 [u'ost2-test_UUID', u'ost3-test_UUID'] mds-test
OSC: OSC_myas4_ost2-test_mds-test 322e5_lov_mds-test_37c8958c67 ost2-test_UUID
OSC: OSC_myas4_ost3-test_mds-test 322e5_lov_mds-test_37c8958c67 ost3-test_UUID
End recording log mds-test on mds-test
Recording log mds-test-clean on mds-test
LOV: lov_mds-test 322e5_lov_mds-test_37c8958c67
OSC: OSC_myas4_ost2-test_mds-test 322e5_lov_mds-test_37c8958c67
OSC: OSC_myas4_ost3-test_mds-test 322e5_lov_mds-test_37c8958c67
End recording log mds-test-clean on mds-test
MDSDEV: mds-test mds-test_UUID /tmp/mds-test ldiskfs 50000 no
MDS mount options: errors=remount-ro
[root@myas4 home]# lconf --node client config.xml
loading module: llite srcdir None devdir llite
LOV: lov-test 315f5_lov-test_5cc0aecb27 mds-test_UUID 0 1048576 0 0 [u'ost2-test_UUID', u'ost3-test_UUID'] mds-test
OSC: OSC_myas4_ost2-test_MNT_client 315f5_lov-test_5cc0aecb27 ost2-test_UUID
OSC: OSC_myas4_ost3-test_MNT_client 315f5_lov-test_5cc0aecb27 ost3-test_UUID
MDC: MDC_myas4_mds-test_MNT_client 5f7a5_MNT_client_18bac6f136 mds-test_UUID
MTPT: MNT_client MNT_client_UUID /mnt/lustre mds-test_UUID lov-test_UUID

里面出现errors=remount-ro不知道什么意思，但是能够加载
[root@myas4 home]# df
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/mapper/VolGroup00-LogVol00
                       9643660   2965364   6188416  33% /
/dev/hda1               101086     15824     80043  17% /boot
none                    127268         0    127268   0% /dev/shm
config                   38712      8600     28112  24% /mnt/lustre

在192.168.3.112上面
[root@mylinux home]# lconf --node client config.xml
loading module: libcfs srcdir None devdir libcfs
loading module: portals srcdir None devdir portals
loading module: ksocknal srcdir None devdir knals/socknal
loading module: lvfs srcdir None devdir lvfs
loading module: obdclass srcdir None devdir obdclass
loading module: ptlrpc srcdir None devdir ptlrpc
loading module: osc srcdir None devdir osc
loading module: lov srcdir None devdir lov
loading module: mdc srcdir None devdir mdc
loading module: llite srcdir None devdir llite
NETWORK: NET_client_tcp NET_client_tcp_UUID tcp 127.0.0.1 988
LOV: lov-test e2bc6_lov-test_2dc07a950e mds-test_UUID 0 1048576 0 0 [u'ost2-test_UUID', u'ost3-test_UUID'] mds-test
OSC: OSC_mylinux_ost2-test_MNT_client e2bc6_lov-test_2dc07a950e ost2-test_UUID
OSC: OSC_mylinux_ost3-test_MNT_client e2bc6_lov-test_2dc07a950e ost3-test_UUID
MDC: MDC_mylinux_mds-test_MNT_client ed2d7_MNT_client_271d8afe64 mds-test_UUID
MTPT: MNT_client MNT_client_UUID /mnt/lustre mds-test_UUID lov-test_UUID
就一直这样，不动了

连接的NETWORK: NET_client_tcp NET_client_tcp_UUID tcp 127.0.0.1 988 晕。

[ 本帖最后由 chutianyin 于 2005-12-2 11:52 编辑 ]