有用GlusterFS的么？

xiaolai1227

稳定性不错

我是用 总共4块1T的SATA盘做的高可用模式，两两由Glusterfs配置成RAID1模式

千兆网络环境

Rhl5.2

dd if=/dev/zero of=file1 bs=128K count=4096
4096+0 records in
4096+0 records out
536870912 bytes (537 MB) copied, 9.17696 seconds, 58.5 MB/s

dd if=/dev/zero of=file2 bs=64K count=8192
8192+0 records in
8192+0 records out
536870912 bytes (537 MB) copied, 9.15098 seconds, 58.7 MB/s

dd if=/dev/zero of=file3 bs=10K count=51200
51200+0 records in
51200+0 records out
524288000 bytes (524 MB) copied, 8.95986 seconds, 58.5 MB/s

应该可以进一步调优

Kallawa

我三个qemu虚拟出三个brick，然后做afr~~

dd用时不是一般的长～～ 虽然没什么优化，但也不至于那么长时间的吧～～～

xiaolai1227

3个brick做的一个afr么？ 3份数据？

那应该实际产生的是3倍的数据量，你的写速度多少

xiaolai1227

建议做些优化吧，服务端的io进程数和客户端的iocache和writeback

Kallawa

[root@localhost export]# dd if=/dev/zero of=file1 bs=128K count=4096
4096+0 records in
4096+0 records out
536870912 bytes (537 MB) copied, 497.693 seconds, 1.1 MB/s


glusterfs-2.0.3

基本上没做什么优化～～ 仅仅是想现实验一下了～～ 不过这速度相差的也太离谱了～～

xiaolai1227

贴下你服务端配置文件参数和客户端配置文件看看，方便不

Kallawa

server就是简单的一个posix,然后是一个server导出一个brick
三个server的配置都是一样的～～

1. volume posix
   
2.         type storage/posix
   
3.         option directory /home/export
   
4. end-volume
   
5. 
   
6. volume brick
   
7.         type features/locks
   
8.         subvolumes posix
   
9. end-volume
   
10. 
    
11. volume server
    
12.         type protocol/server
    
13.         option transport-type tcp/server
    
14.         option transport.socket.bind-address 192.168.1.10
    
15.         option transport.socket.listen-port 6996
    
16.         option auth.addr.brick.allow *
    
17.         option auth.addr.locks.allow *
    
18.         subvolumes brick
    
19. end-volume

复制代码

client端的也很简单：

1. volume client1
   
2.         type protocol/client
   
3.         option transport-type tcp/client
   
4.         option remote-host 192.168.1.11
   
5.         option remote-port 6996
   
6.         option remote-subvolume brick
   
7. end-volume
   
8. 
   
9. volume client2
   
10.         type protocol/client
    
11.         option transport-type tcp/client
    
12.         option remote-host 192.168.1.12
    
13.         option remote-port 6996
    
14.         option remote-subvolume brick
    
15. end-volume
    
16. 
    
17. volume client3
    
18.         type protocol/client
    
19.         option transport-type tcp/client
    
20.         option remote-host 192.168.1.13
    
21.         option remote-port 6996
    
22.         option remote-subvolume brick
    
23. end-volume
    
24. 
    
25. # mirror
    
26. volume mirror
    
27.         type cluster/afr
    
28.         subvolumes client1 client2 client3
    
29. end-volume

复制代码

仅仅是想测试一下而已～～ 最简单配置下没想到会是这样子的～～～

[ 本帖最后由 Kallawa 于 2009-8-25 15:30 编辑 ]

xiaolai1227

clinet配置加上试试
### Add IO-Cache feature
volume iocache
  type performance/io-cache
  #option page-size 256KB
  subvolumes mirror
end-volume

### Add writeback feature
volume writeback
  type performance/write-behind
  option cache-size 64MB
  option flush-behind on
  subvolumes iocache
end-volume

Kallawa

[root@localhost export]# dd if=/dev/zero of=file2 bs=64K count=8192
8192+0 records in
8192+0 records out
536870912 bytes (537 MB) copied, 302.021 seconds, 1.8 MB/s

已经加上测试了～～ 效果还是不明显～～～

dd过程中三个qemu进程的cpu一般不会超过15％～～ 内存使用也不大～～  

什么原因呢～～～

Guptill

并行文件系统我基本没有接触过，但是我认为有元数据并不是什么坏处，相反更灵活一点。普通的文件系统，元数据和用户数据混在一起，这样无法针对两种数据分别做IO优化。

Lustre  FS参与的厂商很多，用户群也不说，了解一下也不错。

可惜我没有机会实践这些东西了，只能把它们束之高阁了。

[ 本帖最后由 Guptill 于 2009-8-25 21:30 编辑 ]