求助！glusterfs+CTDB+samba架构的集群文件系统

chenjintao_ii

关于此架构的配置，网上有详细配置信息，在此不赘述。可参考：http://blog.csdn.net/liuben/article/details/7163482
我的目标是实现系统的高可用，两个节点做备份冗余，对外提供虚拟IP，客户只需通过该虚拟IP访问samba服务即可。当两个节点中的一个宕掉后，另一个马上接管服务，保证业务的连续性，用户不会感觉服务中断过。
本人菜鸟，配置过程相当艰难，前两天解决samba用户同步的问题，即只在一个节点新建samba用户，所有节点都能使用这个用户进行身份验证，这也是保证业务连续性的前提。过程的细节等我将所有步骤配置完成后会共享出来。现在还差一点点没弄好，所以没有底气发帖。

问题在这里：
我宕掉一个节点时，ctdb的log文档显示虚拟ip切换工作已经在3秒内完成，但是此时终端（我用Windows）无法ping通虚拟ip，即samba服务不可用了，并且会持续半小时左右。半小时后，虚拟IP可以ping通，samba服务继续可用。这半小时内我没有做任何操作，也就是说一切都是系统自己完成的。
这我就郁闷了，系统能完成切换过程，为毛要花半小时？这高可用服务提供不全啊。
另外我注意到ctdb的log文档不间断地在抱怨：Could not add client IP 192.168.*.*. This is not a public address.
搜索这段话，百度不行，bing不行，谷歌上有3个结果，一个不具参考价值，两个被**屏蔽。

望牛人走过路过，给个指点，小弟完成这个部署后，一定花心思弄篇文档出来，报答各位。

chenjintao_ii

又一个自问自答帖诞生啦~~~~
上述“半小时后ping通”现象，是由虚拟机造成的。我部署的环境都在虚拟机中，用的是NAT模式的网卡。
今天在物理机上面重新部署了一套后，上述现象消失。
也就是说，宕掉一个节点，能够在5秒内恢复对虚拟IP的连接。

send_linux

chenjintao_ii 发表于 2012-03-08 10:14
关于此架构的配置，网上有详细配置信息，在此不赘述。可参考：http://blog.csdn.net/liuben/article/detail ...

欢迎兄弟分享解决的文档啊，呵呵

这个架构方面的讨论，其实可以在我们的运维版块讨论，那边讨论解决方案的朋友可能多一些

chenjintao_ii

哦，我走错路了
多谢提醒

snooow

回复 1# chenjintao_ii

楼主在配置完samba，nfs，ctdb后能启动ctdb吗？我按那篇文章配置后ctdb启动失败，求教楼主如何解决


   

chenjintao_ii

回复 5# snooow


    我能启动的，你把失败的信息贴出来看看

snooow

回复 6# chenjintao_ii
#/etc/init.d/ctdb start
Starting ctdb (via systemctl):  Job failed. See system logs and 'systemctl status' for details.
                                                           [失败]


/var/log/messages
May  9 10:36:39 lv ctdb[13733]: 正在启动 ctdbd 服务：CTDB 已经在运行。
May  9 10:36:39 lv systemd[1]: PID file /var/run/ctdbd/ctdbd.pid not readable (yet?) after start.
May  9 10:41:08 lv dhclient[1645]: DHCPREQUEST on p4p1 to 192.168.0.1 port 67
May  9 10:41:08 lv NetworkManager[709]: DHCPREQUEST on p4p1 to 192.168.0.1 port 67
May  9 10:41:08 lv dhclient[1645]: DHCPACK from 192.168.0.1
May  9 10:41:08 lv NetworkManager[709]: DHCPACK from 192.168.0.1
May  9 10:41:08 lv dhclient[1645]: bound to 192.168.0.106 -- renewal in 3493 seconds.
May  9 10:41:08 lv NetworkManager[709]: bound to 192.168.0.106 -- renewal in 3493 seconds.
May  9 10:41:39 lv systemd[1]: ctdb.service operation timed out. Terminating.
May  9 10:41:39 lv systemd[1]: Unit ctdb.service entered failed state.
May  9 10:43:00 lv ctdb[17181]: 正在启动 ctdbd 服务：CTDB 已经在运行。
May  9 10:48:00 lv systemd[1]: ctdb.service operation timed out. Terminating.
May  9 10:48:00 lv systemd[1]: Unit ctdb.service entered failed state.

   

chenjintao_ii

回复 7# snooow


    # ctdb status

看下结果
注意启动ctdb之前关闭samba

snooow

回复 8# chenjintao_ii
# ctdb status
Number of nodes:3
pnn:0 192.168.0.119    DISCONNECTED|UNHEALTHY|INACTIVE
pnn:1 192.168.0.117    DISCONNECTED|UNHEALTHY|INACTIVE
pnn:2 192.168.0.106    UNHEALTHY (THIS NODE)
Generation:774314811
Size:1
hash:0 lmaster:2
Recovery mode:NORMAL (0)
Recovery master:2


   

chenjintao_ii

回复 9# snooow


    启动ctdb之前关掉samba了吗？