实践：使用MMM搭建Mysql集群

sailer_sh

MMM是 mysql-master-master的缩写，MMM在多台mysql server之间以主-主的形式复制数据，达到并发访问，提高性能的目的。
MMM项目来自Google：http://code.google.com/p/mysql-master-master/
我的安装过程参考了文档http://blog.kovyrin.net/2007/04/ ... -example-using-mmm/


以下是我搭建的过程。
我使用三台RHEL5U1 server，其中一台是Monitoring Server，另两台Mysql server用来读写数据。
192.168.20.5做为Monitoring Server，
192.168.20.9做为db1，
192.168.20.10做为db2。

三台服务器先安装mysql，我安装的是mysql 5.1.22的社区版本。
先安装3个perl的包：
Algorithm-Diff-1.1902.tar.gz
Proc-Daemon-0.03.tar.gz
DBD-mysql-4.006.tar.gz（依赖于mysql-devel包）

perl包的安装过程都是：
perl Makefile.PL
make
make test
make install

DBD－mysql包的安装（本地mysql server必须处于运行状态）：
perl Makefile.PL --testuser=root --testpassword=abcdefg  （后面的参数是本地mysql server登录的用户名和密码）
make
make test
make install
安装DBD-mysql的时候提示找不到mysql_config，需要安装mysql-devel包。

安装mmm：
./install.pl


先配置Master-Master replication：
在db1的/etc/my.cnf增加：
server-id = 1
log-bin = mysql-bin

在db2的/etc/my.cnf增加：
server-id = 2
log-bin = mysql-bin

为了保证replication能正常启动，我在启动mysql服务以前以前把/var/lib/mysql目录下与二进制日志相关的文件全部删除，包括log-bin、 relaybin、mysql-bin.index、mysql_ndb-1-relay-bin.index、relay-log.info等文件，又删除test库里的表。

启动mysql以后在db1上的mysql里执行命令：

1. 
   
2. grant replication slave on *.* to 'replication'@'%' identified by 'slave';
   
3. change master to master_host='192.168.20.10', master_port=3306, master_user='replication', master_password='slave';
   
4. slave start;
   

复制代码

在db2上的mysql里执行命令：

1. 
   
2. grant replication slave on *.* to 'replication'@'%' identified by 'slave';
   
3. change master to master_host='192.168.20.9', master_port=3306, master_user='replication', master_password='slave';
   
4. slave start;
   

复制代码

show slave status\G;的结果：
db1：

1. 
   
2. *************************** 1. row ***************************
   
3.                Slave_IO_State: Waiting for master to send event
   
4.                   Master_Host: 192.168.20.10
   
5.                   Master_User: replication
   
6.                   Master_Port: 3306
   
7.                 Connect_Retry: 60
   
8.               Master_Log_File: mysql-bin.000001
   
9.           Read_Master_Log_Pos: 106
   
10.                Relay_Log_File: mysql_ndb-1-relay-bin.000002
    
11.                 Relay_Log_Pos: 251
    
12.         Relay_Master_Log_File: mysql-bin.000001
    
13.              Slave_IO_Running: Yes
    
14.             Slave_SQL_Running: Yes
    
15.               Replicate_Do_DB:
    
16.           Replicate_Ignore_DB:
    
17.            Replicate_Do_Table:
    
18.        Replicate_Ignore_Table:
    
19.       Replicate_Wild_Do_Table:
    
20.   Replicate_Wild_Ignore_Table:
    
21.                    Last_Errno: 0
    
22.                    Last_Error:
    
23.                  Skip_Counter: 0
    
24.           Exec_Master_Log_Pos: 106
    
25.               Relay_Log_Space: 412
    
26.               Until_Condition: None
    
27.                Until_Log_File:
    
28.                 Until_Log_Pos: 0
    
29.            Master_SSL_Allowed: No
    
30.            Master_SSL_CA_File:
    
31.            Master_SSL_CA_Path:
    
32.               Master_SSL_Cert:
    
33.             Master_SSL_Cipher:
    
34.                Master_SSL_Key:
    
35.         Seconds_Behind_Master: 0
    
36. Master_SSL_Verify_Server_Cert: No
    
37.                 Last_IO_Errno: 0
    
38.                 Last_IO_Error:
    
39.                Last_SQL_Errno: 0
    
40.                Last_SQL_Error:
    
41. 1 row in set (0.00 sec)
    
42. 
    
43. ERROR:
    
44. No query specified
    

复制代码

db2上的结果：

1. 
   
2. *************************** 1. row ***************************
   
3.                Slave_IO_State: Waiting for master to send event
   
4.                   Master_Host: 192.168.20.9
   
5.                   Master_User: replication
   
6.                   Master_Port: 3306
   
7.                 Connect_Retry: 60
   
8.               Master_Log_File: mysql-bin.000001
   
9.           Read_Master_Log_Pos: 106
   
10.                Relay_Log_File: mysql_ndb-2-relay-bin.000002
    
11.                 Relay_Log_Pos: 251
    
12.         Relay_Master_Log_File: mysql-bin.000001
    
13.              Slave_IO_Running: Yes
    
14.             Slave_SQL_Running: Yes
    
15.               Replicate_Do_DB:
    
16.           Replicate_Ignore_DB:
    
17.            Replicate_Do_Table:
    
18.        Replicate_Ignore_Table:
    
19.       Replicate_Wild_Do_Table:
    
20.   Replicate_Wild_Ignore_Table:
    
21.                    Last_Errno: 0
    
22.                    Last_Error:
    
23.                  Skip_Counter: 0
    
24.           Exec_Master_Log_Pos: 106
    
25.               Relay_Log_Space: 412
    
26.               Until_Condition: None
    
27.                Until_Log_File:
    
28.                 Until_Log_Pos: 0
    
29.            Master_SSL_Allowed: No
    
30.            Master_SSL_CA_File:
    
31.            Master_SSL_CA_Path:
    
32.               Master_SSL_Cert:
    
33.             Master_SSL_Cipher:
    
34.                Master_SSL_Key:
    
35.         Seconds_Behind_Master: 0
    
36. Master_SSL_Verify_Server_Cert: No
    
37.                 Last_IO_Errno: 0
    
38.                 Last_IO_Error:
    
39.                Last_SQL_Errno: 0
    
40.                Last_SQL_Error:
    
41. 1 row in set (0.00 sec)
    
42. 
    
43. ERROR:
    
44. No query specified
    

复制代码

MMM所有配置文件都放在/usr/local/mmm/etc目录下。

管理节点上的配置文件mmm_mon.conf，在这个配置文件里指定了reader和writer角色的虚拟IP：

1. 
   
2. #
   
3. # Master-Master Manager config (monitor)
   
4. #
   
5. 
   
6. # Debug mode
   
7. debug no
   
8. 
   
9. # Paths
   
10. pid_path /usr/local/mmm/var/mmmd.pid
    
11. status_path /usr/local/mmm/var/mmmd.status
    
12. bin_path /usr/local/mmm/bin
    
13. 
    
14. # Logging setup
    
15. log mydebug
    
16.     file /usr/local/mmm/var/mmm-debug.log
    
17.     level debug
    
18. 
    
19. log mytraps
    
20.     file /usr/local/mmm/var/mmm-traps.log
    
21.     level trap
    
22.     email root@localhost
    
23. 
    
24. 
    
25. # MMMD command socket tcp-port
    
26. bind_port 9988
    
27. agent_port 9989
    
28. monitor_ip 127.0.0.1
    
29. 
    
30. # Cluster interface
    
31. cluster_interface eth0
    
32. 
    
33. # Cluster hosts addresses and access params
    
34. host db1
    
35.     ip 192.168.20.9
    
36.     port 3306
    
37.     user rep_monitor
    
38.     password RepMonitor
    
39.     mode master
    
40.     peer db2
    
41. 
    
42. host db2
    
43.     ip 192.168.20.10
    
44.     port 3306
    
45.     user rep_monitor
    
46.     password RepMonitor
    
47.     mode master
    
48.     peer db1
    
49. 
    
50. #
    
51. # Define roles
    
52. #
    
53. 
    
54. active_master_role writer
    
55. 
    
56. # Mysql Reader role
    
57. role reader
    
58.     mode balanced
    
59.     servers db1, db2
    
60.     ip 192.168.20.27, 192.168.20.28
    
61. 
    
62. # Mysql Writer role
    
63. role writer
    
64.     mode exclusive
    
65.     servers db1
    
66.     ip 192.168.20.29
    
67. 
    
68. #
    
69. # Checks parameters
    
70. #
    
71. 
    
72. # Ping checker
    
73. check ping
    
74.     check_period 1
    
75.     trap_period 5
    
76.     timeout 2
    
77. 
    
78. # Mysql checker
    
79. # (restarts after 10000 checks to prevent memory leaks)
    
80. check mysql
    
81.     check_period 1
    
82.     trap_period  2
    
83.     timeout 2
    
84.     restart_after 10000
    
85. 
    
86. # Mysql replication backlog checker
    
87. # (restarts after 10000 checks to prevent memory leaks)
    
88. check rep_backlog
    
89.     check_period 5
    
90.     trap_period 10
    
91.     max_backlog 60
    
92.     timeout 2
    
93.     restart_after 10000
    
94. 
    
95. # Mysql replication threads checker
    
96. # (restarts after 10000 checks to prevent memory leaks)
    
97. check rep_threads
    
98.     check_period 1
    
99.     trap_period 5
    
100.     timeout 2
     
101.     restart_after 10000
     

复制代码

db1上的配置文件mmm_agent.conf：

1. 
   
2. #
   
3. # Master-Master Manager config (agent)
   
4. #
   
5. 
   
6. # Debug mode
   
7. debug no
   
8. 
   
9. # Paths
   
10. pid_path /usr/local/mmm/var/mmmd_agent.pid
    
11. bin_path /usr/local/mmm/bin
    
12. 
    
13. # Logging setup
    
14. log mydebug
    
15.     file /usr/local/mmm/var/mmm-debug.log
    
16.     level debug
    
17. 
    
18. log mytraps
    
19.     file /usr/local/mmm/var/mmm-traps.log
    
20.     level trap
    
21. 
    
22. # MMMD command socket tcp-port and ip
    
23. bind_port 9989
    
24. 
    
25. # Cluster interface
    
26. cluster_interface eth1
    
27. 
    
28. # Define current server id
    
29. this db1
    
30. mode slave
    
31. 
    
32. # For masters
    
33. peer db2
    
34. 
    
35. # Cluster hosts addresses and access params
    
36. host db1
    
37.     ip 192.168.20.9
    
38.     port 3306
    
39.     user rep_agent
    
40.     password RepAgent
    
41. 
    
42. host db2
    
43.     ip 192.168.20.10
    
44.     port 3306
    
45.     user rep_agent
    
46.     password RepAgent
    

复制代码

db2上的配置文件mmm_agent.conf：

1. 
   
2. #
   
3. # Master-Master Manager config (agent)
   
4. #
   
5. 
   
6. # Debug mode
   
7. debug no
   
8. 
   
9. # Paths
   
10. pid_path /usr/local/mmm/var/mmmd_agent.pid
    
11. bin_path /usr/local/mmm/bin
    
12. 
    
13. # Logging setup
    
14. log mydebug
    
15.     file /usr/local/mmm/var/mmm-debug.log
    
16.     level debug
    
17. 
    
18. log mytraps
    
19.     file /usr/local/mmm/var/mmm-traps.log
    
20.     level trap
    
21. 
    
22. # MMMD command socket tcp-port and ip
    
23. bind_port 9989
    
24. 
    
25. # Cluster interface
    
26. cluster_interface eth1
    
27. 
    
28. # Define current server id
    
29. this db2
    
30. mode slave
    
31. 
    
32. # For masters
    
33. peer db1
    
34. 
    
35. # Cluster hosts addresses and access params
    
36. host db1
    
37.     ip 192.168.20.9
    
38.     port 3306
    
39.     user rep_agent
    
40.     password RepAgent
    
41. 
    
42. host db2
    
43.     ip 192.168.20.10
    
44.     port 3306
    
45.     user rep_agent
    
46.     password RepAgent
    

复制代码

在db1和db2上建立新用户，用于管理节点访问db节点：
GRANT ALL PRIVILEGES on *.* to 'rep_monitor'@'192.168.20.5' identified by 'RepMonitor';

在db1和db2节点上启动agent：
mmmd_agent

在管理节点上启动管理进程：
mmmd_mon

1. 
   
2. Reading config file: 'mmm_mon.conf'
   
3. $VAR1 = {
   
4.           'db2' => {
   
5.                      'roles' => [],
   
6.                      'version' => '0',
   
7.                      'state' => 'AWAITING_RECOVERY'
   
8.                    },
   
9.           'db1' => {
   
10.                      'roles' => [
    
11.                                   'reader(192.168.20.27;)',
    
12.                                   'reader(192.168.20.28;)',
    
13.                                   'writer(192.168.20.29;)'
    
14.                                 ],
    
15.                      'version' => '0',
    
16.                      'state' => 'ONLINE'
    
17.                    }
    
18.         };
    
19. Role: 'reader(192.168.20.27;)'
    
20. Adding role: 'reader' with ip '192.168.20.27'
    
21. Role: 'reader(192.168.20.28;)'
    
22. Adding role: 'reader' with ip '192.168.20.28'
    
23. Role: 'writer(192.168.20.29;)'
    
24. Adding role: 'writer' with ip '192.168.20.29'
    

复制代码

在管理节点上启动db节点
mmm_control set_online db1

1. 
   
2. Config file: mmm_mon.conf
   
3. Daemon is running!
   
4. Command sent to monitoring host. Result: OK: State of 'db1' changed to ONLINE. Now you can wait some time and check its new roles!
   

复制代码

mmm_control set_online db2

1. 
   
2. Config file: mmm_mon.conf
   
3. Daemon is running!
   
4. Command sent to monitoring host. Result: OK: State of 'db2' changed to ONLINE. Now you can wait some time and check its new roles!
   

复制代码

管理节点上相关进程的状态：

1. 
   
2. root      8653  0.6 14.9 256856 39192 ?        Sl   15:51   0:01 perl /usr/local/sbin/mmmd_mon
   
3. root      8656  0.1  3.1  99868  8160 ?        S    15:51   0:00  \_ perl /usr/local/mmm/bin/check/checker rep_backlog
   
4. root      8658  0.1  3.1  99856  8144 ?        S    15:51   0:00  \_ perl /usr/local/mmm/bin/check/checker mysql
   
5. root      8661  0.1  1.8  87004  4932 ?        S    15:51   0:00  \_ perl /usr/local/mmm/bin/check/checker ping
   
6. root      8926  0.0  0.1   1612   508 ?        S    15:55   0:00  |   \_ /usr/local/mmm/bin/sys/fping -q -u -t 500 -C 1 192.168.20.10
   
7. root      8662  0.1  3.1  99868  8168 ?        S    15:51   0:00  \_ perl /usr/local/mmm/bin/check/checker rep_threads
   

复制代码

db1上的相关进程：

1. 
   
2. root      8769  0.3  3.0 100520  7988 ?        S    15:38   0:04 perl /usr/local/sbin/mmmd_agent
   
3. root     11824 15.0  2.5  94764  6588 ?        S    15:56   0:00  \_ perl /usr/local/mmm/bin/agent/check_role writer(192.168.20.29;)
   
4. root     11825 17.0  2.9 101824  7776 ?        S    15:56   0:00      \_ perl /usr/local/mmm/bin/mysql_allow_write
   

复制代码

db2上的相关进程：

1. 
   
2. root      8731  0.0  3.0 100524  7980 ?        S    15:38   0:01 perl /usr/local/sbin/mmmd_agent
   

复制代码

在管理节点上查看节点状态：
mmm_control show

1. 
   
2. Config file: mmm_mon.conf
   
3. Daemon is running!
   
4. Servers status:
   
5.   db1(192.168.20.9): master/ONLINE. Roles: writer(192.168.20.29;)
   
6.   db2(192.168.20.10): master/ONLINE. Roles: reader(192.168.20.27;), reader(192.168.20.28;)
   

复制代码

到这里集群搭好了，db1负责读数据，db2负责读和写数据，读写性能应该比单台mysql server高，对于类似read 90% + write 10%这样的应用来说，增加读节点以后，整体性能会有很大提高。
接下来用sysbench和super-smack测它的性能。

[ 本帖最后由 sailer_sh 于 2008-1-21 10:23 编辑 ]

sailer_sh

原帖由 feihulove 于 2008-1-19 17:24 发表
请问192.168.20.29,192.168.20.27,192.168.20.28这些IP又是哪来的?不是只有2台数据库吗?另外,应用程序连接数据库的话,是只连接一个Monitoring Server,还是在程序里边分别连接db1,db2.

Sorry我漏掉了管理节点上的配置文件mmm_mon.conf，这个文件里定义了读、写角色的IP，这些IP是虚拟的。按照MMM作者的说法，应用连接数据库的时候，连接的是这些虚拟IP，但是必须手工指定分别去连接所有的读写IP（这一点感觉不太爽），他并没有做到像LVS那样去访问一个IP，后台自动分配任务，我在考虑自己实现这个功能，我这里有一个写节点和多个读节点，打算在读节点上部署LVS，使读角色对应用的透明化。
Monitoring只是实现HA功能，可以放在其他服务器上，它本身不提供读写数据的功能。

wuruichang

可通过在db1，db2服务器绑定虚拟IP(192.168.20.29)，实现往writer(192.168.20.29) 写数据，在一台挂了后，另一台接替写操作。
http://code.google.com/p/mysql-master-master/wiki/FAQ

You just need to configure the IP address, for each computer, specified at your Cluster Hosts Addresses section on your Configuration File. As soon as MMM Agent start and communicate with MMM Monitor, it will setup the additional IPs for the roles.

Using Configuration Example as reference, you will ONLY need to setup IPs 192.168.1.8 at master 1 and 192.168.1.9 at master2.

Using Configuration Example as reference you will write to IP 192.168.1.200 and read from 192.168.1.100, 192.168.1.101.

If master1 fails MMM Monitor will move IP address 192.168.1.200 to master2 automatically.

wwdwwd

楼上的兄弟们，为什么我按你的配置就不成功呢？
db1，db2可以起来，但是一旦把monitor起来之后，db1，db2就自动关闭了。
db1，db2上的提示信息是：
Can't locate object method "new" via package "Algorithmiff" at /usr/local/mmm/lib/agent_commands.pm line 131


我总共使用了6个ip，全是内网的ip，我用来测试的：
db1：172.16.0.101，172.16.0.111，172.16.0.110
db2：172.16.0.102，172.16.0.112
monitor：172.16.0.103





我的配置文件如下：


db1：

1. 
   
2. #
   
3. # Master-Master Manager config (agent)
   
4. #
   
5. 
   
6. # Debug mode
   
7. debug yes
   
8. 
   
9. # Paths
   
10. pid_path /usr/local/mmm/var/mmmd_agent.pid
    
11. bin_path /usr/local/mmm/bin
    
12. 
    
13. # Logging setup
    
14. log mydebug
    
15.     file /usr/local/mmm/var/mmm-debug.log
    
16.     level debug
    
17. 
    
18. log mytraps
    
19.     file /usr/local/mmm/var/mmm-traps.log
    
20.     level trap
    
21. 
    
22. # MMMD command socket tcp-port and ip
    
23. bind_port 9989
    
24. 
    
25. # Cluster interface
    
26. cluster_interface eth0
    
27. 
    
28. # Define current server id
    
29. this db1
    
30. mode slave
    
31. 
    
32. # For masters
    
33. peer db2
    
34. 
    
35. # Cluster hosts addresses and access params
    
36. host db1
    
37.     ip 172.16.0.101
    
38.     port 3306
    
39.     user rep_agent
    
40.     password RepAgent
    
41. 
    
42. host db2
    
43.     ip 172.16.0.102
    
44.     port 3306
    
45.     user rep_agent
    
46.     password RepAgent
    

复制代码

db2：

1. 
   
2. 
   
3. # Master-Master Manager config (agent)
   
4. #
   
5. 
   
6. # Debug mode
   
7. debug yes
   
8. 
   
9. # Paths
   
10. pid_path /usr/local/mmm/var/mmmd_agent.pid
    
11. bin_path /usr/local/mmm/bin
    
12. 
    
13. # Logging setup
    
14. log mydebug
    
15.     file /usr/local/mmm/var/mmm-debug.log
    
16.     level debug
    
17. 
    
18. log mytraps
    
19.     file /usr/local/mmm/var/mmm-traps.log
    
20.     level trap
    
21. 
    
22. # MMMD command socket tcp-port and ip
    
23. bind_port 9989
    
24. 
    
25. # Cluster interface
    
26. cluster_interface eth0
    
27. 
    
28. # Define current server id
    
29. this db2
    
30. mode slave
    
31. 
    
32. # For masters
    
33. peer db1
    
34. 
    
35. # Cluster hosts addresses and access params
    
36. host db1
    
37.     ip 172.16.0.101
    
38.     port 3306
    
39.     user rep_agent
    
40.     password RepAgent
    
41. 
    
42. host db2
    
43.     ip 172.16.0.102
    
44.     port 3306
    
45.     user rep_agent
    
46.     password RepAgent
    

复制代码

monitor：

1. 
   
2. # Debug mode
   
3. debug no
   
4. 
   
5. # Paths
   
6. pid_path /usr/local/mmm/var/mmmd.pid
   
7. status_path /usr/local/mmm/var/mmmd.status
   
8. bin_path /usr/local/mmm/bin
   
9. 
   
10. # Logging setup
    
11. log mydebug
    
12.     file /usr/local/mmm/var/mmm-debug.log
    
13.     level debug
    
14. 
    
15. log mytraps
    
16.     file /usr/local/mmm/var/mmm-traps.log
    
17.     level trap
    
18. 
    
19. 
    
20. # MMMD command socket tcp-port
    
21. bind_port 9988
    
22. agent_port 9989
    
23. monitor_ip 127.0.0.1
    
24. 
    
25. # Cluster interface
    
26. cluster_interface eth0
    
27. 
    
28. # Cluster hosts addresses and access params
    
29. host db1
    
30.     ip 172.16.0.101
    
31.     port 3306
    
32.     user rep_monitor
    
33.     password RepMonitor
    
34.     mode master
    
35.     peer db2
    
36. 
    
37. host db2
    
38.     ip 172.16.0.102
    
39.     port 3306
    
40.     user rep_monitor
    
41.     password RepMonitor
    
42.     mode master
    
43.     peer db1
    
44. 
    
45. #
    
46. # Define roles
    
47. #
    
48. 
    
49. active_master_role writer
    
50. 
    
51. # Mysql Reader role
    
52. role reader
    
53.     mode balanced
    
54.     servers db1, db2
    
55.     ip 172.16.0.111, 172.16.0.112
    
56. 
    
57. # Mysql Writer role
    
58. role writer
    
59.     mode exclusive
    
60.     servers db1
    
61.     ip 172.16.0.110
    
62. 
    
63. #
    
64. # Checks parameters
    
65. #
    
66. 
    
67. # Ping checker
    
68. check ping
    
69.     check_period 1
    
70.     trap_period 5
    
71.     timeout 2
    
72. 
    
73. # Mysql checker
    
74. check mysql
    
75.     check_period 1
    
76.     trap_period  2
    
77.     timeout 2
    
78.     restart_after 10000
    
79. # Mysql replication backlog checker
    
80. check rep_backlog
    
81.     check_period 5
    
82.     trap_period 10
    
83.     max_backlog 60
    
84.     timeout 2
    
85.     restart_after 10000
    
86. 
    
87. # Mysql replication threads checker
    
88. check rep_threads
    
89.     check_period 1
    
90.     trap_period 5
    
91.     timeout 2
    
92.     restart_after 10000
    

复制代码

[ 本帖最后由 wwdwwd 于 2008-5-18 21:58 编辑 ]

wwdwwd

顶上来接着求助，各位朋友们请帮帮忙啊

gunguymadman

虚拟ip如果是手动指定的  又怎么在down一台db情况下  自动指向另一台呢  ？

luo118

使用mysql的ndbd 集群 就可以了，

kns1024wh

这个是一个在code。Google。com上开源的项目，也是用来弥补mysql cluster不足的方案

xieweihua

藏了.