5sky's MySQL NDB Cluster(簇) for 7.2 群集部署笔记

5sky

这里不再做更新了，原文更新见我的blog吧.
http://blog.sysv.cn/?action=show&id=70

　　因帮朋友忙，实现mysql的双机复制。于是到官方去看文档，看到关于MySQL簇这块内容，发现其中提及在FreeBSD上可以实现。但除了给个编译参数外就没有其他说明手工编译实现mysql NDB的内容。加之，GG上搜了下没发现FreeBSD下实现NDB文档。于是乎，萌发了搭建个基于FreeBSD的MySQL簇的想法。
　　经过几天的抓摸，最终实现MySQL簇。本文文档是MySQL簇实现过程中的编码安装笔记，且主体思路只是实现MySQL簇在FreeBSD的运行，不对性能和稳定性进行测试。因此，在此算是抛砖引玉，希望大家指正。

准备工作:
硬件装备:
4-5台 pc server
1台 100Mb交换机

系统装备:
FreeBSD 7.2 release, Mini方式安装完成后, 通过csup获取ports源和src源.

软件装备:
通过ports来获取，本次实验NDB cluster的方案用的是mysql-server-5.1.40版本
预规划:
预留地址: 10.10.10.1 - 10.10.10.7
管理(MGM)节点: 10.10.10.8 - 10.10.10.10
管理客户端: 10.10.10.11 - 10.10.10.15
MySQL客户端: 10.10.10.16 - 10.10.10.63
SQL节点(NDB): 10.10.10.64 - 10.10.10.127
数据节点(Data Node): 10.10.10.128 - 10.10.10.254
现网规划:
MGM节点: 10.10.10.10
SQL节点: 10.10.10.18
数据节点: 10.10.10.129 / 10.10.10.130

拓扑结构:



实施步骤:
在各节点系统/etc/hosts填加:
10.10.10.10             DB_MGM     //管理节点
10.10.10.18             DB_SQL_1  //SQL节点
10.10.10.129           DB_DataNode_1  //Node节点1
10.10.10.130           DB_DataNode_2  //Node节点2

PORTS编译安装:
# cd /usr/ports/database/mysql51-client
# make WITH_CHARSET=utf8 WITH_XCHARSET=complex install clean
# cd /usr/ports/database/mysql51-server
# make WITH_CHARSET=utf8 WITH_XCHARSET=complex BUILD_STATIC=yes WITHOUT_INNODB=yes BUILD_OPTIMIZED=yes WITH_NDB=yes install clean
#说明: 各节点编译方式都是一样的，但需求不同，MGM节点的运行进程序为ndb_mgmd，SQL节点运行程序为mysqld，Node节点为ndbd。
#编译完成后，SQL节点和Node节点需要使用mysql_install_db命令来初使化一次哈。

pkg_info得到的安装包
gettext-0.17_1      GNU gettext package
gmake-3.81_3       GNU version of 'make' utility
libiconv-1.11_1      A character set conversion library
libtool-1.5.26         Generic shared library support script
mysql-client-5.1.40 Multithreaded SQL database (client)
mysql-server-5.1.40 Multithreaded SQL database (server)

配置SQL节点 && Node节点:
配置my.cnf(由于默认安装，我的my.cnf放在/var/db/mysql/data/)
在对应位置增加以下项后保存退出
# Options for mysqld process:
[MYSQLD]
ndbcluster
ndb-connectstring=DB_MGM
# Options for ndbd process:
[MYSQL_CLUSTER]
ndb-connectstring=DB_MGM

配置MGM节点:
# mkdir /usr/local/etc/mysql-cluster
# cd /usr/local/etc/mysql-cluster
# cat > config.ini << EOF
# Options affecting ndbd processes on all data nodes:
[NDBD DEFAULT]
NoOfReplicas=2
DataMemory=80M
IndexMemory=18M
# TCP/IP options:
[TCP DEFAULT]
portnumber=2202
# Management process options:
[NDB_MGMD]
id=1
hostname=DB_MGM
datadir=/usr/local/etc/mysql-cluster
# Options for data node "A":
[NDBD]
id=2
hostname=DB_DataNode_1
datadir=/var/db/mysql
# Options for data node "B":
[NDBD]
id=3
hostname=DB_DataNode_2
datadir=/var/db/mysql
# SQL node options:
[MYSQLD]
id=4
hostname=DB_SQL_1
EOF

架构各节点的初始化以及启动:
启动顺序:
管理服务器(ndb_mgmd) -> 存储引擎节点(ndbd) -> MySQL服务器进程(mysqld)
关闭顺序:
MySQL服务器进程(mysqld) -> 存储引擎节点(ndbd) -> 管理服务器(ndb_mgmd)
MGM节点的启动:
/usr/local/libexec/ndb_mgmd -f /usr/local/etc/mysql-cluster/config.ini
SQL节点的启动:
/usr/local/etc/rc.d/mysql-server start
DataNode的启动:
初始化启动:
su -l mysql -c "/usr/local/libexec/ndbd --initial --ndb-mgmd-host=DB_MGM"
#注意，仅应在首次启动ndbd时，或在备份／恢复或配置变化后重启ndbd时使用“--initial”参数
日常启动:
su -l mysql -c "/usr/local/libexec/ndbd --ndb-mgmd-host=DB_MGM"

启动后进程状态:
MGM节点:
# sockstat -4l
USER     COMMAND    PID     FD PROTO  LOCAL ADDRESS         FOREIGN ADDRESS      
root     ndb_mgmd   94443  3    tcp4     *:1186                        *:*
root     sendmail        623      4    tcp4     127.0.0.1:25               *:*
root     sshd              608      4    tcp4     *:22                            *:*
root     syslogd         482      7    udp4     *:514                          *:*
SQL节点:
# sockstat -4l
USER     COMMAND    PID      FD PROTO  LOCAL ADDRESS         FOREIGN ADDRESS      
mysql    mysqld          13635 14  tcp4      *:3306                        *:*
root      sshd              14530  4   tcp4      *:22                            *:*
root      syslogd          13911  7   udp4     *:514                          *:*
root      sendmail         599     4   tcp4      127.0.0.1:25                *:*
DataNode节点:
# sockstat -4l
USER     COMMAND    PID   FD PROTO  LOCAL ADDRESS         FOREIGN ADDRESS      
mysql    ndbd             5780  7  tcp4      10.10.10.129:2202     *:*
root      sshd               885   4   tcp4      *:22                            *:*
root      sendmail         633   4   tcp4      127.0.0.1:25               *:*
root      syslogd          495    7  udp4      *:514                          *:*

查看连接、状态等情况:
MGM节点:
MGM_Node# sockstat -4c
USER     COMMAND    PID   FD PROTO  LOCAL ADDRESS         FOREIGN ADDRESS
root     ndb_mgmd   94443 5  tcp4   127.0.0.1:58765       127.0.0.1:1186
root     ndb_mgmd   94443 8  tcp4   127.0.0.1:1186        127.0.0.1:58765
root     ndb_mgmd   94443 9  tcp4   10.10.10.10:1186      10.10.10.130:51676
root     ndb_mgmd   94443 10 tcp4   10.10.10.10:1186      10.10.10.129:60067
root     ndb_mgmd   94443 11 tcp4   10.10.10.10:1186      10.10.10.18:49390
MGM_Node# pwd
/usr/local/etc/mysql-cluster
MGM_Node# ll -G
total 140
-rw-r--r--  1 root  wheel  -  486B Nov 19 23:18 config.ini
-rw-r--r--  1 root  wheel  -    6B Nov 20 00:12 ndb_1.pid
-rw-r--r--  1 root  wheel  -  133K Dec 11 11:24 ndb_1_cluster.log
-rw-r--r--  1 root  wheel  -  264B Nov 20 01:02 ndb_1_out.log

SQL节点:
SQL_Node_1# sockstat -4c
USER     COMMAND    PID   FD PROTO  LOCAL ADDRESS         FOREIGN ADDRESS
mysql    mysqld     13635 10 tcp4   10.10.10.18:49390     10.10.10.10:1186
mysql    mysqld     13635 12 tcp4   10.10.10.18:65336     10.10.10.129:2202
mysql    mysqld     13635 13 tcp4   10.10.10.18:56529     10.10.10.130:2202
SQL_Node_1# pwd
/var/db/mysql
SQL_Node_1# ll -G
total 20544
-rw-rw----  1 mysql  mysql  -  7.3K Nov 19 22:44 SQL_Node_1.err
-rw-rw----  1 mysql  mysql  -    6B Nov 19 22:44 SQL_Node_1.pid
-rw-rw----  1 mysql  mysql  -  5.0M Nov 19 22:49 ib_logfile0
-rw-rw----  1 mysql  mysql  -  5.0M Nov 19 20:27 ib_logfile1
-rw-rw----  1 mysql  mysql  -   10M Nov 19 22:49 ibdata1
-rw-r--r--  1 mysql  mysql  -  144B Nov 19 20:34 my.cnf
drwx------  2 mysql  mysql  -  2.0K Nov 19 20:36 mysql
drwx------  2 mysql  mysql  -  512B Nov 19 23:17 world

DataNode1节点:
Data_Node_1# sockstat -4c
USER     COMMAND    PID   FD PROTO  LOCAL ADDRESS         FOREIGN ADDRESS
mysql    ndbd       5780  3  tcp4   10.10.10.129:60067    10.10.10.10:1186
mysql    ndbd       5780  8  tcp4   10.10.10.129:2202     10.10.10.130:63398
mysql    ndbd       5780  20 tcp4   10.10.10.129:2202     10.10.10.18:65336
Data_Node_1# pwd
/var/db/mysql
chunk2# ll -G
total 1120
drwxr-x---  3 mysql  mysql      512 Nov 19 23:23 BACKUP
-r--------  1 mysql  mysql      144 Nov 19 20:59 my.cnf
drwx------  2 mysql  mysql     2048 Nov 19 20:32 mysql
-rw-r--r--  1 mysql  mysql        5 Nov 19 23:08 ndb_2.pid
-rw-r--r--  1 mysql  mysql      568 Nov 19 21:36 ndb_2_error.log
drwxr-x---  9 mysql  mysql      512 Nov 19 21:00 ndb_2_fs
-rw-r--r--  1 mysql  mysql    14042 Nov 19 23:58 ndb_2_out.log
-rw-r--r--  1 mysql  mysql  1085744 Nov 19 21:36 ndb_2_trace.log.1
-rw-r--r--  1 mysql  mysql        1 Nov 19 21:36 ndb_2_trace.log.next

DataNode2节点:
Data_Node_2# sockstat -4c
USER     COMMAND    PID   FD PROTO  LOCAL ADDRESS         FOREIGN ADDRESS
mysql    ndbd       5601  3  tcp4   10.10.10.130:51676    10.10.10.10:1186
mysql    ndbd       5601  9  tcp4   10.10.10.130:63398    10.10.10.129:2202
mysql    ndbd       5601  17 tcp4   10.10.10.130:2202     10.10.10.18:56529
DataNode2# pwd
/var/db/mysql
DataNode2# ll -G
total 30
drwxr-x---  3 mysql  mysql    512 Nov 19 23:24 BACKUP
-r--------  1 mysql  mysql    144 Nov 19 21:00 my.cnf
drwx------  2 mysql  mysql   2048 Nov 19 20:33 mysql
-rw-r--r--  1 mysql  mysql      5 Nov 19 23:09 ndb_3.pid
drwxr-x---  9 mysql  mysql    512 Nov 19 21:01 ndb_3_fs
-rw-r--r--  1 mysql  mysql  18734 Nov 19 23:59 ndb_3_out.log

建立和导入测试数据:
注意: 数据的操作只能SQL节点上完成，建库时须在涉及的每个SQL节点重复输入一次命令，测试数据为官方下的world库，下载地址见参考文献章节
建立数据库:
# mysql mysql> CREATE DATABASE world DEFAULT CHARACTER SET = utf8 COLLATE utf8_general_ci;       //5.02之前版本须使用命令
# mysql> CREATE SCHEMA world DEFAULT CHARACTER SET = utf8 COLLATE utf8_general_ci;      //#5.02之后版可使用命令:
# mysql> FLUSH TABLES;
导入数据:
//world数据样本默认存储引擎为MyISAM，因此注意在导入每个表数据工作前需将原表的存储引擎的内容改为NDBCLUSTER，更改完成后再导入。
# mysql world < world.sql.ndbcluster

官方文档中摘抄的一些注意事项
注意:
1. 仅管能够按任何顺序启动节点，但官方建议，应首先启动管理节点，然后启动存储节点，最后启动SQL节点
2. 簇管理节点的默认端口是1186，数据节点的默认端口2202。从MySQL 5.0.3开始，该限制已被放宽，簇能够根据空闲的端口自动地为数据节点分配端口。
3. 数据节点的最大数目为48(mysql 5.1版本)
4. 所有的MySQL簇表必须有主键，这点极其重要
5. 所有的数据节点应具有相同的RAM量，这是因为，簇中任何数据节点所能使用的内存均不超过任意单独数据节点的最低可用内存。换句话讲，如果有三台运行簇数据节点的计算机，在其中两台计算机上，有3GB用于保存簇数据的RAM，另一台计算机只有1GB RAM，那么每个数据节点仅能为簇贡献1GB。
6. 簇节点能够通过下述三种协议中的任何一种进行通信：TCP/IP、SHM（共享内存）和SCI（规模可扩展的计算机连接接口）。
7. 表必须用ENGINE=NDB或ENGINE=NDBCLUSTER选项创建，或用ALTER TABLE选项更改，以使用NDB簇存储引擎在簇内复制它们。
8. 对于IndexMemory和DataMemory，重要的是，总的数据库大小是各节点组的所有数据内存和所有索引内存之和。每个节点组用于保存复制信息，因此，如果有4个节点和2个副本，将有2个节点组。对于每个数据节点，可用的总数据内存是2*DataMemory。
9. 强烈建议为所有的节点设置相同的DataMemory值和IndexMemory值。由于数据是平均分布在簇中的所有节点上，任何节点可用的最大空间不超过簇中最小节点的可用空间。
10. 启动ndbd时，它实际上将启动两种进程。第1种进程称为“angel process”（天使进程），它的唯一任务是发现执行进程在何时完成，然后重启ndbd进程（如果作了该配置的话）。因此，如果你打算使用Unix的kill命令杀死ndbd进程，就需要杀死这两个进程。中止ndbd进程的更恰当方法是使用管理客户端，并通过该管理客户端停止进程。
11. 注意，在MySQL 5.1中，NDB簇不支持自动发现数据库的功能，这点很重要（请参见17.8节，“MySQL簇的已知限制”）。这意味着，一旦在一个数据节点上创建了世界（world）数据库和它的表，在簇中的每个SQL节点上还需要发出命令CREATE DATABASE world（从MySQL 5.0.2开始，可以使用CREATE SCHEMA world取而代之），后跟FLUSH TABLES。这样，节点就能识别数据库并读取其表定义。

参考文献:
MySQL 5.1参考手册 :: 17. MySQL簇
http://dev.mysql.com/doc/refman/5.1/zh/ndbcluster.html
MySQL集群配置
http://bbs3.chinaunix.net/viewthread.php?tid=640588&extra=page%3D1%26amp%3Bfilter%3Ddigest
相关软件:
mysql 下载
http://dev.mysql.com/downloads/
样本数据
http://dev.mysql.com/doc/        //在此页面可找个world的样本库

[ 本帖最后由 5sky 于 2009-12-18 22:56 编辑 ]

bestwc

收藏一下。

還是感覺上次在FOSS.MY的開源峰會上那小子現場找12臺筆記本架集群比較NB。。。

axlrose

5sky 新作，收藏

lsstarboy

收藏，慢慢学习吧，一下子看不了。

macafee

对这个方案采用真实PC实做后得到的性能比较关注！继续观望！

scyzxp

我也来收藏一下

tian_jirun

先留个纪念，需要认真学习！

zero-B

关注。。。。先收藏再阅读。

ooooldman

稳定吗？稳定吗？稳定吗？稳定吗？稳定吗？稳定吗？稳定吗？稳定吗？稳定吗？