- 论坛徽章:
- 0
|
最近装了几套suncluster 3.2u1 + oracle 10g rac，一点看法与各位分享。本人水平菜鸟级的，说错了请指出来。实际上安装的主要工作在系统环境的准备上，下面的步骤着重描述准备工作。下面的内容供参考，如果根据下面的描述进行工作出现问题，本人概不负责。版权没有，转载注明出处即可。
1、安装系统时尽量少分区，EIS要求不分/var。分区少临时dump备份就省力，slice号也够，像/usr完全没有必要分出来，看到分/usr分区的基本都玩IBM出身的。安装程序和脚本不要跟os占用的文件系统搅和到一起，可以单独划到/export/home下。
2、主机名尽量按照下面原则选取：无大写字母，无下划线，无连接符，第一个为字母。
3、划分共享磁盘可以按照下面的原则进行，如果确定控制器号/磁盘号在两个节点上一致，可以将oracle crs要用到的OCR/VOTE单独划分出来，因为oracle crs要求两端磁盘号一致，如果确定不一致则只好后期用SVM来封装了，能不封装就不封装。
oracle推荐使用2ocr/3vote来保证可用，当然是用外部冗余各一份也是可以的。很多人推荐ocr划100MB，vote划20MB，这里推荐划分3个1G的小盘来做OCR/VOTE，在上面划分2个单独的slice，例如slice6、slice7，ocr分256MB~512MB，vote 128MB，同时记得修改slice权限，查看权限使用ls -lL；使用format划分的时候将slice0和slice1各划分16MB，这样能保存0c上的vtoc，并在slice1上有一个备份vtoc，如果将所有sector都分给OCR/vote裸磁盘会导致oracle CRS格式化OCR/VOTE时覆盖vtoc导致无法进行CRS初始化并报错。当然是用svm/did来封装后不存在该问题，但我认为没有封装更有利，如果有一个ocr/vote磁盘临时丢失可能导致CRS离线，因为metaset上的metadb也临时丢失，当有3个盘的时候则可以一定程度这个问题，另外封装后需要跟rac framework打交道，个人认为还是直接从系统级磁盘划分更合适。当然你也可以划分5个小盘，那样ocr/vote盘都分离了。
注意oracle crs的vote跟suncluster的quorom概念不太相同，不要搞混了。
避免ocr/vote盘跟数据磁盘搅到一起，使用svm/OBAN时数据metaset如果要clear一个metadevice，并且继续利用该metadevice号时，需要metaset -s set -w释放metaset，这样才能继续使用该metadevice号。（如果不对请指出）
后期在数据磁盘上划分软分区，如果没有使用did设备做svm raid，建议使用did设备直接划分软分区，比如metainit -s oraset d0 -p /dev/did/dsk/d9s0 4g，如果使用了svm raid，则只好从已经存在的metadevice上划分软分区
4、心跳线的选择，oracle crs如果没有suncluster配合，则public可以用ipmp机制，private建议使用一条心跳，按照下面文章的观点，只用oracle crs时如果采用多条心跳可能有问题；一旦使用suncluster后，suncluster会创建一个clprivnet0的虚拟网卡，具有负载均衡和动态切换的能力，强烈建议在安装crs时选择网卡使用方法时将心跳选择为clprivnet0，而ipmp则选择suncluster默认的public ipmp组即可
[url]http://www.sun.com/software/whitepapers/solaris10/solaris_cluster.pdf[/url]
5、网卡链路聚合可以用在suncluster上，但在普通交换机上似乎无法跨交换机做聚合，仍然会造成交换机掉电导致的单点故障。
6、当使用iscsi磁盘时可以使用solaris10自带的iscsi initiator软件，当使用第三方软件的时候注意启动initiator服务的时间顺序。使用iscsi磁盘时，oracle推荐ocr/vote使用2/3个来保证冗余。另外，使用iscsi盘而没有iscsi hba卡，而使用普通网卡+软件时，最好将iscsi存储网络和公网通信网络放在一个网内，否则存储网络似乎不方便使用ipmp，也就不能避免存储网络单点故障；因为有两组网关，一个是公网网关，另一个是存储网关，听说可以关掉ipmp对网关的探测来实现单网关。多个网关在suncluster上是不支持的，默认创建的/etc/notrouter阻止in.routed启动。
不知各位有何妙计。
7、据我的观察，OUI只在启动时读取hosts表，故请先设置好ipmp，hosts表，包括private/heartbeart ip名，有suncluster时如果使用默认心跳，将clprivnet0的两个ip设置为CRS心跳ip通过的网卡。不需要的网卡一律not use。
8、当执行root.sh等脚本时，虽然使用root权限，最好cd到oracle用户的home目录下，否则有时候会报警告。
执行root.sh时要等第一个节点完成后才能继续，不能同时执行，执行完成后继续，可能需要执行vipca。如果vipca不能顺利启动gsd，不用管它，继续retry 配置向导，当都配置完成后重新启动机器即可启动crs，使用crs_stat -t看一眼。
9、装操作系统后建议在每次装完大量软件后使用df -k, svcs -x, svcs -a|wc, svcs |wc, ls -l /var/sadm/pkg|wc, ls -l /var/sadm/patch|wc来保证两端安装得比较接近，不能差得太离谱，两个节点硬件不同除外。注意cacao软件包在sol10u5和suncluster 3.2u1下是2.1版，装好后打上补丁，在下次重启或者手动启动后查看状态，该软件是java运行时框架，听说如果没正确运行有时候会导致故障。配置rac-framework-rg前先装上ORCLudlm包，该软件包位于clusterware的racpatch下，手动装；装完后可以改一下udlm.conf里面的lock资源大小，不改也行。注册rac-framework-rg可以使用scsetup等命令向导完成，也可以按照EIS-checklist描述手动注册，默认注册通信端口会占用6000，而该端口为ssh X11 forwarding默认端口，故手动注册可以选择为7000，或者向导注册好后用scconf来修改，也可以用scsetup向导修改。
10、如果suncluster的quorum选择ocr/vote盘上，要特别注意ocr/vote格式化后是不是将quorum信息清掉了，查看命令可以用
#scstat -q
#clquorum show
#pgre -c pgre_inkeys -d /dev/did/rdsk/d9s2 (默认是scsi2磁盘)
#scsi -c inkeys -d /dev/did/rdsk/d9s2 (当强制为prefer3或当前磁盘强制为scsi3时)
#pgre -c pgre_inresv -d /dev/did/rdsk/d9s2 可以查看当前quorum被谁占有
如果确实被清掉了，可以将quorum信息找回来，下面的命令有可能导致节点问题，谨慎使用
#pgre -c pgre_scrub -d /dev/did/rdsk/d9s2 (两个节点执行)
#clquorum disable d9
#clquorum enable d9
还有一些东西想不起来了，想起来了加上去吧。 |
评分
-
查看全部评分
|
免费注册
发表于 2009-01-16 20:06
