免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12345下一页
最近访问板块 发新帖
查看: 21829 | 回复: 48
打印 上一主题 下一主题

[VMware] vmware cluster 配置问题及要点 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2008-07-18 13:32 |只看该作者 |倒序浏览
这几天杂事太多,停几天再做
  最近一直在vmware 中做2节点的cluster 碰到了许多问题,希望能总结一些经验,省得大家再走弯路。也把自己目前没有解决的问题放在这里,希望大家都给帮助一下。

目前的状态:两个节点的cluster已经安装完成。(7/29)

下一步的打算:

先设置一个简单的NFS cluster

问题
1、怎么知道quorum设备投票给哪一个设备?

2、agent是通过什么来监测是否应该切换的
 难道都是机器down机时才切换,能为能配置成当网卡或存储down时就切换?

kill  /usr/lib/nfs/lockd 自动就发生切换了。
kill /usr/lib/nfs/mountd 没有切换,系统又自己启动了一个


配置点:
因为基本的网上都有,我只说个大概,如果你对下面不清楚的话,可以问我。

A、版本问题 vmware安装server版本的,否则不支持共享磁盘,目前准备用2.0 beta。cluster3。2目前不支持X86 32位的系统。要安装Solaris Express Community Edition snv_86 X86,安装clusterexpress-20080522-x86版。要求安装Entire Plus OEM Support,有点大。Solaris Express Community Edition snv_91 X86这个版本与这个cluster版本有问题,已经确认(07/29)
pxfs与metaset问题都是版本问题造成的。

A、Solaris Express Community Edition snv_86 X86版本是opensolaris的,会直接安装,不让选软件包和分区。安装之后要自己重新建立/globaldevices和metadb要用的分区。

A、安装的系统要是netservice open的,30分得来的。在solaris10安装时有选择,好像在11安装时没有选择(已经确认7/23)

A、记得做snapshot,好恢复

A、共享磁盘 要修改host 的vmx文件,添加disk.locking = "false" scsi1.sharedBus = "virtual" (7/30)
scsi1.sharedBus = "virtual"     (不加这个可以看到共享,但是用起来有问题,如metaset,quorum等)
disk.locking = "FALSE"
diskLib.dataCacheMaxSize = "0"
diskLib.dataCacheMaxReadAheadSize = "0"
diskLib.DataCacheMinReadAheadSize = "0"
diskLib.dataCachePageSize = "4096"
diskLib.maxUnsyncedWrites = "0"
共享磁盘在两个系统中占的SCSI的位置要一样,否则做quorum会不成功(by yuhuoyu)

A、我每个系统虚拟了3个网卡,分别为10网段和172网段,要都通,也就是VMWARE中网段要自己手工去修改网段

A、两个系统要分别安装,不能做好一个复制到另一个,否则两个系统本地磁盘也会被认成一个DID号,做共享磁盘集会有问题。(已经重新安装,解决)

A、两个系统的本地盘一个做IDE,一个做SCSI的,否则也会被认成一个DID号,发现如果按这样配置做,每个系统只能虚拟出2个网卡,再多会报PCI出错,不知道是不是我系统的问题(系统问题,再次安装就没有再出现这样的问题7/23)

A、globaldevices分区两个系统的位置不要一样,如一个在S4一个在S7,否则一个系统在DID中认不出,是不是只要做了上面的改动这个就不必要了,我没有测试(7/22)。

A、pm_tick delay 问题,有说是因为vmware 时钟同步问题,有说是因为CPU不够。你可以试试如下操作,反正我是没有成功,最后是修改/etc/syslog.conf文件,kernel的都改成warning了,
Try the following:
Stop VMs being paged to disk in VMWare (only use physical memory for your VMs). This is a VMWare server, host setting from memory
Ensure Memory Trimming is disabled for your VMware Server Sun Cluster Guests
On each Cluster node, in order, configure the heartbeats to be father apart, and have a longer timeout:
scconf -c -w heartbeat_timeout=60000
scconf -c -w heartbeat_quantum=10000
以上两个命令还是要跑一下,好像是增大心跳延时

A、metaset -s red -a -h sun2 sun1 的命令加-M 和不加-M有什么区别
多属主磁盘集允许多个节点共享磁盘集的拥有权并同时写入
共享磁盘。以前,磁盘集中的所有参与主机都可以看到共享磁盘集,但是一次只能有
一个主机访问该磁盘集。
clrt register SUNW.rac_svm
vi /var/run/nodelist
1       sun1    192.168.0.11 ......

metaset -s blue -M -a -h sun2 sun1

[ 本帖最后由 dogg 于 2008-8-5 16:24 编辑 ]

论坛徽章:
0
2 [报告]
发表于 2008-07-18 13:33 |只看该作者
NFS的
# clsetup


  *** Main Menu ***

    Please select from one of the following options:

        1) Quorum
        2) Resource groups
        3) Data Services
        4) Cluster interconnect
        5) Device groups and volumes
        6) Private hostnames
        7) New nodes
         Other cluster tasks

        ?) Help with menu options
        q) Quit

    Option:  3


  *** Data Services Menu ***

    Please select from one of the following options:

        1) Apache Web Server
        2) Oracle
        3) NFS
        4) Oracle Real Application Clusters
        5) SAP Web Application Server
        6) Highly Available Storage
        7) Logical Hostname
         Shared Address

        ?) Help
        q) Return to the Main Menu

    Option:  3


   >>> Verify Prerequisites  <<<


    This wizard guides you through the creation of resources that the Sun
    Cluster data service for NFS requires. You can use this to make an existing
    NFS server highly available.
   
    Before you use this wizard, ensure that the following prerequisites are
    met:


    * Prerequisites for configuring a logical hostname resource are met:
   
        - The logical hostname that is to be made available by the resource has an
    entry in a name service database, for example, DNS.
   
        - If you are using IP Networking Multipathing (IPMP) groups, the groups
    are configured on the nodes where the logical hostname resource can be
    brought online.
   
    * Prerequisites for configuring a highly available storage resource are
    met, that is, required volumes, disk groups, and file systems are created.

    * The name service mapping in the /etc/nsswitch.conf file on the cluster
    nodes is configured to check local files before trying to access NIS or
    NIS+ for remote procedure call (RPC) lookups.

    * The Sun Cluster HA for NFS packages are installed.

    Press RETURN to continue


   >>> Select Nodes or Zones <<<

    Specify, in order of preference, a list of names of cluster nodes that can
    master the NFS resource.
   
    If you do not explicitly specify a list, the list defaults to all cluster
    nodes in an arbitrary order.


    The following nodes and zones are available:

        1) sun2
        2) sun1

        r) Refresh and Clear All
        a) All
        ?) Help
        d) Done

    Selected:  [sun2, sun1]
    Options:  d

    Discovering logical hostname resources... done

   >>> Configure Logical Hostname Resource <<<

    Select or create a logical hostname resource for the NFS server. The
    resource that you select or create represents the logical hostname through
    which client applications access the NFS server.


          Resource Name         Resource Group Name            Logical Hostname
          =============         ===================            ================

        1) sun                      rgset                       sun

        d) Done
        r) Refresh and Clear All
        c) Create
        ?) Help

    Option :  d


   >>> Configure Logical Hostname Resource <<<

    Select or create a logical hostname resource for the NFS server. The
    resource that you select or create represents the logical hostname through
    which client applications access the NFS server.


          Resource Name         Resource Group Name            Logical Hostname
          =============         ===================            ================

        1) sun                      rgset                       sun

        d) Done
        r) Refresh and Clear All
        c) Create
        ?) Help

    Option :  d


  >>> Configure Logical Hostname Resource <<<

    Select or create a logical hostname resource for the NFS server. The
    resource that you select or create represents the logical hostname through
    which client applications access the NFS server.


          Resource Name         Resource Group Name            Logical Hostname
          =============         ===================            ================

        1) sun                      rgset                       sun

        d) Done
        r) Refresh and Clear All
        c) Create
        ?) Help

    Option :  1



    Discovering storage resources... done


   >>> Configure Highly Available Storage Resources <<<

    Select the highly available storage resources for the file systems that the
    NFS server is sharing. You can select existing resources, create a
    resource, or specify a combination of existing resources and new resources.
    If you select more than one existing resource, the selected resources must
    be in the same resource group.
   
    You must ensure that the mount point of each file system that the NFS
    server is sharing is represented by a highly available storage resource.
    You can use one highly available storage resource for each mount point or
    you can use one highly available storage resource for multiple mount points.

    After you create a highly available storage resource, the wizard returns
    you back to this screen.


          Resource Name         Resource Group Name     File-System Mount Point
          =============         ===================     =======================

        1) rsset                    rgset                       /global/set

        d) Done
        r) Refresh and Clear All
        c) Create
        ?) Help

    Option(s) :  1
    Selected : [1]
    Option(s) :  d


   >>> Select Path Prefix <<<


    Select the path prefix for the NFS resource group.

    Available path-prefix directories


        1) /global/set/admin

        d) Done
        ?) Help

    Selected : [1]
    Option :  d

    Discovering possible share options... done



   >>> Specify Share Options <<<


    For each file-system mount point that the NFS server is sharing, specify
    the options for the share command for the mount point.

    Select the option for the share command that you require to change.

    Share Commands

        1) share -F nfs -o sec=none,rw /global/set/data

        ?) Help
        d) Done

    Option:  d



   >>> Review Sun Cluster Objects  <<<


    The following Sun Cluster objects will be created.

    Select the value you are to changing:

          Property Name             Current Setting
          =============             ===============
        1) Resource Group Name      rgset
        2) NFS Resource Name        nfs-global-set-admin-rs
        3) Logial Hostname Resour...sun
        4) Highly Available Stora...rsset

        d) Done
        ?) Help

    Option:  d


   >>> Review Configuration of Sun Cluster HA for NFS  <<<


    The following Sun Cluster configuration will be created.

    To view the details for an option, select the option.

                   Name                       Value
                   ====                       =====
        1) Resource Group Name      rgset
        2) Path Prefix              /global/set/admin
        3) NFS Resource Name        nfs-global-set-admin-rs
        4) Logical Hostname Resou...sun
        5) Share Commands           >>
        6) Highly Available Stora...rsset

        c) Create Configuration
        ?) Help

    Option:  c




    Running Sun Cluster commands... done



   >>> View Results <<<

    The following Sun Cluster commands were run
   
    Configuration commands...


    /usr/cluster/bin/clresourcegroup set -p Pathprefix=/global/set/admin rgset

    /usr/cluster/bin/clresourcegroup online -emM rgset

    Writing NFS administration files...

    /usr/cluster/bin/clresource create -t SUNW.nfs:3.2 -g rgset -p
    Resource_dependencies=sun,rsset nfs-global-set-admin-rs

    /usr/cluster/bin/clresourcegroup online -emM rgset


    Configuration of Sun Cluster HA for NFS succeeded.

[ 本帖最后由 dogg 于 2008-7-31 14:08 编辑 ]

论坛徽章:
0
3 [报告]
发表于 2008-07-18 13:41 |只看该作者
怕位置不够,占两个位

论坛徽章:
0
4 [报告]
发表于 2008-07-18 23:58 |只看该作者
很好,关注

论坛徽章:
0
5 [报告]
发表于 2008-07-19 17:27 |只看该作者
相同的DID根本不是copy的原因,两套系统都新装也会是相同的DID。我现在唯一能解决相同系统盘did的方法是,一个系统用ide系统盘,另一个用scsi系统盘。

论坛徽章:
0
6 [报告]
发表于 2008-07-19 18:02 |只看该作者
是啊,我也是刚发现这个问题

论坛徽章:
0
7 [报告]
发表于 2008-07-19 18:11 |只看该作者
继续。。我也想搞搞这个。but 积累的旧账太多 怎么清也清不完啊。。哎

论坛徽章:
0
8 [报告]
发表于 2008-07-21 14:12 |只看该作者
搞得我问题多多啊,帮给出出主意,给看看啊

目前的问题:
发现不能用metaset做共享磁盘
# metadb -a -f -c 3 c0d0s5
# metadb
        flags           first blk       block count
     a        u         16              8192            /dev/dsk/c0d0s5
     a        u         8208            8192            /dev/dsk/c0d0s5
     a        u         16400           8192            /dev/dsk/c0d0s5
# metaset -s haset -a -h sun1
metaset: sun1: setname "haset": no such set
出现这个错误。

论坛徽章:
0
9 [报告]
发表于 2008-07-21 20:20 |只看该作者
精神上支持你。。先驱者苦

论坛徽章:
0
10 [报告]
发表于 2008-07-22 13:19 |只看该作者
趁奥运封网 偶也磨叽磨叽这个vmware x86 cluster咋搞
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP