实践ldom FC SR-IOV 虚拟功能

lem0

       我最近装了一套系统，两台T5-2 做两个LDOM,但只有一块HBA卡，要想有好的性能，只能使用SR-IOV了,在每个HBA端口上创建两个虚拟功能VF，分别分配到两个guest 域中。
具体功能说明参见附件《Oracle VM Server for SPARC 3.2 管理指南 l .pdf》 Oracle VM Server for SPARC 3.2 管理指南 l .pdf (4.45 MB, 下载次数: 43)

2015-12-11 11:55 上传

点击文件名下载附件

“使用 PCIe SR-IOV 虚拟功能创建 I/O 域”。
具体做法在这里有介绍https://blogs.oracle.com/raghuram/entry/fibre_channel_sr_iov
但是我遇到的问题跟这个一样https://support.oracle.com/epmos/faces/DocumentDisplay?_afrLoop=551701503092548&id=1950167.1&displayIndex=1&_afrWindowMode=0&_adf.ctrl-state=v698902ol_4  
即使所有固件，补丁版本都满足了，还是无法实现 ，原来是要安装Qlogic 的Multi-Boot Update Kit ， 但是QLogic网站上下载的包跟Oracle介绍的不一样，可能是有更新了吧，下载下来的包没有更新脚本，即使手工安装了包也无法实现SR-IOV。
最后还是开了个SR，让800 给我发了个正确的包给我。 Oracle_QLE8362_SRIOV_Flash_Kit_06.2.zip (2.95 MB, 下载次数: 41)

2015-12-11 11:55 上传

点击文件名下载附件

然后在http://driverdownloads.qlogic.com/QLogicDriverDownloads_UI/Oracle_Search.aspx 里下载并安装QCC管理软件 “QConvergeConsoleCLI-1.1.03-38-sol8-sol12-sparc.pkg.Z” （11M，发不了），还有 800 给我传的Update kit 包“Oracle_QLE8362_SRIOV_Flash_Kit_06.2.zip” ，运行里面的./update_sol.sh  /kit目录 ，然后reboot –p 重启就行了。
但是在一个域里不能既有BUS总线划分，又有SR-IOV 方式分配的卡和端口，所以我这里把网口也做了SR-IOV，不用vsw 的方式分配，硬盘用了vdisk 方式分配。


root@primary2 # ./update_sol.sh /tmp        
Flashing Board Config Data...
Using config file: /opt/QLogic_Corporation/QConvergeConsoleCLI/qaucli.cfg
Installation directory: /opt/QLogic_Corporation/QConvergeConsoleCLI
Working dir: /tmp
Updating Board Config parameters of HBA instance 0 - QLE8362...
Success
Flashing FC NVRAM Data....
Using config file: /opt/QLogic_Corporation/QConvergeConsoleCLI/qaucli.cfg
Installation directory: /opt/QLogic_Corporation/QConvergeConsoleCLI
Working dir: /tmp
Updating FC NVRAM Data on HBA instance 0 (QLE8362)...
Success
Updating FC NVRAM Data on HBA instance 1 (QLE8362)...
Success
Flashing FCOE NVRAM Data...
Using config file: /opt/QLogic_Corporation/QConvergeConsoleCLI/qaucli.cfg
Installation directory: /opt/QLogic_Corporation/QConvergeConsoleCLI
Working dir: /tmp
Updating FCoE NVRAM Data on HBA instance 0 (QLE8362)...
Success
Updating FCoE NVRAM Data on HBA instance 1 (QLE8362)...
Success
Flashing FW Preload Table...
Using config file: /opt/QLogic_Corporation/QConvergeConsoleCLI/qaucli.cfg
Installation directory: /opt/QLogic_Corporation/QConvergeConsoleCLI
Working dir: /tmp
Updating firmware preload table of HBA instance 0 - QLE8362...
Successful, please reboot for the change to take effect.
Flashing FW Jump Table...
Using config file: /opt/QLogic_Corporation/QConvergeConsoleCLI/qaucli.cfg
Installation directory: /opt/QLogic_Corporation/QConvergeConsoleCLI
Working dir: /tmp
Updating FC Preload Table Jump Area of HBA instance 0 - QLE8362...
Success
Flashing Feature Config Data...
Using config file: /opt/QLogic_Corporation/QConvergeConsoleCLI/qaucli.cfg
Installation directory: /opt/QLogic_Corporation/QConvergeConsoleCLI
Working dir: /tmp
Updating feature config area of HBA instance 0 - QLE8362...
Success
Flashing FC Board Config Data...
Using config file: /opt/QLogic_Corporation/QConvergeConsoleCLI/qaucli.cfg
Installation directory: /opt/QLogic_Corporation/QConvergeConsoleCLI
Working dir: /tmp
Updating FC board config of HBA instance 0 (QLE8362 )...
Success
Flashing Flash Layout Table...
Using config file: /opt/QLogic_Corporation/QConvergeConsoleCLI/qaucli.cfg
Installation directory: /opt/QLogic_Corporation/QConvergeConsoleCLI
Working dir: /tmp
Updating flash layout table of HBA instance 0 (QLE8362)...
Success
Flashing Eport Parameters...
Using config file: /opt/QLogic_Corporation/QConvergeConsoleCLI/qaucli.cfg
Installation directory: /opt/QLogic_Corporation/QConvergeConsoleCLI
Working dir: /tmp
Updating Eport Parameters of HBA instance 0 - QLE8362 ...
Success
Flashing Default Configuration ...
Using config file: /opt/QLogic_Corporation/QConvergeConsoleCLI/qaucli.cfg
Installation directory: /opt/QLogic_Corporation/QConvergeConsoleCLI
Working dir: /tmp
Updating default config of HBA instance 0 - QLE8362...
Success
Flashing Active Configuration ...
Using config file: /opt/QLogic_Corporation/QConvergeConsoleCLI/qaucli.cfg
Installation directory: /opt/QLogic_Corporation/QConvergeConsoleCLI
Working dir: /tmp
Updating active config of HBA instance 0 - QLE8362...
Success
Flashing Reset Sequence...
Using config file: /opt/QLogic_Corporation/QConvergeConsoleCLI/qaucli.cfg
Installation directory: /opt/QLogic_Corporation/QConvergeConsoleCLI
Working dir: /tmp
Updating reset sequence of HBA instance 0 (QLE8362 )...
Success
Flashing User Info...
Using config file: /opt/QLogic_Corporation/QConvergeConsoleCLI/qaucli.cfg
Installation directory: /opt/QLogic_Corporation/QConvergeConsoleCLI
Working dir: /tmp
Updating User Info region of HBA instance 0 - QLE8362...
Success
Flashing Mini Dump Template...
Using config file: /opt/QLogic_Corporation/QConvergeConsoleCLI/qaucli.cfg
Installation directory: /opt/QLogic_Corporation/QConvergeConsoleCLI
Working dir: /tmp
Updating mini-dump templates of HBA instance 0 (QLE8362 )...
Success
Flashing Flash image /tmp/hld36017.bin...
Using config file: /opt/QLogic_Corporation/QConvergeConsoleCLI/qaucli.cfg
Installation directory: /opt/QLogic_Corporation/QConvergeConsoleCLI
Working dir: /tmp
Validating Flash Image File... Success
Updating Flash on HBA port(s) - QLE8362. Please wait...
Updating Adapter FC Boot Code... Success
Updating Adapter NIC Boot Code... Success
Updating Adapter FCoE Boot Code... Success
Updating Adapter CRBInit... Success
Updating Adapter BootLoader... Success
Updating Adapter PEGTune ... Success
Updating Adapter FCoE FW... Success
Updating Adapter FC FW... Success
Updating Adapter NIC/CNA FW... Success
Updating Adapter NIC/CNA VPD... Success
Updating Adapter FC VPD... Success
Updating Adapter FC VPD... Success
Flash update complete. Changes have been saved to all ports of this HBA.
You must reboot in order for the changes to become effective.
root@primary2 #
root@primary2 # reboot -p
Oct  8 10:19:31 primary2 reboot: rebooted by root
Oct  8 10:19:31 /usr/lib/snmp/snmpdx: received signal 15
syncing file systems... done
rebooting...
Resetting...

root@primary2 # ldm list-io
NAME                                       TYPE   BUS      DOMAIN    STATUS
。。。。。
/SYS/MB/PCIE2                              PCIE   pci_2    primary   OCC
/SYS/MB/PCIE3                              PCIE   pci_2    primary   EMP
/SYS/MB/PCIE4                              PCIE   pci_2    primary   EMP
/SYS/MB/PCIE1/IOVFC.PF0                    PF     pci_0    primary                    ------》》重启后这两行IOVFC 就出现了
/SYS/MB/PCIE1/IOVFC.PF1                    PF     pci_0    primary  
/SYS/MB/NET0/IOVNET.PF0                    PF     pci_0    primary   
/SYS/MB/NET0/IOVNET.PF1                    PF     pci_0    primary   
/SYS/MB/PCIE2/IOVNET.PF0                   PF     pci_2    primary   
/SYS/MB/PCIE2/IOVNET.PF1                   PF     pci_2    primary   
/SYS/MB/PCIE2/IOVNET.PF2                   PF     pci_2    primary   
/SYS/MB/PCIE2/IOVNET.PF3                   PF     pci_2    primary  

root@primary2:~# ldm start-reconf primary
root@primary2:~# ldm set-io iov=on pci_0      ---》》 HBA卡在PCIE1 上
root@primary2 # ldm create-vf -n 2 /SYS/MB/PCIE1/IOVFC.PF0
root@primary2 # ldm create-vf -n 2 /SYS/MB/PCIE1/IOVFC.PF1

root@primary2 # ldm list-io
NAME                                       TYPE   BUS      DOMAIN    STATUS

/SYS/MB/PCIE1/IOVFC.PF0                    PF     pci_0    primary   
/SYS/MB/PCIE1/IOVFC.PF1                    PF     pci_0    primary   
/SYS/MB/NET0/IOVNET.PF0                    PF     pci_0    primary   
/SYS/MB/NET0/IOVNET.PF1                    PF     pci_0    primary   
/SYS/MB/PCIE2/IOVNET.PF0                   PF     pci_2    primary   
/SYS/MB/PCIE2/IOVNET.PF1                   PF     pci_2    primary   
/SYS/MB/PCIE2/IOVNET.PF2                   PF     pci_2    primary   
/SYS/MB/PCIE2/IOVNET.PF3                   PF     pci_2    primary   
/SYS/MB/PCIE1/IOVFC.PF0.VF0                VF     pci_0              ---》》每个HBA端口虚拟出两个VF出来
/SYS/MB/PCIE1/IOVFC.PF0.VF1                VF     pci_0                     
/SYS/MB/PCIE1/IOVFC.PF1.VF0                VF     pci_0              
/SYS/MB/PCIE1/IOVFC.PF1.VF1                VF     pci_0              




启动服务
svcadm enable svc:/ldoms/vntsd:default
---------------------------------------------
配置primary domain
ldm list
ldm start-reconf primary
ldm set-core 1 primary        分配 3 个core
ldm set-memory 8G primary        分配 96GB 的内存
ldm add-vds primary-vds0 primary
ldm add-vcc port-range=5000-5100 primary-vcc0 primary
ldm list-services primary
ldm set-io iov=on pci_0
ldm create-vf -n 2 /SYS/MB/PCIE1/IOVFC.PF0
ldm create-vf -n 2 /SYS/MB/PCIE1/IOVFC.PF1
ldm create-vf -n 1 /SYS/MB/NET0/IOVNET.PF0
ldm create-vf -n 1 /SYS/MB/NET0/IOVNET.PF1
ldm create-vf -n 1 /SYS/MB/NET2/IOVNET.PF0
ldm create-vf -n 1 /SYS/MB/NET2/IOVNET.PF1
ldm create-vf -n 1 /SYS/MB/PCIE8/IOVNET.PF0
ldm create-vf -n 1 /SYS/MB/PCIE8/IOVNET.PF1


ldm add-config initial      
ldm list-config               

init 6

---------------------------------------------
创建IO 域 EBSDB

ldm add-domain EBSDB
ldm set-core 18 EBSDB
ldm set-memory 152G EBSDB
ldm add-io /SYS/MB/PCIE1/IOVFC.PF0.VF0 EBSDB
ldm add-io /SYS/MB/PCIE1/IOVFC.PF1.VF0 EBSDB
ldm add-io /SYS/MB/NET2/IOVNET.PF0.VF0 EBSDB
ldm add-io /SYS/MB/NET2/IOVNET.PF1.VF0 EBSDB
ldm add-io /SYS/MB/PCIE8/IOVNET.PF0.VF0 EBSDB
ldm add-io /SYS/MB/PCIE8/IOVNET.PF1.VF0 EBSDB
ldm add-vdsdev /dev/dsk/c0t5000CCA07047CF40d0s2 disk0@primary-vds0
ldm add-vdsdev /dev/dsk/c0t5000CCA07047DDF0d0s2 disk1@primary-vds0
ldm add-vdisk disk0 disk0@primary-vds0 EBSDB
ldm add-vdisk disk1 disk1@primary-vds0 EBSDB
ldm set-variable auto-boot\?=false EBSDB
ldm list -l EBSDB
ldm bind-domain EBSDB 将资源绑定到来宾域
ldm list-bindings EBSDB  列出该域以检验它是否已绑定
ldm add-vdsdev /install/sol-10-u11-ga-sparc-dvd.iso cdrom_iso@primary-vds0
ldm add-vdisk bootcd cdrom_iso@primary-vds0 EBSDB



------------------------------------
创建guest 域 ldm21
zfs create -V 300g rpool/ldm21

ldm add-domain ldm21
ldm set-core 13 ldm21
ldm set-memory 95G ldm21
ldm add-vdsdev /dev/zvol/dsk/rpool/ldm21 vol1@primary-vds0
ldm add-vdisk disk0 vol1@primary-vds0 ldm21
ldm add-io /SYS/MB/PCIE1/IOVFC.PF0.VF1 ldm21
ldm add-io /SYS/MB/PCIE1/IOVFC.PF1.VF1 ldm21
ldm add-io /SYS/MB/NET0/IOVNET.PF0.VF0 ldm21
ldm add-io /SYS/MB/NET0/IOVNET.PF1.VF0 ldm21
ldm set-variable auto-boot\?=false ldm21
ldm list -l ldm21
ldm bind-domain ldm21
ldm list-bindings ldm21  
ldm add-vdsdev /install/sol-10-u11-ga-sparc-dvd.iso cdrom_iso@primary-vds0
ldm add-vdisk bootcd cdrom_iso@primary-vds0 ldm21

DONE。

东方蜘蛛

好文收藏，谢谢分享～

lanyun001

好文收藏。。

jj_m

能给我个oracle vm server for sparc的下载地址吗？
我闲置了两台T5140，想扩展下安装linux或者windows来用。

jj_m

您好。我闲置了三台T5140，想用来做linux或者windows服务。但是不知道怎么弄？能提供下vm server for sparc的下载地址吗？我的QQ 三O2O53陆4 能否指导下。非常感谢！

lem0

回复 5# jj_m

你好，你想像VMWare 那样用OVM manager 来管理SPARC的机器吗？ 可以管理，但是没什么用处，OVM for sparc agent 只支持NFS 的存储挂接，不支持SAN 方式，操作系统要是装在NFS的卷上不大现实
solaris  11系统自带了ldommanager 软件，ldom 的创建参考我的这个帖子
T5140（ldom）单机创建cluster环境http://bbs.chinaunix.net/forum.php?mod=viewthread&tid=4233132&fromuid=20186767

   

jj_m

是两方面的。
1。这个sparc的机器上是否可以虚拟出linux或者windows。
2。才是几台物理机的统一管理。

其实第一个比较关心，现在闲置的几台T5140，solaris大部分人不会用，现在的生产系统全是linux，因此想看看有没有在sparc机器上能用的vmbox，虚拟点linux来用。
能加下QQ详细请教吗？

lem0

回复 7# jj_m


1，都不行，只能装solaris for sparc2，不能这样做

liusu_520

好文章，收藏了

ibmlenovo

回复 7# jj_m

不支持，只支持虚拟出来solaris 10 和11 ，