CentOS+LVM+Celerra iSCSI配置详解

junewen

前日测试结果，与大家分享一下，详情参考存储人生-《http://www.storageonline.com.cn/ ... iguration-detailed/》，欢迎拍砖

测试环境：CentOS 5.3(RH 4.1.2-44) on VMware Workstartion 7.0, EMC Celerra G8(6.0.41-3)

测试目标：Celerra上分配5个100MB iSCSI LUN给CentOS，CentOS上配置LVM，在LVM上创建2个卷组，分别建立一个逻辑卷，1个为200MB，另一个为300MB。

CentOS上安装并配置iSCSI；
Celerra上分配5个iSCSI LUN给CentOS；
CentOS上能看到5个iSCSI LUN；
安装LVM及LVM图形管理程序system-config-lvm；
图形界面创建卷组和逻辑卷；
命令行创建卷组和逻辑卷；  
简介：
LVM是逻辑盘卷管理(LogicalVolumeManager)的简称,它是Linux环境下对磁盘分区进行管理的一种机制,LVM是建立在硬盘和分区之上的一个逻辑层，来提高磁盘分区管理的灵活性。参见《通用线程: 学习 Linux LVM，第 1 部分》
常用术语：
物理存储介质（The Physical Media） ：系统的存储设备：硬盘或硬盘上的分区，如：/dev/sda、/dev/hda等等，是存储系统底层的存储。
物理卷（PV）Physical Volume ：硬盘分区或从逻辑上与硬盘分区具有同样功能的设备（如 RAID），是 LVM 的基本存储逻辑块，和基本的物理存储介质（如分、磁盘等）不同的是，其中包含有 LVM 管理参数。
卷组（VG）Volume Group ：LVM 中的最高抽象层，由一个或多个物理卷组成。一个逻辑卷管理系统中可以只有一个卷组，也可以拥有多个卷组。
逻辑卷（LV）Logical Volume ：逻辑卷（LV）在卷组上建立，相当于非 LVM 系统中的分区，可以在其上创建文件系统，如/home 或者 /var 等。系统中的多个逻辑卷可以属于同一个卷组，也可以属于不同的多个卷组。
物理区域（PE）Physical Extent ：每一个物理卷被划分为大小相等的称为 PE（Physical Extents）的基本单元。物理区域是物理卷中可用于分配的最小存储单元，物理区域的大小可根据实际情况在建立物理卷时指定。物理区域大小一旦确定将不能更改，同一卷组中的所有物理卷的物理区域大小需要一致。 PE 的大小是可配置的，默认为4MB。
逻辑区域（LE）Logical Extent ：逻辑卷也被划分为被称为 LE（Logical Extents）的可被寻址的基本单位。在同一个卷组中，LE的大小和 PE 是相同的，并且一一对应。
VGDA（卷组描述符区域） ：和非 LVM 系统将包含分区信息的元数据保存在位于分区起始位置的分区表中一样，逻辑卷以及卷组相关的元数据被保存在位于物理卷起始处的 VGDA 中。VGDA 包括以下内容：PV 描述符、VG 描述符、LV 描述符、和一些 PE 描述符。系统启动 LVM 时激活 VG，并将 VGDA 加载至内存，来识别 LV 的实际物理存储位置。当系统进行 I/O 操作时，就会根据 VGDA 建立的映射机制来访问实际的物理位置。

1. 创建LVM过程
1. 在物理设备上创建物理分区，每个物理分区称为一个PE
2. 创建PV（Physical Volume 物理卷）
3. 使用vgcreate 将多个PV添加到一个VG(Volume Group 卷组)中，此时VG成为一个大磁盘
4. 在VG大磁盘上划分LV(Logical Volume 逻辑卷)，将逻辑卷格式化后即可挂载使用



2. CentOS上安装并配置iSCSI
参考《VNX(BLOCK)初体验之iSCSI-从0开始》

3. Celerra上分配5个iSCSI LUN给CentOS
3.1 新建5个100MB的LUN：


3.2 给CentOS访问权限：
1
2
3
[nasadmin@G8_CS0 ~]$ server_iscsi server_2 -mask -set jonathan_t1
-initiator iqn.1994-05.com.centos:bba24c46667 -grant 7-11
server_2 : done



4. CentOS访问iSCSI LUN
4.1 fdisk -l 可以看到5块盘：


5. 安装LVM图形管理程序system-config-lvm
如果在系统安装时已经把system-config-lvm安装上了，那么我们就可以直接对LVM进行配置使用了。否则，可以通过Rat Het Enterprise Linux图形界面下的“添加/删除应用程序”工具进行安装。我是直接下载的rpm包：system-config-lvm-1.1.5-8.el5.noarch.rpm。

打开一个终端运行system-config-lvm即可，界面如下。第一次运行要好长时间：

6. 图形界面创建卷组和逻辑卷
6.1 创建和初始化物理卷(PV)


这里，我创建了2个PV，又要等20分钟才能重新load，晕死。从命令行也可以得出相同的信息：



6.2 添加物理卷到卷组(VG)
将2个PV加入新建的VG中：

   

6.3 在卷组上创建逻辑卷(LV)
我这里只创建一个lv，将上一步建立的vg空间都用掉，约为180MB：





7. 命令行创建卷组和逻辑卷
7.1 创建PV
1
2
3
[root@usgswhippt1d1c ~]# pvcreate /dev/sd[cd]1
Physical volume "/dev/sdc1" successfully created
Physical volume "/dev/sdd1" successfully created

7.2 查看PV：
1
2
3
4
5
6
7
[root@usgswhippt1d1c ~]# pvscan
  PV /dev/hda2   VG VolGroup00       lvm2 [7.88 GB / 0    free]
  PV /dev/sda1   VG volGroup02-GUI   lvm2 [92.00 MB / 0    free]
  PV /dev/sdb1   VG volGroup02-GUI   lvm2 [92.00 MB / 0    free]
  PV /dev/sdc1                       lvm2 [94.10 MB]
  PV /dev/sdd1                       lvm2 [94.10 MB]
  Total: 5 [8.24 GB] / in use: 3 [8.05 GB] / in no VG: 2 [188.20 MB]

7.3 创建VG
##-s 在创建时指定PE块的大小，默认是4M。

1
2
[root@usgswhippt1d1c ~]# vgcreate volGroup03-CLI -s 8M /dev/sd[cd]1  
  Volume group "volGroup03-CLI" successfully created

7.4 查看VG
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
[root@usgswhippt1d1c /]# vgdisplay volGroup03-CLI
  — Volume group —
  VG Name               volGroup03-CLI
  System ID            
  Format                lvm2
  Metadata Areas        2
  Metadata Sequence No  1
  VG Access             read/write
  VG Status             resizable
  MAX LV                0
  Cur LV                0
  Open LV               0
  Max PV                0
  Cur PV                2
  Act PV                2
  VG Size               176.00 MB
  PE Size               8.00 MB
  Total PE              22
  Alloc PE / Size       0 / 0   
  Free  PE / Size       22 / 176.00 MB
  VG UUID               A2dRrr-tlki-APwi-6XVv-7Rup-gyG4-m3PiEP

7.5 划分LV
1
2
[root@usgswhippt1d1c ~]# lvcreate -L 176M -n volGroup03-CLI-LV01 volGroup03-CLI
  Logical volume "volGroup03-CLI-LV01" created

7.6 查看LV
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
[root@usgswhippt1d1c ~]# lvdisplay
  — Logical volume —
  LV Name                /dev/volGroup03-CLI/volGroup03-CLI-LV01
  VG Name                volGroup03-CLI
  LV UUID                lxOfU2-uDhj-kxS4-qLPJ-0d5Z-RrQj-5F06ER
  LV Write Access        read/write
  LV Status              available
  # open                 0
  LV Size                176.00 MB
  Current LE             22
  Segments               2
  Allocation             inherit
  Read ahead sectors     auto
  – currently set to     256
  Block device           253:3



7.7 格式化LV并挂载
1
2
3
4
[root@usgswhippt1d1c ~]# mkfs -t ext3 /dev/volGroup03-CLI/volGroup03-CLI-LV01

[root@usgswhippt1d1c ~]# mount /dev/volGroup03-CLI/volGroup03-CLI-LV01
/volGroup03-CLI-LV01

7.8 扩展VG，向VG中添加一个PV
1
2
3
4
[root@usgswhippt1d1c ~]# pvcreate /dev/sde1
  Physical volume "/dev/sde1" successfully created
[root@usgswhippt1d1c ~]# vgextend volGroup03-CLI /dev/sde1
  Volume group "volGroup03-CLI" successfully extended



7.9 扩大LV容量
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
[root@usgswhippt1d1c ~]# lvextend -L 264M /dev/volGroup03-CLI/volGroup03-CLI-LV01
  Extending logical volume volGroup03-CLI-LV01 to 264.00 MB
  Logical volume volGroup03-CLI-LV01 successfully resized
[root@usgswhippt1d1c ~]# df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/mapper/VolGroup00-LogVol00
                      7.2G  3.1G  3.8G  45% /
/dev/hda1              99M   12M   82M  13% /boot
tmpfs                 125M     0  125M   0% /dev/shm
/dev/mapper/volGroup02–GUI-volGroup02–GUI–LV01
                      179M  5.6M  164M   4% /volGroup02-GUI-LV01
/dev/mapper/volGroup03–CLI-volGroup03–CLI–LV01
                      171M  5.6M  157M   4% /volGroup03-CLI-LV01
[root@usgswhippt1d1c ~]# resize2fs -p  /dev/volGroup03-CLI/volGroup03-CLI-LV01
resize2fs 1.39 (29-May-2006)
Filesystem at /dev/volGroup03-CLI/volGroup03-CLI-LV01 is mounted on
/volGroup03-CLI-LV01; on-line resizing required
Performing an on-line resize of /dev/volGroup03-CLI/volGroup03-CLI-LV01
to 270336 (1k) blocks.
resize2fs: Invalid argument While trying to add group #25

这个报错貌似一个RH的bug：https://bugzilla.redhat.com/show_bug.cgi?id=443541，先不管了。

1
2
3
4
5
6
7
8
9
10
[root@usgswhippt1d1c ~]# df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/mapper/VolGroup00-LogVol00
                      7.2G  3.1G  3.8G  45% /
/dev/hda1              99M   12M   82M  13% /boot
tmpfs                 125M     0  125M   0% /dev/shm
/dev/mapper/volGroup02–GUI-volGroup02–GUI–LV01
                      179M  5.6M  164M   4% /volGroup02-GUI-LV01
/dev/mapper/volGroup03–CLI-volGroup03–CLI–LV01
                      194M  5.6M  179M   4% /volGroup03-CLI-LV01

8. 可以访问啦

cqcw

好。学习。
。
。