免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
123下一页
最近访问板块 发新帖
查看: 16801 | 回复: 29

[新手入门] 裸设备和字符设备有区别吗? [复制链接]

论坛徽章:
0
发表于 2008-05-02 15:01 |显示全部楼层
裸设备和字符设备有区别吗?如果有区别,如何识别裸分区和字符分区呢?

论坛徽章:
0
发表于 2008-05-03 17:24 |显示全部楼层
搜下吧,CU上有很多介绍的,另外网上也多。。。

论坛徽章:
0
发表于 2008-05-03 23:48 |显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽

论坛徽章:
0
发表于 2008-05-04 07:59 |显示全部楼层
字符设备、块设备、裸设备、RAW设备  
第一,字符设备是指在I/O传输过程中以字符为单位进行传输的设备,例如键盘,打印机等。请注意,以字符为单位并不一定意味着是以字节为单位,因为有的编码规则规定,1个字符占16比特,合2个字节。

在UNIX系统中,字符设备以特别文件方式在文件目录树中占据位置并拥有相应的i结点。i结点中的文件类型指明该文件是字符设备文件。可以使用与普通文件相同的文件操作命令对字符设备文件进行操作,例如打开、关闭、读、写等。

当一台字符型设备在硬件上与主机相连之后,必须为这台设备创建字符特别文件。操作系统的mknod命令被用来建立设备特别文件。例如为一台终端创建名为/dev/tty03的命令如下(设主设备号为2,次设备为13,字符型类型标记c):

mknod /dev/tty03 c 2 13

此后,open, close, read, write等系统调用适用于设备文件/dev/tty03。

设备与驱动程序的通信方式依赖于硬件接口。当设备上的数据传输完成时,硬件通过总线发出中断信号导致系统执行一个中断处理程序。中断处理程序与设备驱动程序协同工作完成数据传输的底层控制。


第二,裸设备,也叫裸分区(原始分区),是一种没有经过格式化,不被Unix通过文件系统来读取的特殊字符设备。本文收集裸设备和Oracle问答20例。

1.什么叫做裸设备?

裸设备,也叫裸分区(原始分区),是一种没有经过格式化,不被Unix通过文件系统来读取的特殊字符设备。它由应用程序负责对它进行读写操作。不经过文件系统的缓冲。

2.如何辨别裸设备?

在Unix的/dev 目录下,有许多文件,其中有两个大类:字符设备文件和块设备文件。

字符设备特殊文件进行I/O操作不经过操作系统的缓冲区,而块设备特殊文件用来同外设进行定长的包传输。字符特殊文件与外设进行I/o操作时每次只传输一个字符。而对于块设备特殊文件来说,它用了cache机制,在外设和内存之间一次可以传送一整块数据。裸设备使用字符特殊文件。在/dev 目录下,你可以看到许多这样的文件。

3.使用裸设备的好处

因为使用裸设备避免了再经过Unix操作系统这一层,数据直接从Disk到Oracle进行传输,所以使用裸设备对于读写频繁的数据库应用来说,可以极大地提高数据库系统的性能。当然,这是以磁盘的 I/O 非常大,磁盘I/O已经称为系统瓶颈的情况下才成立。如果磁盘读写确实非常频繁,以至于磁盘读写成为系统瓶颈的情况成立,那么采用裸设备确实可以大大提高性能,最大甚至可以提高至40%,非常明显。

而且,由于使用的是原始分区,没有采用文件系统的管理方式,对于Unix维护文件系统的开销也都没有了,比如不用再维护I-node,空闲块等,这也能够导致性能的提高。

4.如何决定是否应该使用裸设备?

判断是否使用裸设备要从以下方面进行考虑:首先,数据库系统本身需要已经被比较好的经过了优化。优化是一门很有些技术的话题,很难简单地讲述。其次,使用 Unix命令来辨别是否存在磁盘读写瓶颈。比如Unix的vmstat, sar 等命令都可以较好的进行鉴别。如果决定采用裸设备,需要磁盘上还有空闲的分区。否则,就要新添磁盘,或者对原有系统重新规划。

5.什么系统必须使用裸设备?

如果使用了Oracle 并行服务器选项,则必须采用裸设备来存放所有的数据文件,控制文件,重做日志文件。只有把这些文件放到裸设备上,才能保证所有Oracle 实例都可以读取这个数据库的文件。这是由Unix操作系统的特性决定的。

还有一种情况是,如果你想使用异步I/O,那么在有些Unix上也必须采用裸设备。这个需要参考具体Unix的相关文档。

6.能够使用一个磁盘的第一个分区作为裸设备吗?

可以,但是不推荐。在Unix的比较旧的版本是银行,磁盘的第一个分区常常包含这个磁盘的一些信息,以及逻辑卷的一些控制信息。若这些部分被裸设备覆盖的话,磁盘就会变得不可识别,导致系统崩溃。

较新的Unix版本不会发生这样的情况,因为它们采用了更复杂的技术来管理磁盘,逻辑卷的一些信息。

但是,除非很确信不要使用磁盘的第一个分区来作为裸设备。

7.我可以把整个裸设备都作为Oracle的数据文件吗?

不行。必须让数据文件的大小稍微小于该裸设备的实际大小。至少要空出两个oracle块的大小来。

8.裸设备应该属于那个用户?

应该由root来创建裸设备,然后再分配给Oracle用户以供使用。同时还要把它归入Oracle用户所在的那个组里边(通常都是DBA)。

9.在创建数据文件时如何指定裸设备?

和普通文件没有什么太大的区别,一样都是在单引号里边写上裸设备的详细路径就可以了。举一个例子:要在创建一个表空间,使用两个裸设备,每个分别为30M的大小,Oracle块的大小为4K,可以用下面的命令:
CREATE TABLESPACE RAW_TS
DATAFILE '/dev/raw1' size 30712k
DATAFILE '/dev/raw2' size 30712k;

10.Oracle块的大小和裸设备有什么关系吗?

Oracle会必须是裸设备上物理块大小的倍数。

11.如何在裸设备上进行备份?

在裸设备上,不能使用Unix实用程序来进行备份,唯一的办法是使用最基本的Unix命令:DD来进行备份。比如:dd if=/dev/raw1 of=/dev/rmt0 bs=16k。dd的具体语法可以参考unix手册,或者联机帮助。你也可以先用dd把裸设备上的数据文件备份到磁盘上,然后再利用Unix实用程序进一步处理。

12.如果我没有使用Oracle并行服务器选项,我可以在数据库上让一部分数据文件使用文件系统,另一部分使用裸设备吗?

可以。但是这样的话,会使备份过程更加复杂。

13.我应该把联机重做日志文件放到裸设备上吗?

这是一个极好的选择。联机重做日志文件是写操作非常频繁的文件,放到裸设备上非常合适。如果你使用了并行服务器选项,那么联机重做日志文件必须放到裸设备上面。

14.可以把归档日志文件放到裸设备上吗?

不行。归档日志文件必须放到常规的Unix文件系统上面,或者直接放到磁带上面去。

15.我可以在裸设备上边放置多个数据文件吗?

不行。所以你必须在设置裸设备时非常小心。太小的话,会导致空间很快用完,太大的话,空间就白白浪费了。

16.因应该把几个裸设备放到同一个物理磁盘上吗?

这样做不好。因为使用裸设备就是为了提高磁盘读写速度。而把多个裸设备放到同一个物理磁盘上会导致读写竞争,这样对于提高I/O速度是不利的。应该尽量分散裸设备到不同的物理磁盘上,最好是分散到不同的磁盘控制器上。这是最佳选择。

17.需要把所有裸设备都定义成同样的大小吗?

这不是必须得,但是划分成同样的大小对于管理数据库比较有利。

18.为了在Unix上使用裸设备,我需要改变Unix核心参数吗?

不需要。但可以选择减小缓冲区的大小,如果没有别的应用也在同一台Unix机器上运行。因为运用了裸设备以后,不再使用Unix的系统缓冲区。

19.为了提高读写速度,在操作系统级别上,还有什么办法可以采取吗?

使用RAID(廉价冗余磁盘阵列)也是非常有效的办法,尤其实那种读写非常频繁的系统。

20.在考虑了以上所有方面后,还能有什么办法可以提高性能的吗?

这就需要对Oracle 进行优化,并且购买更多的磁盘和磁盘控制器,来分散I/O到不同的磁盘上。
第三,RAW设备(同2,就是指裸设备)

论坛徽章:
0
发表于 2008-05-04 17:13 |显示全部楼层
胖胖猪很热心啊

论坛徽章:
0
发表于 2008-05-04 18:54 |显示全部楼层
4楼这篇东西估计让人越看越糊涂,但热情可嘉

在AIX里,每个LVM设备支持两种操作方式,分别被抽象为 Block Device (块设备)和 Character Device (字符设备),
其中Character Device 又被称为 Raw Device (原因往下看):
比如:

# ls -l /dev/*hdisk0
brw-------   1 root     system       22,  2 May 15 2007  hdisk0
crw-------   2 root     system       22,  2 May 15 2007  rhdisk0

# ls -l /dev/*hd3
brw-rw----   1 root     system       10,  7 May 15 2007  /dev/hd3
crw-rw----   1 root     system       10,  7 May 15 2007  /dev/rhd3

这里文件属性开头的'c'字母代表Character, 文件名开头的'r'字母代表Raw。

字符设备支持不定长的数据传输 (data transfers of arbitrary sizes),最小一个字节(但绝不是每次只能传一个字节或字符!),
LVM和存储设备的单次最大I/O只受 LTG (logical track group) 大小的限制,缺省为128KB,可修改。

块设备只能做定长的数据传输,数据必须经过 'kernel buffer cache'。
这个以512-byte block 为单位的buffer cache是传统的块设备的缓存,千万不要和文件系统的缓存混为一谈!!
这样的存取方式不仅效率低,而且带来诸多问题,严重影响大数据量传输的性能,
所以现代操作系统中几乎不用块设备的方式进行高速存储设备的数据存取。

数据库建议直接使用裸设备,意指避开文件系统和文件系统的缓存管理,直接和字符设备打交道。
(注意:文件系统一定是建在字符设备上的,不可能建到块设备上)

这样做的好处主要是三个:
1. 实现每个I/O的代码大大减少:filesystem 和 virtual memory for filesystem 的代码都规避了。
2. 避免了重复缓存造成的内存浪费(数据库和文件系统都有自己的数据缓存)。
3. 避免了文件锁的问题:文件系统里的文件不能同时被多个进程或线程更新。

坏处也有:
1. 失去了通过对普通文件进行管理的易用性。
2. 不能利用文件系统的 Readahead 的功能,顺序读的速度可能做不到最优

自从有了DIO和CIO之后,基于文件系统的数据库性能得以大大提高。
CIO是最接近与裸设备的一种基于文件系统的数据库运行方式,因为它解决了两个问题:
没有文件缓存(就是裸设备优势之2.);
没有文件锁(就是裸设备优势之3.)。
它保持了文件的可见性,所以不存在裸设备劣势之1。
当然DIO和CIO同样不支持Readahead。

综上所述:

+字符设备和块设备是对同一个物理设备的两种不同的存储方式的抽象。
+裸设备这个感念是针对其上有无文件系统来说的,和字符及块设备在概念上没有任何实质联系;
+块设备的block buffer机制和文件系统的缓存是两回事;
+块设备在现代操作系统中基本没有任何用途。
+数据库用裸设备或文件系统mount with CIO, 结合AIO (异步I/O),可以达到最佳I/O性能
  (在AIX 新版本中raw LV 和 CIO FS 均支持 AIO Fast Path );

注:相关概念或称谓在不同的操作系统中可能不尽相同,但原理是一样的。

论坛徽章:
0
发表于 2008-06-12 10:53 |显示全部楼层
既然是这样,那为什么informix配置中建立裸设备后还要用ln命令连接起来?在AIX LVM中建立lv后,/dev目录下同时生成了一个lvname和rlvname。我一直没搞懂既然建立的lv后为什么还要链接。

论坛徽章:
1
荣誉版主
日期:2011-11-23 16:44:17
发表于 2008-06-12 13:36 |显示全部楼层
原帖由 loverVC 于 2008-6-12 10:53 发表
既然是这样,那为什么informix配置中建立裸设备后还要用ln命令连接起来?在AIX LVM中建立lv后,/dev目录下同时生成了一个lvname和rlvname。我一直没搞懂既然建立的lv后为什么还要链接。


咋ln了?

论坛徽章:
0
发表于 2008-11-29 23:27 |显示全部楼层
4楼的说法更准确,6楼的归纳有几个地方不准确,裸设备raw lv即是直接与driver打交道,单次I/O必须是512-byte 对齐的,所以传输大小至少是512字节的整数倍。
反而块设备是利用了系统缓存,可以支持变长I/O的,这正是使用额外缓存带来的灵活度。
块设备只是一个逻辑上的概念,用mount的时候能够看到文件系统与块设备的对应的。但具体的文件创建、读写等都对应到裸设备。

补充:
其实大家做个简单的dd测试就可以看出端倪,raw lv只能接收512整数倍的blocksize大小,而对应的块设备lv可以接受从1-512之间的任何大小:
$dd if=/dev/zero of=/dev/rtestlv01 bs=1  
dd: 0511-053 The write failed.
: A system call received a parameter that is not valid.
3+0 records in.
0+0 records out.
$dd if=/dev/zero of=/dev/rtestlv01 bs=1024
^C793+0 records in.
793+0 records out.


$dd if=/dev/zero of=/dev/testlv01 bs=511
^C452+0 records in.
452+0 records out.
$dd if=/dev/zero of=/dev/testlv01 bs=1023
^C595+0 records in.
595+0 records out.

[ 本帖最后由 Charlemagne 于 2008-11-30 12:16 编辑 ]

论坛徽章:
0
发表于 2008-12-01 10:42 |显示全部楼层
认真学习了。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP