Chinaunix

标题: Netbackup 6.0进程结构和备份恢复流程 [打印本页]

作者: 天涯明月刀 时间: 2008-07-22 15:36
标题: Netbackup 6.0进程结构和备份恢复流程
Netbackup 6.0进程结构和备份恢复流程

6楼是pdf版本

1. 引子：

Netbackup 6.0对比5.x引入不小的变化，比方：
新的介质管理服务。企业介质管理器（Enterprise Media Manager，简称EMM）。
新的policy管理策略服务。作业执行管理器（NetBackup policy execution manager,简称nbpem）
新的作业管理服务。作业管理器（NetBackup job manager，简称nbjm）

再加上其他的一些变化就引起了整个备份流的一些变化。

本文对主要的Netbackup的守护进程和进程作了描述，并且最后列出了一个备份过程的流图和一个恢复过程的流程图。

本文是参考以下的一些文档的整理文档：

《VERITAS Netbackup 5.x for UNIX,Administration (Fundamentals II:Lessons)》
《VERITAS NetBackup 6.0 故障排除指南》
《System Administrator's Guide for UNIX, Volume 1》
《Netbackup System Administration Help》 ---软件帮助

以前都只是实施和使用NBU,没有特别详细的研究过它的机理。有什么描述或理解不准确的地方还往指正。

转载请注明出处： http://hi.baidu.com/wa0362/

===========

2. 言归正传：

说到进程就要首先区分守护进程(Daemon)和进程(Process).
这个概念跟UNIX中的概念相同，Daemon是在后台一直运行的进程，随时等待服务请求。
而Process只有在执行特定操作的时候才需要它来运行，当有请求到daemon需要特定Process是process才会由Daemon来启动。

但是又要注意的，其实在NBU里有些进程已经模糊了Daemon和Process概念

下面列出了一些主要的Daemon和Process，6.0有一些新的Daemon和Process。

------
2.1 Daemon守护进程:

图1：

bpdbm:
Netbackup Database Manager数据库管理器后台驻留程序
在主服务器上，用于管理配置、错误和文件数据库的 NetBackup 数据库管理器程序。

bprd:
Request Manager请求管理器
Master server 的主守护进程，在主服务器上，该请求后台驻留程序可对客户机和管理的以下请求作出响应：
◆ 恢复
◆ 备份（预定的和用户控制的）
◆ 归档
◆ 列出已备份或归档的文件
◆ 手动即时备份（通过 NetBackup 管理界面的手动备份选项启动）

ltid:
logical tape interface daemon介质管理器设备后台驻留程序
提供设备管理和监控，例如：按照client的请求来mount或unmount volume
将对robot和drive的控制请求转换为相应的设备识别的命令。
通过向vmd查询catalog而确定被请求的介质的位置。

NB_dbsrv:
Catalog所在的数据库进程,6.0为Sybase..

nbemm:

Enterprise Media Manager 企业介质管理器
nbemm 服务：集中进行资源选择。nbemm 可维护关系数据库中的设备、介质和存储单元。在 NetBackup 6.0 之前的版本中，资源选择由 bpsched、bptm、ltid、和机械手设备后台驻留程序处理。

nbjm:
Job manager
在主服务器上，接受来自 nbpem 的请求以运行备份作业，或从 bplabel和 tpreq 等命令运行介质作业。nbjm 可为每项作业从nbrb获取资源，如存储单元、驱动器、介质以及客户机和策略资源，并执行和监视作业。

nbnos:
Notification Service NetBackup 通知服务
Infrastructure service which allowd Netbackup components to send and receive events.负责发送生成和接受events logs。

nbpem:
Policy execute manager 策略执行管理器
在主服务器上， nbpem 服务通过 nbproxy 从 bpdbm 获取策略列表，生成作业工作表，启动到期的作业并为下一批到期的作业设置计时器。

nbrb：
Resource Broker 资源代理
负责分配资源以响应来自 nbjm 的请求。并从 nbemm （企业介质管理器服务）获取物理资源，并管理逻辑资源，如多路复用组、每个客户机的最多作业数、每个策略的最多作业数。nbrb 还负责启动驱动器卸载，管理挂起的请求队列。

nbsl
Service Layer

Facilitates communication between the NetBackup graphical user interface and NetBackup logic. NBSL is required in order to run Netbackup Operations Manager(NOM), a managing and monitoring application that works in conjunction with Netbackup.

vmd:
Media manager daemon或者volume manager daemon, 介质管理器卷后台驻留程序
由ltid启动。
介质管理器卷后台驻留程序（在 Windows 上为 NetBackup 卷管理器服务）允许对介质管理器进行远程管理和控制。vmd 为 6.0 版之前的NetBackup 服务器提供一个 EMM 代理。
提供介质管理和设备配置的支持。
管理volume catalog并处理介质请求：
l 为用户接口更新volume catalog
l 为ltid提供关于介质位置的信息
l 在media server上跟新设备配置信息

----------

2.2 Process :
在process表里有一部分进程就是daemon。这里不再重复。并且下图列出来的Process只是一部分，某些进程只有在需要的时候才会运行。

图2：

bpcompatd
为了向后兼容

bpjava-susvc
启动图形界面才会有

bpjobd
维护Netbackup job catalog。 bpjob进程持续的推送job的活动状态给Activity Monitor.
Activity Monitor根据这些信息来更新job的状态。

nbproxy:
作为它所服务的进程的子进程运行于主服务器和介质服务器上。nbproxy 可为不是线程安全的库提供一个线程安全 API。

nbsvcmon：
Netbackup Service Monitor 监控netbackup进程状态.

bptm:如果storage unit是disk则为bpdm
Tape Media Manager
bptm 管理着备份image在client和存储设备之间如何传递。bptm会派生 child bptm进程。
子进程从client接收数据，父进程写磁带，在主服务器和介质服务器上， bptm 是磁带介质管理器，当存储单元类型为介质管理器时将使用它。此程序可管理客户机与存储设备之间的映像传输。它还可处理备份和介质管理器软件之间的通信。
此外，bptm 还管理 NetBackup 介质数据库，并提供有关介质列表报告屏幕的信息。

bpcd:
在 UNIX 客户机上，bpcd 是 NetBackup 客户机后台驻留程序，它允许 NetBackup 在远程主机（可能是 UNIX 客户机，也可能是其他服务器）上启动程序。例如，服务器可以连接到 UNIX 客户机，而无需远程主机上的 /.rhosts 条目。当 nbjm 启动 bpbrm 以及当
bpbrm与客户机通信时，将使用此程序。

bpbkar:
l 生成备份image,并且发送给bptm
l 发送metadata给bpdrm

bpbrm:
备份/恢复管理器
在主服务器和介质服务器上，bpbrm可管理客户机和介质管理器进程，并使用这二者的错误状态确定备份或恢复操作的最终状态。
对于每个备份或恢复操作， nbjm 都将在具有合适的存储单元的服务器上启动一个 bpbrm 实例。

bplist:
在 UNIX 客户机上，当用户在恢复操作过程中浏览备份数据时，此程序将与主服务器上的 bprd 进行通信。通过使用客户机用户界面或在客户机上执行。

Netbackup tar:
在 UNIX 客户机上，磁带归档程序是 NetBackup 所提供的特殊版本的 tar，用于恢复映像。

bprestore:
在 UNIX 客户机上，当用户启动恢复操作时，此程序将与主服务器上的 bprd 进行通信。
通过使用客户机用户界面（或通过在客户机上执行/usr/openv/netbackup/bin/bprestore 命令）启动恢复。

[ 本帖最后由天涯明月刀于 2008-7-24 09:42 编辑 ]

作者: 天涯明月刀 时间: 2008-07-22 15:36
3 下面是一次普通备份的流程图和说明：
图3

启动备份有三种方式：
◆ 当 nbpem 服务检测到某项作业到了启动时间时，将开始进行预定的备份操作。nbpem会检查到了启动时间的预定客户机备份的策略配置。(备份过程从第三步开始)

◆ 如果管理员在 NetBackup 管理控制台中选择了手动备份选项，将开始进行即时手动备份。这会使 bprd 联系 nbpem，然后 nbpem 将处理管理员所选择的策略、客户机和日程表。

◆ 当客户机上的用户通过该客户机上的用户界面（或者通过 bpbackup 或 bparchive命令）启动备份或归档时，将开始进行用户控制的备份或归档操作。这将调用该客户机的 bpbackup 或 bparchive 程序，该程序向主服务器上的请求后台驻留程序 bprd发送请求。当 bprd 接收到用户请求后，它将联系 nbpem，后者会检查日程表的策略配置，并且在默认情况下，选择它在包括该请求客户机的策略中所找到的第一个用户控制的日程表。

1. 响应进程（bprd）接收到客户端的备份请求,

2. 把请求转给策略执行管理器nbpem；

策略执行管理器服务 (nbpem) 执行以下操作：
3. 从 bpdbm 中获取策略列表, 查询到有效的备份policy的存在（通过nbproxy）；

4. 向 nbjm 提交当前已到预定启动时间的所有作业(按照schedule到了执行时间的策略)。

接下来，作业管理器服务 (nbjm) 将执行以下操作：

5.从资源代理 (nbrb) 请求资源。nbrb 从 nbemm 中获取存储单元/ 磁带机/ 介质 ID，
分配客户机和策略资源，并将分配 ID 返回给 nbjm。

6.nbjm 通过使用客户机后台驻留程序 bpcd 启动备份/ 恢复管理器 bpbrm，从而启动备
份。对于正常的备份（非快照备份）， nbjm 在介质服务器上启动备份/ 恢复管理器
bpbrm，介质服务器与主服务器可能是同一系统，也可能不是。

接下来，备份/ 恢复管理器 (bpbrm) 将执行以下操作：

7. 启动相应的介质管理器进程（对于磁带或光盘为 bptm，对于磁盘为 bpdm）

8. 通过使用客户机后台驻留程序 bpcd 启动客户机上的备份和归档程序 bpbkar，从而启
动实际的备份（或归档）。

接下来，备份/ 归档管理器 (bpbkar) 将执行以下操作：

9.将有关映像中文件的信息发送到备份/ 恢复管理器，该管理器将该文件信息定向到NetBackup 文件数据库中。

10. 将备份映像传输到介质管理器进程 bptm 或 bpdm。bptm 或 bpdm 进程可派生一个辅助进程，该辅助进程可接收映像并将其逐块存储在共享内存中。原始进程随后从共享内存中获取该映像，并将其定向到存储介质中。

11. bptm 通过与 nbjm 交换信息，以请求有关要使用的第一个介质和驱动器的信息。
bptm 将针对特定介质和驱动器的安装请求发送到介质管理器设备后台驻留程序ltid(ltid)， ltid 会将介质安装到相应的设备上。
如果备份过程中需要跨越磁带， bptm 将再次与 nbjm 交换信息以释放正确的磁带并获取另一盘磁带。nbjm 将与 nbrb 交换信息以完成这一任务。

将资源释放给 nbrb 并向 nbpem 返回状态。

4 下面是一次普通恢复的流程图和说明：
4.1 列表操作：

图4

1. 在启动恢复操作之前，用户会浏览文件目录，以列出在备份映像中可用的文件。然后可以从该列表中选择所需的文件。

2. 浏览操作通过客户机上的 bplist 程序进行。bplist 程序可以直接从命令行启动，并由
NetBackup 用户界面程序使用。

3. bplist 通过向主服务器上的请求后台驻留程序 bprd 发送查询来获取文件列表（请求后台驻留程序接着向 bpdbm 查询信息，并将该信息传输到客户机上的 bplist。

4.2 恢复操作：

图5

1.当用户启动恢复操作时， NetBackup 会调用客户机的 bprestore 程序，该程序将向请求
后台驻留程序 bprd 发送请求。此请求将对文件和客户机进行标识。请求后台驻留程序随后将使用 bpcd （客户机后台驻留程序）启动备份/ 恢复管理器 (bpbrm)。

2.备份/恢复管理器bpbrm将启动相应的介质管理器进程（bptm 适用于磁带或光盘， bpdm 适用于磁盘），并使用客户机后台驻留程序 (bpcd) 在客户机上的 NetBackup tar 程序与服务
器上的 bptm 或 bpdm 之间建立连接。

3.bptm 进程通过nbjm从 NetBackup 数据库中获取资源（驱动器和介质 ID）

4.分配获得同意后， bptm请求ltid挂载相应的磁带，将开始检索数据。在数据检索过程中，原始 bptm进程将映像逐块存储在共享内存中。辅助 bptm进程将映像传输给客户机。

5.客户机上 NetBackup tar 程序将数据写入客户机磁盘中。

[ 本帖最后由天涯明月刀于 2008-7-22 16:03 编辑 ]

作者: 天涯明月刀 时间: 2008-07-22 15:40
想贴个图真麻烦

[ 本帖最后由天涯明月刀于 2008-7-22 15:41 编辑 ]

图1.JPG (91.54 KB, 下载次数: 714)

图2.JPG (133.29 KB, 下载次数: 698)

图3.JPG (57.17 KB, 下载次数: 691)

图4.JPG (17.93 KB, 下载次数: 702)

图5.JPG (40.03 KB, 下载次数: 700)

作者: alex_linux 时间: 2008-07-22 15:50
挺好,不过6.5都出来了.

作者: 天涯明月刀 时间: 2008-07-22 16:04

原帖由 alex_linux 于 2008-7-22 15:50 发表
挺好,不过6.5都出来了.

不好意思，不是专干这个的
没6.5的注册码，搞不了

作者: 天涯明月刀 时间: 2008-07-24 09:41
pdf版

Netbackup 6.0进程结构和备份恢复流程.pdf

519.54 KB, 下载次数: 2013

作者: ry715 时间: 2008-07-24 09:55
下了附件，那就得回帖，不过没有下也得回，好就应该回，不回就不对，回了才对，回和好不好没关系（一唐僧~~~）

作者: jerrymy 时间: 2008-07-25 08:26
好东西。多谢了。:wink:

作者: xzc999 时间: 2008-07-25 09:22
好问
收藏下多看看了

作者: waring_id 时间: 2008-07-25 11:07
真的不错，楼主讲解得很有深度

作者: rocket123 时间: 2008-07-25 17:52
真得太好了，谢谢喽。。。希望多多写一点这方面的东西啊

作者: ly_cyz 时间: 2008-07-26 22:38
不错！

作者: starsseeker 时间: 2008-07-27 11:54
真是神贴啊~~学习一下了

作者: saintdragon 时间: 2008-07-27 15:25
收藏。并持续学习！

作者: bin__bin 时间: 2008-07-28 23:01
标题: it's good
learning

作者: lzhcb 时间: 2008-07-30 09:59
好东西,学习......

作者: ljjcover 时间: 2008-07-30 10:46
下了，谢了

作者: mddn 时间: 2008-07-30 14:43
太好了，谢谢楼主分享。

作者: langzishisan 时间: 2008-07-31 14:53
提示: 作者被禁止或删除内容自动屏蔽

作者: Priam 时间: 2008-08-04 14:06
不回帖对不起你啊!

作者: arbiter_2012 时间: 2008-08-05 11:38
学习了，呵呵，这个东西要的

作者: jgtvisionnex 时间: 2008-08-06 10:22
老大，这是谁写的啊？太好了！
感谢楼主啊！

作者: shuangfeng 时间: 2008-08-06 16:01
写的很是详细,希望多多出这样的帖子啊

作者: seposal 时间: 2008-08-06 17:02
hao tie

作者: summerblue 时间: 2008-08-07 14:04
实在是好，解开我不少的迷惑，珍藏。

作者: david5337 时间: 2008-08-08 22:24
表错哦！

作者: xiaomao2006 时间: 2008-08-10 13:22
这个书上都有的,

作者: wstar 时间: 2008-08-11 00:59
不错，挺好的。

作者: 剑次狼 时间: 2008-08-13 14:23
感谢,.最近正在学习NUB6.5

作者: 嘉绘 时间: 2008-08-14 21:22
1213

作者: bise 时间: 2008-09-11 16:41
xiexie,thanks

作者: 腻水的飞鱼 时间: 2008-09-11 20:18
赞一个，收藏学习。

作者: djgbl 时间: 2008-09-12 16:26
标题: 回复 #1 天涯明月刀的帖子
不错，不错，

作者: lovehe 时间: 2008-09-12 16:55
慢慢看看

作者: amirwap 时间: 2008-09-20 01:26
谢谢了,今天刚刚学习netbackup 5.0

作者: du_du_wolf 时间: 2008-09-21 08:56
挺不错，了解一下备份恢复备份流程对我这样的新手故障判断比较有帮助，希望楼主能继续出些这样的作品

作者: wgdwgd1 时间: 2008-09-24 17:53
不错,下来看一看.

作者: bian_yuan45 时间: 2008-09-28 19:23
写得很好，顶起来

作者: wrbccna 时间: 2008-10-07 13:14
牛人！如果有NBU6.5的就更好了

作者: ulla 时间: 2008-10-07 15:23
ding

作者: suzhouvip 时间: 2008-10-08 15:57
谢谢，不过PDF版本怎么下载不了啊

作者: wstar 时间: 2008-10-09 12:39
真是好东西啊。谢谢lz分享

作者: lotusin 时间: 2008-10-11 00:35
很好，我终于知道ltid是啥的缩写了

作者: netrommel 时间: 2008-10-11 20:54
感谢！！！

作者: iuff 时间: 2008-10-16 13:43
很不错，支持

作者: 苦木 时间: 2008-10-17 12:35
看看

作者: langziguying 时间: 2008-10-30 10:59
学习

作者: pumajun 时间: 2008-10-30 18:16
感谢，好东西

作者: mikewytao 时间: 2008-11-01 21:30
楼主谢谢了
学习了

作者: 老beijing 时间: 2008-11-01 22:28
楼主辛苦啦

作者: scdxl 时间: 2008-11-03 10:27
不错，获益不少

作者: alex1019 时间: 2008-11-04 03:56
感谢分享好东西~学习~~~

作者: xingbowu0419 时间: 2008-11-05 13:26
收藏:wink:

作者: aaron_chen86 时间: 2008-11-05 16:24
太感谢了很详细的讲解

作者: hlzhan 时间: 2008-11-13 08:46
标题: 回复 #1 天涯明月刀的帖子
Thanks alot!

作者: dying_in 时间: 2008-11-14 12:33
下了附件，那就得回帖，不过没有下也得回，好就应该回，不回就不对，回了才对，回和好不好没关系（一唐僧~~~）

作者: 呦昵克思 时间: 2008-11-14 14:51
LZ太伟大了，敬礼

作者: zlwww1227 时间: 2008-11-15 23:11
提示: 作者被禁止或删除内容自动屏蔽

作者: luhuan1111 时间: 2008-11-18 16:44
标题: 回复 #1 天涯明月刀的帖子
谢谢分享！赫尔

作者: CD_KEY 时间: 2008-12-03 14:12
LZ辛苦啦,,,

作者: hexilanlan 时间: 2009-01-07 10:30
ding le

作者: sambobo_2008 时间: 2009-01-07 11:08

作者: fishinthesea 时间: 2009-01-09 10:59

原帖由 天涯明月刀 于 2008-7-22 16:04 发表

不好意思，不是专干这个的
没6.5的注册码，搞不了

只要不使用6.5的新功能，6.0的注册码一样用

作者: wmj_lion 时间: 2009-01-09 11:39
提示: 作者被禁止或删除内容自动屏蔽

作者: lostgamer 时间: 2009-02-05 09:04
看贴回帖，留名飘过！！

作者: love4u 时间: 2009-02-12 23:03
好东西，收藏了

作者: diedaser 时间: 2010-01-18 16:25
收藏了

作者: guitar2002 时间: 2010-01-19 09:06
回个，下来看看

作者: guitar2002 时间: 2010-01-19 09:07
附件在哪里

作者: dannyzhang 时间: 2010-03-01 15:21
好东西不能让他消失了哦，呵呵

作者: 放飞蓝色梦想 时间: 2010-03-02 10:14
这个真的是好东西，收藏了

作者: shiyf4328 时间: 2010-03-02 20:57
希望多多出这样的帖子

作者: betterarcher 时间: 2011-04-09 23:05
收藏您的PDF了哈哈

作者: kw002007 时间: 2011-04-13 16:11
需要学习下最近正研究这个

作者: realy8 时间: 2011-06-18 23:54
极品，虽然有点老了，但还是很不错。

作者: yangflying 时间: 2012-07-13 10:49
谢谢楼主分享

作者: fscaps 时间: 2012-11-17 19:40
回复 1# 天涯明月刀

lz真是有心人，整理出这么好的文章，我一般很少回贴，看以楼主的对NETBACKUP的理解，与思路，让我不由要回帖，我一直想寻找NETBACKUP了解够深的导师，我想LZ是在行业内有些资深了，你知道在那里有好的培训机构与老师有这方面实战性的培训吗，最好是在广东（广州与深圳）这一带较好，急盼之中

作者: Siemone 时间: 2012-12-28 10:48
多谢了多谢了

作者: caesarqth 时间: 2013-01-21 14:57
好，非常感谢

作者: yq_jmhb 时间: 2013-06-03 16:27
very good,3ks!

作者: ChinaUnixViewer 时间: 2013-06-20 10:40
mark mark

作者: ascetic2012 时间: 2013-08-12 09:29
多谢。。。。

作者: lightship 时间: 2015-04-30 11:23
向前辈们致敬

作者: xiaochen04614 时间: 2016-08-18 12:48
下了附件，那就得回帖，不过没有下也得回，好就应该回，不回就不对，回了才对，回和好不好没关系（一唐僧~~~）

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)