中小银行运维自动化经验分享，欢迎大家跟帖讨论！（获奖名单已公布-2014-09-25）

cryboy2001

不管多好多高端的设备，总有出问题的时候，用大量廉价设备，让问题天天出现，但又不影响整体应用，是一个非常好的方法。现在就等相关应用实践更成熟了。

zhaopingzi

喜欢冷备，简单，不伤脑

睿智2012

学习一下，没接确过银行it

yunas

现在的说的运维都是互联网行业的。金融行业的运维范畴，其实还是归纳属于系统工程更合适。

jiang_box

作业调度项目需求书
第1章 AA银行作业调度管理系统需求
1.1AA银行作业调度管理现状
当前随着AA银行业务的日益发展，在日常工作中存在大量批量作业的调度和管理工作。并且，这些数量庞大的批量作业，分布在不同的操作系统平台，需要由专人负责进行不间断的人工调度和验证，人员工作负荷极高，操作风险极大。随着系统复杂性及数据敏感度的进一步提高，传统的手动操作方式，已经不能适应安全运维的管理要求。
针对这个现状，我们需要引入一款具有集中化管理、自动调度作业功能、并且能够正确反应业务逻辑的作业流调度管理系统，来协助AA银行运行管理人员做好批量作业调度管理的工作。
1.2AA银行调度管理系统需求概述
1.2.1作业调度管理集中化的需求
AA银行作业调度管理集中化的需求主要表现为：
1、多平台，多编程语言的支持
需要作业调度管理系统能支持多种主流操作系统平台，能对数据库及其他应用系统进行一定的连接调度，并且能够支持多种程序语言开发环境所开发的批量调度程序。支持windows,Linux和Unix三类系统平台,如AS400、IBM AIX、HP-UX、Windows Server等常见OS。针对各种平台的作业（如：unix-shell菜单操作/unix-shell脚本操作/unix-命令手工输入/windows-gui界面操作/window_ie操作/windows-bat批量操作等），系统均可稳定安全地实现作业自动化调度及管理。
2、批量作业集中定义、集中调度
批量作业集中定义和集中调度主要包括了以下几点：
在统一控制界面中进行跨平台的作业定义和编辑。
在统一控制界面中进行跨平台的作业调度。
当被调度执行作业的服务器与主控服务器失去联系时，能有合理的容错方式。
3、作业运行状态及结果的集中监视，集中的事件管理
批量作业运行的结果也需要有集中监视功能，并有集中的事件管理功能，主要包括：
批量作业运行状态、结果以及返回值能在统一状态监视界面中进行实时监视。
能将运行在不同操作系统，不同业务流的作业集中在统一监视界面中监视。
能对作业执行历史，当前状态和以后执行计划进行集中显示。
对作业执行过程中的事件消息能进行集中管理，并能与其它事件管理平台集成。
4、集中的用户管理
批量作业调度集中管理控制台需要有用户管理功能，主要包括：
批量作业调度集中管理控制台具有基于角色的用户管理。
权限管理能将权限划分到足够细致，如让不同用户管理不同作业/作业流。
1.2.2作业调度管理自动化的需求
AA银行批量作业调度自动化的需求主要表现为：
1、批量作业自动调度
通过集中控制台上的设定，能实现以下方式的自动调度：
能实现AA银行系统现有的所有日常批量自动调度。
作业按逻辑顺序定义后，能自动触发后续作业。
指定特定时间自动执行作业。
指定按周期循环自动执行作业。
指定特定的事件作为触发条件自动触发作业。
2、批量作业执行出错后的自动报警和故障自动恢复
批量作业执行发生错误时，能自动报警和进行故障恢复，主要包括：
能获取作业执行错误的返回码，并根据返回值判断执行不同的后续作业。
作业执行错误时，能通过多种方式自动报警。
作业执行错误时，能有相应的自动恢复功能（如自动重新调度、暂停作业等待管理员操作等）。

1.3作业调度管理系统主要功能要求
1.3.1作业自动调度功能
作业/作业网的自动化运行可以通过日历，日程安排和事件触发联合使用来实现，包括在不中断作业/作业网运行的情况下修改日程安排，调整运行计划等。
（1）定义多个日历。
在作业网定义中，可以根据不同作业网需要定义不同的日历。
（2）基准时间定义
定义作业组的起始基准时间，如果要大批量更改作业/作业网执行开始时间，那么直接修改这个基准时间就可以。减轻了修改负担。
（3）定义日程安排。
日程安排可以定义开始日期，时间，运行周期，遇到休息日是否运行等定义。
（4）排他设定。
例如作业/作业网A，B，C是同类型作业，可以设置一个排他属性，例如作业/作业网A对B是排他，B对C是排他，三个作业碰到一起情况下，可以自动的判断只行作业/作业网C。
（5）作业网嵌套
支持作业网嵌套定义，嵌套的作业网可以灵活定义日程。如A作业网由作业网A1嵌套作业网A2形成，A1和A2均可以定义自己的日程，即在一个作业网中的子作业网可以任意定义各自日程。
（6）执行作业/作业网。
作业根据计划自动的进行运行，不需要再进行人工干预。但是一旦遇到必须要更改计划的情况下，需要支持临时的修改。即在提供自动作业执行计划前提下，也通过同时提供人工的修改。
（7）通过联合如下事件触发作业/作业网的自动运行。
提供文件监视功能。监视文件新建，删除，修改动作。
提供接收邮件触发。收到指定地址，指定内容的邮件以后，触发后续作业。
提供监视log文件。监视log文件中特定的字符，例如“error”等，触发后续 作业。
提供接收MQ，MSMQ消息触发，这样就可以和主机进行通讯，互相协同作业的自动调度。
（8）人机交互功能
对于一部分需要人工干预才能继续的作业/作业网，作业调度管理系统支持人机交互，人员操作完成后再交后系统进行后续自动化处理，实现可管理的人工干预+自动化运行。
1.3.2作业执行判断及故障判断和处理功能
作业执行可以根据返回码判断执行不同的后续作业；作业执行发生错误时，亦能据此采用预先设定的报警方式进行自动报警和故障恢复。
对作业执行结果的判断提供多种判断方式：
判断方式        判断条件
返回值判断        返回值大于判断值；
返回值大于等于判断值；
返回值小于判断值；
返回值小于等于判断值；
返回值等于判断值；
返回值不等于判断值。
文件判断        文件容量；
文件个数；
文件日期；
文件存在；
文件不存在。
参数判断（数值型）        参数大于判断值；
参数大于等于判断值；
参数小于判断值；
参数小于等于判断值；
参数等于判断值；
参数不等于判断值。
参数判断（字符型）        参数等于判断值；
参数包含判断值；
参数不等于判断值；
参数存在；
参数不存在。
作业执行错误时，能通过多种方式自动报警和自动恢复功能。
提供类似“恢复作业”这样一个设定，当某个作业发生错误的时候能自动的执行这个恢复作业。也可以把这个恢复作业定义成一个事件，例如发送邮件，发送日志信息，发送MQ消息等，作为一种报警的手段，及时的通知系统管理员。这样自动化的设定可以在最短的时间内让管理员来解决当前发生的错误。出错处理的方式主要包括：
发送消息到事件控制台进行集中处理；
发送MAIL给系统管理员；
发送MQ消息；
发送MSMQ消息；
运行其它出错处理命令，如声音报警，短信报警等。
此外异常结束的作业或作业/作业网还可以以各种方式再次执行。再次运行的方式有以下几种：
从异常结束的作业再次执行；
从异常结束的作业的下一个作业开始执行；
从异常结束的作业/作业网再次执行；
从头执行；
指定特定位置执行。
1.3.3权限管理功能
作业调度系统至少包含如下权限，便于系统相关人员的权限管理，保障安全稳定运行。
权限名称        说明
管理员        管理员权限。具有对单元所有者、资源组操作权限、以及作业/作业网等的定义・执行・编辑权限
作业编辑操作人员        作业/作业网定义・编辑权限
作业执行人员        作业/作业网的执行・浏览权限
一般监视人员        作业/作业网的浏览权限
1.3.4系统支持集群
为了保证系统的高可用性，作业调度管理系统需要支持常见的集群系统。当主节点发生故障的时候，可以自动向各自的辅节点切换。

1.4作业调度管理系统业务管理要求
1.4.1业务流管理的继承性
AA银行业务繁多，流程复杂，各个业务流在批量处理上区别很大。所以需要将这些应用集中管理。然而要做到这点，首先就需要作业调度系统为现有的业务流提供很好的继承性，主要需求表现在：
批量调度产品的导入能够不对现有的业务流产生影响。
能够有机的与现有的业务系统融合。
能够准确定义现在的业务流，表达现在的业务流的逻辑关系。
能按现有作业流逻辑准确地调度作业流。
能够保证业务系统性能、业务流正常运行。
能够与现有其他管理系统/平台进行整合。
1.4.2业务管理的扩展性
在保证对现有业务流的很好的继承性的前提下，也要求作业调度管理系统能够提供很好的扩展性，在业务流扩展的时候，第三方解决方案也能有很方便的扩展定义接口，以适应AA银行业务的不断发展。主要需求表现在：
能够很方便的定义，导入，导出，变更业务流，并且提供定义模板。
能够动态的调整业务流。
能够方便定义、管理全新的业务流。
能够与新导入的其他管理系统/平台进行整合。
1.4.3业务管理的完善性
除了能保证对现有业务流的继承性和扩展性外，更应该具备对现有业务流的完善性和提高的功能，从而达到业务流的先进性。主要需求表现在：
能够提供业务作业开发的统一标准；
能够提供应急恢复方案咨询；
能够提供本地化的图形化管理视窗。
1.4.4系统要求
作业调度管理系统必须支持巨大规模作业处理，保证系统安全，稳定，高效运行，满足AA银行IT建设快速发展的需要

1.5项目涉及作业情况




作业调度系统涉及的作业情况
序号        作业名称        作业类型        操作系统类型
1        检查TCN系统TOP和JBPING        unix-命令手工输入        aix
2        发送接收凭证式国债文件        unix-命令手工输入        aix
3        公务卡数据上传        windows-gui界面操作        windows
4        传输基金文件        windows-gui界面操作        windows
5        总对总文件上传执行任务        window_ie操作        windows
6        开关POS服务        unix-shell菜单操作        unix
7        中债文件下载        window_ie操作        windows
8        国债中心传送数据        window_ie操作        windows
9        OPICS日终处理        windows-gui界面操作        windows
10        导出贷记卡信息        其它类型        windows
11        导出公积金贷款文件        其它类型        windows
12        关闭中间业务系统服务        unix-shell菜单操作        unix
13        实时清算、影像备份        unix-命令手工输入        aix
14        数据仓库日切        window_ie操作        windows
15        开关现代支付服务        unix-shell菜单操作        aix
16        查看新财务系统批处理结果        windows-gui界面操作        windows
17        检查外汇申报        windows-gui界面操作        windows
18        基金日启日终        window_ie操作        windows
19        国结信贷数据下载上传        windows-gui界面操作        windows
20        国结CRM数据生成上传        windows-bat批量操作        windows
21        信贷跑批        windows-bat批量操作        windows
22        prism数据上传        window_ie操作        windows
23        贷记卡数据上传        window_ie操作        windows
24        重启国结服务器服务        windows-gui界面操作        windows
25        重启SAS服务        windows-gui界面操作        windows
26        贷款手机数据导入        windows-bat批量操作        windows
27        收单数据上传        window_ie操作        windows
28        检查CM影像        windows-gui界面操作        windows
29        外汇数据导入国际系统        windows-gui界面操作         windows
30        信贷导入报表数据        windows-bat批量操作        windows
31        传输银联数据        windows-gui界面操作        windows
32        信贷系统十级分类处理        windows-bat批量操作        windows


1.6技术支持指标

提供免费技术支持服务：此期间保证技术支持服务质量，配备专门的技术支持团队，保证技术支持力度和响应速度，具有快速解决问题的能力。
7x24的电话或者邮件技术支持
现场响应：有紧急救援现场支持服务，对于紧急情况可以在3小时内到达现场处置。
驻场服务：在系统部署、试运行阶段，对产品调试、模块开发提供至少1个月的专业工程师驻场服务。
专职维护工程师：为本项目设立专职维护工程师，专门负责技术支持和维护事项，以便更好了解实际业务需求，有利于快速分析、解决问题。
由专职工程师提供每半年一次定期全系统检查及服务
免费技术服务过期后，每年后续服务总费用不超过系统总价的15%

1.7培训
系统安装前后各提供一次原厂专业技术培训，总计次数不少于2次
如系统有后续升级版本，自升级完成后提供不少于1次免费的培训。

jiang_box

上面是一份银行的作业调度项目建设需求说明书，供大家参考，后续将介绍一些银行的应急处置、监控诊断的自动化等方面内容

ytec_use

本人正好负责这样一个产品，下面是产品简介：

USE产品简介

　　USE是一个调度平台产品，主要完成任务流程的调度执行。
　　早在2012年，USE 1.1版就在两个银行构建了企业级的统一调度平台，实现了全企业应用系统的统一调度管理。到2014年，USE又推出了2.0版，以更小的系统开销和更强大的功能来支持企业级的统一调度。


产品特点
真正的企业级调度平台

　　所谓企业级调度平台，是指在一个企业内构建的、能够为企业内所有应用系统提供调度服务的产品。除了对所有应用系统的所有任务流程进行集中调度外，它还能够对这些任务进行集中管理、集中监控、集中报警和集中部署。

真正的通用调度平台

　　所谓通用调度平台，是指不限于某几种特殊类型的应用，而是可以涵盖所有的应用系统类型，从实时业务处理，到数据统计分析，再到办公自动化。只有通用的调度平台，才能够满足企业级调度的需求。

完整的工作流引擎

　　USE内置了一个完整的工作流引擎，能够支持分支、汇聚、条件、嵌套、循环等所有工作流规范和形态，能够满足各种复杂的流程逻辑。只要是能够画出的流程图，都可以被USE执行。

多点故障不间断

　　USE自带主备和自动接管机制，不需要额外的软件支持，就可以实现一主多备、实时接管，真正达到无需人工值守的稳定性。

第三方产品的原生支持

　　USE可以在API级支持IBM DataStage、Informatica PowerCenter、Java Class、Web Service、数据库存储过程、动态函数库函数等作业类型，实现对这些类型作业执行过程的真实控制，而不是控制其壳脚本。

国际化与二次开发

　　USE产品具备完整的国际化支持能力，缺省内置简繁体中文、英文，并可方便地转换为其它语言，完全适用于跨国、跨地区企业的使用。
　　USE还具备二次开发平台，可以任选C/C++或Java语言进行二次开发，以满足企业特殊的或未来的需求。


典型案例
厦门某银行统一调度平台

　　以USE产品构建该银行的统一调度平台，对从联机业务处理到数据仓库应用的30多个应用系统进行统一的调度管理，涉及上百台服务器，涵盖多种操作系统平台。

证监会某系统

　　12个ETL服务器组成的集群，每天处理多达上万个作业，无需人工干预即可从容应对11个服务器同时宕机故障，整个切换过程无缝衔接，无人工干预全自动完成。

上百个大中型项目

　　USE产品已经在本公司所承接的上百个大中型项目中得到应用，并且还在以每年数十个项目级应用的速度不断增加。


环境要求
　　操作管理端为Web应用模式，不限操作系统，不限服务器。
　　核心服务端支持Linux、AIX、HP-UX（含IA/PA两种架构）、Solaris、Windows。
　　内嵌一个文件系统数据库以保证平台的稳定，支持所有ODBC/JDBC数据库。

白皮书：http://wenku.baidu.com/view/31839875bcd126fff7050b66.html

send_linux

ytec_use 发表于 2014-09-01 22:48
本人正好负责这样一个产品，下面是产品简介：

USE产品简介

能说说使用情况么，别光贴个说明书啊

流氓无产者

q1208c 发表于 2014-08-27 11:07
虽然离我的老家不远, 但我真的是第一次听说这个银行.

而且, 国内的银行, 据我知道, 越大的银行, 胆子越 ...

呵呵，金饭碗不能随便动啊

q1208c

回复 29# 流氓无产者

  要是我, 我也不动.