【好书推荐】DB自动化运维真的需要吗？（获奖名单已公布）

lyhabc

Gray1982 发表于 2017-07-13 14:23
1、DBA是否需要学习自动化技术？
一般来说DBA的没必要学习运维方面的自动化

1、DBA是否需要学习自动化技术？
一般来说DBA的没必要学习运维方面的自动化

那如果有上千台，上万台DB呢？

2、如果需要自动化，那么日常DB运维中用到自动化的工作有哪些？
DB方面如果是没规律的操作是使用不了自动化。
如果在监控服务正常、重启方面还是可以的。

没规律 ，一般会标准化配置DB服务器的吧，比如密码一样，定期改密码，DB安装路径一样，DB端口一致，这些都可以标准化


3、自动化技术离不开编程语言和自动化工具，大家一般用哪种编程语言和自动化工具进行DB运维自动化，阐述一下你所用编程语言和自动化工具的优缺点和所在工作环境的DB数量吧
从运维角度来说只使用python，快速、方便、模块多、各程序都有api。

目前也是比较多人用python

Gray1982

回复 18# lyhabc

因为DBA关注的不是部署、配置文件、密码这类的东西，这些都是运维来负责，所以和DB数量没多大关系。
而且像密码这类的都可以是动态的。

lyhabc

Gray1982 发表于 2017-07-13 19:30
回复 18# lyhabc

因为DBA关注的不是部署、配置文件、密码这类的东西，这些都是运维来负责，所以和DB数 ...

超大公司确实是，但是本人面试过和接触过的公司，一般都要dba会python，自动化，运维和db其实有些东西是不重叠的，这些东西例如 ，几百个mha集群，如何管理，如何展示，如何将信息入库，这些运维都不会帮你做

chenxing2

1、DBA是否需要学习自动化技术？
从实际情况来说，每家公司对DBA要求不同，职责也不同，所以能不能用上也不好说，通常自动化跟运维挂钩。
（现在这家公司，DBA职责：审核SQL，优化SQL，动表动字段的都要过DBA，其他事比较少，有时要配合下运维和研发）
从个人角度来首，多学点总没坏处，先不说自动化，多弄些脚本也比人力强很多

2、如果需要自动化，那么日常DB运维中用到自动化的工作有哪些？
没怎么接触过DBA的实际工作，从以前工作来讲，数据库有主备，通常会在备库机的系统上开定时任务，然后定时备份数据。
然后会写一些工具，毕竟是开发，很多事情都用工具来做（如SaaS租户，由工具自动去处理一些事情，有一些是由业务处理的）

3、自动化技术离不开编程语言和自动化工具，大家一般用哪种编程语言和自动化工具进行DB运维自动化，阐述一下你所用编程语言和自动化工具的优缺点和所在工作环境的DB数量吧

工具通常是自研发，shell居多，有些是java开发的，最近打算转向用go来弄。
对于机器的cpu、内存、网络、磁盘、慢sql等等一些数据由程序定时采集扔到MQ（应用的监控也扔到MQ），平台处理实时显示结果，根据情况邮件或短信通知

4、数据库一般是企业比较重要的系统，对于自动化做成的数据库血案也时有发生，分享一下DB自动化实施过程中遇到的血案例子如果有的话

没搞过危险的自动化工具，也就没啥血案。最多是自动化业务出现问题，数据又不好回滚时，结合其他业务数据反向推倒生成数据，比较幸运也比较坑

aloki

1、DBA是否需要学习自动化技术？
一线运维的DBA每天要应付N个开发人员的需求，需要干的事情非常之多。例如：新业务上线，开发需要申请新的数据库集群；数据库的流量太大了，需要拆分；SQL的审核和上线；数据库的变更、升级；数据库的备份；再有就是帐号和安全，虚IP的维护，DNS、MySQL本身的维护，还有数据一致性，包括开发提的一些问题的排查，自身报警的处理等等。这其中有很大一部分是重复性的工作，如果都需要DBA手动去处理的话，那么通宵加班就是家常便饭，重复做同样的事情没有成长，比干程序员还苦逼。所以DBA需要学习自动化技术。

2、如果需要自动化，那么日常DB运维中用到自动化的工作有哪些？
数据库的运维工作包括部署安装、性能优化、备份容灾、故障恢复、预防性巡检等工作。这几个方面都存在不少重复度高、工作量大的任务，有的甚至还可以并行处理，可以通过自动化来完成。

3、自动化技术离不开编程语言和自动化工具，大家一般用哪种编程语言和自动化工具进行DB运维自动化，阐述一下你所用编程语言和自动化工具的优缺点和所在工作环境的DB数量吧
用shell能够实现比较简单的功能。用Java等高级语言虽然能实现复杂的功能，但学习过程和开发时间相对比较长。而Python相对来说简单、易学，所以一般用python来开发DB运维自动化。另外还会用到RabbitMQ和Celery这两个开源组件。真要说缺点的话，那就是手写SQL的能力生疏了。

4、数据库一般是企业比较重要的系统，对于自动化做成的数据库血案也时有发生，分享一下DB自动化实施过程中遇到的血案例子如果有的话
经历过备份故障这种事。每天运行的自动化备份，到用的时候却发现最新的是几个月前的，因为用来备份的空间满了。由此可见，备份的定期有效还原演练检验是多么的重要，再多的无效 /未经恢复演练检验的备份那都是没卵用。

niao5929

回复 16# lyhabc

希望我能获奖，好好学习下，不知道这东西WINXP支持不，拿它做个分布式文件同步系统应该很简单吧😄

lyhabc

chenxing2 发表于 2017-07-14 21:30
1、DBA是否需要学习自动化技术？
从实际情况来说，每家公司对DBA要求不同，职责也不同，所以能不能用上也 ...

这麽轻松啊

lyhabc

aloki 发表于 2017-07-14 23:26
1、DBA是否需要学习自动化技术？
一线运维的DBA每天要应付N个开发人员的需求，需要干的事情非常之多。例如 ...

备份失败没有监控的吗？磁盘空间，备份文件生成，先不说备份的完整性，备份完整性的话，很多公司都是抽检，大批量验证比较难

aloki

回复 25# lyhabc

就是太相信自动备份了，没定期检查和验证惹的祸。

chenxing2

lyhabc 发表于 2017-07-16 11:40
这麽轻松啊

每家公司对职位的要求或期望不同，很正常
就跟架构师似得，还有运维