IT运维技术讨论之三：如何满足运维不间断服务的需求

dengbao2001

获奖名单已公布：http://bbs.chinaunix.net/thread-4168588-1-1.html

CU中多少朋友曾经玩过ChinaRen的校友录，一个有着众多粉丝，且在当时那个年代是与同学联系沟通的一个重要平台，在2000年11月的某一天，因为一块RAID卡的故障，造成当时800万的访问量全部中断，30万左右的个人主页无一幸免。后来经过众多网友的重新上传，个人主页才逐渐恢复。
据ChinaRen估计，仅用于主页大巴恢复的资金就达几万美元。
如今，China的校友录早已关闭，虽然校友录的没落与此次事件没有直接关系，不过他给IT人敲了一个警钟，如何做好相关方面的冗余或HA，有着多么的重要

本期话题：
1.就你工作的的本身，谈谈你是否需要冗余和高可用？
2.如果需要冗余或者高可用，你是如何实现的？使用商业解决方案？还是开源解决方案？
3.你的工作环境发生因冗余或者高可用导致的事故吗？你是如何防止该类事故的再次发生？

活动时间：2015年1月8日---2015年1月31日

活动奖励：
欢迎大家对以上的任意问题回复，我们根据回帖情况评选4名踊跃参加的会员，赠送《24小时365天不间断服务：服务器/基础设施核心技术》

图书简介：
《24小时365天不间断服务：服务器/基础设施核心技术》  

作者： (日)伊藤直也    胜见祐己    田中慎司    广濑正明    安井真伸    横川和哉   
译者： 张毅
丛书名： 图灵程序设计丛书
出版社：人民邮电出版社
ISBN：9787115380241
上架时间：2014-12-31
出版日期：2015 年1月

dengbao2001

大概浏览下书的内容，还不错，欢迎大家就此话题发表意见，谢谢！

dengbao2001

我自己先来开个头吧

有点可惜的是我当前的公司这个方面的需求不那么强烈，所以能说的内容不多

我上一家公司这个需求还是很强烈的，就上家公司来说吧

1.就你工作的的本身，谈谈你是否需要冗余和高可用？

肯定的，生产几乎是7*24小时，而且严重依赖IT的系统，一旦IT方面个异动，个个大佬都跑来问长问短的。


2.如果需要冗余或者高可用，你是如何实现的？使用商业解决方案？还是开源解决方案？

网络方面： 双机房，虽然在一个厂区，相隔不是很远，两个6905，UPS统一供电
服务器方面：硬件肯定做到冗余，比如双电源，磁盘阵列一定要做的
应用方面：数据库一般都做群集，AD还好，因为是单域结构，有多个地方有DC，影响不大，Web方面用微软的NLB，文件服务器就难做了，因为数据量比较大，应用软件都多台服务安装，一台有问题，可以马上在另外一台开启，当然不能实时的，主要的应用总体还是冗余的


后来做了虚拟化，做冗余更方便了

3.你的工作环境发生因冗余或者高可用导致的事故吗？你是如何防止该类事故的再次发生？

发生UPS故障，某块电池由于超期服役，爆了，整个机房就没电了，全部服务器存储都停掉，后来再也不敢电池超期服役

guyeh

抛砖引玉))，坐等大牛发言。


1.就你工作的的本身，谈谈你是否需要冗余和高可用？
我本身的工作时服务于教育行业，本身对于冗余和高可用的要求不高，但是教育行业的某些核心数据现在越来越被关注，比如学生成绩；由于需要长期保留归档的需要，某一次系统宕机都有可能导致用户业务的中断和数据丢失。比如期末学生都眼巴巴的等着老师发布成绩突然系统崩溃，由此将导致老师不能发布成绩，学生不能知晓成绩；还比如日常课表和空闲自习室查询等等，这些都已经成为学生日常频繁需要浏览的信息，相关业务系统的冗余和高可用现在需求越来越大。

2.如果需要冗余或者高可用，你是如何实现的？使用商业解决方案？还是开源解决方案？
我们的业务的难点是数据积累和并发，简单说就是保证学校长期积累的各种数据的完整性和重点业务比如大学选课时高并发。这两个现在都会涉及到冗余和高可用；主要的方案是集群+虚拟化；比如oracle RAC和多虚拟机分发负载；教育行业目前经费充足，有使用开源的也有使用商业的。但是中国人的习惯是软件不愿意花钱，比如oracle RAC在高校中不少，但是花钱买的很少；有些学校的负载均衡也会采用LVS这样的开源产品。当然为了花钱也有使用商业的比如F5.

3.你的工作环境发生因冗余或者高可用导致的事故吗？你是如何防止该类事故的再次发生？
出现过最低级的故障时因为数据无备份，硬盘无RAID，导致硬盘逻辑坏道，导致10年的数据丢失，用户请专业的数据恢复公司才恢复。
我们一般都是要求备份资金富裕的用户采用双机和备份环境同时运行，包括负载均衡比如F5。

forgaoqiang

1.就你工作的的本身，谈谈你是否需要冗余和高可用？
也许我们自己并不需要但是我们的客户需要呀，因此结论就是需要。对于我们来说，高可用性还是其次，最重要的是保证数据的安全，提到安全就需要防入侵的同时保证数据不会因为意外而丢失。现在我们自己有自己的设备、用户、广告管理控制平台，都是经典的LAMP架构（也有LNMP），后端的数据库简单的复制。


2.如果需要冗余或者高可用，你是如何实现的？使用商业解决方案？还是开源解决方案？
简单的举一个客户的案例吧，是某地区建设银行的wlan覆盖，工程不是简单的wlan覆盖，同时还涉及到用户的管理，广告等管理，为了对用户进行验证，手机号方式已经发送数百万的短信，数据库具有大量的用户信息，基本上就是从网络层开始，采用开源软件定制的方案：
①网络层次采用两个4千兆网卡的网关，采用VRRP标准协议，设备之间进行心跳通讯，单台宕机不会造成网络中断，AC控制器也是双机互为热备份。
②Portal服务器也是采用两台R720的Dell服务器进行管理，直接采用开源负载均衡方案。
③后端数据库用的mysql，简单的复制模型，保证数据同步即可。

3.你的工作环境发生因冗余或者高可用导致的事故吗？你是如何防止该类事故的再次发生？
部分服务器采用的阿里云主机，阿里云曾经几次断网事件倒是导致分布式设备掉线不受管控，这个没有什么好的办法，后来采用了部分CDN分发静态资源，即使管理服务器离线的状态下，保证基本功能使用。这个没有太好的办法，即使设备通过DNS域名来连接服务器，也不能较快的将DNS指向另一个服务器，后来改进了客户端的行为，增加了备用服务器地址，从另一个方面解决高可用问题。至于冗余问题，本来就是小型公司，成本因素很重要，一般只做离线备份。

forgaoqiang

版主亲自发言了 过来支持一下
非常赞同前面开头说的 如果想要见大佬 那就让服务器跑的不正常吧 的确会有很多人电话过来问 甚至会来到现场与运维人员亲切交谈

有些服务是需要不间断的 特别是对于分布式设备控制的服务器 一旦中断 好多客户端就掉线了

目前来看，比较靠谱的方案仍然是虚拟化里面的各种实时迁移冗余手段，标准物理机安装的系统还是比较容易出问题的 而且没有好的办法回滚（游戏里面叫存档走分支技能），好的监控对于服务器运维很关键，估计就是书里说的内容吧，还没有读，稍后回复下自己的看法吧~

再次顶一次楼主 ~~

dengbao2001 发表于 2015-01-09 16:46
我自己先来开个头吧

有点可惜的是我当前的公司这个方面的需求不那么强烈，所以能说的内容不多

一介村夫

ChinaRen还在啊

欧利斯基

sqbijia.com/html/11/3/
sqbijia.com/html/11/1/
sqbijia.com/html/11/12/
sqbijia.com/html/11/2/6.html
sqbijia.com/html/11/2/3.html
sqbijia.com/html/11/2/11.html

dengbao2001

guyeh 发表于 2015-01-09 17:00
抛砖引玉，坐等大牛发言。

你的单位好呀，经费充足

教育行业会不会有很多视频音频需要保存呀，如果要长期可靠保存，怎么个实现方法啊？

dengbao2001

forgaoqiang 发表于 2015-01-10 16:54
版主亲自发言了 过来支持一下
非常赞同前面开头说的 如果想要见大佬 那就让服务器跑的不正常吧 的确会有很 ...

感谢感谢！

除了服务器本身，网络层，应用层的冗余，也可以谈谈嘛