拿什么拯救你:苦逼的IT运维工程师！

pipihappy8888

获奖名单已公布：http://bbs.chinaunix.net/thread-4164913-1-1.html

目前国内的IT运维还处于救火队员的初级阶段，除了脏活就是累活，天天疲于奔命。什么网络中断、应用卡顿、响应速度慢，服务器宕机啊，各种突发故障都可能让业务成交失败，而查找系统运行的日志又特别费时费力，挖故障如同大海捞针啊，这着实让运维人员急得团团转，肿么办？

   万能的上帝啊，有木有“万能”的工具可以解救运维人员，帮你们脱离苦海呢？

本期话题：

1.作为运维工程师的您，是否遇到过很苦逼的经历？

2.运维工程师究竟在企业中处于什么样的角色？您是否看好运维工程师的职业前景？

3.像双11、春节等重大节日，对阿里、12306的运维工程师而言，可谓是大考，想想看，有哪些可能的挑战？

4.运维工程师平时都会用到哪些工具？请结合它们的应用场景谈谈它们的主要功能。

5.有木有“万能”的工具可以解救运维人员，脱离苦海呢？

本活动邀请大家分享运维工程师的故事，言之有理即可。截止12月17日，我们将根据大家的回复情况评选获奖会员，赠送技术图书一本。

Yei

1.作为运维工程师的您，是否遇到过很苦逼的经历？
其实一直都很苦逼，上下班很难区分，只要后台有问题，不管时间地点都得想办法解决。节假日一个电话就得工作，维护工作经常得在半夜进行。

2.运维工程师究竟在企业中处于什么样的角色？您是否看好运维工程师的职业前景？
挺重要但也往往被忽略的幕后角色，被人关注往往又是出问题的时候，反而更惨
职业前景嘛，还凑合吧，毕竟这行还是需要一定技术和经验积累才能做好的。

3.像双11、春节等重大节日，对阿里、12306的运维工程师而言，可谓是大考，想想看，有哪些可能的挑战？
俺在小公司，没见过什么大场面，瞎猜猜吧。首先是怎么以有限的资源应对无限的需求 。 然后肯定是超负荷之后的各种异常了，得想办法应对，别造成恶性循环，不然就死定了。

4.运维工程师平时都会用到哪些工具？请结合它们的应用场景谈谈它们的主要功能。
首先是性能监控、报警什么的，Cacti、Nagios。主要看看服务器负载、网络流量什么的，出现异常的时候有个报警提醒。开源工具免费，可定制程度高，就是配置起来麻烦。
还有网络工具，抓包、扫描之类的，如WireShark、NMap，主要网络异常的时候排查故障用。最近试了试eSight，因为华为设备用的多，效果还是不错的，打算买个用用。
其它杂七杂八的小工具多了，这里就不列了，逮啥用啥呗。
介绍几个手机APP吧，作为IT民工，要能随时解决问题啊：
Watchlist，查看VMware主机和虚拟机的状况。
Serverauditor，ios上比较好用的免费SSH工具（安卓就不介绍了，类似工具大把）。
RD Client，微软出品，远程桌面有时还是要的。
Scany，ios上的网络工具箱，IP扫描、Ping、Traceroute、Whois、WOL等


5.有木有“万能”的工具可以解救运维人员，脱离苦海呢？
这个绝对木有。企业的需求跟人的欲望一样，是永远无法满足的。
不过话说回来了，“苦逼”才是运维人员存在的价值。

fengzhanhai

干运维工作五年多了，每天不在救火的途中就在救火中，想想也是挺苦逼的，每天24小时随时待命，休假也只能在家附近转悠，感觉最刺激事情的就是把数据库的数据给搞丢了，公司的大BOSS都惊动了，更苦逼的这个环境没有做过备份，当时想死的心都有~哎想想都不堪回首啊~~ 对于双十一什么的，我们公司也是非常**，不过由于在上线时我们就对架构进行了一些前瞻性的规划，比如流量控制、ESB消息队列的部署、服务降级、合理调整批量计划来规避来至各电商企业的支付请求的业务高峰~所以双十一加班也只是睡睡大觉，有什么问题监控组的同事去休息室喊一声就得了~最多的问题也就是单笔业务交易时间在某个峰值稍微变长一些，没有太激动人心的事比如核心crash什么的（）对于运维工具我感觉更多的还是进行定制吧，毕竟每个公司的业务都不尽相同，当然对于一些基础需求还是可以通过一些开源工具进行解决吧比如cacti、zabbix、nagios等等。感觉监控不仅要从监控基础资源还要从监控业务方面多下工夫比如监控业务流程、每笔业务的响应时间等方面入手才能把运维工作做的更好一些~以上就这么多吧，其实还有很多细节需要我们运维工程师进行掌握，比如你所负责的系统的最大容量是多少，存储IOPS多少后会是瓶颈或者影响业务的表现、是否可以根据业务发展进行平滑的在线扩容等等

lgatuk

以下针对硬件运维

1.作为运维工程师的您，是否遇到过很苦逼的经历？
做运维3年，遇到过不少苦逼的事，但是既然做了这行，就得认真对待，那几次也是咬牙坚持下来了。既然做运维，又是关键行业的运维，管理着单位的好几个核心系统，必然要做到24小时开机，30秒内接听，30分钟内到达现场。单位每逢周末的晚8点档黄金时间还会电话拨测，看看我们的电话是否畅通，一个月连续3次未接到电话即被开除，可怜的外包啊。
说说我遇到的最苦最无奈的一个case吧，作为底层硬件运维工程师，必然会被应用运维、业务运维欺负，因为他们发觉应用、业务稍微有点慢或者真的有问题，他们就指责是硬件、网络问题，让我们一顿乱查。有一次，业务反应FTP业务过慢，让我们查原因，各方面都查了没有发现问题，业务那边非得让我们查，领导也无奈，说就查吧，最后查的主机都宕了，然后更换备件，CPU啊电源啊主板啊，主机起来了，业务死活起不来，后来更换了整机，对，整机，业务还是那死样，然后把业务迁移到别的主机上，业务还是起不来，我们已经觉得不用说什么，已经证明了跟硬件无关，可是人家还是不承认FTP有问题。后来不了了之了，上述所有过程均在下午6点到凌晨3点完成。因为上面证明硬件没问题，所以按照规定整机必须替换回来，我俩想着趁着现在（凌晨3点）FTP还未启动，业务那边也不着急，想赶紧把整机更换过来，请示领导后领导怕麻烦，说就先这样吧。我擦了，等以后业务起来更换更麻烦，又是申请停业务，又是写实施计划的，哎服了领导了。后来快4点了，业务都在别的主机上恢复了，我们就陆续回家了。可是就在当天早上8点，突然接到电话说赶紧赶到现场，更换回整机。CNM！

2.运维工程师究竟在企业中处于什么样的角色？您是否看好运维工程师的职业前景？
之前跟一位EMC的老工程师聊天，聊到某公司裁员的事情，他说如果一个公司到了裁运维人员的程度，那说明这个公司已经快不行了。事实确实如此，好的运维工程师能把系统维护的很好，并不是因为工程师解决各种疑难故障的能力高，而是他们有良好的运维习惯，比如详细记录各种变更，无论多小的变更都要先申请后操作，最后记录，方便以后排查问题时的回溯。
目前只有特别大的公司才会注重运维人员，其他公司都把运维人员当成了做苦力的，并且待遇不高。他们不怕人员流失，你走可以，跟其他人把情况都交接清楚再走。这种公司不明白，再怎么交接，新的维护人员都需要一段时间来熟悉系统，并且交接过程中很容易遗漏问题。久而久之，遗留问题越来越多，等以后问题爆发时会很难处理。
我建议如果做运维，尽可能的去一些大公司，专业公司，这样接触到的知识、流程更专业、更规范，有利于以后的发展。正所谓近朱者赤。

3.像双11、春节等重大节日，对阿里、12306的运维工程师而言，可谓是大考，想想看，有哪些可能的挑战？
具体挑战有电源故障、硬盘故障、性能下降等等。
就像上面说的一样，平时运维做好了，就不怕重保期间出问题。因为你平时把自己的系统了解的很透彻，有隐患的硬件设备重保前赶紧更换，性能问题提前优化，内存不够就提前加内存等等，这样一来重保期间只需要处理突发事件就可以了。
还是那句话，自己的系统平时了解清楚了，关键时刻出问题就能很快解决，如果出现疑难故障，并且自身处理疑难故障的能力不高，只要做到能给二线技术支持人员提供清晰明确的线索就可以了。

4.运维工程师平时都会用到哪些工具？请结合它们的应用场景谈谈它们的主要功能。
我当时一个secureCRT走天下。就是远程连接主机，记录会话日志等等。一定要记得记录会话，不要嫌麻烦，各种查看、各种操作都要记录，记录问题是小，证明自己无错误操作才是大呀。
哦对了，再补充一个吧，有道词典，开启屏幕取词实时翻译功能。

5.有木有“万能”的工具可以解救运维人员，脱离苦海呢？
没有，全靠自己勤快。台上一分钟，台下十年功。


版主不厚道，书名都不给。

seesea2517

1.作为运维工程师的您，是否遇到过很苦逼的经历？
  有两个印象深刻，一个是一次配合产品国庆七天加班……还一个是年夜饭的时候来电话，不是贺新年的，值班室来的电话……有时候信号不好没接到电话会被投诉啊啊啊啊。

2.运维工程师究竟在企业中处于什么样的角色？您是否看好运维工程师的职业前景？
  闲时高瞻远瞩，急时救火救灾。平时要做好规划和监控，减少紧急情况的出现，紧急情况发生时，则要有果断的判断和熟练的处理能力。这还是有一定技术含量的，我看好！

3.像双11、春节等重大节日，对阿里、12306的运维工程师而言，可谓是大考，想想看，有哪些可能的挑战？
  大品牌咱也就只能想想看啦，估计网络应该是第一位的，负载均衡、数据库并发之类的也是需要把守的。另外可能还要考虑防范恶意的攻击？这个纯属瞎猜了。

4.运维工程师平时都会用到哪些工具？请结合它们的应用场景谈谈它们的主要功能。
  监控还是大头，用cacti、zabbix。然后就是ssh客户端putty、SecureCRT，上传下载WinSCP、filezilla，其它一大票Linux工具以及性能和进程查看命令、mysql相关命令集等。

5.有木有“万能”的工具可以解救运维人员，脱离苦海呢？
  我觉得得有，啥时候人工智能发达了，“天网”也有自己的智慧，运维人员只要按下“FIRE”“REPAIR”“我同意”按钮就可以啦哈哈。

jie190122

1.作为运维工程师的您，是否遇到过很苦逼的经历？
在一家旅行社做了运维3年多,企业大概1千多人,同时包含硬件和软件的运营,
a.        最苦逼的时候是一开始接手这岗位时,什么文档也没留下,所有的问题都要自己探索,然后写帮助文档,
b.        每次业务系统大版本升级的时候因为不匹配的原因,需要手工录入后台的配置资料或原始资料,点到食指都发抖,这种没技术含量的工作,开发的不做,又不能丢给其他人做,录完后正式升级的时候还要跟着熬夜升级系统然后做基本的测试,过程出问题了是你做得不够好,结果成功了大家都说工程师干的不错,没存在感啊!
c.        至于技术类的困难倒是还好,因为自己本身是做开发出生,大部分问题都能解决,遇到大问题即使卡很久只要能解决就很爽(技术宅的自带属性);

2.运维工程师究竟在企业中处于什么样的角色？您是否看好运维工程师的职业前景？
a.运维工程师在企业中应该起的应该是管家的角色,日常起码能保证企业系统(硬件和软件)的正常运行,同时能对企业信息建设做出前瞻性的计划和操作(购买硬件/引入各种系统/提出系统整合等),并且能承担起系统开发人员与使用人员的桥梁和润滑剂(运营的优势是比系统使用人员更懂开发,比开放人员更懂系统使用)
b.其他行业不熟悉,但在旅游行业,因为业务相对复杂,但从业人员的入行槛较低,导致业务系统的开发人员一直在抱怨使用人员笨啊/懒啊/乱操作啊等, 而从同行也了解到基本每家旅行社都是这情况,而各家社的系统使用深入度基本都是很浅,都是只用到了信息录入和同步这些功能,而深入的流程监管基本没几家社能做到,这个的差别很多时候就是因为运维的团队跟不上,无法起到桥梁的作用
c.运维小组了解过的最专业的是顺丰的,据用友的哥们说,顺丰的运维团队在和用友的开发团队对接的时候,第一次就已经把所有资料准备好了,甚至有些资料用友的都没注意到;
d. 运维工程师的职业前景,我认为会越来越重要,因为随着企业的信息化越来越普及和深入,对运维工程师的要求会越来越高,运维工程师的价值型也会越发的凸显;

3.像双11、春节等重大节日，对阿里、12306的运维工程师而言，可谓是大考，想想看，有哪些可能的挑战？
a.对于这些大考,运维的压力大部分是大考前期的准备,设备的冗余准备,备用计划的准备和测试;真正到了那一天,基本都是给系统的开发人员打下手,能解决的就启用备用计划,不能解决的就只能交给开发人员;

4.运维工程师平时都会用到哪些工具？请结合它们的应用场景谈谈它们的主要功能。
常用工具基本就是远程桌面,记事本和命令;远程桌面不说了,记事本主要是用来查看代码或者保存日志(windows下推荐notepadd++,小巧实用),命令的话强烈建议必须会,有这个自己写简单脚本方便多了.

5.有木有“万能”的工具可以解救运维人员，脱离苦海呢？
如果真的说是万能的工具的话,那就是帮助文档,无论是给自己看给同事还是给前台的用户看,只要不断的积累,就会越来越实用,特别是团队的内部帮助文档,尽量把每次的解决思路给写进去,慢慢的你会发现大部分问题都可以用常用的几种思路解决,之前的团队在我离开前,甚至都开始能实用实习生去做日常的维护,就是因为有了帮助文档,很多操作都是傻瓜式了,但这些就需要团队一起坚持不懈的积累.

yestreenstars

1.作为运维工程师的您，是否遇到过很苦逼的经历？
      这个必须有，刚入职时平台就一堆问题等着我处理，DMZ被ARP攻击了，所有服务器之间都不能正常通信，平台隔三差五就出现问题，客服大半夜就打我电话，还好大部分问题都能通过远程处理，不然每次要跑公司就更苦逼了，那天晚上就不用睡了，今年的五一是我有生以来过得最苦逼的一次，三天假，两天半夜被叫醒，有一夜要得亲自跑公司。后来，我试过查杀服务器上的ARP病毒，结果杀软把业务程序当成木马给杀了，额的神呀！我在想我还没过试用期就要被炒鱿鱼了吗，还好后来发现有备份程序，将备份程序复制过来，启动，能用，顿时心情又好起来了。还有一次，公司的平台网址突然访问不了了，后来经过各种排查，发现是公网IP被封了，问了电信，原因是国内IP使用了国外的域名，国内IP必须使用国内域名并且域名需要备案才能使用，解封IP又要一个月的时间，于是和开发一起加班加点，将平台迁移到亚马逊上。

2.运维工程师究竟在企业中处于什么样的角色？您是否看好运维工程师的职业前景？
      运维工程师在业务正常时就是个闲人，偶尔需要发布和部署新平台，出问题时又要火急火燎地解决问题，因为你花的时间越多说明你能力越差，老板心情不好就把你给炒了，所以说运维工程师在企业中处于一个举足轻重的角色，业务正常稳定说明运维工程师的能力好，但在老板眼里可能觉得花钱养了个闲人，他看不到你是怎么将一个频繁出问题的平台变得稳定。运维又分成了很多种，                                    
      一个大的公司有专门的运维部门，有负责业务运维的，有负责网络运维的，还有负责硬件运维的和开发运维的。
我挺看好运维工程师的职业前景的，其实苦逼的都是低级运维，等你做了高级运维、运维主管、运维经理、运维总监之后你才发现越往高走事情越少，最起码一般的事情都不需要你半夜起来处理。

3.像双11、春节等重大节日，对阿里、12306的运维工程师而言，可谓是大考，想想看，有哪些可能的挑战？
      主要的挑战应该就是负载均衡、性能调优等。

4.运维工程师平时都会用到哪些工具？请结合它们的应用场景谈谈它们的主要功能。
      最常用的自然是SSH工具了，我个人比较喜欢用xshell，因为它可以配合xftp使用，使用起来又比较顺手。
      还有就是TeamViewer了，这个工具的好处就是不需要公网IP也能建立远程桌面连接，有了这个工具我才可以在家里远程处理问题，而且这个软件也有手机客户端，平时在外面玩的时候，平台出现小问题也可以远程解决，因为平时在外也不会带笔记本，也难以找到电脑来处理，所以用这个工具还是挺方便的。
      还有另外一个远程桌面工具是RD Client，这是个手机客户端软件，是微软开发的，可以利用它从手机连接服务器，因为我用惯了TeamViewer，所以这个用得比较少。
      管理MYSQL的话我推荐用SQLyog，这是个图形界面管理工具，非常好用。
      监控的话我推荐使用zabbix，它帮助我发现了很多问题，而且自带报警功能，同时可以配合Python使用。

5.有木有“万能”的工具可以解救运维人员，脱离苦海呢？
      这个应该没有吧，有的请告知一声？其实使用监控软件已经是帮了运维一个大忙了。

寸得上得

来看看，占个位置

shang2010

   万能的上帝啊，有木有“万能”的工具可以解救运维人员，帮你们脱离苦海呢？

ichenxiaohu

回复 1# pipihappy8888


1.作为运维工程师的您，是否遇到过很苦逼的经历？
能正常上下班就很好了，时常会有零点行动，搞通宵的。

2.运维工程师究竟在企业中处于什么样的角色？您是否看好运维工程师的职业前景？
出了问题十之八九会背黑锅的，都是幕后工作组，前途很好就是十分苦逼。

3.像双11、春节等重大节日，对阿里、12306的运维工程师而言，可谓是大考，想想看，有哪些可能的挑战？
苦逼在小公司，没有感觉，无非就是给的资源够不够，有瓶颈，但恰恰难点就在怎么解决这个，性能调优，资源合理分配问题。

4.运维工程师平时都会用到哪些工具？请结合它们的应用场景谈谈它们的主要功能。
运维工作只要是性能监控、各类主机存储资源使用情况报警
目前在用的有
1.BMC系统监控，结合ITIL系统告警，但参数太复杂化，没有好好利用起来
2.cactiEZ，这个主要监控网络和主机的，在研究使用中
3.人为主动巡检，用户上报

5.有木有“万能”的工具可以解救运维人员，脱离苦海呢？
木有

shreychen

我是来看5的答案的

睿智2012

那有万能的药，有的话IT人员还有饭吃吗？

ylky_2000

我来说说一个实际的案例：如有其他公司雷同，请勿对好入座。
企业介绍：集团公司、下属物业管理公司
人员介绍：集团IT部负责网络运维、集团IT部有网络组和技术支持组、物业公司有弱电运维人员（不直接管理网络）
事件：周日晚上19：10分收到物业出入口保安同事直接电话集团网络组同事，说出入口无法收费了，要尽快跟进。
此类事情处理惯例：首先物业弱电人员需要在现场查看情况-》如果无法处理-》通知集团技术支持组处理-》如果是主干光钎问题-》由集团网络组判断可能性问题-》给出解决办法-》最后处理完毕恢复使用。

但是这个周日的电话显然不符合惯例。如果偶尔一件还好，以后长期这样，集团网络组同事会整天疲于此类无技术含量的工作中。

但是事关收费系统的使用加上周日，集团网络组同事还是秉着高度的责任感，主动跟进这个事情。现场查看，发现居然是机柜没有电，然后让保安部通知物业的电工临时拉了一条电源过来使用，恢复正常。

后续处理：（目前在跟进此项后续工作中）
必须跟用户部门、物业弱电维护部门、集团的技术组领导同事说明处理此类事情的合理方式，不要一味着没有经过调查就说是网络问题，实际上是电源问题。