Chinaunix

标题: [原创]门户网站运维abc [打印本页]

作者: 虫虫猫 时间: 2008-10-05 16:37
支持原创，运维是一门很深的学问啊

作者: hawking8987 时间: 2008-10-05 20:02
:wink: :wink:
支持原创!支持原创!支持原创!

作者: hawking8987 时间: 2008-10-05 20:10
看完了支持楼主继续写其余的！

作者: jiang2798 时间: 2008-10-05 23:58
支持 LZ你写的太好的期待你的文章

作者: vcdog 时间: 2008-10-06 01:03
嗯，LZ对运维理解的比较深入，期待下面的几个话题！！看来做运维也没有想象中的那么轻松啊，呵呵！！

作者: leaf1981 时间: 2008-10-06 13:18
3、系统、网络、安全等需要有所了解，至少知道其原理

这句话很可笑

作者: veyron 时间: 2008-10-06 13:34

原帖由 leaf1981 于 2008-10-6 13:18 发表
3、系统、网络、安全等需要有所了解，至少知道其原理

这句话很可笑

哦？有何高见？大家讨论讨论

作者: hawking8987 时间: 2008-10-06 16:05
又读完了

越来越觉得运维这水很深
做到楼主说的这些不容易少则3年经验吧

拜请楼主继续写下去

作者: 虫虫猫 时间: 2008-10-07 09:29
楼主继续写啊！这篇文章让我长了不少见识~

作者: veyron 时间: 2008-10-07 11:28
四、运维职业的迷惘、现状与发展前景
运维岗位不像其它岗位，如网络工程师、系统工程师、安全工程师、研发工程师、测试工程师等，有非常明确的职责定位及职业规划，比较有职业认同感与成就感；而运维工作可能给人的感觉是哪方面都了解一些，但又都比上专职工程师更精通、感觉平时被关注度比较低（除非线上出现故障），慢慢的大家就会迷惘，对职业发展产生困惑,为什么会有这种现象呢？除了职业本身特点外，主要还是因为对运维了解不深入、做得不深入导致；其实这个问题其它岗位也会出现，但我发现运维更典型，更容易出现这个问题；

针对这个问题我谈一下网站运维的现状及发展前景（也在思考中，可能不太深入全面，也请大家斧正补充）

运维现状：
1、处于刚起步的初级阶段，各大公司有此专职，但重视或重要承度不高，可替代性强；小公司更多是由其它岗位来兼顾做这一块工作，没有专职，也不可能做得深入
2、技术层次比较低；主要处于技术探索、积累阶段，没有型成体系化的理念、技术。
3、体力劳动偏大；这个问题主要与第二点有关系，很多事情还是依靠人力进行，没有完成好的提练，对于大规模集群没有成熟的自动化管理方法，在此说明一下，大规模集群与运维工作是息息相关的如果只是百十来台机器，那就没有运维太大的生存空间了
4、优秀运维人才的极度缺乏；目前各大公司基本上都靠自已培养，这个现状导致行业内运维人才的流动性非常低，非常多好的技术都局限在各大公司内部，如google 50万台机器如果科学的管理？或者国内top 10 的一些经验，这些经验是非常有价值的东西并决定了一个公司的核心竞争力；这些问题进而导致业内先进运维技术的流通、贯通、与借签，并最终将限制了运维发展。
5、很多优秀的运维经验都掌握在大公司手中；这不在于公司的技术实力，而在于大公司的技术规模、海量PV、硬件规模足够大，如baidu可怕的流量、海量数据~~~~这些因素决定了他们遇到的问题都是其它中/小公司还没有遇到的，或即将遇到。但大公司可能已有很好的解决方案或系统

发展前景：
1、从行业角度来看，随着中国互联网的高速发展（目前中国网民已跃升为全球第一）、网站规模越来越来大、架构越来越复杂；对专职网站运维工程师、网站架构师的要求会越来越急迫,特别是对有经验的优秀运维人才需求量大，而且是越老越值钱；目前国内基本上都是选择毕业生培养（限于大公司），培养成本高，而且没有经验人才加入会导致公司技术更新缓慢、影响公司的技术发展；当然，毕业生也有好处：白纸一张，可塑性强，比较认同并容易融入企业文化
2、从个人角度，运维工程师技术含量及要求会越来越高，同时也是对公司应用、架构最了解最熟悉的人、越来越得到重视
3、网站运维将成为一个融合多学科（网络、系统、开发、安全、应用架构、存储等）的综合性技术岗位，给大家提供一个很好的个人能力与技术广度的发展空间
4、运维工作的相关经验将会变得非常重要，而且也将成为个人的核心竞争力，具备很好的各层面问题的解决能力及方案提供、全局思考能力等
5、特长发控和兴趣的培养；由于运维岗位所接触的知识面非常广阔，更容易培养或发挥出个人某些方面的特长或爱好，如内核、网络、开发、数据库等方面，可以做得非常深入精通、成为这方面的专家
6、如果真要以后不想做运维了，转到其它岗位也比较容易，不会有太大的局限性。当然了，你得真正用心去做
7、技术发展方向、网站/系统架构师

五、运维中关键技术点解剖（比较实际，现实中的案例，今天先想出这几条，如大家有其它感觉兴趣的，可以提出，我来解答）
a 大规模集群管理问题
b 大并发量网站的设计方案(1亿pv/天)
c 高可靠性问题解决
d 可靠、可伸缩性网络架构设计
e 网站安全问题，门户如何避免被黑？
f 南北互联问题解决
g 海量数据存储、统计分析方案、架构

[ 本帖最后由 veyron 于 2008-10-7 11:48 编辑 ]

作者: cnicn 时间: 2008-10-07 13:19
楼主哪里人我要去拜师了

作者: veyron 时间: 2008-10-07 14:16
在此聊的这些，纯属自已的一些感想，随便写写，有些方面可能不够全面~~，希望能让大家对运维有更多了解。

作者: codfei 时间: 2008-10-07 14:19
写的挺好
看来只有进入大公司的才能算是运维了

作者: redblood 时间: 2008-10-07 16:16
不错的文章，楼主继续！

作者: hawking8987 时间: 2008-10-07 17:57

a 大规模集群管理问题
b 大并发量网站的设计方案(1亿pv/天)
c 高可靠性问题解决
d 可靠、可伸缩性网络架构设计
e 网站安全问题，门户如何避免被黑？
f 南北互联问题解决
g 海量数据存储、统计分析方案、架构

这个好，期待楼主就这几个方面多谈一点

读楼主的文章让我有精神上的提高如果不是搞运维的是体会不到的

[ 本帖最后由 hawking8987 于 2008-10-7 18:03 编辑 ]

作者: veyron 时间: 2008-10-07 21:29
谢谢大家的支持，非常高兴看到这么多对网站运维感兴趣的朋友，我不是一个人在战斗，呵呵

关于第五点我后续会分点和大家进行一一分析讨论，目前计划是每天讨论一个主题（如果反映好的话）

[ 本帖最后由 veyron 于 2008-10-7 21:35 编辑 ]

作者: leaf1981 时间: 2008-10-07 22:01
3、系统、网络、安全等需要有所了解，至少知道其原理

原理都知道，何止是了解这个层次，有点矛盾

文章不错，我用可笑这个字作为回复偏激了一点

作者: veyron 时间: 2008-10-07 22:32

原帖由 leaf1981 于 2008-10-7 22:01 发表
3、系统、网络、安全等需要有所了解，至少知道其原理

原理都知道，何止是了解这个层次，有点矛盾

文章不错，我用可笑这个字作为回复偏激了一点

呵呵，没关系，问题就是越辩越明，我希望大家能多提一些不同的观点，这才利于共同成长

另外，对于上面这点，我的原意是指两个层面，1、了解：更多指的是实践、方法论。2、原理：更多是书本、理论上的东西，这个更重要

作者: jiang2798 时间: 2008-10-07 23:25
好支持！！:wink:

作者: xi2008wang 时间: 2008-10-07 23:44

作者: veyron 时间: 2008-10-08 10:59
五、运维关键技术点解剖
1、大规模集群管理问题
首先我们先要明确集群的概念，集群不是泛指各功能服务器的总合，而是指为了达到某一目的或功能的服务器、硬盘资源的整合（机器数大于两台），对于应用来说它就是一个整体，目前常规集群可分为：高可用性集群（HA），负载均衡集群（如lvs），分布式储、计算存储集群（DFS，如google gfs ,yahoo hadoop），特定应用集群（某一特定功能服务器组合、如db、cache层等），目前互联网行业主要基于这四种类型；对于前两种类似，如果业务简单、应用上post操作比较少，可以简单的采用四层交换机解决（如f5、foundly），达到服务高可用/负责均衡的作用，对于资源紧张的公司也有一些开源解决办法如lvs+ha,非常灵活；对于后两种，那就考验公司技术实力及应用特点了，第三种DFS主要应用于海量数据应用上，如邮件、搜索等应用，特别是搜索要求就更高了，除了简单海量存储，还包括数据挖掘、用户行为分析；如google、yahoo就能保存分析近一年的用户记录数据，而baidu应该少于30天、soguo就更少了。。。这些对于搜索准备性、及用户体验是至关重要的。
   接下来，我们再谈谈如何科学的管理集群，我认为主要从以下几点入手：
I、监控
   主要包括故障监控和性能、流量、负载等状态监控，这些监控关系到集群的健康运行，及潜在问题的及时发现与干预；
   a、服务故障、状态监控：主要是对服务器自身、上层应用、关联服务数据交互监控；例如针对前端web server，我们就可以有很多种类型的监控，包括应用端口状态监控，便于及时发现服务器或应用本身是否crash、通过icmp包探测服务器健康状态，更上层可能还包括应用各频道业务的监控，常用方法是采用面业特征码进行判断，或对重点页面进行签名，以网站被黑篡改（报警、并自动恢复被篡改数据）。。。这些只是一部份，还有N多监控方式，依应用特点而定，还有一些问题需解决，如集群过大，如何高性能的进行监控也是一个现实问题。。。。。
   b、其它就是集群状态类的监控或统计，为我们合理管理调优集群提供数据参考、包括服务瓶颈、性能问题、异常流量、攻击等问题
II、故障管理
   a、硬件故障问题；对于成百上千或上万机器的N多集群，服务器死机、硬件故障概率是非常大的，几乎每时每刻都有服务硬件问题，死机、硬盘损坏、电源、内存、交换机。。。针对这种情况，我们在设计网站架构时需要充分考虑到这些问题，并将其视为常态；更多的依靠应用的冗余机制来规避这种风险，但给系统工程师足够宽裕的处理时间。（如google不是号称同时死800台机器，服务不会受到任何影响吗）；这就是考验运维工程师及网站架构师功能的地方了，好的设计能达到google所描述自恢复能力，如gfs，糟糕的设计那就是一台服务器的死机可能会造成大面积服务的连锁故障反映，直接对用户拒绝响应。
   b、应用故障问题；可能是某一bug被触发、或某一性能阀值被超越、攻击。。。情况不一而定，但重要的一点，是要有对这些问题的预防性措施，不能想当然，它不会出问题，如真出问题了，如何应对? 这需要运维工程师平时做足功夫，包括应急响应速度、故障处理的科学性、备用方案的有效等
III、自动化
   自动化：简而言之，就是将我们日常手动进行的一些工作通过工具，系统自动来完成，解放我们的双手及枯燥的重复性劳动，例如：没有工具前，我们安装系统需要一台一台裸机安装，如2000台，可能需要10人/10天，搞烂N张光盘，人力成本更大。。。而现在通过自动化工具，只需几个简单命令就能搞定、还有如机器人类程序，自动完成以往每天人工干预的工作，使其自动完成、汇报结果，并具备一定的专家系统能力，能做一些简单的是/非判断、优化选择等。。。这些好处非常明显不再多说。。。应该说，自动化运维是运维工程师职业化的一个追求，利私利公，虽然这是一个异常艰巨的任务：不断变更的业务、不规范化的应用设计、开发模式、网络架构变更、IDC变更、规范变动等因素，都可能会对现有自动化系统产生影响，所以需要模块化、接口化、变因参数化等。。。。。。因此，自动化相关工作，是运维工程师的核心重点工作之一，也是价值的体现

[ 本帖最后由 veyron 于 2008-10-8 17:34 编辑 ]

作者: jerryma 时间: 2008-10-08 14:39
运维部是网络工程师、系统工程师、安全工程师、测试工程师的集合。楼主所说的什么都会的运维工程师可能不会有很高的运维质量。

作者: veyron 时间: 2008-10-08 15:16

原帖由 jerryma 于 2008-10-8 14:39 发表
运维部是网络工程师、系统工程师、安全工程师、测试工程师的集合。楼主所说的什么都会的运维工程师可能不会有很高的运维质量。

网络、系统、安全工程师应该是系统部的范畴，他们更多关注的是系统、网络层面，独立于上层应用，他们提供的是一个通用框架和规范；安全工程师也更多的是基于网络、系统的整体安全策略的制度与规范，如网络入口安全规划、系统层面的安全（如iptables通用规则、内核加固、通用工具的安全评估）、网络安全审计等等，基于应用层安全如逻辑上的bug\漏洞他们是鞭长莫及的，而运维是基于系统部工作的基础上，针对上层应用服务的岗位，就好像系统部提供的是一堆积木，而运维将他们组装成玩具；还有重要一点，我没有强调运维工程师什么都要会，但关联岗位工作一定要了解，否则会有困难，对某些方面需非常熟悉，并有自已的专攻，就像我正在写的运维技术讨论，全是运维工程师的核心职责及技术；
另外，测试工程师更多是与开发紧密配合的岗位，与系统部更没联系了

[ 本帖最后由 veyron 于 2008-10-8 15:23 编辑 ]

作者: hawking8987 时间: 2008-10-08 15:29
恭贺楼主的文章被加为精华！

期待楼主后续佳作～！

作者: veyron 时间: 2008-10-08 16:10

原帖由 hawking8987 于 2008-10-8 15:29 发表
恭贺楼主的文章被加为精华！

期待楼主后续佳作～！

谢谢大家、蜘蛛，貌似还是本版第一个精华贴，好荣幸~~

作者: hdksky 时间: 2008-10-08 21:49
感觉到很多熟悉的东西

作者: evil_knight 时间: 2008-10-09 09:55
呵呵，楼主把运维想的有些复杂了，至少网站架构你只有建议权，真正的设计者是架构师而不是你！你只是执行者！

作者: xi2008wang 时间: 2008-10-09 10:40
貌似现在系统工程师, 系统管理员, 运维工程师是同一个概念

作者: veyron 时间: 2008-10-09 10:52

原帖由 evil_knight 于 2008-10-9 09:55 发表
呵呵，楼主把运维想的有些复杂了，至少网站架构你只有建议权，真正的设计者是架构师而不是你！你只是执行者！

这种情况在各公司还是很普遍的，主要是由于运维还不成熟（刚起步），或经验缺乏，只能做简单的执行者，而在网站设计、架构、开发中运维会没有发言权，这是正常现象。当然，我这里说的是一种比较理想的运维职业状态，也是一个奋斗方向吧

[ 本帖最后由 veyron 于 2008-10-9 10:54 编辑 ]

作者: cnzg_y 时间: 2008-10-09 11:03
受教了

作者: gx4301 时间: 2008-10-09 11:52
说的在理支持一下
ps：唉，我们网站还没有达到门户的概念呀....（服务器规模大于1000台，pv每天至少上千万）

作者: chexyo 时间: 2008-10-09 13:08
感觉在混淆概念。LZ是不是可以亮下身份。你们的运维不包括NE? SA? DBA?

作者: veyron 时间: 2008-10-09 14:22

原帖由 chexyo 于 2008-10-9 13:08 发表
感觉在混淆概念。LZ是不是可以亮下身份。你们的运维不包括NE? SA? DBA?

严格来说运维是包括dba的，当然有些公司的DBA比较独立，如淘宝，有专门的oralce DBA团队，而且也做得很牛。sa是系统工程师，更多职责层面是服务器硬件的管理、资源分配，上面已有说明，另外，网络工程师也是相对独立的，很多公司这些职位是属于一个大点的部门如系统部；运维更多应该是介于系统与应用架构层之间~~~

另外，NE是什么？不好意思没弄明白

作者: cooldown 时间: 2008-10-09 15:20

原帖由 veyron 于 2008-10-9 14:22 发表

严格来说运维是包括dba的，当然有些公司的DBA比较独立，如淘宝，有专门的oralce DBA团队，而且也做得很牛。sa是系统工程师，更多职责层面是服务器硬件的管理、资源分配，上面已有说明，另外，网络工程师也 ...

NE----Network Engineer
非常感谢LZ的经验分享，受益匪浅！

[ 本帖最后由 cooldown 于 2008-10-9 15:21 编辑 ]

作者: veyron 时间: 2008-10-09 15:22
标题: 回复 #36 cooldown 的帖子
呵呵，谢谢cooldown

作者: cooldown 时间: 2008-10-09 15:25
标题: 回复 #37 veyron 的帖子
我的QQ1804586，交个朋友！

作者: veyron 时间: 2008-10-09 15:31
标题: 回复 #38 cooldown 的帖子
非常抱歉，现在基本上不用QQ了，如有问题咱们可以在BBS上交流，这样也利于其它朋友一起讨论交流学习，呵呵

作者: evil_knight 时间: 2008-10-09 16:25

原帖由 veyron 于 2008-10-9 10:52 发表

这种情况在各公司还是很普遍的，主要是由于运维还不成熟（刚起步），或经验缺乏，只能做简单的执行者，而在网站设计、架构、开发中运维会没有发言权，这是正常现象。当然，我这里说的是一种比较理想的运维职 ...

那个确实太理想化了，大多数运维都没有开发经验的，如果要达到你的这个理想状态，首先这个运维以前是一个开发者有c，web 的开发经验，非常熟悉unix类操作系统！而且基本就是一个项目的leader否则他没有这么强的架构经验的！
而实际上，一个项目的leader很少懂得系统+网络+硬件的，不是没有，我们老大就是你文中所说的理想！在我看来，他的那种状态对我来说可望不可及！

再一个到达你所说的这种理想，通常都是这个公司运维的头+技术顾问！

作者: veyron 时间: 2008-10-09 16:58
标题: 回复 #40 evil_knight 的帖子
关于你说的这几个问题：
1、关于开发能力；c是应届生的基本能力，另外，基于c、web等中间件开发，不需要太多经验，更多是需要运维方面的经验；因为运维开发更多是基于运维工具辅助性开发，而不是线上产品，把握一些关键点就OK，如性能、易用性、可扩展性，当然如果是大的自动化管理平台还是需要开发能力更强的人来主导，但这是一个人才培养递队的问题，高低搭配，有基本运维人员、也有优秀运维人员，不能假设集体平庸化。另外，了解熟悉操作系统这是运维本职工作，必须的技能
2、你所说的项目leader应该是指线上产品项目；运维参与架构设计更多是运维相关、当然做得深入应用本身性能、架构优化也能给出建议（详请见正文，有说明）
3、对于职业的发展；大家可以发现，越向上发展，越会更加关注其一些理念及宏观层面的技能，如架构、技术、管理的全局性掌控技能，具体职业岗位区分会越来越模糊（正如没有谁关注CTO的以前的职业岗位一样，当然可能会关心行业的）。例如架构师可能出自褚多岗位的牛人，如网络、系统、开发等等，当然运维也能出架构师，只要做得足够深够广，到CTO也是有可能的。。。
4、关于职业理想化，这应该是每个职业都有的大方向，不能自设天花板，否则会局限发展。。。

[ 本帖最后由 veyron 于 2008-10-9 17:09 编辑 ]

作者: 大狗狗 时间: 2008-10-09 17:40
楼主出个PDF吧。读来感觉很不错。

作者: veyron 时间: 2008-10-09 18:42
标题: 回复 #42 大狗狗的帖子
嗯，随后我会考虑将大家的讨论及相关进行汇总，便于大家阅读

作者: xi2008wang 时间: 2008-10-09 20:51
我觉得LZ很有必要把身份亮一下

应该是如你所说的几个门户网站的运维吧

作者: alamis 时间: 2008-10-09 23:09
LZ 应该在sina 等某大网站，做运维5年左右了吧！很实际

作者: veyron 时间: 2008-10-09 23:21
标题: 回复 #44 xi2008wang 的帖子
抱歉~~，我在此版发此贴的目的，主要是为了与大家共同探讨学习，搞清楚运维的真谛，希望运维这个职位能正直健康发展起来。。。，每次看到应聘者对运维岗位的迷茫、公司宣传上的乏力，心里不是滋味~~

另外，我个人的身份不重要，小民愤青一个

，暂不公开是不想由于公司因素，影响大家的主观判断，在此只聊运维相关理论、技术，而且我所写的更多是结合国内运维普遍现状，而不是基于所在公司为原型，更不会谈论到具体细节，保密原因。。。请大家谅解

作者: hunkguo 时间: 2008-10-10 11:00
小弟这几年一直在做web开发,有心朝运维方向发展.
但苦于眼下没有合适机会,去大公司,虽然自认为能完全胜任,但以前主要工作为开发,维护只是兼职,腰板不硬.去小公司,做事太杂,累.

作者: fjlycfq 时间: 2008-10-10 11:12
看了楼主的贴感触很深
首先，十分感谢楼主分享你的运维经验以及对现况国内这个行业的分析，最重要的就是对运维这个职业的整体分析包括N年后的去路
其次，楼主分析运维是从长远来分析，且目标是对准yahoo,google这样的大型企业来说明
再次，目前很多运维相关人员没有看到楼主这么深这么远这么细，其原因是所在企业的规模比较小，还有就是运维是一个刚刚起步的行业
最后，期待楼主更好的文章

作者: pei5 时间: 2008-10-10 11:13
读完了，搞运维真的很难啊，我也在这个圈子，看了有触动啊，有指导性，期待后面的文字。

作者: fsm11 时间: 2008-10-10 11:22
非常佩服楼主在这方面的见解，就目前的中国而言，要普遍达到这么一个认识高度，还需要走很长一段时间的路。对于一个PV一天上千万的网站来说（在中国来说已经是很牛B的网站了），估计运维工程师也只有执行的任务，没有规划的话语权（一般都在技术总监或者是项目经理手里）：）。额的偏见

[ 本帖最后由 fsm11 于 2008-10-10 11:26 编辑 ]

作者: ttplay 时间: 2008-10-10 11:33
标题: 回复 #47 veyron 的帖子
问一下弱智的问题:
怎么看一个网站的PV, 从日志里看吗?
那并发数又是怎么看?

先谢谢了

作者: veyron 时间: 2008-10-10 13:29

原帖由 ttplay 于 2008-10-10 11:33 发表
问一下弱智的问题:
怎么看一个网站的PV, 从日志里看吗?
那并发数又是怎么看?

先谢谢了

此处pv 是指单位时间内网站访问量的总和，如一天之内；并发数指在1秒内网站所接收用户请求数总和

作者: lala-flag 时间: 2008-10-10 13:35
将楼主的文章收藏了，看了后很有启发啊，直接就转送给我们运维的一帮兄弟了。
做了7，8年的运维工作了，一直向理想化的方向努力，但是期间困难重重啊。偶是开发出身的，一直期待手下的人员都能够通过系统自动化的任务实现繁杂的运维工作，但是找到这样的人才也是不容易啊，大部分的人员危机的意识很少。
当大部分的人员都不能按照我们理想化的方式来工作的时候，日常运维规范就起了主要的作用。

作者: veyron 时间: 2008-10-10 13:57

原帖由 lala-flag 于 2008-10-10 13:35 发表
将楼主的文章收藏了，看了后很有启发啊，直接就转送给我们运维的一帮兄弟了。
做了7，8年的运维工作了，一直向理想化的方向努力，但是期间困难重重啊。偶是开发出身的，一直期待手下的人员都能够通过系统自动化 ...

嗯，这是两方面的挑战：人才、管理~~，当然前提是需要方向是对的

作者: paub 时间: 2008-10-10 14:44
标题: 回复 #1 veyron 的帖子
运维工程师达到楼主所指的综合能力，已是很牛了，这样的复合性人才很难找，也不是每个人都容易达到的水平；大型网站一般分工很明细，已将运维分为：专管网络的网络工程师，专管系统的系统工程师，专管网站应用方面的工程师等等。

作者: bbjmmj 时间: 2008-10-10 14:53
标题: 感觉楼主的数字给得有点搞怪
“我们先定义服务器规模大于1000台，pv每天至少上千万”————很普通的PC SERVER就能做到百万级的PV，需要用一千台服务器吗？？？

作者: veyron 时间: 2008-10-10 14:54

原帖由 paub 于 2008-10-10 14:44 发表
运维工程师达到楼主所指的综合能力，已是很牛了，这样的复合性人才很难找，也不是每个人都容易达到的水平；大型网站一般分工很明细，已将运维分为：专管网络的网络工程师，专管系统的系统工程师，专管网站应用方 ...

在此讨论的只是运维相关工作，网络、系统工程师方面的工作已有区别说明，专职运维是不包括这两个岗位工作的，详请见正文，谢谢

[ 本帖最后由 veyron 于 2008-10-10 15:02 编辑 ]

作者: veyron 时间: 2008-10-10 15:01

原帖由 bbjmmj 于 2008-10-10 14:53 发表
“我们先定义服务器规模大于1000台，pv每天至少上千万”————很普通的PC SERVER就能做到百万级的PV，需要用一千台服务器吗？？？

这个概念主要针对门户级的应用，web前端机器是比较少的，但更多服务器需用于后台计算、分析、储存、冗余。。。

类比google不可能几台web服务器就能提供搜索，后台的计算集群才是核心。。。

不知我解释清楚没有？？

作者: dragonbbc 时间: 2008-10-10 15:03
关注一下，前面的已经看完了

作者: ttplay 时间: 2008-10-10 15:15

原帖由 veyron 于 2008-10-10 13:29 发表

此处pv 是指单位时间内网站访问量的总和，如一天之内；并发数指在1秒内网站所接收用户请求数总和

答非所问:em11: :em11: :em11:

作者: ttplay 时间: 2008-10-10 15:16
我看像LZ所说的人才国内找不到几个, 月工资2万以上

作者: paub 时间: 2008-10-10 15:24
标题: 回复 #58 veyron 的帖子
不同意你的观点

[ 本帖最后由 paub 于 2008-10-10 15:25 编辑 ]

作者: veyron 时间: 2008-10-10 15:30

原帖由 paub 于 2008-10-10 15:24 发表
不同意你的观点

呵呵，术有专攻不是很正常么？而且在大规模网站这种职责细分是趋势，除非小网站，什么都做是有的

作者: ttplay 时间: 2008-10-10 15:37

原帖由 veyron 于 2008-10-10 15:30 发表

呵呵，术有专攻不是很正常么？而且在大规模网站这种职责细分是趋势，除非小网站，什么都做是有的

不觉得, 如你所说运维什么都能做, 还用招那么多人吗? 维基百科那么大的网站也几个人.

作者: 跌跌不休 时间: 2008-10-10 15:50
提示: 作者被禁止或删除内容自动屏蔽

作者: ttplay 时间: 2008-10-10 15:56

原帖由 跌跌不休 于 2008-10-10 15:50 发表
其实不然运维的工资都不高的所以技术没你想的那么好

LZ所说的虽然也是运维, 但前面一定要加上"高级"两字

作者: jiang2798 时间: 2008-10-10 17:04
学习了你们讲的都很有道理对新手很有帮助

作者: mintic 时间: 2008-10-11 07:58
多谢分享

作者: bbjmmj 时间: 2008-10-12 15:57

原帖由 veyron 于 2008-10-5 14:41 发表
对于网站运维，感觉大家还是比较迷惘与不解，确实，这是一个新兴岗位；近来闲而无事，在此结合自已以往的一些经历，与大家先共同探讨一下“什么是门户网站运维”？以下是自已的一些经验和感受请大家斧正，希望 ...

楼主哦，HTTP网关怎么不提？你有忽悠大家的嫌疑哦~~~
你是搞运维的吗？

作者: ttplay 时间: 2008-10-12 16:21

原帖由 bbjmmj 于 2008-10-12 15:57 发表

楼主哦，HTTP网关怎么不提？你有忽悠大家的嫌疑哦~~~
你是搞运维的吗？

HTTP网关是什么? google, baidu都找不到, 难道你丫自创的?

LZ把经验讲给大家, 还忽悠大家? 那你请也忽悠一下大家, 看你有什么料

你丫的看过LZ的文章没？“你是搞运维的吗？”这么弱智的问题都问出来了！今天是不是三聚氰胺吃多了？

别不懂出来装懂，在CU最讨厌的人就你这种人。垃圾一个

作者: wdg0802 时间: 2008-10-12 19:44
好痛苦啊。。。这么优秀的人才什么价位啊，，，

作者: ttplay 时间: 2008-10-12 19:53

原帖由 bbjmmj 于 2008-10-12 17:47 发表

高端的东西，在搜索引擎上的确不好找，但是，不等于没有。
--------------------------------------------------------------------------------------------------------------------------------------- ...

别在这丢人现眼了. 你使用http gateway在google中文都搜索到了什么啦

别告诉我是邮件网关或短信网关... 什么的

作者: bbjmmj 时间: 2008-10-12 21:13

原帖由 ttplay 于 2008-10-12 19:53 发表

别在这丢人现眼了. 你使用http gateway在google中文都搜索到了什么啦

别告诉我是邮件网关或短信网关... 什么的

HTTP网关就是HTTP网关，跟邮件短信不发生关系，我也不清楚为什么搜索引擎里没这个关键字，总之，你找不到，不等于没有。

作者: ttplay 时间: 2008-10-12 22:12

原帖由 bbjmmj 于 2008-10-12 21:13 发表

HTTP网关就是HTTP网关，跟邮件短信不发生关系，我也不清楚为什么搜索引擎里没这个关键字，总之，你找不到，不等于没有。

搬个凳子来听戏...

我倒想看你能忽悠出些什么名堂出来, 嘿...嘿..(次笑两声)

作者: bbjmmj 时间: 2008-10-13 08:52

原帖由 ttplay 于 2008-10-12 22:12 发表

搬个凳子来听戏...

我倒想看你能忽悠出些什么名堂出来, 嘿...嘿..(次笑两声)

呵呵，以后搜索不到到东西别轻易说没有。
另外，别喝牛奶~~~

作者: latteye 时间: 2008-10-13 16:10
文章写的很好，受教了。
不管说的对不对，多少给自己一些岗位概念。之前我很混淆SA和运维的概念。

作者: ddddddddd 时间: 2008-10-13 23:24

原帖由 bbjmmj 于 2008-10-12 15:57 发表

楼主哦，HTTP网关怎么不提？你有忽悠大家的嫌疑哦~~~
你是搞运维的吗？

我觉得你这样说更能显得自己牛：
楼主哦，计算机怎样开机怎么不提？你有忽悠大家的嫌疑哦~~~
你是搞计算机的吗？

作者: miniuinx 时间: 2008-10-14 10:34
支持原创，运维是一门很深的学问啊

作者: bbjmmj 时间: 2008-10-14 10:58

原帖由 ddddddddd 于 2008-10-13 23:24 发表

我觉得你这样说更能显得自己牛：
楼主哦，计算机怎样开机怎么不提？你有忽悠大家的嫌疑哦~~~
你是搞计算机的吗？

哥们你太风趣啦

我也是网管，在一所职业高中管校园网，再牛我能牛到哪里去呀~

我觉得呢，楼主写这个帖子的目的，无非是想雷人，目的是借别人的嘴宣传自己做的工作有多牛B。

我很怀疑楼主是不是做运维的，感觉他混淆了系统工程师和网络维护人员的区别。运维这个岗位可能很有技术含量，维护别人做的网络需要有更多的知识，也可能没什么技术含量，只是做做数据备份，分析分析日志什么的。

凭心而论，运维是个很辛苦的工作，酷热的机房（不要以为机房有空调就很凉快），恼人的电脑噪音，繁重单调的日常管理，这个工作没敬业精神肯定是干不了的。

希望楼主提供些有实用价值的东西，24*7不间断网络服务方面的经验，提高系统运行效率的经验，等等，这才是有意义的。

作者: Asyouwish 时间: 2008-10-14 11:19
感谢分享,期待帖子不断完善
另外,想提个小问题,DFS国内有几家做到了?基于google的模型?

作者: boy_yy 时间: 2008-10-14 11:47
绝对得顶一下

作者: veyron 时间: 2008-10-14 12:20

原帖由 bbjmmj 于 2008-10-14 10:58 发表

哥们你太风趣啦

我也是网管，在一所职业高中管校园网，再牛我能牛到哪里去呀~

我觉得呢，楼主写这个帖子的目的，无非是想雷人，目的是借别人的嘴宣传自己做的工作有多牛B。

我很怀疑楼主 ...

首先我觉得你心态有点问题，我从来没有说运维工作有多少高尚多么牛，与其它职位来说，运维也只是我们混口饭吃的一个岗位/途径而已，而且与其它职位比它目前恰恰处于弱势的初级阶段。。在此也仅仅是分享经验、供大家参考。。。

”我也是网管，在一所职业高中管校园网。。。“

另外，以您目前的工作情况，我不敢说你对运维有什么了解，在不明白一个职业的前提下还是要谦虚一点，这是美德；还有，你把系统工程师与运维搞混淆了，运维工程师为什么一定要去机房？搬机器吗？

作者: veyron 时间: 2008-10-14 12:30

原帖由 Asyouwish 于 2008-10-14 11:19 发表
感谢分享,期待帖子不断完善
另外,想提个小问题,DFS国内有几家做到了?基于google的模型?

大部份是参照GFS，比较有名的是yahoo的hadoop （开源），这也是国内企业用得比较多的；另外，貌似baidu参照GFS也自已做了；主要解决海量存储、冗余、数据高并发读取、分布式计算、及分布式数据库。。。，这也是google、baidu等之所以采用大批量廉价x86服务器的基础。。

作者: zhurry 时间: 2008-10-15 01:18

叩谢楼主的好贴。

作者: bbjmmj 时间: 2008-10-15 13:22

原帖由 veyron 于 2008-10-14 12:20 发表

首先我觉得你心态有点问题，我从来没有说运维工作有多少高尚多么牛，与其它职位来说，运维也只是我们混口饭吃的一个岗位/途径而已，而且与其它职位比它目前恰恰处于弱势的初级阶段。。在此也仅仅是分享经验 ...

呵呵，我一个职高小网管都敢如此不屑，说明你谈论的东西还远远不够深入

我并没有感觉你给大家分享了什么经验，只是感觉你在炫耀你做的工作有多么高端，也许是言者无意听者有意吧~至少你的帖子给了我这种感觉。
你说得对，运维的确处于初级阶段，像反向代理这种东西是不该出现在大型门户网站上的，人工成本那么高，反向代理远不如用防火墙+WEB CACHE来得划算，大家都是土八路

作者: yoyoo1625 时间: 2008-10-15 14:50

原帖由 bbjmmj 于 2008-10-15 13:22 发表

呵呵，我一个职高小网管都敢如此不屑，说明你谈论的东西还远远不够深入
我并没有感觉你给大家分享了什么经验，只是感觉你在炫耀你做的工作有多么高端，也许是言者无意听者有意吧~至少你的帖子给了 ...

怎么CU上也能看到这样的装样，一个职高小网管知道运维的概念么？
中国各大网络游戏公司和门户网站哪个没有自己独立的运维部门，自己可以打电话去问问，高端的运维人才是什么样子的
希望楼上这位没有接触过，就不要说别人，免得真正懂行的人笑话你井底之蛙，我也做运维，但是理解不到的东西我还是懂得谦虚的看看别人的理念，做人低调点
知之为知之不知为不知是知也

作者: yoyoo1625 时间: 2008-10-15 14:51
顺便也叩谢楼主的好贴。

期待你的PDF文档有些问题还想向LZ请教，希望到时不要吝啬

作者: yoyoo1625 时间: 2008-10-15 14:58

原帖由 bbjmmj 于 2008-10-14 10:58 发表

哥们你太风趣啦

我也是网管，在一所职业高中管校园网，再牛我能牛到哪里去呀~

我觉得呢，楼主写这个帖子的目的，无非是想雷人，目的是借别人的嘴宣传自己做的工作有多牛B。

我很怀疑楼主 ...

哥们看你写的我笑歪了，你感觉运维就是呆在机房的啊……我们部门人看了都乐了，一看就是刚毕业的学生

作者: bbjmmj 时间: 2008-10-15 15:51

原帖由 yoyoo1625 于 2008-10-15 14:58 发表

哥们看你写的我笑歪了，你感觉运维就是呆在机房的啊……我们部门人看了都乐了，一看就是刚毕业的学生

呵呵，05年的时候，新浪被一个19岁的利比亚男孩攻破。19岁，大学应该还没毕业吧？大学没毕业的都有很厉害的角色，所以呢，别轻易露出肤浅的笑

防火墙+WEB CACHE比反向代理差么？请你告诉你们部门的同事，可以接着乐。

作者: bbjmmj 时间: 2008-10-15 15:52

原帖由 yoyoo1625 于 2008-10-15 14:50 发表

怎么CU上也能看到这样的装样，一个职高小网管知道运维的概念么？
中国各大网络游戏公司和门户网站哪个没有自己独立的运维部门，自己可以打电话去问问，高端的运维人才是什么样子的
希望楼上这位没有接触过 ...

嘿嘿！把我雷倒之前，没必要这么罗嗦，您说呢？

作者: lqjs 时间: 2008-10-15 21:26

经验阿，学习！

作者: ttplay 时间: 2008-10-15 21:34

原帖由 bbjmmj 于 2008-10-15 13:22 发表
呵呵，我一个职高小网管都敢如此不屑，说明你谈论的东西还远远不够深入
我并没有感觉你给大家分享了什么经验，只是感觉你在炫耀你做的工作有多么高端，也许是言者无意听者有意吧~至少你的帖子给了我这种感觉。
你说得对，运维的确处于初级阶段，像反向代理这种东西是不该出现在大型门户网站上的，人工成本那么高，反向代理远不如用防火墙+WEB CACHE来得划算，大家都是土八路

看你了的帖子, 你丫除了懂点squid, 你懂啥?
就你这水平, 不要说LZ, 与我比，都可能不仅差一个等级, 回家吃奶去吧!　最好三鹿牌

作者: ttplay 时间: 2008-10-15 21:37

原帖由 bbjmmj 于 2008-10-15 15:51 发表
呵呵，05年的时候，新浪被一个19岁的利比亚男孩攻破。19岁，大学应该还没毕业吧？大学没毕业的都有很厉害的角色，所以呢，别轻易露出肤浅的笑

防火墙+WEB CACHE比反向代理差么？请你告诉你们部门的同事，可以接着乐。

人家厉害，　关你鸟事！

你丫就停在缓存阶段，　你知道负载均衡吗？

作者: bbjmmj 时间: 2008-10-15 21:55

原帖由 ttplay 于 2008-10-15 21:37 发表

人家厉害，　关你鸟事！

你丫就停在缓存阶段，　你知道负载均衡吗？

我也做了相同的操作，看了你的帖子，感觉，你心浮气躁。
你怎么知道我只懂SQUID？你怎么知道我不懂负载均衡？
低看别人等于高看自己:wink:

作者: ttplay 时间: 2008-10-15 21:59

原帖由 bbjmmj 于 2008-10-15 21:55 发表

我也做了相同的操作，看了你的帖子，感觉，你心浮气躁。
你怎么知道我只懂SQUID？你怎么知道我不懂负载均衡？
低看别人等于高看自己:wink:

我是心浮气躁，可我不装B

作者: bbjmmj 时间: 2008-10-15 22:07

原帖由 ttplay 于 2008-10-15 21:59 发表

我是心浮气躁，可我不装B

我也不装B，而且我还不会心浮气躁。

作者: bigseacat 时间: 2008-10-15 23:27
好帖子都被无聊的人污染了，建议版主把这个帖子清理下。不然LZ都米心情写了

奉劝某人低调做人高调做事。

作者: bigseacat 时间: 2008-10-15 23:32
某人估计误认为黑掉某些大型网站的，岁数小的就是牛B的人，在美国这等人太多了。但即使是这些人在美国的Hacker界并不被推崇。如果不懂去Google下一个电子文档“如何成为一个黑客”

另：国内这些媒体真会渲染，Hacker到国内这些媒体嘴里变了味道。以至于一个学校机房管几台机器的人都以为自己是个Hacker

[ 本帖最后由 bigseacat 于 2008-10-15 23:37 编辑 ]

作者: selinux 时间: 2008-10-16 00:02
看了这篇文章，忍不住想回复一下，呵呵。

非常佩服 veyron 能够对运维的深度剖析。对运维已经达到一个比较高的认识了。个人猜测应该在几大门户网站工作，而且应该有3年以上的运维工作经验。。

大公司的运维和小公司的运维是有本质区别的。所以很多人对运维停留在不同的认识层面。很多大公司以前也是没有专门的应用运维职位，开始都是由开发人员同时承担运维的工作，由于没有那么大的精力，所以不可能做的深入，所以对业务的稳定性没有保障，随着工作的精细化分工，成立专门的部门。。。

一个优秀的运维工程师的经验是在工作中磨练出来的。。。不是一朝一夕的事情。一个优秀的网站运维工程师应该是一个复合型人才，对开发，操作系统，架构，安全，网络等都比较熟悉。

veyron所说的门户网站运维在我们公司应该属于应用运维的范畴，门户网站运维兴起大概也就2，3年的时间，当时没有可以借鉴的东西，完全是在摸索中前进，当然，各个公司对岗位的命名有所不同，目前baidu，雅虎，腾讯，51，都设有应用运维的岗位。。。应用运维的工作和业务紧密挂钩，7×24小时服务，对业务的稳定性，健康度负责，对负责的业务而言相当于“管家”的角色，要和各个部门的人打交道。系统运维的工作则和操作系统紧密挂钩，不对应业务。网络运维则是偏向于网络规划，硬件防火墙，交换机，路由器等设备的管理，为业务部门提供支撑。IDC运维则偏向于IDC机房的运维，机器的上下架，硬件故障的处理等。安全运维则侧重于安全方面的事务，对公司的网络，服务器，产品等等的安全负责。

大家可以继续讨论。希望不要看到对别人劳动成果的不尊重。。。这么好的一篇帖子，没必要打“口水战”，毕竟对运维的层面认识度不一样。。

作者: bbjmmj 时间: 2008-10-16 08:06

原帖由 bigseacat 于 2008-10-15 23:32 发表
某人估计误认为黑掉某些大型网站的，岁数小的就是牛B的人，在美国这等人太多了。但即使是这些人在美国的Hacker界并不被推崇。如果不懂去Google下一个电子文档“如何成为一个黑客”

另：国内这些媒体真会渲染 ...

自己学艺不精，就不该去笑话别人，你要明白响水不开，开水不响的道理，笑话别人的人一定不会是高手。

作者: minuteman 时间: 2008-10-16 08:41

原帖由 bbjmmj 于 2008-10-12 21:13 发表

HTTP网关就是HTTP网关，跟邮件短信不发生关系，我也不清楚为什么搜索引擎里没这个关键字，总之，你找不到，不等于没有。

如果您有有这方面的知识，不妨也分享一下
根据我的了解，现在的确有些厂家做HTTP网关，对于企业应用，还是有很大的市场，不过对于ISP\ICP，可能少有接触的吧

作者: bbjmmj 时间: 2008-10-16 10:01

原帖由 minuteman 于 2008-10-16 08:41 发表

如果您有有这方面的知识，不妨也分享一下
根据我的了解，现在的确有些厂家做HTTP网关，对于企业应用，还是有很大的市场，不过对于ISP\ICP，可能少有接触的吧

我觉得吧，像我这种小网管，竞争者太多，很多时候都要藏私的，而大型门户网站全世界都是有数的，重要的岗位一般会选择高学历且有工作经验的人来承担，所以这种单位的网管通常不会有多大就业竞争，没必要藏着捂着，你就算说了别人也是学不去的。像网够那种东西，在网吧和学校有很多人在用，不需要保密吧？

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)