企业服务器应用七宗罪找茬大行动第一期：数据中心的痛楚

vermouth

都好厉害啊，我就知道需要规则化管理。

为什么删我号

企业服务器应用七宗罪找茬大行动第一期：数据中心的痛楚

                七宗罪

第一罪 规划考虑不周
由于搞技术的很难有高瞻远瞩的眼光，很难看到企业N年后发展的状态，从而在企业数据中心规划中考虑不周，无法适应后期企业对数据中心的应用

第二罪 升级扩容困难
由于数据中心涉及的硬件设备较多，企业在升级扩容时，很难使所有的硬件性能良好匹配，从而是扩容后的设备性能较低

第三罪 维护问题
数据维护中，可能由于某个问题导致数据无法通讯，在解决问题中，怎么做到不断网不间断维护是个问题，很多时候需要暂停某项企业应用功能才能对问题进行定位

第四罪 安全问题
由于企业数据中心存储的大量企业数据，可以说涵盖很多企业绝密资料，有些大的公司可能还涉及国家级的资料，所以数据中心的信息安全是非常重要的

第五罪 能耗问题
数据中心运行中需要消耗大量的电，同时释放出大量的热量，这些释放的热量会影响到硬件设备的性能

第六罪 迁移问题
很多企业的发展一定的时间后，就会面临数据中心迁移，怎样做到最快的时间内恢复数据中心运行或不断网迁移是个问题

第七罪 消防问题
数据的中心的消防问题很重要，因为在数据中心运行中产生大量的热量很容易造成火灾等，万一出现火灾及时扑灭或自动预警等都是个问题，如果不及时解决火灾，对企业的损失是巨大的

shanxidili

随着信息化建设的发展，数据中心当前面临着众多的问题：
　　问题一：业务系统管理与数据中心管理相结合对数据中心的管理人员提出了更高的业务素质要求
　　数据中心所提供的信息化服务对于用户来说是不透明的，用户只需要知道自己访问某个IP地址，能得到相关服务就可以了。但是对于数据中心管理人员来说，他们不但要明白“服务是什么”，更要了解当系统出现故障时“怎么办”。因为，如果运行着关键系统的那部分软硬件系统出现了故障，造成的损失将会是巨大的。这个时候，数据中心管理与业务系统的管理就会产生一定意义上的重合。特别是当业务的流程随着相关业务部门的不定期的调整而需对程序的进行相应的修改时，为了使业务系统能符合新业务的需求，数据中心的管理人员就要通宵达旦的调试程序。这对于数据中心的管理人员来说，既要能处理IT方面的故障，又要对IT信息所服务的相关业务的内容及流程也要熟悉。
　　问题二：新技术的应用与老旧的管理方式之间的矛盾无法避免
　　虚拟化技术已经开始在数据中心投入应用，越来越多的用户开始使用虚拟化系统来整合自己的数据中心。虽然虚拟化能够为用户带来高度的整合，但是它也为用户带来了全新的管理问题。因为虚拟机是可以在物理机之间相互迁移的，当虚拟机发生了迁移，虚拟网络和实际物理网络就会发生变化，这也就是虚拟化的管理问题所在。
　　问题三：庞大且复杂的网络管理让人头痛
　　随着信息化建议的发展，数据中心的结构无疑变得更加的复杂和庞大。当网络达到一定规模的时候，任何一个小问题都会让运维人员头痛不已。举例而言，配置一台网络设备很容易，但是配置并且维护数十台功能不同、型号不同的网络调协就变成了一件枯燥且乏味的事情。对于复杂且庞大的网络来说，一旦出现了故障，将会给运维人员带来一场排障的噩梦，故障定位、排查将会是一件令人挠头的事情。

rickcafe

是数据中心规划让你头疼，还是复杂的管理让你疲于奔命，又或者是居高不下的能耗让你一筹莫展，业务整合/服务器换代/网络压力和各种瓶颈到底是个例还是大家都碰到的麻烦？

企业服务器应用七宗罪找茬大行动之“数据中心的痛楚”，就是希望大家讲出自己在接触数据中心的过程中遇到的各种问题和困扰！

也欢迎大家互相解答相关疑问，提出建设性意见，活动期间，还会有专业编辑对疑难问题作出解答！

   
也不能说痛楚，不管多麻烦，都靠这行混饭的。如果一点麻烦没有了，是个人都能干，那大家也没法儿混了。


1. 系统架构设计和设备选型问题
系统架构是指存储架构、网络架构和主机（服务器）架构，同时也包含数据库架构、容灾架构等。

系统架构需要根据业务需求、投资成本、设备利旧等多方面因素考虑。

为了满足业务需求，就要从系统性能、可靠性、可扩展性、安全性、可管理性、技术先进性等多方面进行权衡。

另外，还要有前瞻性，预估未来数年业务发展和系统扩容，保证系统扩容相对简便可靠，不必大动干戈。

1.1存储

存储系统一般是目前数据中心的核心，存放了数据中心最有价值的资产--业务数据，地位非常重要，要求万无一失。


存储目前就是FC SAN、IP SAN、NAS、DAS的选择，也可能是混合架构。重点是需求、性能和对业务发展的预测。

如果有一定资金，建议选择FC SAN，属于集中存储共享架构，性能高，可扩展性强，利于投资保护，设备利旧。

对于I/O负载不高，跨地域分支机构，也可以考虑IP SAN。

NAS主要用于文件服务、归档应用，要看业务是否需要。

DAS现在用的比较少了，一般是单点系统或低成本系统。如果选用SAS接口，一般就是超低成本了，谈不上什么数据中心的档次。如果选用FC接口，未来还可以扩展为SAN架构，但也省不了太多钱，不如选用低成本的FC SAN架构。当然，如果根本不需要按数据中心的模式建议，没有共享存储的需求，也不必非要上SAN架构，要看业务类型。

具体规划内容也就是容量、可扩展性、IOPS、RAID模式、MPIO（多路径）等。

1.2 网络
网络架构的设计按部就班了，没有太多技术含量可言。主要涉及以下几方面；

系统（网络）拓朴设计：是否分层？是否采用冗余架构？是否互连？

分层是指三层还是二层（核心层，汇聚层，接入层）

冗余架构指为提高可靠性，配置双交换机、双防火墙、双路由器，多路接入等等。双路配置是否需要负载均衡，及四层交换、网络负载均衡等。

互连指是否与外网互连，其它子网和广域网、互联网。如果和其它子网互连，要考虑是否有二层环路导致的网络风暴，是否子网规划合理。如果是与专线广域网互连，需要考虑线路和传输设备的调试。如果要接入互联网，则要考虑网络安全，内外网、DMZ的划分，设备的分区部署。

网络规划就是那几部分：系统拓朴、命名定义、IP规划、VLAN规划、路由规划、安全规划、端口规划等。关键是设计合理无冲突，统一命名好记忆，文档详细免混乱。

另外网络规划要注重带宽，特别是用于IP SAN或数据库群集时，最好至少都是1000M网以上，对于特殊的应用可考虑万兆网。

1.3 主机
主机规划一般考虑的是：是否单机、双机、群集。

单机的用途也很很广泛，主要是设备选型问题，看业务需要和重要性，以及与存储、网络的互连。

双机一般是指HA双机，算是集群的一种特例，主要针对高可性用场合。

群集一般是从业务需要出发，实现应用群集，系统冗余和负载均衡，要看应用类型了。比如海量WEB应用、数据库群集、高性能计算（HPC）等。

另外，主机还涉及一点OS的规划。

1.4 数据库
主要是考虑是否单机、双机、或群集（oracle RAC），以及数据库互连、备用数据库等。首先选择好数据库应用模式，再考虑采取何种架构。具体规划类同于存储、网络规则，统一命名，及包括一些优化安装配置参数。

如果是群集模式，则要重点考虑内网（心跳）带宽设计，视群集规模，指标要提高。

是集中数据库还是按业务分划为多数据库，是三层(中件间)还是二层（c/s, b/s）要看应用的需求，这涉及了业务整合。

1.5 容灾
容灾就是根据RTO、RPO指标，及预算选择系统架构

目前可选的容灾方式包括存储级容灾（FC/LAN）、主机级容灾、数据库级容灾、应用级容灾。

根据部署地域不同，也有不同的选择，本地的，同城的，异地的，跨洲的。

另外容灾也包含了备份恢复，有硬件级的，如硬件快照、镜像、克隆；也有主机系统级、数据库级的数据备份（在线、近线、离线等）

容灾也涉及到卷管理软件和高可用软件，有与硬件/操作系统厂商同厂商的，也有第三方的。

1.6 设备选型

设备选型是根据系统架构和业务需求而定的，一般来说，主要指标如下

服务器：计算性能（如数据库应用常的tpcc等），内存；PC Server/刀片/小机；OS；冗余部件

存储：容量，可扩展容量、RAID支持、主机端口、cache大小、虚拟化技术，可管理性，及光纤交换机的口数、速率等；及冗余部件

网络：接口类型、速率、端口数量，三层/二层，协议是否标准，是否支持HA/负载均衡等。
数据库：业务用什么选什么。

容灾：看情况选择卷管理软件、高可用软件、备份软件、带库、虚拟带库等。速率、容量、压缩、加密什么的。。

1.7 谁来规划
系统架构师和售前工程师。

1.8 问题
我的问题是：专业人士是怎么考虑系统规划的？重点在什么地方？希望站方给点意见。


2. 虚拟化问题
虚拟化属于系统架构问题，但有点特殊。主要分为硬件虚拟化和软件虚拟化

硬件：IBM/HP/SUN的小机，及一些存储设备的虚拟化。
软件：虚拟化软件，如vmware/citrix/hyper-v/redhat。。。。

虚拟化环境可以部署在小机、pc server和刀片上。软件虚拟化多以刀片+vmware为多。

虚拟化可以大量整合物理服务器，提高资源利用率，空间利用率，降低能耗，优化系统，同时也方便集中管理、系统迁移和备份。

如果是高端小机，可以采用硬件虚拟化技术充分利用资源

如果是x86服务器，数量较多，且非关键业务，可以选用刀片+vmware模式，减少服务器数量。

我的问题是：专业人士是对利用虚拟化技术整合现有系统有什么意见？比如系统迁移之类。


3. 可靠性问题

设备的可靠性有时很烦人。坏个硬盘、电源还是小事，一般多是冗余部件，但要整机损坏、如主板、刀片机笼损坏就比较麻烦。

高端小机支持在线CPU等关键部件更换，PC server就往往做不到了。如何做一个硬件系统级的备份是个问题，如HP的VC连接支持刀片备份。

硬件的损坏有时不仅仅是更换硬件的问题，还涉及软件配置的调整，如带库的更换，就涉及了操作系统、备份软件等一系列环节。业务系统往往不允许长时间停机，那么如何确定一个硬件更换预案，也是很重要的。售前不需要，售后很需要。


4. 可扩展性问题
系统还是需要一定的可扩展性的。用了几年的服务器，可能在业务应用程序规模不断扩大，而出现CPU占用率过高，内存不足的现象，而采购过时配件需要有原厂的支持。


5. 安全性问题
安全性也很重要，主要是操作系统级的安全和网络安全和管理上的安全。

接入公网的设备往往会受到黑客攻击，而windows系统又容易受病毒木马攻击。在windows平台下部署企业安全防护软件非常有必要。

我的问题是：专家对此数据中心的安全性有何更多的建议？


6. 集中管理问题
有些系统自身就有集中管理特性，如刀片系统，但其它大多设备要专门配置远程管理端口和集中管理软件，如网管软件。这也是一笔投资，要视系统的重要程度来规划部署。

在条件许可的情况下，可以配置一些集中管理软件（如网管软件），便于资产普查和日常监控。

我的问题是：专家对集中管理有何建议？

7. 系统性能优化
性能优化是数据中心管理中的“高技术”部分，需要有扎实的理论功底，及对使用产品的精通，以及长期监控得到的性能分析数据，和正确合理的优化方案。

一般来说，性能优化包括了：架构优化调整、服务器存储硬件优化、网络优化、操作系统优化、数据库优化等。

另外，系统性能分析还能为应用的优化提供一定的参考信息。

优化的指导意见是硬件、操作系统可逐一调整参数测试，不应一次改过多参数。数据库优化则修改主要的参数，和提供面向应用程序的优化建议，不大批量修改参数。

优化也要有预案、测试、及回退处理方式。

我的问题是：专家对系统性能优化有何指导意见？

8. 业务整合问题
有时用户需要将已有业务进行整合，比如减少服务器数量和数据库数量（虚拟化融合，或多台单机数据库升级为群集模式），或存储设备升级，这可能涉及系统架构的变更。

在做这些事情之前，一定要有明确的规划和预案，并得到技术专家的验证，准备好备用系统及失败后的回退流程，将系统割接或切换的时间减到最少，最大减轻业务停顿所造成的不利影响。

我的问题是：专家对业务整合的各环节有何建议？

9. 技术支持
要有良好的厂商支持。大规模系统、重要系统要有专业工程师或服务外包厂商支持。过保设备一定要续保。

10. 维护管理
数据中心的维护管理是非常重要的。包括人员配置、制度建设、日常维护内容（包括巡检）和维护工具（软硬件）、操作规范、具体操作指导说明、设备更换预案、容灾预案及演练，以及技术培训，技术管理等。另外还包括供应商、原厂商、服务商的管理，以及跨部门的业务协调。

一切必须有制度、有规章、有计划、有流程、有方法、有人负责和有人监督，保证管理的系统化，可参考项目管理模式和方法来进行组织实施。

技术团队不能空谈，不能闲置，要合理分配工作，让大家忙起来，有事做事，没事学习，定期检查和测试，保证大家维持在一定的技术水平和遵守各种维护、操作规范。

我的问题：专家对维护团队管理和对外包服务管理有何建议？



11. 其它

其实很多客户的数据中心维护中心人员主要精力倒不在系统架构和系统管理，而是放在业务和应用层面。他们大量时间都花在了监控业务软件的运行方式，对系统管理往往托付给服务商。他们往往扮演业务专家和系统专家两种角色，但更多的是业务专家。

deadwind

数据中心之痛：

1.剪不断、理还乱：
数据中心的布线是个闹心的，一次性建设步足线吧，倒是整齐美观也够用，但是铺张浪费巨大，不是中小企业可以承受的；按需布线吧，按照数据中心增长预留2年扩充的，但通常发现是不够的，再次布线费时费力而且很难做到一次性布线的美观整洁易维护；什么？FCOE整合光纤和铜缆千秋万代一统DC，八字还没一撇呢，你见过么？
神啊，救救我吧，一下午为了找根线，我把每个配线柜都翻遍

2.我欲机房加班，又恐冰火两重天：
散热不合理的数据中心，热点、冰点遍布到处，有的地方热风阵阵、有的地方凉风嗖嗖，都不是人待的地方，但你还得老老实实在那儿调试着；一个好的数据中心，通常的进风、出风都是很讲究的，并非买了艾默生的精密空调就能解决问题了，而过多的热点对于机器的稳定性和寿命都是极大的考验，可能经常会让你感觉到坏的莫名其妙

3.设备管理：
大的数据中心，通常都有专人管理数据中心，设备管理一般至少做到了登记；中小企业的数据中心(机房)大多是系统管理员、网络管理员自行充当机房管理员角色，通常管理上比较随意性，当数据中心越来越大，经常会发现找一台设备也越来越难，甚至经常发生设备丢失情况等等，这些都是设备管理做得不够

4.数据中心监控：
监控主要包含三个大方面：第一是环境监控，这个是基础的基础，而且影响面极大，当UPS或精密空调出问题时，死的可是一大片；第二是人员监控，这个通常是比较忽略的地方，一般都认为很少有人故意去破坏什么，但通常就是无意的都可能造成破坏；第三是系统、网络等服务和设备监控，只有做好了即时性的监控，才能保证最短时间了解故障进而解决故障

5.带外管理：
系统宕机，数据中心值守人员就算发现了由于并非其管辖领域或不拥有该方面技能，这时候怎么办，通常只能祈祷系统管理员火速赶到，但万一不巧主系统管理员和备份管理员都不能马上赶到现场，这时候带外管理系统就大有用武之处了，有internet，系统管理员可以远程解决大部分问题，所以像诸如IBM HMC、HP ILO这样的工具在有条件下一定要准备好

6.能耗及其他成本：
通常制造业自建的数据中心大多还好，因为对于制造业来说，场地、电力等等都不算是昂贵的东西，而对一些大型IT企业、特别是互联网企业，在一些寸土寸金的大城市兴建的数据中心，无论是场地费用还是电力费用都是庞大的，尤其动辄就是上万台服务器的大型互联网企业，所以也看出来了，刀片化和虚拟化是数据中心的未来基石，另外对于租用的数据中心，这方面成本体现的更厉害

7.数据中心分区：
这个分区和LPAR分区异曲同工，为节省成本，一套AIX小机可能做多个LPAR分区，有正式环境、有测试开发环境，同样的，数据中心越来越大，管理维护越来越复杂，基础环境也越来越复杂，如果通过将数据中心分为核心区、重要区、测试区等等，将有利于数据中心管理、IT设备更新淘汰利旧，以及应付特殊情况(比如电力维护测试，可以分区测试)方便资源倾斜

8.数据中心调试环境：
通常这也是个忽略的地方，有很多数据中心花费不少，却吝于给监控管理人员及调试人员一个很好的工作环境，平常这个问题表现不明显，在遇到大规模的调试、迁移、测试、新的大型设备进入数据中心时，通常可能多达几十人协同工作，这个时候一个良好的工作环境尤其重要

...

nokianihao

数据中心的功率密度与日剧增，尤其是在这样的盛夏，数据中心高密度问题更是需要处理的难点。由于机房中设备的密度不同，如果给整个机房盲目降温，会造成机房整体温度不均甚至造成机房过度制冷，不仅浪费了电力资源还增加了额外的支出。所以说机房降温固然重要，但是解决高密度问题也是一大重点，不知道有什么好的解决方案？

broadway2008

1.复杂庞大的网络管理如何做到高效便捷？
数据中心整合带来的是企业整体IT结构简化，但是对于整合后的中央数据中心来说，它的结构无疑变得更加的复杂和庞大。当网络达到一定规模的时候，任何一个小问题都会让运维人员头痛不已。举例而言，配置一台交换机很容易，但是配置一百台、一千台交换交换机就变成了一件枯燥且乏味的事情。
对于复杂且庞大的网络来说，一旦出现了故障，将会给运维人员带来一场排障的噩梦，故障定位、排查将会是一件令人崩溃的事情。


2.新技术的应用与老旧的管理方式之间的矛盾
虚拟化技术已经开始在数据中心得到广泛应用，虽然虚拟化能够为用户带来高度的整合，但是它也为用户带来了全新的管理问题，虚拟机是可以在物理机之间相互迁移的，当虚拟机发生了迁移，虚拟网络和实际物理网络就会发生变化，这也就是虚拟化的管理问题所在，两者如何和谐相处？


3.业务系统管理与数据中心管理相结合
整合后的数据中心所提供的信息化服务对于用户来说是不透明的，用户只需要知道自己访问哪个地址，能得到什么样的服务就可以了。但是对于数据中心管理人员来说，他们必须要明白来龙去脉。因为，如果运行着关键系统的那部分“云”出现了故障，造成的损失将会是巨大的。这个时候，数据中心管理与业务系统的管理就会产生一定意义上的重合。这对于管理人员来说，也是一个不小的挑战，如何做到这一点呢？

easybegin

回复 19# xiangx_iang


    http://www.cnii.com.cn/20080623/ca564988.htm

guyeh

数据中心是好东西，但是与之而来的问题也不少。我想以下几个方面可能比较突出吧。
非技术层面
1、数据集中了，统一了，各部门之间的关联多了，纠纷呢也多了；
2、触动了一些人的小九九，日常中小鞋多了；
3、能耗大了，电费多交了，老板不高兴了；

技术层面
1、合理的规划很重要，无须的、杂乱的、重复的建设验证制约了数据中心的整体工作，在某些单位并没有实在的发挥作用。

2、降低能耗成本、制冷技术任重道远。

3、维护成本（人力和财力）高、各个应用五花八门，各种平台都有，维护管理绝对痛苦。

4、构造可迁移、可移植性、可扩展性高的数据中心绝对是一个挑战。

5、安全工作极其重要，这同样是一个没有硝烟的战场。

duolanshizhe

由于信息系统的上线不是统一的，由厂商差别，硬件差别等等

等到要筹建数据中心时，多个系统的数据融合，数据集中等等问题  痛快不堪