[原创]从IDC到站点--运维经验交流[1205更新]

smallfish

好文章，学习了，感谢楼主！

dgvri

1. 
   
2. 7，英语               不想说了，我的最大痛苦就在这里
   

复制代码

也是我永完的痛，英语不好搞技术太费劲了。

1. 
   
2. 12，组织者            给你2个啥都不会的民工，再给你2000台服务器，要求你2天把服务器装完，你咋办？
   

复制代码

如果组织得当，一切心中有数，民工干活比技术人员干的都好，深有体会

1. 
   
2. 机器选型的时候你也要为自己考虑，比如HP的ILO功能，可以让你远程BIOS级操作服务器
   

复制代码

ILO或IPMI可以做很多工作，直接重定向后，你就可以直接远程管理这台服务器，就像是在显示器前操作一样，设BIOS，RAID，按F1-F12这些等，系统坏了你可以用这种方式来修
方便，不是一盘的方便。

1. 
   
2. 结果我机器至少被热死了100台以上，机器是HP的，机器过热，HP会自动关机，而且会不让你启动。你崩溃不？注：不是给hp做广告哈。
   

复制代码

HP的一般超过31度就开始挂了；我们在外地用来搞CDN的机房都是不太正规的机房，空调老是三天两头出问题，一出问题机器就死，而且不是死一两台，是全死。
从ILO的WEB可以看到当前环境温度，可以使这个来和机房理论。

1. 
   
2. 下面是拆箱子，面对着堆积如山的2000台服务器，我是连抬手的力气都拿不出来。。。当时机房只有我们公司3个人＋电信值班2个人。。。
   
3. 这时候，我的办法是。。。我打电话找来了2队收废品的：
   
4. 这么多箱子，除了机器和电源线留下，里头的导轨光盘等等你全部拿走，谁拆的多谁拿的多。。。
   
5. 最后按照我的要求帮忙搬到机柜上。。。于是我们5个人是监工。。。看人家拆箱子搬机器。
   
6. 于是人家2队人找来了30多号人，一早上把2000台机器全部拆箱子完毕放到机柜上。
   
7. 要是我们几个人拆，估计......
   

复制代码

同感同感，太同感了，我一般都是直接让供货商找民工来拆，纸箱子直接卖掉，08年时一个HP纸箱能卖到六块钱，我们一帮兄弟半年的吃喝都是靠它，09年一个纸箱一块钱
谁说经济没有危机？

1. 
   
2. 装系统
   

复制代码

不说了，PXE安装LINUX，比啥都方便，而且超快无比

1. 
   
2. 我一看TMD全部是DVD，IBM的机器直接佩combo
   

复制代码

我们的服务器除了HP DL580G5外，其它的都不带光驱，也确实用不着。

1. 
   
2. 办法4，HP的ILO2功能，实现远程分发。前提你得一台一台配置好BIOS里的ILO2。也是蛮痛苦的。IBM和DELL现在也都有这个功能，但是你在分发以前，还是得一台一台机器插上网线，配置好BIOS的IP，痛苦。然后把操作系统和机器的驱动程序和后续的软件全部做到一张DVD里，让他自动运行。然后所有的服务器远程运营这一个ISO,最好多弄几台，否则一台机器弄的慢死。
   

复制代码

BIOS我们是找供货商派技术人员一来设，ILO的IP是DHCP自动分配，但是是以MAC来分配的，我们直接把ILO做成了机房的第三个网络，方便远程管理。

1. 
   
2. 好了系统装好了，电源线和网线连接完，和瀑布一样的。这时候还是尽量把他扎一下吧。
   
3. 否则机器通风不畅，会导致热死。
   

复制代码

上架邦线都是找民工干的，邦的不好看直接让他们拆了重新邦

1. 
   
2. 简单办法就是电源线扎一边，网线扎一边。有钱的公司可以买个网线序号标，没钱就自己拿胶布标。
   

复制代码

从下往上15台，最下面的接交换机的确1口，2接2口，以此类推；服务器都做了bonding，第二个口接到相邻的机柜的交换机上，从21口开始，所以，网线上没有任何的标签，只要知道这个规律，就搞不错线的顺序。

1. 
   
2. 资产管理
   

复制代码

以SN号为唯一识别码，但有进也碰到没有SN号的情况，极少，一般是换了主板没有把SN重新涮进去，不过一般主机上都是SN号的标签，这个是错不了的。
资产编号也是打出来标签到贴上去，这样SN+资产编号，在数据库中一查就知道是什么时间买的，哪批，合同号，质保时间等。

1. 
   
2. 维修也一样了，机器坏了，或者需要重装系统，按照上面的流程，一步步走一遍，就可以了。年底统计机房一天要干多少活，省的某些领导认为机房人TMD都在闲着。机房的人呢？没有流程不干活，否则白干。
   
3. 
   
4. 在流程系统里重启服务器，重启服务器要是要流程，就太慢了，那么你可以做一个绿色通道，写清楚原因，重启哪个机器，直接提交给相关机房人员，在你的流程系统里绑定一个短信网关，机房人员可以收到需要重启服务器的短信。准确无误。
   
5. 
   

复制代码

如果你的机房有一千台HP服务器，他们就会派个专门的人员来响应，所以，我们一般周二去机房，在此之前一般会在上周五发邮件给HP，内容一般是有多少台什么样的服务器，SN号是多少，都是什么样的故障，需要带多少什么样的配件等等。
这一天都需要做什么工作，在周一的时候就要发给部门所有人员，让大家补充，周一下午最终确定周二去机房都做什么，怎么分工等，所以流程真的很重要。

再说重启，因为我们的机房没有人值班，我们是既当IDC管理又当SA，所以有死机重启这样的工作，直接用ILO的reboot.

1. 
   
2. 升级你的服务器
   

复制代码

一般服务器三年报废，能用到三年头上的很少，所以也就很少碰到有升级的事，不过测试部门用的服务器一般都是不太好的，到是给他们搞过不少的硬件更换。
至于配件的记录情况，我们一般是每周一小盘，一月一大盘，每次购买的配件都记录在案，每个配件的使用也都记录在案，使用日期，用到哪台机器上这些，不过配件管理这块的确不太好管理。

1. 
   
2. 要说的是，假如你一个机柜上放的机器比较多，比如4个6个机器一摞，恰巧坏了，恰巧一个人在机房，非得解决，怎么办？
   
3. 简单，一个办法，但是还是需要你有力气，虽然有力学原理
   
4. 比如有4台服务器，最下面的坏了，
   
5. 你可以拽住最下面的把4台一起往出拉，拉出来一点，把上面3台往后推，这样一点一点的拉出来
   

复制代码

我倒。。。。。。。。
我告诉大家，一定要用导轨，不是一般的方便，直接抽拉，而且上下的服务器绝对不受影响

1. 
   
2. 上面3台一定要留出来一点，否则放下的时候，机器和机柜托板会压住你的手，你一松手，机器震一下，硬盘就挂了。。。
   

复制代码

太经典了，我也这样做过。。。。。

theAnswer

感谢楼上。。。

不过话说。4年后看4年前的做事方法。真的很感叹，很好玩儿。

虽然现在有跟过的解决办法了，但是都是一步一步走来的。。。

fuyic

嘿嘿，楼上的，你知道不ILO1 在1.74版本之前有个BUG，输域名经常无法进去得输IP才能进，可以刷ILO firmware 升级，但是这样我刷挂过很多。。。。于是主板就废了得换主板才能重新用。另外ILO2 把REMCONS 这个功能取消了，不能SSH ILO操作屏幕了，只能用VSP得在内核重定向输出到屏幕，简直是退化！！IPMI这个只能在系统下面用，系统挂了的时候还得靠ILO RAC IMM这种东西来搞。

    PXE其实装多了也麻烦的，最近我就烦IBM3650的装机，WEB配RAID那叫一个慢，还好这几天我研究会了命令行模式，不过IBM实在是慢。最省事的还是收集好内网网口的MAC然后做分发，一插网线就开始装了，这才是最省事的。
   
    现在服务器生产厂商为啥前面版都不留点贴标签的位置呢，资产号 IP 没地方贴好麻烦。

    导轨是方便，可有的地方都是托盘的，所以最好还是放之前规划好一个盘子放一个机器最多不超过俩，这样之后就方便多了，放6个。。。。那就没法搞了，也不是没法搞，多去几个人，上面抬着下面抽，累点。

dgvri

一般的IDC都是用的托盘，但是要是自建IDC就可以按自己的要求来，把托盘全拆掉，不过要是就几台服务器也没必要用导轨了

macaw_w

楼主辛苦了，致敬一下

uploading

留名儿！

yoohuu

theanswer 赞一个，我顶你

1984qht

顶一个,确实牛的很

syl_0735

前辈牛人啊,非常佩服