免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 6370 | 回复: 5
打印 上一主题 下一主题

血的教训,大家以后当心 [复制链接]

论坛徽章:
7
数据库技术版块每日发帖之星
日期:2015-08-09 06:20:00数据库技术版块每日发帖之星
日期:2015-11-03 06:20:00数据库技术版块每日发帖之星
日期:2016-02-20 06:20:00数据库技术版块每日发帖之星
日期:2016-07-13 06:20:00数据库技术版块每日发帖之星
日期:2016-07-31 06:20:00数据库技术版块每日发帖之星
日期:2016-08-01 06:20:00数据库技术版块每日发帖之星
日期:2016-08-18 06:20:00
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2003-02-01 16:39 |显示全部楼层 |倒序浏览
一周之前,我正在暗自谋划春节放假怎么回家去呢。客户的一个电话,把我叫了过去把那个EMC Cx200的Lun重新指定一下SP,以期提高共享效率。
我心想这没什么的,就过去了。当把其中一个Lun的default owner从SPA指定到SPB之后,我开始做thepass。没料到就在这个时候,客户的那个该挨千刀万剐的死猪网管跑到机柜后面去看光纤交换机的灯怎么闪的,伸出一脚就踩掉了光纤交换机的电源!!!!我心想没问题,有两个光纤互为冗余呢,就笑笑让她走出来。
没料到就在这个时候,这个猪头(真是个猪头,现在怎么看她也是个母猪脑袋了)缩回一脚又把第二个光纤交换机的电源给蹬掉了………………
这下可好。赶紧全部关机,关CX200,重新……
好容易弄好,结果发现刚才正在thepass的LUN变成了Unknown Device了。而且怎么指定怎么thepass也无法从Unknown里拿出来了。赶紧急电Dell公司,Dell公司又一路问到马来西亚、新加坡、美国总部,都无法解决(听说这么两个光纤交换机在这几秒里先后掉电的情况,我这还是全世界第一次,真个要ft死过去)。急了大半夜,死也救不出来,而那个LUN上面正是应用最关键的数据库所在。555~~~~
最后还是只有unbind这个LUN重新再开一遍了。重新补数据的工作一直干到今天才补完。我的春节,我的休假………………啊啊!!!
事后,Dell公司这样告诉我。原来在第一个交换机断电的时候,LUN会自动thepass到另外一个SP上,而thepass过程中会先脱离原来的owner进入Unknown Device中,然后再从其中将其归属到另一个SP上去。而就在归属到Unknown时,另一个交换机断电,就使这个操作消失了,于是这个LUN就被永远留在了Unknown里拿不出来。唉……
在这里说一说,想请大家以后作thepass的时候一定要注意电源,千万不要发生我这样的惨剧,结果真的很伤人啊。

论坛徽章:
7
数据库技术版块每日发帖之星
日期:2015-08-09 06:20:00数据库技术版块每日发帖之星
日期:2015-11-03 06:20:00数据库技术版块每日发帖之星
日期:2016-02-20 06:20:00数据库技术版块每日发帖之星
日期:2016-07-13 06:20:00数据库技术版块每日发帖之星
日期:2016-07-31 06:20:00数据库技术版块每日发帖之星
日期:2016-08-01 06:20:00数据库技术版块每日发帖之星
日期:2016-08-18 06:20:00
2 [报告]
发表于 2003-02-06 10:47 |显示全部楼层

血的教训,大家以后当心

原帖由 "larryh" 发表:
电源线是不是乱接啊?那么容易踩掉,什么客户,是不是机房太差,不规范?电源应该是插在机柜里的嘛,怎么会踩掉呢?

所以,我认为从技术的角度看,主要罪过在规划机房的人,这人应当直接开除,要是丢了数据补不回..........

是的啊。这个客户不是银行那样的大手笔客户,而是一个商业单位。他们真是把所有能省的钱也都省掉了,连墙上多开几个电源插头都不愿意,只想在外面地摊上去买几个拖线板了事……我的那个火大啊……
直到今天才算是完全补救完了。抬头一看,已经是年初六了………………
满心的阶级仇,民族恨啊…………

论坛徽章:
7
数据库技术版块每日发帖之星
日期:2015-08-09 06:20:00数据库技术版块每日发帖之星
日期:2015-11-03 06:20:00数据库技术版块每日发帖之星
日期:2016-02-20 06:20:00数据库技术版块每日发帖之星
日期:2016-07-13 06:20:00数据库技术版块每日发帖之星
日期:2016-07-31 06:20:00数据库技术版块每日发帖之星
日期:2016-08-01 06:20:00数据库技术版块每日发帖之星
日期:2016-08-18 06:20:00
3 [报告]
发表于 2003-02-06 10:50 |显示全部楼层

血的教训,大家以后当心

原帖由 "david5337" 发表:
呵呵!这是很极端的情况,阵列柜的电源很重要。每做一次操作,都会有一个切换的过程。
但我有一个问题,Cache电池是可以保存设置的,难道没有用吗?!请Eisen确认!

客户要省钱,阵列柜没有配自己的电源,就直接接到机房UPS插座上了。
而CX200的电池确实有,但是也就只能顶那么几秒钟,也就是只够完成几次读写任务的,thepass要比电池的时间还来的长。所以没有能完成。也就是说thepass必须是一次完成的。

论坛徽章:
7
数据库技术版块每日发帖之星
日期:2015-08-09 06:20:00数据库技术版块每日发帖之星
日期:2015-11-03 06:20:00数据库技术版块每日发帖之星
日期:2016-02-20 06:20:00数据库技术版块每日发帖之星
日期:2016-07-13 06:20:00数据库技术版块每日发帖之星
日期:2016-07-31 06:20:00数据库技术版块每日发帖之星
日期:2016-08-01 06:20:00数据库技术版块每日发帖之星
日期:2016-08-18 06:20:00
4 [报告]
发表于 2003-02-10 09:32 |显示全部楼层

血的教训,大家以后当心

to 咸鱼他哥
是的。当时那几个赶来的Dell工程师也是想登入SP,然后用命令行来强制制定该LUN的owner,但是很遗憾的是——SP的命令中没有这个命令。当然,数据确实也都还在那个LUN上没有丢失,但是LUN丢失和数据丢失的效果是一致的。

论坛徽章:
7
数据库技术版块每日发帖之星
日期:2015-08-09 06:20:00数据库技术版块每日发帖之星
日期:2015-11-03 06:20:00数据库技术版块每日发帖之星
日期:2016-02-20 06:20:00数据库技术版块每日发帖之星
日期:2016-07-13 06:20:00数据库技术版块每日发帖之星
日期:2016-07-31 06:20:00数据库技术版块每日发帖之星
日期:2016-08-01 06:20:00数据库技术版块每日发帖之星
日期:2016-08-18 06:20:00
5 [报告]
发表于 2003-02-17 10:24 |显示全部楼层

血的教训,大家以后当心

原帖由 "david5337" 发表:
呵呵!这是很极端的情况,阵列柜的电源很重要。每做一次操作,都会有一个切换的过程。
但我有一个问题,Cache电池是可以保存设置的,难道没有用吗?!请Eisen确认!

哦……我脑袋都气昏了。不是CX200掉电,而是那两个光纤交换机先后掉电,而且非常精确地在一个thepass过程的一半先后掉电。真的是百年一遇啊……

论坛徽章:
7
数据库技术版块每日发帖之星
日期:2015-08-09 06:20:00数据库技术版块每日发帖之星
日期:2015-11-03 06:20:00数据库技术版块每日发帖之星
日期:2016-02-20 06:20:00数据库技术版块每日发帖之星
日期:2016-07-13 06:20:00数据库技术版块每日发帖之星
日期:2016-07-31 06:20:00数据库技术版块每日发帖之星
日期:2016-08-01 06:20:00数据库技术版块每日发帖之星
日期:2016-08-18 06:20:00
6 [报告]
发表于 2003-02-17 14:45 |显示全部楼层

血的教训,大家以后当心

[quote]原帖由 "大山"]按理讲EMC Clariion CX系列不该如此差劲,其内置电池应该支撑足够的时间完成tresspass。不过大家应该吸取教训,尽可能不让悲剧重演。正好我目前有环境可以测试,不过是CX600,测完通知大家。[/quote 发表:

再说一次啦……不是CX200掉电,而是与接受LUN的SP相连的那个光纤交换机掉电。
要真是CX200掉电而不是交换机掉电的话,那就好办了。CX200的电源会支撑完毕这个操作的,但是交换机掉电则使目标SP丢失,所以thepass完不成了。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP