Chinaunix

标题: 转载: 谁为HPC电费买单? [打印本页]

作者: overquota 时间: 2008-07-15 00:28
标题: 转载: 谁为HPC电费买单?
http://www.linpack.org/viewnews-64

有一个客户的亚太数据中心整体迁移到了上海, 200多个42U的Rack, 规划最大功率2MW, 目前2000多台x86 server. 初步帮客户估算了一下电费开支:

2000多台server, 每台平均功耗300W, 也就是说单纯服务器每年的耗电量为: 2000*300W*24 Hour* 365day = 5,256,000 千瓦时

考虑到精密空调散热以及连接服务器的交换机, KVM等功耗平均占服务器正常功耗的30%, 也就是说5,256,000×1.3 =  6832800 千瓦时.

整个数据中心目前存储将近100TB(含Centera归档设备, 不计入磁带). 每个光纤3.5'磁盘功耗为25W.

估算所有磁盘阵列功耗时, 在数量众多的磁盘数量中, 阵列控制器的功耗反而占用比例很小, 因此略去不计.

以RAID 5来估算, 裸容量为100TB/0.8 = 125TB, 按照146GB FC来估算: 125TB/ 146GB *25W *24Hour*365 = 187500千瓦时

Total: 6832800 + 187500 = 7020300 千瓦时

目前工业用电是0.9 RMB 每千瓦时, 7020300*0.9 = 6,318,270 RMB = 6.3 M RMB

也就是说, 每个月需要花至少50W RMB在电费开支上.  而2000台PC Server的采购成本按照每台平均30K RMB来估算, 每年的电费开支可以用来购买6.3M/30K = 210 units.

每年的电费开支(不含任何其他续保, 管理人员开支), 达到了初始购买成本的210units/2000units =10%.

目前耗电量为621KW的时候电费开支已经是每年6.3M, 那么达到规划容量的80%也就是1.6MW时,  电费开支将达到16.3M, 也就是说一千六百万.

固然虚拟化可以减少服务器数量大幅降低功耗, 但是对于HPC应用来说, 为了达到系统运算的峰值, 往往需要满负荷运行, 这时功耗往往是最高的.

从维护成本来看, HPC确实是电老虎, 每年维护成本高昂, 也难怪要提Green HPC了.

当然, 归根到底, 服务器功耗无法下降的最大根源在于处理器制造商.

目前的x86处理器一个很大的弊病在于, 系统满负荷的功耗, 跟系统处于idle状态的功耗, 相差很小,

一般一台1U x86服务器, 2 CPU, 4G Mem, 4* SAS HDD, 无其他额外的板卡, 最低功耗也需要200W, 而最高功耗一般在300左右.

等于说, 即使系统不运行任何应用, 你依然要掏出200/300 =66%的电费出来.

期待着下一代处理器能在空闲状态功耗上做出改进, 届时将大大降低HPC耗电。毕竟, 并不是任何时候都需要满负荷进行科学运算的.

[ 本帖最后由 overquota 于 2008-7-15 09:50 编辑 ]

作者: jerrywjl 时间: 2008-07-15 10:23
很高深的领域啊！！！

作者: 19730512 时间: 2008-07-15 14:04
标题: 回复 #1 overquota 的帖子
搂主的计算有问题，首先，你所有的数值都是估算的，没有具体数据。最大的漏洞，就是硬盘的功率计算，如果每块硬盘的功率都有25W，那么一个14块硬盘的磁盘柜的电源功率应该是多少呢？可是人和一个厂家的磁盘柜（14块硬盘以内单盘柜）电源功率都不超过1200W，还是2个电源合计的功率，就是说，坏一个电源是不影响运行的。所以，还是要看具体的案例分析才行。

作者: overquota 时间: 2008-07-15 18:40
标题: 回复 #3 19730512 的帖子
磁盘阵列的功率估算我已经不计入硬盘柜跟控制器的功耗了,但是假定所有磁盘处于读取运行状态。
你指的磁盘柜电源功率是指电源模块所能提供的最大功率, 跟整个柜子实际消耗的功率是两码事.
比如并不能说一台2U机架服务器电源模块上标称是800w, 就觉得服务器实际运行需要消耗800W, 完全两个概念.
估算设备的功耗要按照设备所有组件实际运行所需功耗总和来估算，而不是简单的看电源模块上功率.
至于我所估算服务器的功耗更是基于实际运行数据的平均值。
这个估算跟客户每个月的电费开支预算误差不超过10%

每个厂商都有公开的功率计算工具来做数据中心的sizing, 比如IBM/HP/Dell, 有兴趣的话可以google一下。

作者: nntp 时间: 2008-07-16 11:14

原帖由 overquota 于 2008-7-15 18:40 发表
磁盘阵列的功率估算我已经不计入硬盘柜跟控制器的功耗了,但是假定所有磁盘处于读取运行状态。
你指的磁盘柜电源功率是指电源模块所能提供的最大功率, 跟整个柜子实际消耗的功率是两码事.
比如并不能说一台2 ...

正确

作者: nntp 时间: 2008-07-16 11:16

原帖由 19730512 于 2008-7-15 14:04 发表
搂主的计算有问题，首先，你所有的数值都是估算的，没有具体数据。最大的漏洞，就是硬盘的功率计算，如果每块硬盘的功率都有25W，那么一个14块硬盘的磁盘柜的电源功率应该是多少呢？可是人和一个厂家的磁盘柜（ ...

这个是基本常识，额定功率和真实消耗的完全是两码事。况且你把盘阵电源功率和磁盘消耗功率搞在一起根本就是错的.

作者: soway 时间: 2008-07-16 14:37
提示: 作者被禁止或删除内容自动屏蔽

作者: overquota 时间: 2008-07-16 16:59
标题: 回复 #6 nntp 的帖子
Thanks Joe...

关于之前提到的估算工具介绍跟下载链接如下:
http://www.linpack.org/viewnews-65

[ 本帖最后由 overquota 于 2008-7-16 17:00 编辑 ]

作者: feiyueheu 时间: 2008-07-16 23:31
我们学校的机房里也是这样的.机器没有人用.天天在空转.我都心痛

作者: safe.cn 时间: 2008-07-17 16:21
学习了...好贴子...顶一下...

作者: troyme 时间: 2008-07-25 13:06
主要还是要降低空闲时机器的能耗

作者: 萍水e相逢 时间: 2008-07-25 17:27
标题: 回复 #1 overquota 的帖子
客户买单！

肯定的！

作者: b2linux 时间: 2008-07-28 16:45
标题: 回复 #10 feiyueheu 的帖子
差不多都是这样,不转起来的话,领导又该闹心了.
偶原来厂子花几百万买的小型机, 除了耗电和发出噪音外, 最大的用处供人参观.

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)