谷歌IT架构大揭秘

ciolmy

加利福尼亚州山景城(Mountain View) 谷歌公司(Google，下称谷歌)总部有一个43号大楼，该建筑的中央大屏幕上显示着一个与谷歌地球(Google Earth)相仿的世界地图，一个转动的地球上不停地闪动着五颜六色的光点，恍如罗马宫廷的千万烛灯，每一次闪动标志着地球的这个角落一名谷歌用户发起了一次新的搜索。这同时意味着谷歌又一次满足了人们对未知信息的好奇与渴望。\r\n\r\n　　谷歌是与众不同的。它的独特不仅仅表现于革新的思维和充满创意的应用(比如那个大堂里的地球模型)，更在于其有别常规的IT策略。从人们的常理来看，简单的硬件商品和免费软件是无法构建出一个帝国的，但是谷歌做到了。在性能调整后，谷歌把它们变成一个无可比拟的分布式计算平台，该平台能够支持大规模的搜索和不断涌现的新兴应用。我们原本认为这些应用都是个人消费级别的，但是谷歌改变了这一切。现在商业世界也在使用它们，这就令这家搜索公司显得那么与众不同。\r\n\r\n　　谷歌Web服务背后的IT架构对无数使用搜索引擎的用户来说也许并不是非常重要，但它是谷歌几百位致力于把全球信息组织起来，实现“随处可达，随时可用”目标的工程师们的最核心工作。这就需要一个在覆盖范围和野心上都与谷歌的商业愿景完全相符的IT蓝图作为支撑。\r\n\r\n　　谷歌的经理们一直对公司的IT策略话题保持沉默，他们厌恶谈及特定的厂商或者产品，当被问到他们的服务器和数据中心时，他们总是闭口不谈。但与几位谷歌的IT领导一起呆了一天后，我们最终得以揭示该公司的IT是如何运作的，那可不仅仅是一个运行在无数服务器集群上的、表面看来非常简单的搜索引擎。在其简单的外表下，蕴涵着许多内部研发软件、定制硬件、人工智能，以及对性能的执着追求和打破常规的人力管理模式。\r\n\r\n　　IT理念方面，谷歌对同行有一条建议:尽量避免那些人人都在使用的系统和软件，以自己的方式做事会更有独特的竞争优势。\r\n\r\n　　“企业文化决定了你的做事方式。”道格拉斯•美林(Douglas Merrill)，这位谷歌工程副总裁和事实上的首席信息官 (CIO) 指出，“到了我们这样的发展阶段，企业观念和文化非常与众不同，这也反过来鞭策我们必须要采用与众不同的方式来运行那些他人看来很常规的系统。”\r\n\r\n　　谷歌最大的IT优势在于它能建造出既富于性价比(并非廉价)又能承受极高负载的高性能系统。因此IT顾问史蒂芬& #8226;阿诺德(Stephen Arnold)指出，谷歌与竞争对手，如亚马逊网站(Amazon)、电子港湾公司(eBay)、微软公司 (Microsoft，下称微软)和雅虎公司(Yahoo，下称雅虎)等公司相比，具有更大的成本优势。谷歌程序员的效率比其他Web公司同行们高出 50%～100%，原因是谷歌已经开发出了一整套专用于支持大规模并行系统编程的定制软件库。据他估算，其他竞争公司可能要花上四倍的时间才能获得同等的效果。

ciolmy

打造服务器\r\n\r\n　　谷歌究竟是怎样做到这点的呢?其中一个手段，美林认为，“是因为我们自己动手打造硬件。”谷歌并不制造计算机系统，但它根据自己的参数定制硬件，然后像MTV的节目“靓车打造”(Pimp My Ride)那样自己安装和调整硬件系统。开源程序经理克里斯•迪博纳(Chris DiBona)评论道:“我们很善于购买商业服务器，并且改造他们为我们所用，最后把性能压榨和发挥到极致，以致有时候他们热得像要融化了似的。”\r\n\r\n　　这种亲手打造的方式，来源于谷歌从车库诞生时与生俱来的节俭风格，更与谷歌那超大型的系统规模息息相关，良好的习惯一直延续至今。据说谷歌在65个数据中心拥有20万～45万台服务器—这个数目会有偏差(取决于你如何定义服务器和由谁来做这项统计)。但是，不变的是持续上升的趋势。\r\n\r\n　　谷歌不会去讨论这些资产，因为它认为保密也是一种竞争优势。事实上，谷歌之所以喜欢开源软件也是因为它的私密性。“如果我们购买了软件许可或代码许可，人们只要对号入座，就可以猜出谷歌的IT基础架构。”迪博纳分析说，“使用开源软件，就使我们多了一条把握自己命运的途径。”\r\n\r\n　　谷歌喜欢规模化的服务器运行方式。当有成百上千台机器时，定制服务器的优势也会成倍增加，效果也会更趋明显。谷歌正在俄勒冈州哥伦比亚河边的达勒斯市建造一个占地30亩的数据中心，在那儿它可以获得运算和降温需要的低价水力电力能源(参见边栏《谷歌数据中心自有一套》)。\r\n\r\n　　谷歌以“单元”(Cell)的形式组织这些运行Linux操作系统的服务器，迪博纳把这种形式比喻成互联网服务的“磁盘驱动器”(但别和一直谣传的谷歌存储服务Gdrive混淆了，“并没有Gdrive这回事。”一位谷歌女发言人明确表示。)，公司的软件程序都驻扎在这些并不昂贵的电脑机箱里，由程序员决定它们的冗余工作量。这种由很多单元组成的文件系统代替了商业存储设备;迪博纳表示谷歌这些单元设备更易于建造和维护，他还暗示他们能处理更大规模的数据。\r\n\r\n　　谷歌不会漏过对任何技术细节的关注。多年来，公司的工程师就在研究微处理器的内部工作机制，随着谷歌规模的持续壮大，必然会用到特别定制和调节过的芯片。知名工程师路易斯•巴罗索(Luiz Barroso)去年在一篇发表在工业杂志上的论文中证实，近年来谷歌的主要负荷都由单核设计的系统承担着。但许多服务器端的应用，如谷歌搜索索引服务，所需的并行计算在单核芯片的指令级别上执行得并不好。\r\n\r\n　　曾在数据设备公司(Digital Equipment)和康柏公司(Compaq)当过芯片设计师的巴罗索认为，随着AMD公司、英特尔公司(Intel)、太阳计算机系统公司(Sun)开始制造多核芯片，必将会出现越来越多芯片级别的并行计算。