百度:面对海量数据的绿巨人

 作者:阮晓东    40

  自行设计,打造绿色之路


  目前,百度已经在多个领域展开了基于公共数据的搜索服务。2013年2月,国家药监局三大数据库向百度开放,包括具有18万余种国产和进口药品信息的药品数据库,6000余种非处方药(OTC)化学药品说明书范本及中药说明书范本的药品说明书范本数据库,以及经过认证的可向个人售药的网站的数据库信息。


  2013年4月末,百度知道推出了知识搜索服务,针对相关领域的关键词检索提供满足用户需求的特型展示,目前已上线的有口碑搜索、医疗搜索、答案聚合及数据图谱等功能,并同时覆盖到PC端与无线端。


  在百度已相继引入国家药监局、中国家电维修协会、中国航空协会、中国银行业协会、北京市卫生局等权威机构的核心数据后,2013年5月,全国组织机构代码管理中心又和百度公司达成战略合作,以便为社会提供安全、准确的搜索结果。网友在百度搜索“组织机构代码查询”可以进入专业核查工具,只要输入组织机构名称、代码、登记证号中的任意一项,就可以了解机构类型、地址、有效期、颁发单位等重要信息,迅速判断这家组织机构是否真实、可靠。


  那么,这些海量的数据,在云时代的背景下,百度如何通过有效的组织管理以及在设计理念上来实现几十座数据中心的节能呢?在走访中记者逐渐了解到,百度除了采用一系列节能的方法和技术,比如优化电源结构、引入变频技术,优化服务器的气流式冷水机组及使用CFD软件等方式来实现服务器技术的优化外,更通过一系列定制化、高效的部件方面的自我的创新来建立中国最节能高效的云计算数据中心。


  自建绿色高效数据中心


  “数据中心是百度业务的载体,它支撑着海量数据存储、云平台和搜索社区等,所以百度更加关注建设云数据中心,用云的核心驱动力来支撑业务规模发展。”百度公司技术委员会理事长陈尚义介绍说,“百度的单体十万台服务器的数据中心,PUE每降低0.1,一年就可为百度节省上千万的成本,所以,打造自我的绿色高效数据中心,在大数据时代将能很好应对节能环保、低碳的要求。”


  目前,面对海量的大数据,百度正在通过自建数据中心,开发了自己的大数据存储系统,并使用了多项新技术。目前,计划投资47.08亿元的百度云计算(阳泉)中心已于2012年8月奠基,该项目预计2015年完工。建成后的百度云计算(阳泉)中心数据存储量将超过4000PB,可存储的信息量相当于20多万个中国国家图书馆的藏书总量。2013年4月15日,成都市高新区与百度云签署协议,中国最大的云开发服务平台——“成都百度云开发者技术中心”正式入驻成都高新区移动互联网大厦。此外,南京、广州、天津的百度云数据中心也都在建设之中。


  陈尚义介绍说,百度数据中心从设计之初就开始体现绿色节能的理念。在解决设备散热问题中,百度数据中心采用集中散热、集中供电、高效部件等方法来降低能耗;在解决服务器能耗问题中,采用SSD解决服务器的瓶颈,降低服务器数量等方式来节约服务器耗电量。此外,一些数据中心采取白天以商业业务为主、数据处理为辅,夜晚侧重数据处理为主的原则,来很好分配大数据量的工作时间,进而实现了节能高效。


  除了这些技术,百度最让人叹服的还有数量众多的“看家本领”,更显示其“自制”的能力。


  能力1:自制固态硬盘(SSD)。据估计,百度的数据中心存储了数百PB的数据,其日常的数据处理能力达到数十个PB。为了解决海量数据实时存储的巨大挑战,百度自行开发了SSD产品,其研发的SSD的性能比SATA SSD要好六倍,而且其成本只是它的10%。在南京的云计算数据中心也进行了大规模的行业内的固态硬盘(SSD)部署。


  能力2:自行设计10Gb TOR交换机。百度自2011年开始研究和开发TOR交换机的设计,并于2012年推出第一代10Gb的TOR交换机。通过使用自行设计的硬件和软件,设计制造模块,以及DAC(直接连接电缆),百度的10Gb TOR的成本只相当于同样的1GB TOR商业交换机。目前百度的10Gb TOR交换机能承载超过5000台的服务器,部署在其云计算数据中心里。


  能力3:定制机架服务器。百度正在与Facebook合作,促进和优化开源的机架服务器的探索,这也是中国自主设计机架服务器的开源项目。定制的机架式服务器解决了百度许多问题,如传统的主机托管数据中心空间和功率密度的限制,电缆的混乱和部署的效率低下,有助于提高智能化管理和资产精度。在南京的云计算数据中心,百度大规模部署了ARM服务器。据百度说,基于ARM的服务器使数据中心的总拥有成本(TCO)降低了25%,提高存储密度70%。百度已经获得开发基于ARM的服务器的10项专利。ARM服务器的应用,使南京的云计算数据中心能够降低服务器总体拥有成本的10%,业务高峰时运转效率提高近10倍。


  如今,百度已经成为中国最具价值的品牌之一,英国《金融时报》将百度列为“中国十大世界级品牌”。目前百度已经面向开发者全面开放了包括云存储、大数据智能和云计算在内的核心云能力,为开发者提供强大的技术运营支持与推广变现保障。作为互联网搜索的入口,百度承载着数亿网民检索需求,满足海量计算的数据中心规模将日益庞大。百度从软件架构、IT设备、数据管理效率等多方面入手,致力于绿色IT建设,将对产业链上下游的参与起到良好的示范和带动作用。

阮晓东
 百度,面对,海量,数据,巨人

扩展阅读

系列专题:2009中国营销  在即将过去的2008年,通胀压力下的成本上升、人民币升值、政策调整使得以生产为导向的中小型企业面临越来越多的生存压力。白酒业,自然在其影响的行业之一。  对于全国知名白酒

  作者:刘涛详情


前言:现代医疗市场竞争激烈,民营医院市场更是不容乐观,民营医院要想在竞争中取得优势,必须面向市场,积极开展市场营销,从等市场到主动找市场,了解社会需求,采取有效的营销策略,提高医院的社会美誉度,扩大医

  作者:胡一夫详情


  江浙地区一批“小巨人”近年遭遇的成长乏力和重重困境正引起广泛关注。这些“小巨人”大体包括两种类型:一种是“小的多元化企业”,进入产业五花八门,在某一区域内农工商贸无所不涉,核心主业却难寻其迹。一种

  作者:郭剑详情


 由“巨”到“强”的转型,是中小企业成长过程中脱胎换骨的凤凰涅槃式再生,是至为根本也至为艰难的革命性一跃  江浙地区一批“小巨人”近年遭遇的成长乏力和重重困境正引起广泛关注。这些“小巨人”大体包括两种

  作者:郭剑详情


目前金融海啸导致全球经济的重挫,使得太阳能光热产业年的发展也蒙上一层阴影,作为行业的一分子,我建议太阳能行业的同仁要“微笑”地面对这场危机。 “微笑”的第一个含义,就是面对危机要充满信心,信心比黄金

  作者:齐冰详情


  互联网经历了一对一的交流,一对多的交流,多对多的交流,随着博客网络社区和播客的快速发展使中国也快速进入了Web2.0时代。中国博客05年用户达到600万,06年达到17520万,予以2007年达到

  作者:王颖详情


版权声明:

本网刊登/转载的文章,仅代表作者个人或来源机构观点,不代表本站立场,本网不对其真伪性负责。
本网部分文章来源于其他媒体,本网转载此文只是为 网友免费提供更多的知识或资讯,传播管理/培训经验,不是直接以赢利为目的,版权归作者或来源机构所有。
如果您有任何版权方面问题或是本网相关内容侵犯了您的权益,请与我们联系,我们核实后将进行整理。


人才招聘 免责声明 常见问题 广告服务 联系方式 隐私保护 积分规则 关于我们 登陆帮助 友情链接
COPYRIGT @ 2001-2018 HTTP://WWW.QG68.CN INC. ALL RIGHTS RESERVED. 管理资源网 版权所有