你好,游客 登录
背景:
阅读新闻

Hadoop 从小象到巨人的崛起

[日期:2013-11-01] 来源:看引擎  作者: [字体: ]

  随着互联网、移动互联网、物联网、云计算的快速发展,各行各业爆炸性增长的海量数据将再一次颠覆云时代,信息量暴增的大数据时代吹响了号角。

  用户如何从这庞大的数据库中提取对自己有用的信息呢?这就需要大数据分析技术和工具,而传统的商业智能(BI)工具已经抵挡不住企业如此庞大的数据信息。提到大数据,不得不说的是与大数据相关的技术名词:hadoop、MapReduce、HBase、NoSQL等。业界的众多厂商也都开始从技术入手,打造各自的大数据解决方案。一时间,Hadoop红遍了全球,就像当年的Linux开源软件系统一样,成为了研究和设计大数据解决方案的主流平台。

  华丽的变形

  Hadoop的发展基本上经历了这样一个过程:从一个开源的Apache基金会项目,随着越来越多的用户的加入,不断地被使用、贡献和完善,逐渐形成了一个强大的生态系统。

  随着云计算和大数据的发展,如今Hadoop已经是一个能够让用户轻松驾驭和使用的分布式计算平台。用户可以在不了解分布式底层细节的情况下,轻松地在Hadoop上开发和运行处理海量数据的应用程序,并能充分利用集群的威力实现高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在价格低廉的硬件上,而且它提供高传输率来访问应用程序的数据,适合那些有着超大数据集的应用程序。HDFS放宽了POSIX的要求,这样可以用流的形式访问文件系统中的数据。

  Hadoop最受欢迎的是在Internet上对搜索关键字进行内容分类的工具,但它也可以解决许多要求极大伸缩性的问题。例如,如果您要grep一个100TB的巨型文件,会出现什么情况?在传统的系统上,这将需要很长的时间。但是Hadoop在设计时就考虑到这些问题,采用并行执行机制,因此能大大提高效率。

  如今,基于Hadoop的应用已经遍地开花:Yahoo通过集群运行Hadoop,以支持广告系统和Web搜索的研究;Facebook借助集群运行Hadoop,以支持其数据分析和机器学习;百度则使用Hadoop进行搜索日志的分析和网页数据的挖掘工作;淘宝的Hadoop系统用于存储并处理电子商务交易的相关数据。

  九年的长跑,Hadoop已从初出茅庐的小象华丽变形,成为了行业巨人,但还需戒骄戒躁、不断完善。

  性能大提升

  Hadoop还是一个能够对大量数据进行分布式处理的软件框架。Hadoop是以一种可靠、高效、可伸缩的方式进行处理的。

  Hadoop是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。

  Hadoop是高效的,因为它以并行的方式工作,通过并行处理加快处理速度。Hadoop可以将数千个节点投入计算,非常具有性能潜力。但并非所有的工作都可以进行并行处理,如用户交互进行的数据分析。如果你设计的应用没有专门为 Hadoop集群进行优化,那么性能并不理想,因为每个Map/Reduce任务都要等待之前的工作完成。

  英特尔针对大数据的开放架构核心产品线,推出了英特尔Hadoop分发版,让用户可以实现“软硬协同,体验至上”的创新效果。例如,利用英特尔至强处理器平台对网络和I/O 技术所做的优化,与英特尔Hadoop分发版进行强力组合,以往分析1TB的数据需要4个多小时才能完全处理完,现在仅需要短短的7分钟即可完成,极大地提升了大数据分析的速度。





收藏 推荐 打印 | 录入: | 阅读:
相关新闻      
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款