你好,游客 登录 注册 搜索
背景:
阅读新闻

基础篇:Hadoop组件与生态系统介绍

[日期:2014-10-24] 来源:TechTarget中国  作者:作者:Gil Allouche 翻译:陈洪钰 [字体: ]

  从2014年开始,大数据逐渐发展壮大起来。越来越多的公司开始使用大数据,包括日常事务管理及复杂业务方案探究。大数据已经很快地从一个被夸大的词汇转变成了一个可行的技术,无论业务规模是大还是小。

  大数据,简单来说就是存在于我们身边的大量数据,如智能终端、网络应用、社交媒体、聊天室、移动App、通讯记录、支付历史以及各种其他方式涉及到的数据。大数据技术对大量的信息进行整合、存储以及分析,数据量一般在PB级别。

  这项技术已经完全改变了人们看待数据与数据库的方式,也改变了人们使用数据的方式。在军事方面,大数据主要用来预防损伤。在NBA,大数据主要用来捕捉并且分析一场比赛中数以百万计的个人动作。健康产业将大数据应用于治疗癌症与心脏病。汽车公司将这项技术实现自动驾驶以及汽车自主交流。

  大数据正在改变这个世界。但,究竟在这之后存在着怎样的软件呢?是什么使得大数据技术不断发展与运行呢?

  答案揭晓,Hadoop。

  很多人认为hadoop就是大数据,但它不是。在hadoop出现之前就已经存在大数据,而且即使没有hadoop大数据也将继续存在。然而,hadoop现在是大数据行业的寡头。hadoop与大数据二者混用是有原因的——很多人都这样用。你可以自己去找找看哪些大数据公司不使用 hadoop。

  Hadoop究竟是什么?

  它是一个“软件库”,使用者可以通过它获得处理大批数据的能力,即“使用简单编程模型在计算机集群上处理大量数据”。换句话说,它使公司有能力对大批数据进行汇总、存储与分析。

  另外,理解大数据很重要的一点在于它是一个“软件库”。大量的程序库补充了Hadoop基本框架,给予各个公司所需的特定工具,以获得期望的hadoop结果。

  让我们来看一下hadoop生态系统。相关资源及更多信息参见hadoop网站。

  Hadoop项目包含了各种模块——Hadoop通用库、hadoop分布式文件系统、Hadoop YARN 与Hadoop MapReduce。这些系统的整合,支撑了我们下面提到的其他hadoop项目,赋予了大数据处理实时自动任务调度和集群资源管理能力。

  其他项目提供了特定的服务,完善了整个 hadoop生态系统。

  Apache Hive:“一个提供数据汇总与即席查询的数据仓库”。该系统是一个强大的查询工具,并能仅实时的得到查询结果。

  Apache Spark: Apache Spark是一个通用计算引擎,能对大规模数据进行快速分析。Spark建立在HDFS之上,而不依赖于MapReduce,它使用了自己的数据处理框架。Apache Spark通常的使用场景,包括实时查询、事件流处理、迭代计算、复杂操作与机器学习。

  Apache Ambari: Ambari的目的在于帮助管理hadoop。它能够为许多hadoop生态环境中的工具提供支持,包括Hive, HBase, Pig, Sqoop 与Zookeeper。该工具的特征在于有一个控制面板,能够跟踪集群健康状态,帮助诊断性能问题。

  Apache Pig: Pig是一个平台工具,它支持一种处理大数据集的查询语言。

  Apache HBase: HBase是一个在HDFS之上运行的非关系型数据库管理系统。建立HBase的目的在于处理大数据项目中的稀疏数据集。

  其他常见的hadoop项目包括:Avro, Cassandra, Chukwa, Mahout与Zookeeper。

  通过构建hadoop,使用者能够获得大量工具和资源,从而深度定制他们的大数据平台,以适应自己的业务所需。

【TechTarget中国原创内容,版权所有,经授权中国大数据发布,谢绝其他网站转载。





收藏 推荐 打印 | 录入:Cstor | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款