你好,游客 登录
背景:
阅读新闻

Hadoop技术一句话介绍

[日期:2014-05-05] 来源:ITeye  作者:myhadoop [字体: ]

      Hadoop  是一种分布式系统的平台,通过它可以很轻松的搭建一个高效、高质量的分布系统,而且它还有许多其它的相关子项目,也就是对它的功能的极大扩充,包括Zookeeper,Hive,Hbase等。

 

     MapReduce 是Google提出的一种算法,用于超大型数据集的并行运算。它hadoop的核心组件之一,hadoop要分布式包括两部分,一是分布式文件系统hdfs,一部是分布式计算框,就是mapreduce,缺一不可,也就是说,可以通过mapreduce很容易在hadoop平台上进行分布式的计算编程。

 

    Pig 是在MapReduce上构建的查询语言(SQL-like),适用于大量并行计算。

 

   Chukwa 是基于Hadoop集群中监控系统,可以用他来分析和收集系统中的数据(日志)

 

   Hive 是DataWareHouse 和 Map Reduce交集,适用于ETL方面的工作

 

   HBase 是一个面向列的分布式数据库。

 

   HDFS 可以支持千万级的大型分布式文件系统。

 

   Zookeeper  提供的功能包括:配置维护、名字服务、分布式同步、组服务等,用于分布式系统的可靠协调系统。

 

   Avro 是一个数据序列化系统,设计用于支持大批量数据交换的应用

 

   Sqoop 是一个可以将关系型数据库中的数据导入到Hadoop文件系统(HDFS)中的工具 。例如 Mysql的数据向Hive/HBase迁移。支持 Hsqldb、MySQL、Oracle、PostgreSQL等。





收藏 推荐 打印 | 录入: | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款