你好,游客 登录 注册 搜索
背景:
阅读新闻

初识Hadoop

[日期:2014-07-30] 来源:编程大巴  作者: [字体: ]

  1.Hadoop 发展历史

  1.1 Hadoop 产生背景

  Hadoop 最早起源于Nutch。Nutch是一个开源的网络搜索引擎,始于2002年,Nutch的设计目标是构建一个大型的全网搜索引擎,包括抓取网页,索引,查询等,但是随着数据量的增加,遇到了扩展问题。直至2003年google发表了一篇关于google的文件系统GFS,该论文描述了google搜索引擎网页数据的存储架构,该架构解决了Nutch遇到的问题,随即实现了自己的分布式文件系统,即NDFS(此间google只是开源思想,但并未开源代码),到了2004年的google的另一篇论文MapReduce:simplified data processing on large cluster ,震惊世界,该论文描述了分布式计算的框架,但也只是开源思想,并不开源代码,Nutch的开发人员靠自己完成了实现,由于NDFS和MapReduce 的成功,2006年Nutch的开发人员,随即将其移出Nutch,成为Lucene的子项目,称为Hadoop(据说是Doug Cutting儿子的玩具大象的名字),随着Hadoop的发展,2008年,Hadoop已经成为Apache基金会的顶级项目,也促生了Hadoop 家族其他项目的发展。

  1.2 Hadoop思想之源

  Hadoop的思想主要来源于google,此间google的俩大论文GFS,MapReduce起了决定性的作用,而google的低成本之道(不使用超级计算机,不用存储;大量使用PC server,提供冗余的集群服务...)也是成功的根本。而google的成功也得益于Page Rank算法。

  

\
\

  

\

  

\

  更加详尽有关Page Rank可以参考:http://blog.csdn.net/v_july_v/article/details/6142146

  目前hadoop发展迅速,是实现云计算标准开源软件,已经可以在数千节点上面运行,处理数据量和速度有很可观的效果。同时,hadoop家族的项目也得到了相应的发展。

 

\

  2 Hadoop的架构

  2.1 Hadoop的俩大支柱:HDFS和MapReduce

  其中HDFS用于大规模数据的分布式存储,而MapReduce则构建在HDFS之上,对数据进行分布式计算。

  2.1 HDFS架构

  HDFS是一个具有高容错性的分布式系统,适合部署在廉价的机器上,HDFS可以提供高吞吐量的数据访问,适合大数据集的应用,主要有client,NameNode,SecondaryNameNode,DataNode几个组件构成。

 

\

  client:通过于NameNode于DataNode交互访问HDFS文件。

  NameNode:HDFS的守护程序,是个“总管”,记录文件是如何分割成数据块的,以及这些数据块存储到哪些节点,对IO和内存进行集中管理,且是个单点。

  SecondaryNameNode:监控HDFS状态的辅助后台程序,每个集群都有一个,与NameNode进行通讯,定期存储HDFS元数据快照,并且在NameNode故障的时候,提供备份作用。

  DataNode:负责把HDFS数据块读写到本地文件系统,并将数据定期汇报给NameNode,DataNode以固定大小的block(默认64MB)为基本单位。

  2.2 MapReduce 架构

  同HDFS一样,MR也采用了Master/Slave模式,有以下组件:client,JobTracker,TaskTracker,Task.

 

\

  JobTracker:负责资源监控和作业调度,运行主节点,对HDFS总控,决定哪些文件an参与处理,然后分割task并分配节点,重启失败的task等

  TaskTracker:位于slave节点上,与datanode结合,管理各自节点上的task,与JobTracker交互(周期性的通过 heartbeat将资源使用情况和任务进度汇报给jobtracker)。TaskTracker通过使用“slot”等量划分(划分方法用户自己决定)节点上的资源量,分为Mapslot 和Reduceslot来提供Map任务和Reduce任务的使用。

  Task:Map Task和Reduce Task,有TaskTracker启动。

  Map Task流程:Map Task先将对应的split(MapReduce处理单位)迭代解析成一个个的key/alue对,依次调用map函数进行处理,最终将临时结果存到本地磁盘中,其临时数据分成若干个partition,每个partition将被一个reduce task 处理。

\

  reduce task流程:读取partition部分,对结果排序,依次读取,调用用户自己的reduce函数处理,结果存到HDFS上面。

  

  参考书籍:Hadoop实战,Hadoop技术内幕 深入解析MapReduce架构设计与实现原理。

  dataguru:http://www.dataguru.cn/forum.php





收藏 推荐 打印 | 录入:Cstor | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款