你好,游客 登录 注册 搜索
背景:
阅读新闻

手把手教你搭建5节点Hadoop分布式集群(HA)

[日期:2016-11-18] 来源:华夏时报  作者: [字体: ]

  本文章我们使用hadoop2.6.0版本配置Hadoop集群,同时配置NameNode+HA、ResourceManager+HA,并使用zookeeper来管理Hadoop集群。

  由于文章内容太多,下面只列出目录,文档在附件里,大家可以自己下载!

  1.1 写在前面的话

  1.2 (一)HDFS概述

  1.2.1 基础架构

  1、NameNode(Master)

  1)命名空间管理:命名空间支持对HDFS中的目录、文件和块做类似文件系统的创建、修改、删除、列表文件和目录等基本操作。

  2)块存储管理。

  1.2.2 HA架构

Hadoop

  从上面的架构图可以看出,使用Active NameNode,Standby NameNode 两个节点可以解决单点问题,两个节点通过JounalNode共享状态,通过ZKFC 选举Active ,监控状态,自动备份。

  1、Active NameNode

  接受client的RPC请求并处理,同时写自己的Editlog和共享存储上的Editlog,接收DataNode的Block report, block location updates和heartbeat。

  2、Standby NameNode

  同样会接到来自DataNode的Block report, block location updates和heartbeat,同时会从共享存储的Editlog上读取并执行这些log操作,保持自己NameNode中的元数据(Namespcae information + Block locations map)和Active NameNode中的元数据是同步的。所以说Standby模式的NameNode是一个热备(Hot Standby NameNode),一旦切换成Active模式,马上就可以提供NameNode服务。

  3、JounalNode

  用于Active NameNode , Standby NameNode 同步数据,本身由一组JounnalNode节点组成,该组节点奇数个。

  4、ZKFC

  监控NameNode进程,自动备份。

  1.3 (二)YARN概述

  1.3.1 基础架构

  1.3.2 HA架构

  1.4 (三)规划

  1.4.1 主机规划

  1.4.2 软件规划

  1.4.3 用户规划

  1.4.4 目录规划

  1.5 (四)集群安装前的环境检查

  1.5.1 时钟同步

  1.5.2 hosts文件检查

  1.5.3 禁用防火墙

  1.6 (五)配置SSH免密码通信

  1.7 (六)脚本工具的使用

  1.8 (七)jdk安装

  1.9 (八)Zookeeper安装

  1.10 (九)hadoop集群环境搭建

  1.10.1 配置HDFS

  1.10.2 hdfs配置完毕后启动顺序

 

  1.10.3 YARN安装配置





收藏 推荐 打印 | 录入:elainebo | 阅读: