你好,游客 登录
背景:
阅读新闻

Hadoop 2.6.0伪分布式配置详解

[日期:2017-08-01] 来源:  作者: [字体: ]

首先先不看理论,搭建起环境之后再看;搭建伪分布式是为了模拟环境,调试方便。

电脑是Windows 10,用的虚拟机VMware Workstation 12 Pro,跑的Linux系统是CentOS6.5 ,安装的hadoop2.6.0,jdk1.8;

1.准备工作

准备工作:把JDK和Hadoop安装包上传到linux系统(hadoop用户的根目录)

系统环境:IP:192.168.80.99,

linux用户:

root/123456,hadoop/123456

主机名:node

把防火墙关闭,root执行:service iptables stop

2.jdk安装

1 .  hadoop 用户的根目录, Jdk 解压,( hadoop 用户操作)tar -zxvf jdk-8u65-linux-x64.tar.gz  解压完成后,在 hadoop 用户的根目录有一个 jdk1.8.0_65目录

2.配置环境变量,需要修改 /etc/profile 文件( root 用户操作  切到 root 用户,输入 su 命令  vi /etc/profile  进去编辑器后,输入 i ,进入 vi 编辑器的插入模式  profile 文件最后添加

JAVA_HOME=/home/hadoop/jdk1.8.0_65

export PATH=$PATH:$JAVA_HOME/bin

编辑完成后,按下 esc 退出插入模式 输入:,这时在左下角有一个冒号的标识

q   退出不保存

wq 保存退出

q! 强制退出

3. 把修改的环境变量生效( hadoop用户操作)

执行 source /etc/profile

4.执行 java -version 查看版本,如果成功证明jdk配置成功

3.Hadoop 安装

1.在 hadoop 用户的根目录,解压  hadoop 用户操作 

tar -zxvf hadoop-2.6.0.tar.gz

解压完成在 hadoop 用户的根目录下有一个 hadoop-2.6.0目录

2.修改配置文件hadoop-2.6.0/etc/hadoop/hadoop-env.sh  hadoop 用户操作 

export JAVA_HOME=/home/hadoop/jdk1.8.0_65

3.修改配置文件hadoop-2.6.0/etc/hadoop/core-site.xml ,添加( hadoop 用户操作 

<property>

<name>fs.defaultFS</name>

<value>hdfs://node:9000</value>

</property>

4.修改配置文件hadoop-2.6.0/etc/hadoop/hdfs-site.xml ,添加  hadoop 用户操作 

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

5.修改修改配置文件hadoop-2.6.0/etc/hadoop/mapred-site.xml  hadoop 用户操作 ),这个文件没有,需要复制一份

cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

添加

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

6.修改配置文件hadoop-2.6.0/etc/hadoop/yarn-site.xml ,添加( hadoop 用户操作 

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

7.修改主机名称(root 用户操作 ),重启生效

vi /etc/sysconfig/network

修改HOSTNAME 的值为用户名

8.修改 /etc/hosts 文件( root 用户操作  , 添加: ip 主机名称

192.168.44.199(用自己的ip,下边讲如何获得)  node

附:查看ip地址

编辑-->虚拟网络编辑器

net模式,选DHCP设置,得到ip地址起始

net设置,得到网关

点右边小电脑,选择 VPN Connections-->Configue VPN

选中eth0,点有右边edit

选择IP Settings ,根据自己的ip按图修改,Address就是你的ip地址,在起始ip地址和结束ip地址之间选一个就行

9. 格式化 HDFS ,在 hadoop 解压目录下,执行如下命令:( hadoop 用户操作 

bin/hdfs namenode -format

注意: 格式化只能操作一次,如果因为某种原因,集群不能用, 需要再次格式化,需要把上一次格式化的信息删除,在 /tmp 目录里执行 rm –rf *

10. 启动集群,在 hadoop 解压目录下,执行如下命令:( hadoop 用户操作,截图用机后来改过,主机为gp 

启动集群: sbin/start-all.sh   需要输入四次当前用户的密码 ( 通过配置 ssh 互信解决,截图用机已经配置过ssh不用输密码 )

启动后,在命令行输入 jps 有以下输出

关闭集群: sbin/stop-all.sh   需要输入四次当前用户的密码 ( 通过配置 ssh 互信解决,我的同上)

4.SSH互信配置(hadoop用户操作)

rsa加密方法,公钥和私钥

1.生成公钥和私钥

在命令行执行ssh-keygen,然后回车,然后会提示输入内容,什么都不用写,一路回车

在hadoop用户根目录下,有一个.ssh目录

id_rsa 私钥

id_rsa.pub 公钥

known_hosts 通过SSH链接到本主机,都会在这里有记录

2.把公钥给信任的主机(本机)

在命令行输入ssh-copy-id 主机名称

ssh-copy-id hadoop

复制的过程中需要输入信任主机的密码

3.验证,在命令行输入:ssh 信任主机名称

ssh hadoop

如果没有提示输入密码,则配置成功

至此,大功告成。

Hadoop2.3-HA高可用集群环境搭建 http://www.linuxidc.com/Linux/2017-03/142155.htm

Hadoop项目之基于CentOS7的Cloudera 5.10.1(CDH)的安装部署 http://www.linuxidc.com/Linux/2017-04/143095.htm

Hadoop2.7.2集群搭建详解(高可用) http://www.linuxidc.com/Linux/2017-03/142052.htm

使用Ambari来部署Hadoop集群(搭建内网HDP源) http://www.linuxidc.com/Linux/2017-03/142136.htm

Ubuntu 14.04下Hadoop集群安装  http://www.linuxidc.com/Linux/2017-02/140783.htm

Ubuntu 16.04上构建分布式Hadoop-2.7.3集群 http://www.linuxidc.com/Linux/2017-07/145503.htm

CentOS 7 下 Hadoop 2.6.4 分布式集群环境搭建 http://www.linuxidc.com/Linux/2017-06/144932.htm

Hadoop2.7.3+Spark2.1.0完全分布式集群搭建过程 http://www.linuxidc.com/Linux/2017-06/144926.htm

更多Hadoop相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

本文永久更新链接地址  http://www.linuxidc.com/Linux/2017-07/146000.htm





收藏 推荐 打印 | 录入: | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款