你好,游客 登录
背景:
阅读新闻

Spark 开发环境搭建(四)-Hadoop 集群创建

[日期:2016-07-15] 来源:简书  作者:kakasyw [字体: ]

四、hadoop 集群创建

根据前几节的设置,我们已经对一台机器完成了从网络到hadoop等一些列的配置,为便于测试hadoop 集群,本节将介绍如何利用virtual box clone工具创建相同的机器。

1. 利用virtual box manager clone 机器

在VBox的安装目录下有一个VBoxManage.exe程序,利用该工具可以clone机器,具体的使用方式如下:

VBoxManage.exe  旧机器.vdi 新机器.vdi

以上命令就完了一台机器的clone,再次执行上述命令clone出另外两台机器slave1和slave2。VBoxManage.exe还有其他很多实用的功能,磁盘扩充等,需要时请自行查阅。

2. slave机器配置

2.1 虚拟创建

上一步中我们只是clone了virtualbox的vdi文件,那么我们可以利用他们新建两个虚拟机,新建过程和之前创建虚拟的过程一样,唯一的区别是在新建虚拟硬盘的时候,我们选择已有的 vdi 文件,就是刚才clone处理的虚拟机文件。

加载已有vdi文件

然后点击创建,新的虚拟机就创建完成,之后直接点击启动即可。

2.2 机器配置

该步骤的配置以slave1为例,目前clone机器的名字仍然是master,稍后会做修改

2.2.1 修改机器静态IP,

用ifconfig命令查看机器ip,此时机器应该有了一个初始的ip,例如

网络IP 情况

我们所要修改的是第二网卡所对应IP,

cd /etc/sysconfig/network-scripts/
sudo vim ifcfg-enp0s8   // 修改第二个网卡配置配置文件

因为机器是从master clone过来的,机器上所有的配置都与master,因此只需做少许修改

TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
PEERDNS=yes
PEERROUTES=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
IPV6_FAILURE_FATAL=no
NAME=enp0s8
UUID=3f19ccd2-06a3-4052-b370-37ad9178a6d4
ONBOOT=yes
ADDR=192.168.56.108    // 修改为当前的IP即可
DNS=255.255.255.0

这样ip配置就已完成,重启网络

service network restart

如果失败,则直接重启机器。

2.2.2 修改机器名字

修改机器名字为slave1

sudo hostnamectl -sethostname "slave1"   // 设置主机名字
hostnamectl status --transient  // 查看临时主机名字
hostnamectl status --static

2.2.3 将机器ip加入hosts文件

由于之前在配置master的时候就已经将slave机器对应的ip加入到host,所以不需要添加什么,只需要查看当前静态ip是否和hosts文件中的一致即可,若不一致,则修改为当前ip。测试验证,

ssh localhost     // 第一次登录,会提示是否记录秘钥,输入yes即可,以后免密码登录
exit
ssh slave1

以上完成slave1的配置,同样方法完成对slave2的配置。测试三台机器之间是否可以无密码ssh登录,若出现问题请查看ssh 秘钥是否加入到authorized_keys中。

hadoop集群机器我们已经全部搭建好了,入下

集群

3. hadoop集群测试

3.1 格式化master namenode 并启动测试

cd /hadoop-2.7.2
./bin/hdfs namenode -formate
./sbin/start-all.sh  // 启动 dfs 和yarn

出现下面的界面说明启动成功:

hadoop 集群启动

查看master 的jps

8034 ResourceManager
8291 Jps
7880 SecondaryNameNode

查看slave的jps

2535 NodeManager
2431 DataNode
2655 Jps

查看hadoop进程管理页面

http://master:8088  // master 改成你的master ip

出现如下页面:

hadoop进程管理页面





收藏 推荐 打印 | 录入:elainebo | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款