你好,游客 登录
背景:
阅读新闻

Hadoop环境安装和集群创建

[日期:2018-05-14] 来源:mingyunxiaohai的专栏  作者: [字体: ]

虚拟机使用vmware,vmware可以直接百度下载安装 秘钥也能百度到 安装很简单

CentOS 7下载:

进入官网 https://www.centos.org/download/

这里有三种 第一个是标准版 第二个是全部版 第三个是最小版 每个版本的大小都不一样,这里选择标准版下载。点第一个标准版进入镜像 http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1708.iso 这里面有不同的镜像,找一个自己下载快的链接下载就好了。

大数据

CentOS 7.3 安装指南

https://www.cnblogs.com/wcwen1990/p/7630545.html https://linux.cn/article-8048-2.html

关闭防火墙,CentOS7 禁用防火墙跟6不一样

firewall-cmd –reload #重启firewall

systemctl stop firewalld.service #停止firewall

systemctl disable firewalld.service #禁止firewall开机启动

firewall-cmd –state #查看默认防火墙状态(关闭后显示notrunning,开启后显示running)

使用Xshell 连接linux主机。在自己Windows电脑找到:c\windows\system32\drivers\etc\host 配置主机的ip 比如:host中加入下面两句

192.168.1.76  master
192.168.1.106  slave

Xshell 上传下载命令 rz,sz

CentOS 7系统下配置自定义JDK的教程

http://www.jb51.net/article/116666.htm
export JAVA_HOME=/home/chs/java/jdk1.8.0_171
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

安装jdk后出如果现bash: ./java: /lib/ld-linux.so.2: bad ELF interpreter: 没有那个文件或目录,原因应该是安装了32位的jdk , 解决办法。最好还是重新安装64位的

第一种 sudo yum install glibc.i686

第二种 安装64位的jdk

hadoop环境变量

vim /etc/profile

export HADOOP_HOME=/home/chs/hadoop/hadoop-2.7.3
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

source /etc/profile

配置hadoop参数

第一步 进入

vim hadoop-env.sh

找到

export JAVA_HOME=${JAVA_HOME}
修改为
export JAVA_HOME=/home/chs/java/jdk1.8.0_171

第二步 修改core-site.xml

vim core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>// master是你的主机名字
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/chs/hadoopdata</value>//存放临时数据
</property>
</configuration>

第三步配置hdfs-site.xml

vim hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>  //赋值备份
<value>1</value>//hadoop集群默认有3份数据  1是伪分布式
</property>
</configuration>

第四步 配置yarn-site.xml

vim yarn-site.xml

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:18040</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:18030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:18025</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:18141</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:18088</value>
</property>
</configuration>

第五步 配置mapred-site.xml

如果没有这个文件应该有mapred-site.xml.template 复制一份 或 者重命名也行

cp mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>//把yarn平台做MapReduce的框架
</property>
</configuration>

配置ip

vim /etc/hosts

192.168.1.120  slave
192.168.1.119  master

设置ssh免密码登录

ssh-keygen -t rsa
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
将master中的秘钥复制到slave中
scp ~/.ssh/authorized_keys slave:~/.ssh
将slave中的秘钥复制到master中
scp id_rsa.pub master:~/.ssh/authorized_keys

如果是伪分布式可以直接格式化重启了,如果不是伪分布式,那就配置slaves附属节点

配置从节点文件 slaves

vim slaves

localhost 改为 slave

复制到从节点中

scp slaves slave:/home/chs/hadoop-2.7.3/etc/hadoop

格式化HDFS 创建namenode的文件结构

hadoop namenode -format   或者 hsfs namenode -format

启动Hadoop

先启动HDFS: start-hdfs.sh

在启动yarn : start-yarn.sh

或者一步到位 start-all.sh

查看是否启动成功 jps

启动之后会看到几个进程:

HDFS的进程:NameNode , DataNode , SecondryNameNode

Yarn的进程 :NodeManager , SourceManager

其中master 中的进程是 : NameNode ,SecondryNameNode ,SourceManager

slave中的进程是:DataNode ,NodeManager

浏览器中: 输入 http://master:50070/  http://master:18088 来检查。

OK完成





收藏 推荐 打印 | 录入:Cstor | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款