你好,游客 登录
背景:
阅读新闻

Hadoop2.8和Spark2.1完全分布式搭建详解

[日期:2017-04-26] 来源:Linux公社  作者:NextNight [字体: ]

hadoop2.8和Spark2.1完全分布式搭建详解

一、前期准备工作:

1.安装包的准备:

  • VMware(10.0版本以上) :
    • 官方网站: https://www.vmware.com/cn.html
    • 官方下载地址: http://www.vmware.com/products/player/playerpro-evaluation.html Ubuntu14.0系统:(64位)选择Ubuntu纯属个人喜好,Liunx发行版有很多都支持Hadoop,而14.0版本是个比较稳定的版本,不算太新所以很多东西支持的比较好,重要的是支持CDH的hadoop生态系统构建。
    • 官方地址: https://www.ubuntu.com/download/alternative-downloads 选择14.0版本即可。
  • jdk1.8安装包:
    • 官方下载: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 选择linux_x64。
  • scala2.11安装包:
    • 官方下载: http://www.scala-lang.org/ 点击DownLoad即可下载。
  • spark2.1安装包:
    • 官方下载: http://spark.apache.org/downloads.html 这里spark提供了和hadoop绑定的版本,但是由于没有提供2.8的hadoop绑定版,所以这里选择 通用版spark-2.1.0-bin-without-hadoop  来进行下载。如下图:第一个是安装包。

2.辅助工具安装包:

  • Putty:一个十分简洁的链接服务器的工具。因为虚拟机太卡了长期在上面操作的话会卡到爆。用Putty可以在主机用一个终端来操作虚拟机。 http://www.linuxidc.com/Linux/2016-08/133991.htm
  • FlashFxp:用于在宿主机上传和下载虚拟机的文件,当然VMware安装了tools之后可以随意拖拽很方便,但是还是考虑到卡爆的问题,虚拟机启动后我们完全不管他,就当作服务器来用。
    • 下载地址: http://www.linuxidc.net/thread-1188-1-1.html

3.系统基本配置:(未说明则均在主机rzxmaster上操作)

第一步:安装VMware,创建虚拟机Master,安装Vim,Mysql(mysql也可以暂且不装,但是考虑到后面组件的扩展还是先安上)。

第二步:克隆虚拟机(选择完全克隆)rzxmater,分别命名为rzxslave1,rzxslave2(这里的命名可以自行修改)。然后启动三个虚拟机。

第四步:静态Ip设置:

      静态IP设置:这篇http://www.linuxidc.com/Linux/2017-04/143102.htm介绍的很详细,但是其中有部分问题,不知道是16.0和14.0版本差异的问题还是教程本身的问题,一个是网络重启之后DNS配置丢失的问题。每次重启之后会发现配置的DNS文件恢复成了127.0.0.1
      这个问题是由于interface,networkManager两种网络管理冲突造成的。解决方法就是在编辑链接的时候将DNS也一起编辑。这样就不用再编辑DNS的配置文件。如下图所示:
      
      其他步骤按博文所说就可以完成静态IP的配置。

第五步:hosts配置, 特别强调主机名称不要含有下划线"_",最好是纯英文。  因为hadoopXML配置的时候部分value不能有下划线,会报错。

第六步:SSH免密码登录:

二、集群搭建

通过前面的准备工作我们已经获取到了所有需要的安装包,设置好了静态IP,配好了ssh免密码登录,接下就是集群的安装了。首先我所有的包都是安装在当前用户的根目录下,也就是终端打开的目录(一般是:  /home/username username是当前的用户名),这个目录是当亲前用户的工作空间我把这个目录的位置记作  basePath=/home/username .这个basePath��以根据自己的喜好安装到别的目录下。(basePath=="~"==/home/linuxidc,我这里的basePath=/home/linuxidc)

三台虚拟机分别如下:rzxmaster是主节点(datanode),rzxslave1,rzxslave2是分支节点(namenode)

192.168.8.137        rzxmaster

192.168.8.136        rzxslave1

192.168.8.138        rzxslave2

为 了方便管理这里在主目录建了三个文件夹:Java,spark,hadoop.  mkdir Java spark hadoop 

现在将jdk,hadoop,scala,spark的安装包分别传到路径basePath/Java,basePath/hadoop,basePah/spark下,(scala和spark的压缩包都放在spark文件夹下)。





收藏 推荐 打印 | 录入:elainebo | 阅读:
本文评论    (0)
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款