你好,游客 登录 注册 搜索
背景:
阅读新闻

Hadoop完全分布式集群安装

[日期:2016-03-29] 来源:博客园-原创精华区  作者: [字体: ]

  本文目的是教大家配置Hadoop的完全分布式的集群,除了完全分布式还有两种分别是单节点和伪分布式部署。伪分布式只需要一台虚拟机,配置的东西也相对较少,大多用作代码调试,大家稍微查阅资料,或者对我的配置进行一些删减,就可以实现伪分布式,所以我这里还是使用完全分布式,开了三台虚拟机,都只分配了1G,1核的默认内存,跑得无压力,所以你的笔记本大概需要4G+的内存,就可以完成这个实验。

  基于Hadoop 2.x版本和1.x版本的巨大差异,而我更熟悉1.x版本,所以本次使用的Hadoop版本是1.2.1,至于2的操作和配置,你熟悉了1以后一定是手到擒来,再者网上大多资料以及书籍都是基于1.x的,这样,即使你遇到了问题,也会更好解决。

  至于Hadoop下载地址网上多的是,官网也有,大家可以自行获取,我用的Linux版本是Ubantu14.04,为什么选这个系统呢?因为我用得顺手。如果大家使用Centos,有些指令可能略有不同,不过这应该难不倒你,百度谷歌就能告诉你答案。

  先行条件:

  安装Hadoop之前,有两个先行条件,一个是JAVA环境的安装,因为Hadoop是基于java开发的,具体过程我后面会讲;另一个是实现SSH互通,这个大家上课做过实验,但是Ubantu的设置和Centos有所不同!!所以我也会写在下面。

  让我们开始把!

  注意:1.本实验全程不要使用sudo su操作,那样非常不专业,容易导致很多安全问题的发生。

  2.合理使用tab键让你linux操作更加顺手。

  为了统一,大家点击虚拟机的编辑,选择虚拟网络编辑器。如下配置:

Hadoop

  打开终端,第一步是修改hosts文件,输入:sudo vim /etc/hosts,加上以下三行:

  192.168.217.130 master

  192.168.217.201 slave1

  192.168.217.202 slave2

  然后要修改ip地址,根据上面所填写的三个内容,ip地址的设置也是不一样的。这里,要注意,Ubantu不要在终端下修改ip地址,不然后果很严重,不吹不黑,大家就用他自带图形界面来修改就好,方便又直观。

  根据不同的主机,address不同,其他的一样。

  然后要建立一个hadoop账户,输入如下指令:

  sudo addgroup hadoop

  sudo adduser --ingroup hadoop hadoop(前一个hadoop为组名,后面才是用户名,用户名可以自己取,我方便起见写了hadoop,不过我自己的虚拟机不是这样,所以看截图的时候不要太过于纠结。后面会让你输入一个密码,是你登录这个用户时的密码,键入之后,出现任何提示都直接回车表示默认)

  sudo gedit /etc/sudoers(不要使用vim,因为那样子打开文件是只读的,除非你进入root,修改后,再把权限改为只读,一定要改回只读。但是这个好麻烦,没有gedit直接根据提示apt-get即可,)

  在root ALL=(ALL:ALL) ALL下面,加上hadoop ALL=(ALL:ALL) ALL

  添加这句话是为了让hadoop用户也能使用sudo。

  输入su hadoop即可登入该用户

  注:三个虚拟机都需要进行上面的操作。(可以先做一份,然后克隆两份,再进行修改,记得登录hadoop用户,接下来的配置都在这个用户下进行配置)

  接下来,需要进行ssh无密码互连的操作。

  输入sudo apt-get install ssh来获取ssh。

  输入ls -a /home/u(u为你的当前用户,即hadoop)

  里面应该可以看到一个.ssh的隐藏文件夹,如果没有可以手动创建,接下来输入命令:

  ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa(这里就不详细解释每个参数的作用了,~代表当前用户文件夹,此处是/home/hadoop)

  这个命令会在.ssh文件夹下创建两个文件id_dsa及id_dsa.pub,相当于现实中的锁和钥匙,把后者追加到授权的key中去,输入:

  cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys.

  这样就可以实现无密码ssh自登陆,可以试试命令:ssh localhost

  exit退出登录

  为了实现master与slave之间互相都能免密码ssh登录,这里需要把id_dsa.pub发送到每一个主机的authorized_keys中,先把id_dsa.pub文件通过scp命令传输过去。

  这里推荐大家进入slave1和slave2,把他们的id_dsa.pub发送到master上,然后再添加到master的authorized_keys中,再把master中的authorized_keys传到slave1和slave2中即可。

  scp ~/.ssh/id_dsa.pub u@master:~/.ssh/id_dsa.pub.slave1(u处填你master的用户,即hadoop,slave1用来区别不同主机的公钥)。

  然后,输入,cat ~/.ssh/id_dsa.pub.slave1 >> ~/.ssh/authorized_keys

  当slave1和slave2的公钥都传入后,再键入:

  scp ~/.ssh/authorized_keys slave1:~/.ssh/authorized_keys

  scp ~/.ssh/authorized_keys slave2:~/.ssh/authorized_keys

  此时,若在master输入ssh slave1 可以连接到slave1,那就算配置完成了。

  接下来,下载hadoop。输入

  wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

  文件会下载在当前目录,为了方便配置,换到另一个位置

  mv hadoop-1.2.1.tar.gz /opt

  cd /opt

  tar -zxvf hadoop-1.2.1.tar.gz

  解压完成后,会生成一个hadoop-1.2.1的文件夹。

  我们进入,该文件夹。

  cd hadoop-1.2.1

  ls

  我们要进入其中的conf文件夹进行配置。

  我们需要配置如下参数,其余的保持默认即可。

  其中每个文件的配置请大家登录我的个人主页进行下载:

  http://114.215.84.38/doc/Hadoopconf.rar

  然后,我们还需要配置一下JDK,前面一直忘记说了。汗,不过JDK的配置过程十分简单,先去Oracle官网获取JDK1.6以上的版本。下载下来后解压,解压命令上面写过,记住解压的位置。

  然后,配置profile。输入:vim /etc/profile

  箭头位置分别填入你jdk解压后的文件夹路径和Hadoop的文件夹路径。

  保存后,输入

  source /etc/profile

  使profile立刻生效。

  接下来,输入hadoop回车,应该可以看见相应的指令提示。

  我们要注意,hadoop的运行脚本是放在hadoop的bin文件夹下的,我们进入那个文件夹

  其中的start-all.sh和stop-all.sh是最重要的两个脚本,是用来启动和关闭我们的hadoop的,这个操作请在master上运行,否则后果很严重。

  运行这个指令之前,要先初始化namenode

  hadoop namenode -format

  然后就可以准备运行了,在这之前,让我们输入一下jps来查看有什么java进程正在运行。

  三台机器应该都是只有jps一个进程,现在让我们在master上输入

  start-all.sh

  然后再输入jps

  master的结果应该是:

  NameNode

  SecondaryNameNode

  JobTracker

  jps

  两个slave的结果应该是:

  DataNode

  TaskTracker

  jps

  这样就算安装完成了,可以试试

  hadoop fs -ls来查看集群上的文件。

  也可以打开浏览器,输入master:50030和master:50070来查看状态

  PS:

  为什么最后面的内容没有截图呢!因为我操作的时候,不小心ssh了slave1,然后在这个状况下格式化了namenode并启动了,直接就崩了好吧!!遇到这种情况怎么办,其实是有办法的。

 

  把这四个文件夹全部删除,然后再重新创建就好了。唉,不说了,面壁了。

  原文链接:http://www.cnblogs.com/qjkobe/p/5330159.html?utm_source=tuicool&utm_medium=referral





收藏 推荐 打印 | 录入:elainebo | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款