你好,游客 登录 注册 搜索
背景:
阅读新闻

集群安装配置Hadoop详细图解

[日期:2014-05-07] 来源:csdn博客  作者:xia_yu_mao_fa [字体: ]

  集群安装配置Hadoop

  集群节点:node4、node5、node6、node7、node8。具体架构:

  操作系统为:CentOS release 5.5 (Final)

  安装步骤

  一、创建Hadoop用户组。

  二、安装JDK。下载安装jdk。安装目录如下:

  

  

  三、修改机器名,修改文件/etc/hosts。如下:

  

  

  四、安装ssh服务。命令:yum install openssh-server。

  五、建立ssh无密码登陆。

  (一)切换到hadoop用户。su – hadoop

  (二)创建ssh-key,利用ssh-keygen命令,采用rsa方式生成密钥。命令:ssh-keygen -t rsa -f ~/.ssh/id_rsa,产生公钥:~/.ssh/id_rsa.pub。

  (三)将公钥添加至authorized_keys中。命令:

  cat ~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys

  (四)修改authorized_keys文件权限:

  

  (五) 编辑sshd配置文件/etc/ssh/sshd_confi把#AuthorizedKeysFile .ssh/authorized_keys前面的注释取消掉。

  

  

  (六)重新启动sshd服务。

  

  

  (七)将authorized_keys文件复制到其他节点上(node5——8)。如下:

  

  

  (八)测试SSH连接。连接时会提示是否连接,按回车后会将此公钥加入至knows_hosts中,命令:

  ssh localhost;

  连接成功后,记得exit,退出远程机器。

  六、将Hadoop相关程序下载上传到node4上。

  

  

  下载使用的Hadoop版本为1.2.1。

  七、安装配置hadoop

  (一)登陆node4,切换hadoop用户。创建安装目录,解压hadoop,命令:

  mkdir hadoop_program //创建hadoop安装目录。

  cp HADOOP/hadoop-1.2.1.tar.gz hadoop_program/ //将hadoop程序cp到hadoop安装目录下。

  cd hadoop_program/ //cd到该目录。

  tar -xvf hadoop-1.2.1.tar.gz //解压hadoop程序。

  mv hadoop-1.2.1 hadoop //将hadoop目录改名字

  (二)创建环境Hadoop相关环境变量。

  修改conf/hadoop-env.sh。找到#export JAVA_HOME=...,去掉注释#,然后加上本机的jdk路径(在第二步安装的路径),如下:

  

  

  添加HADOOP_HOME环境变量,命令:vim ~/.bashrc。添加如下:

  

  

  (三)修改Hadoop配置文件

  修改conf/core-site.xml文件。

  

  修改mapred-site.xml文件

  

  修改hdfs-site.xml

  

  修改masters文件

 

  

  修改slaves文件

  

  八 将配置好的Hadoop和jdk复制到其他节点上:

  

  九。启动hadoop测试是否安装成功。

  命令:hadoop namenode -format(首先格式化namenode)。

  命令:start-all.sh (启动hadoop)。

  命令:cd到jdk的bin目录下。运行jps命令。察看:

  node4:

  

  运行正常。

  Node5-8:

  

  

  运行正常。

  十。遇到问题。

  1、安装的过程发现node5-8无法启动datanode和tasktracker,后来发现原因为node5-8机器中已经运行了java程序。用ps -ef|grep java察看,关闭相关进程后,再启动hadoop后正常。

  2、使用过程中,出现错误:Bad connect ack with firstBadLink,解决办法:

  1) '/etc/init.d/iptables stop' -->stopped firewall

  2) SELINUX=disabled in '/etc/selinux/config' file.-->disabled selinux

来源:http://blog.csdn.net/xia_yu_mao_fa/article/details/25144843





收藏 推荐 打印 | 录入:Cstor | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款