你好,游客 登录
背景:
阅读新闻

图解:hadoop伪分布安装过程

[日期:2014-11-20] 来源:CSDN  作者:Fortyone41 [字体: ]

1.hadoop伪分布安装过程

1.1 需要安装VMWare,解压缩VMWare专用CentOS.rar

    选择文件CentOS.vmx,使用VMWare Workstation打开。

1.2 如果使用仅主机模式,必须启用VMnet1的网卡,设置网卡的ip地址为191.168.80.1

验证:在windows的命令行下执行ipconfig
 

1.3 启动linux,登陆时使用用户名root,密码hadoop

1.4 修改ip地址

(1)设置ip为191.168.80.100,子网掩码为255.255.255.0,网关为191.168.80.1
(2)验证:在linux命令行下执行ifconfig
 

说明:可以使用以下命令检查不能连接时的状态:

 
(3)如果ping成功,可以使用PieTTY连接远程的linux。
使用工具登录时界面如下所示:
 

1.5 修改文件/etc/sysconfig/network,把主机名改为hadoop0

验证:重启linux,查看是否真的生效
 

1.6 把ip和hostname绑定

(1)编辑文件/etc/hosts,增加一行内容191.168.80.100 hadoop0

 
(2)验证:ping hadoop0
 

1.7 关闭防火墙,执行命令service iptables stop

验证:service iptables status
 

1.8 关闭防火墙的自动运行功能

(1)执行命令chkconfig iptables off
(2)验证: chkconfig --list|grep iptables 
 

1.9 安装jdk

(1)使用WinSCP把jdk和hadoop复制到/usr/local目录下

 

 
(2)修改权限:chmod u+x  jdk-6u24-linux-i586.bin
 
(3)解压缩:./jdk-6u24-linux-i586.bin
(4)修改文件名:mv jdk-1.6.0_24  jdk 

 

 
(5)设置环境变量,执行vi /etc/profile,增加以下内容

[plain] view plaincopyprint?在CODE上查看代码片派生到我的代码片
  1. export JAVA_HOME=/usr/local/jdk 
  2. export PATH=.:$JAVA_HOME/bin:$PATH 

保存退出。
 

(6)执行source /etc/profile

(7)验证:执行java -version
 

1.10 SSH免密码登录

(1)生成密钥:ssh-keygen -t rsa
 

(2)拷贝:cp ~/.ssh/id_rsa.pub  ~/.ssh/authorized_keys

(3)验证:ssh hadoop0
 

1.11安装hadoop

(1)解压缩,执行命令tar -zxvf hadoop-1.1.1.tar.gz

 

(2)重命名,执行mv hadoop-1.1.2 hadoop

 
(3)设置环境变量,编辑文件vi /etc/profile

[plain] view plaincopyprint?在CODE上查看代码片派生到我的代码片
  1. export HADOOP_HOME_WARN_SUPPRESS=1 
  2. export HADOOP_HOME=/usr/local/hadoop 
  3. export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH 

保存退出
执行source /etc/profile

 

 
(4)修改四个位于conf目录下的文件,分别是如下
 
(4.1)编辑hadoop-env.sh
    第九行修改,export JAVA_HOME=/usr/local/jdk
 

【上图是错误的,应该直接将#打开,然后修改成安装的JDK目录!修改后的文件代码如下所示:】

 
(4.2)编辑core-site.xml  

[html] view plaincopyprint?在CODE上查看代码片派生到我的代码片
  1. <property> 
  2.     <name>fs.default.name</name> 
  3.     <value>hdfs://hadoop0:9000</value> 
  4.     <description>change your own hostname</description> 
  5. </property> 
  6. <property> 
  7.     <name>hadoop.tmp.dir</name> 
  8.     <value>/usr/local/hadoop/tmp</value> 
  9. </property>   


 
【上图是错误的,configuration标签未能正确的结束!!!!修改后的文件代码如下所示:】
 
(4.3)编辑hdfs-site.xml

[html] view plaincopyprint?在CODE上查看代码片派生到我的代码片
  1. <property> 
  2.     <name>dfs.replication</name> 
  3.     <value>1</value> 
  4. </property> 
  5. <property> 
  6.     <name>dfs.permissions</name> 
  7.     <value>false</value> 
  8. </property> 

 
(4.4)编辑mapred-site.xml文件

[html] view plaincopyprint?在CODE上查看代码片派生到我的代码片
  1. <property> 
  2.     <name>mapred.job.tracker</name> 
  3.     <value>hadoop0:9001</value> 
  4.     <description>change your own hostname</description> 
  5. </property> 

 
(5)格式化操作,执行命令hadoop namenode –format
 
(6)启动,执行命令start-all.sh
 
(7)验证:
(7.1)执行jps,可以发现5个java进程
分别是NameNode、JobTracker、DataNode、TaskTracker、SecondaryNameNode
 
(7.2)浏览器访问http://hadoop0:50070   http://hadoop0:50030
 
 


(7.3)如果要在windows浏览器访问,需要修改文件C:\Windows\System32\drivers\etc\hosts
 

1.12安装过程中出现的BUGS:

(1)BUG1

 

解决方法:

 

【上图是错误的,应该直接将#打开,然后修改成安装的JDK目录!修改后的文件代码如下所示:】

 
(2)BUG2
 

解决方法是:

至此完成!

原文连接:http://blog.csdn.net/mavs41/article/details/20659969





收藏 推荐 打印 | 录入: | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款