1.hadoop伪分布安装过程
1.1 需要安装VMWare,解压缩VMWare专用CentOS.rar
选择文件CentOS.vmx,使用VMWare Workstation打开。
1.2 如果使用仅主机模式,必须启用VMnet1的网卡,设置网卡的ip地址为191.168.80.1
验证:在windows的命令行下执行ipconfig
1.3 启动linux,登陆时使用用户名root,密码hadoop
1.4 修改ip地址
(1)设置ip为191.168.80.100,子网掩码为255.255.255.0,网关为191.168.80.1
(2)验证:在linux命令行下执行ifconfig
说明:可以使用以下命令检查不能连接时的状态:
(3)如果ping成功,可以使用PieTTY连接远程的linux。
使用工具登录时界面如下所示:
1.5 修改文件/etc/sysconfig/network,把主机名改为hadoop0
验证:重启linux,查看是否真的生效
1.6 把ip和hostname绑定
(1)编辑文件/etc/hosts,增加一行内容191.168.80.100 hadoop0
(2)验证:ping hadoop0
1.7 关闭防火墙,执行命令service iptables stop
验证:service iptables status
1.8 关闭防火墙的自动运行功能
(1)执行命令chkconfig iptables off
(2)验证: chkconfig --list|grep iptables
1.9 安装jdk
(1)使用WinSCP把jdk和hadoop复制到/usr/local目录下
(2)修改权限:chmod u+x jdk-6u24-linux-i586.bin
(3)解压缩:./jdk-6u24-linux-i586.bin
(4)修改文件名:mv jdk-1.6.0_24 jdk
(5)设置环境变量,执行vi /etc/profile,增加以下内容
- export JAVA_HOME=/usr/local/jdk
- export PATH=.:$JAVA_HOME/bin:$PATH
保存退出。
(6)执行source /etc/profile
(7)验证:执行java -version
1.10 SSH免密码登录
(1)生成密钥:ssh-keygen -t rsa
(2)拷贝:cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
(3)验证:ssh hadoop0
1.11安装hadoop
(1)解压缩,执行命令tar -zxvf hadoop-1.1.1.tar.gz
(2)重命名,执行mv hadoop-1.1.2 hadoop
(3)设置环境变量,编辑文件vi /etc/profile
- export HADOOP_HOME_WARN_SUPPRESS=1
- export HADOOP_HOME=/usr/local/hadoop
- export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
保存退出
执行source /etc/profile
(4)修改四个位于conf目录下的文件,分别是如下
(4.1)编辑hadoop-env.sh
第九行修改,export JAVA_HOME=/usr/local/jdk
【上图是错误的,应该直接将#打开,然后修改成安装的JDK目录!修改后的文件代码如下所示:】
(4.2)编辑core-site.xml
- <property>
- <name>fs.default.name</name>
- <value>hdfs://hadoop0:9000</value>
- <description>change your own hostname</description>
- </property>
- <property>
- <name>hadoop.tmp.dir</name>
- <value>/usr/local/hadoop/tmp</value>
- </property>
【上图是错误的,configuration标签未能正确的结束!!!!修改后的文件代码如下所示:】
(4.3)编辑hdfs-site.xml
- <property>
- <name>dfs.replication</name>
- <value>1</value>
- </property>
- <property>
- <name>dfs.permissions</name>
- <value>false</value>
- </property>
(4.4)编辑mapred-site.xml文件
- <property>
- <name>mapred.job.tracker</name>
- <value>hadoop0:9001</value>
- <description>change your own hostname</description>
- </property>
(5)格式化操作,执行命令hadoop namenode –format
(6)启动,执行命令start-all.sh
(7)验证:
(7.1)执行jps,可以发现5个java进程
分别是NameNode、JobTracker、DataNode、TaskTracker、SecondaryNameNode
(7.2)浏览器访问http://hadoop0:50070 http://hadoop0:50030
(7.3)如果要在windows浏览器访问,需要修改文件C:\Windows\System32\drivers\etc\hosts
1.12安装过程中出现的BUGS:
(1)BUG1
解决方法:
【上图是错误的,应该直接将#打开,然后修改成安装的JDK目录!修改后的文件代码如下所示:】
(2)BUG2
解决方法是:
至此完成!
原文连接:http://blog.csdn.net/mavs41/article/details/20659969
