你好,游客 登录
背景:
阅读新闻

Hadoop 2.7.2 HDFS on Centos6.5

[日期:2016-06-28] 来源:OpensGalaxy  作者: [字体: ]

文章首发站点:OpensGalaxy.com

一、环境准备

1、下载hadoop 2.7.2 版本

Hadoop

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz

2、安装JAVA 7

Hadoop Version 2.7 需要java7

Oracle官方下载链接页面 http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

jdk-7u79-linux-x64.rpm

[root@iZ25b872mg2Z ~]# java -version
java version "1.7.0_79"
Java(TM) SE Runtime Environment (build 1.7.0_79-b15)
Java HotSpot(TM) 64-Bit Server VM (build 24.79-b02, mixed mode)

3、集群服务器信息

namenode01 192.168.0.1

datanode01 192.168.0.2

datanode02 192.168.0.3

4、编辑hosts文件

192.168.0.1 namenode01

192.168.0.2 datanode01

192.168.0.3 datanode02

5、建立hadoop用户

分别在三台服务器上建立hadoop用户

SSH密钥认证

6、建立namenode01到namenode01、datanode01、02的ssh密钥认证登录

ssh-copy-id -i .ssh/id_rsa.pub hadoop@datanode01
ssh-copy-id -i .ssh/id_rsa.pub hadoop@datanode02
ssh-copy-id -i .ssh/id_rsa.pub hadoop@namenode01

二、配置HDFS

namenode01节点操作

1、创建相关存储目录

tar -zxvf hadoop-2.7.2.tar.gz -C /opt/
mkdir -p /opt/hadoop-2.7.2/data
mkdir -p /opt/hadoop-2.7.2/name
mkdir -p /opt/hadoop-2.7.2/tmp
chown -R hadoop.hadoop /opt/hadoop-2.7.2

2、修改 etc/hadoop/下的四个配置文件【本文只启动HDFS文件系统】

slaves、core-site.xml、hdfs-site.xml、hadoop-env.sh

vim hadoop-env.sh
#增加或修改 JAVA_HOME环境变量
export JAVA_HOME=/usr/java/jdk1.7.0_79


vim core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
 <property>
  <name>fs.defaultFS</name>
  <value>hdfs://namenode01:9000</value>
 </property>
 <property>
  <name>hadoop.tmp.dir</name>
  <value>file:/opt/hadoop-2.7.2/tmp</value>
 </property>
</configuration>

vim hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
 <property>
   <name>dfs.namenode.secondary.http-address</name>
   <value>namenode01:50090</value>
 </property>
 <property>
   <name>dfs.replication</name>
   <value>2</value>
 </property>
   <property>
   <name>dfs.namenode.name.dir</name>
   <value>file:/opt/hadoop-2.7.2/name</value>
 </property>
 <property>
   <name>dfs.datanode.data.dir</name>
   <value>file:/opt/hadoop-2.7.2/data</value>
 </property>
</configuration>
vim slaves 
datanode01
datanode02

配置完成

3、将/opt/hadoop-2.7.2 整个目录复制到datanote01 datanode02 的/opt/ 目录下

scp -r /opt/hadoop-2.7.2 hadoop@datanode01:/opt/
scp -r /opt/hadoop-2.7.2 hadoop@datanode02:/opt/

4、在hadoop用户下操作

vim /home/hadoop/.bash_profile
#增加两个环境变量

export  HADOOP_HOME=/opt/hadoop-2.7.2
export  PATH=$PATH:$HADOOP_HOME/bin

source /etc/profile

5、首次启动需要先在 Master 节点执行 NameNode 的格式化:

hdfs namenode -format 

6、启动 hadoop 启动需要在 Master 节点上进行:

start-dfs.sh

访问HDFS web界面 http://namenode01:50070/

7、测试一下

创建文件夹

hdfs dfs -mkdir /test

上传文件

hdfs dfs -put /root/hadoop-2.7.2.tar.gz /test/

到这里,一套最简单配置的HDFS分布式集群系统就搭建完毕了。因为本文章只是搭建HDFS分布式文件系统,所以其它都没有配置,算是最小化的HDFS配置吧。





收藏 推荐 打印 | 录入:elainebo | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款