你好,游客 登录 注册 搜索
背景:
阅读新闻

Hadoop的集群安装

[日期:2016-08-23] 来源:博客园精华区  作者: [字体: ]

hadoop的集群安装

Hadoop

1、安装JDK,解压jar,配置环境变量

1.1、解压jar

tar -zxvf jdk-7u79-linux-x64.tar.gz -C /opt/install   //将jdk解压到对应的文件目录下

1.2、配置环境变量,

 sudo vim /etc/profile
//添加下面内容:
export JAVA_HOME=/opt/install/jdk1.7.0_79
export PATH=$JAVA_HOME/bin:$PATH

2、下载hadoop压缩包,解压jar,配置文件

2.1、解压jar

tar -zxvf hadoop-1.2.1.tar.gz -C /opt/install  //将jar解压到对应的目录下面

2.2、配置环境变量

 sudo vim /etc/profile
//添加HADOOP_HOME变量,修改path变量
export HADOOP_HOME=/opt/install/hadoop  
export HADOOP_HOME_WARN_SUPPRESS=1  //防止hadoop在操作的时候有警告
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
  

2.3、配置hadoop文件

2.3.1、修改hadoop/conf/hadoop-env.sh 

//将JAVA_HOME修改为在/etc/profile中配置的环境变量 
export JAVA_HOME=/opt/install/jdk1.7.0_79


2.3.2、修改hadoop/conf/core-site.xml

<configuration>
     <property>
         <name>fs.default.name</name>  //namenode所在主机
         <value>hdfs://192.168.203.128:9000</value>  
     </property>
     <property>
         <name>hadoop.tmp.dir</name> //hadoop的临时文件目录
         <value>/opt/data/hadoop1.2</value>
     </property>
</configuration>

2.3.3、修改/hadoop/conf/hdfs-site.xml

<configuration>
     <property>
         <name>dfs.replication</name>  //副本数
         <value>3</value>
     </property>
     <property>
        <name>dfs.permissions</name>   //文件权限
        <value>false</value>
     </property>
</configuration>

2.3.4、修改/hadoop/conf/masters文件,该文件配置的secondnamenode所在位置

192.168.203.128  //自己的主机ip,最好是修改/etc/hosts文件

2.3.5、修改hadoop/conf/slaves,该文件配置的datanode

192.168.203.129
192.168.203.130
192.168.203.131

2.3.6、修改/hadoop/conf/mapred-site.xml文件,设置jobtrocker

<configuration>
     <property>
         <name>mapred.job.tracker</name>
         <value>192.168.203.128:9001</value>
     </property>
</configuration>                

2.3.7、在其他机器上也进行相同的配置,但是最好是在配置好ssh以后通过 scp的命令进行复制。

3、配置ssh免密码登录

3.1、查看本地是否能够ssh免密码登录

ssh localhost

3.2、如果需要密码就要生成密钥,

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

3.3、配置远程免密码登录,让配置namenode主机能够免密码登录到datanode主机

scp ~/.ssh/id_dsa.pub 192.168.203.128@hadoop:~  //将本机的公钥复制到192.168.203.129这台主机上

cat ~/id_dsa.pub >> ~/.ssh/authorized_keys   //在192.168.203.129的主机上执行这条命令,追加公钥到authorized_keys

4、启动hadoop

4.1、跳转到/hadoop/bin目录下,进行namenode的初始化

 hadoop namenode -format

4.2、启动hadoop

./start-all.sh   //启动hdfs已经mapreduce
或
./start-dfs.sh   //启动hdfs

4.3、检验是否启动成功,执行jps命令,看namenode,secondnamenode,。。。等进程是否启动

5、通过hdfs的命令行进行操作,下面是一些简单的命令

hadoop fs -ls / 根目录

hadoop fs -lsr / 递归遍历根目录

hadoop fs -mkdir /user 创建文件夹

hadoop fs -put 文件 hdfs folder 上传文件,如果文件夹路径不存在,文件名字就是定义的名字

hadoop fs -get <hdfs file> <linux folder> 下载在linux中

hadoop fs -text <hdfs file> 查看文件内容

hadoop fs -rm <hdfs file> 删除文件

hadoop fs -rmr <hdfs folder> 删除文件夹

hadoop fs 显示hdfs文件相关参数

hadoop fs -help ls 命令描述




收藏 推荐 打印 | 录入:elainebo | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款