你好,游客 登录 注册 搜索
背景:
阅读新闻

Hadoop完全分布式环境搭建

[日期:2014-04-14] 来源:Linux社区  作者:evanlinux [字体: ]

  一. 准备工作

  实验环境:Vmware虚拟出的3台主机,系统为CentOS_6.4_i386

  用到的软件:Hadoop-1.2.1-1.i386.rpm,jdk-7u9-linux-i586.rpm

  主机规划:

  IP地址                      主机名                    角色

  192.168.2.22          master.flyence.tk        NameNode,JobTracker

  192.168.2.42          datanode.flyence.tk      DataNode,TaskTracker

  192.168.2.32          snn.flyence.tk          SecondaryNameNode

  1. hostname命令修改主机名,并修改/etc/sysconfig/network中的主机

  这里以master节点为例

  [root@localhost ~]# hostname master.flyence.tk

  [root@localhost ~]# vim /etc/sysconfig/network

  [root@localhost ~]# logout

  -

  下面为/etc/sysconfig/network中的内容

  NETWORKING=yes

  HOSTNAME=master.flyence.tk

  2. 在/etc/hosts中,记录3台主机的IP和主机名

Hadoop

  3. 在3台主机上添加hadoop用户,并设定密码

  # useradd hadoop

  # echo "hadoop" | passwd --stdin hadoop

  4. master节点的hadoop用户能够以基于密钥的验证方式登录其他节点,以便启动进程并执行监控等额外的管理工作。

  [root@master ~]# su - hadoop

  [hadoop@master ~]$ ssh-keygen -t rsa -P ''

  [hadoop@master ~]$ ssh-copy-id -i .ssh/id_rsa.pub hadoop@datanode.flyence.tk

  [hadoop@master ~]$ ssh-copy-id -i .ssh/id_rsa.pub hadoop@snn.flyence.tk

  二. 安装JDK

  3台主机上都要安装,以下步骤要重复三遍

  [root@master ~]# rpm -ivh jdk-7u9-linux-i586.rpm

  编辑/etc/profile.d/java.sh,在文件中添加如下内容:

  export PATH=/usr/java/latest/bin:$PATH

  切换至hadoop用户,并执行如下命令测试jdk环境配置是否就绪

  [hadoop@master ~]$ java -version

  java version "1.7.0_09"

  Java(TM) SE Runtime Environment (build 1.7.0_09-b05)

  Java HotSpot(TM) Client VM (build 23.5-b02, mixed mode, sharing)

  三. 安装Hadoop

  集群中的每个节点都要安装Hadoop。

  [root@master ~]# rpm -ivh hadoop-1.2.1-1.i386.rpm

  切换至hadoop用户,验证Hadoop是否安装完成

  [hadoop@master ~]$ hadoop version

  Hadoop 1.2.1

  Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152

  Compiled by mattf on Mon Jul 22 15:17:22 PDT 2013

  From source with checksum 6923c86528809c4e7e6f493b6b413a9a

  This command was run using /usr/share/hadoop/hadoop-core-1.2.1.jar





收藏 推荐 打印 | 录入:elainebo | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款