你好,游客 登录
背景:
阅读新闻

Spark教程-构建Spark集群-配置Hadoop伪分布模式并运行Wordcount示例(1)

[日期:2014-09-02] 来源:Spark亚洲研究学院  作者: [字体: ]

    伪分布模式主要涉及一下的配置信息:

  1. 修改hadoop的核心配置文件core-site.xml,主要是配置HDFS的地址和端口号;

  2. 修改Hadoop中HDFS的配置文件hdfs-site.xml,主要是配置replication;

  3. 修改Hadoop的MapReduce的配置文件mapred-site.xml,主要是配置JobTracker的地址和端口;

    在具体操作前我们先在Hadoop目录下创建几个文件夹:

    下面开始构建具体的伪分布式的过程并进行测试:

    首先配置core-site.xml文件:

    进入core-site.xml文件:

    配置后文件的内容如下所示:

    使用“:wq”命令保存并退出。

    接下来配置hdfs-site.xml,打开文件:

    打开后的文件:

    配置后的文件:

    输入“:wq”保存修改信息并退出。

    接下来修改mapred-site.xml配置文件:

    进入配置文件:

    修改后的mapred-site.xml配置文件的内容为:

    使用“:wq”命令保存并退出。

    通过上面的配置,我们完成了最简单的伪分布式配置。

    接下来进行hadoop的namenode格式化:

    输入“Y”,完成格式化过程:

    接下来启动Hadoop!

    启动Hadoop,如下所示:

    使用java自带的jps命令查询出所有的守护进程:

    启动Hadoop!!!

    接下来使用Hadoop中用于监控集群状态的Web页面查看Hadoop的运行状况,具体的页面如下:

    http://localhost:50030/jobtracker.jsp    

    http://localhost:50060/tasttracker.jsp   
    http://localhost:50070/dfshealth.jsp    

 

 

 

    上述Hadoop运行状态监控页面表明我们的伪分布式开发环境完全搭建成功!

      接下来我们使用新建的伪分布式平台运行wordcount程序:

    首先在dfs中创建input目录:

    此时创建的文件因为没有指定hdfs具体的目录,所以会在当前用户“rocky”下创建“input”目录,查看Web控制台:

    执行文件拷贝操作

  点击继续阅读:Spark教程-构建Spark集群-配置Hadoop单机模式并运行Wordcount(2)





收藏 推荐 打印 | 录入: | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款