你好,游客 登录
背景:
阅读新闻

Hadoop-MapReduce操作

[日期:2016-07-18] 来源:博客园精华区  作者: [字体: ]

1、准备文件并设置编码格式为UTF-8并上传Linux

2、新建一个Java Project

4、编写Map()和Reduce()

1、 准备文件并设置编码格式为UTF-8并上传Linux

1)设置编码:首先打开文件点击左上角 文件(F) 点击另存为并将编码(E)设置为UTF-8 然后保存(S)替换的原来的文件

Hadoop

2)用工具将文件上传就Linux

3)将文件上传至HDFS

2、 新建一个Java Project

JDK必须是1.7版本以后的否则不支持

3、 导入jar

导入好多jar包并Add to Build Path

4、 编写Map()和Reduce()

5、将代码输出成jar

1) 将代码输出成jar

2) 将生成的jar上传至Linux

6、在linux中启动hdfs

1) 启动hdfs

1) 将text文件上传到HDFS

7、修改两个配置文件

在<configuration>配置项中增加以下内容:

<configuration>

        <property>

                <name>mapreduce.framework.name</name>

                <value>yarn</value>

        </property>

</configuration>

在<configuration>配置项中增加以下内容:

(参数解释:NodeManager上运行的附属服务。需配置成mapreduce_shuffle,才可运MapReduce程序)

<configuration>

        <property>

                <name>yarn.nodemanager.aux-services</name>

                <value>mapreduce_shuffle</value>

        </property>

</configuration>

8、在linux中启动yarn

9、运行mapReduce

10、查看运行结果





收藏 推荐 打印 | 录入: | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款