你好,游客 登录 注册 搜索
背景:
阅读新闻

Eclipse搭建Hadoop开发环境

[日期:2014-12-02] 来源:CSDN博客  作者:f369504543 [字体: ]

1、  软件环境

a)        Eclipse

b)        运行中的hadoop集群

2、  eclipse上安装hadoop插件

a)        首先将eclipse Hadoop的插件放置到eclipse/plugins目录下,重启eclipse

b)        如果插件安装成功,打开Windows—Preferences后,在窗口左侧会有Hadoop Map/Reduce选项,点击此选项,在窗口右侧设置Hadoop安装路径。

PS:这个路径是hadoop的路径,eclipse会从这里获取一定的jar包

如图:

c)        配置Map/Reduce Locations,打开Windows—Open Perspective—other—Map/ReduceLocations—OK

如图:

d)        点击新增hadoop

如图:

3、  新建WordCount项目

a)        上传两个文件到hadoop集群里面

b)        分别写Mapper、Reducer、Main,如图所示:

c)        运行WordCountMain.java,Run As-----Run Configurations,然后配置如图:

d)        结果如图:

4、  碰到的错误

a)        Windows eclipse配置插件时候,碰到权限不够(org.apache.hadoop.security.AccessControlException),导致不能连接到hadoop,

解决方案:

1、  将windows的账户名和用户组都设置成hadoop启动的账号一样的名字

2、  如果是自己的测试机器,可以关闭dfs的权限检测,在conf/hdfs-site.xml 将dfs.permissions修改成false

b)        Exception inthread "main" java.io.IOException: Failed to set permissions of path:\tmp\hadoop-Administrator\mapred\staging\Administrator-519341271\.staging to0700

这个是Windows下文件权限问题,在Linux下可以正常运行,不存在这样的问题。
  解决方法是,修改hadoop-1.0.4/src/core/org/apache/hadoop/fs/FileUtil.java里面的checkReturnValue,注释掉即可(有些粗暴,在Window下,可以不用检查)


5、  建议:

        在Ubuntu下面运行eclipse

原文链接:http://blog.csdn.net/tec_feng/article/details/41660257





收藏 推荐 打印 | 录入:Cstor | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款