你好,游客 登录 注册 搜索
背景:
阅读新闻

Hadoop1.2.1插件编译

[日期:2015-11-17] 来源:Linux公社  作者: [字体: ]

本文介绍了Hadoop 1.2.1插件的编译步骤及编译后插件的配置。 

1. 将Haoop 1.2.1源文件hadoop-1.2.1.tar.gz解压到D:\hadoop-1.2.1

2. 将项目导入Eclipse

3. 将build-contrib.xml拷贝到项目下。

4. 修改build.xml

1). 指定 build-contrib.xml 路径

<import file= " ./build-contrib.xml" />

2). 添加Hadoop相关包到classpath中

<!-- Override classpath to include Eclipse SDK jars -->

<path id= "classpath" >

<!--pathelement location="${build.classes}"/-->

<!--pathelement location="${hadoop.root}/build/classes"/-->

<pathelement location="${hadoop.root}/hadoop-core-1.2.1.jar"/>

<pathelement location="${hadoop.root}/lib/*"/>

<path refid= "eclipse-sdk-jars" />

</path>

3). 拷贝相关包到项目 lib 目录下,然后打包到 jar 文件。

<target name= "jar" depends= "compile" unless= "skip.contrib" >

<mkdir dir= "${build.dir}/lib" />

<copy file="${hadoop.root}/hadoop-core-${version}.jar" tofile="${build.dir}/lib/hadoop-core.jar" verbose="true"/>

<copy file="${hadoop.root}/lib/commons-cli-1.2.jar" todir="${build.dir}/lib" verbose="true"/>

<copy file="${hadoop.root}/lib/commons-lang-2.4.jar" todir="${build.dir}/lib" verbose="true"/>

<copy file="${hadoop.root}/lib/commons-configuration-1.6.jar" todir="${build.dir}/lib" verbose="true"/>

<copy file="${hadoop.root}/lib/jackson-mapper-asl-1.8.8.jar" todir="${build.dir}/lib" verbose="true"/>

<copy file="${hadoop.root}/lib/jackson-core-asl-1.8.8.jar" todir="${build.dir}/lib" verbose="true"/>

<copy file="${hadoop.root}/lib/commons-httpclient-3.0.1.jar" todir="${build.dir}/lib" verbose="true"/>

<jar

jarfile= "${build.dir}/hadoop-${name}-${version}.jar"

manifest= "${root}/META-INF/MANIFEST.MF" >

<fileset dir= "${build.dir}" includes= "classes/ lib/" />

<fileset dir= "${root}" includes= "resources/ plugin.xml" />

</jar>

</target>

5. 修改build-contrib.xml

1). 确认hadoop.root属性值是否正确,如果正确,可以hadoop目录的绝对路径

<property name= "hadoop.root" location= "${root}/../../../" />

2). 添加如下属性

<property name= "version" value= "1.2.1" />

<property name= "eclipse.home" location= "D:/eclipse" />

6). 将导出的 jar 包复制到 eclipse 安装目录下的 dropins 目录中

7. 重启 eclipse

8. 配置 HDFDS

注意运行 eclipse 的 window 用户一定要用 Lunix 上的 Hadoop 用户相同,或对Hadoop 程序有访问权限。

linux 有一个 grid 组可以访问 hadoop 程序, 它包��两个用户 (grid 和 chujq)

windown 必须使用 grid 或 chujq 才可以访问 HDFS 。

Hadoop

下面关于 Hadoop 的文章您也可能喜欢,不妨看看:

Ubuntu14.04下Hadoop2.4.1单机/伪分布式安装配置教程 http://www.linuxidc.com/Linux/2015-02/113487.htm

CentOS安装和配置Hadoop2.2.0 http://www.linuxidc.com/Linux/2014-01/94685.htm

Ubuntu 13.04上搭建Hadoop环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu下Hadoop环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建Hadoop环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm





收藏 推荐 打印 | 录入:elainebo | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款