你好,游客 登录
背景:
阅读新闻

部署hadoop + MongoDB运行环境

[日期:2014-05-30] 来源:51运维  作者:网络整理 [字体: ]

  首先要下载mongo-hadoop adapter

  git clone https://github.com/mongodb/mongo-hadoop.git

  git checkout release-1.0

  然后进入mongo-hadoop目录,找到build.sbt将 hadoopRelease in ThisBuild 修改成如下所示:

  hadoopRelease in ThisBuild := "0.20"

  然后运行 ./sbt package(关于sbt https://github.com/harrah/xsbt/wiki)

  运行时需要翻&墙才行。

  运行结束之后会再core/target目录下生成一个jar文件mongo-hadoop-core_0.20.205.0-1.0.1.jar,然后下载mongodb的驱动包。

  wget --no-check-certificate https://github.com/downloads/mongodb/mongo-java-driver/mongo-2.7.3.jar 下载完之后就可以开始开发mongo-hadoop的程序了。

  运行自带示例: 首先将数据导入到mongodb中,命令如下。

  ./sbt load-sample-data

  然后再eclipe中新建一个项目,例如treasury,将mongo-hadoop/example/treasury_field中的源文件和资源文件复制到新建的项目下。

  如图所示:

部署hadoop + MongoDB运行环境

  然后修改mongo-treasury_yield.xml文件中mongodb的url和存放collection

  mongo.input.uri

  mongodb://127.0.0.1/mongo_hadoop.yield_historical.in

  mongo.output.uri

  mongodb://127.0.0.1/mongo_hadoop.yield_historical.out

  然后修改TreasuryYieldXMLConfig.java如下:

  Configuration.addDefaultResource( "resources/mongo-treasury_yield.xml");

  Configuration.addDefaultResource( "resources/mongo-defaults.xml" );

  后将项目打包成jar文件。

  运行 hadoop jar treasury.jar com.mongodb.hadoop.treasury.TreasuryXMLConfig 即可运行hadoop程序。运行结果如下图:mongodb中的数据。

部署hadoop + MongoDB运行环境

  版权所有:原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任 http://www.51ou.com/browse/MongoDB/51808.html





收藏 推荐 打印 | 录入: | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款