你好,游客 登录
背景:
阅读新闻

在Docker上建立多节点的Hadoop集群

[日期:2014-07-08] 来源:开源中国社区  作者: [字体: ]

  在上篇文章中你已经看到了在你的devbox创建一个单点hadoop 集群是多么简单。

  现在我们提高门槛,在Docker上创建一个多点hadoop集群。在开始前,确保你有最新的Ambari镜像:

  一行命令

  一旦你得到了最新的镜像,你就可以启动Docker容器。我们已经创建了几个shell 函数来帮你输入Docker命令,从而避免输入像docker run [options] image [command]这样冗长的命令。

  有了这些功能,创建3个节点的hadoop簇,只需要下面一行代码搞定:

  默认参数值都是可以根据需要更改的,像是blueprint,簇大小,等等 … 在shellj.mp/docker-ambari功能函数的头文件有参数列表.

  它是按照下面步骤来实现的:

  自定义

  如果你有自己定义好的脚本,可以放在 gist然后运行 AmbariShell. 先启动 AmbariShell:

  AmbariShell启动的前提:

  AmbariShell 的 hint命令能帮助开发人员实现自动补全等功能.

  自动补全包括:

  补全命令行 (例如,没有这个帮助下 cluster命令是不可用的)

  添加需要的参数

  添加备选参数: --后加上<TAB>

  添加变参,像是参数名,宿主名等等 …

  总结

  基本上我们开始使用Docker的时候就已经使用多端的hadoop功能了 – 笔记本上运行3到4簇面临的极限问题比 Sandbox VM少得多.

  我们使用了docker的模式简化了hadoop的使用模式 – 可以在 LinkedIn找到我们关于Cloudbreak的最新进展 – 开源云端的Hadoop as a Service API应用并构建在 docker上.

  希望本文能帮你简化你的开发流程 – 如有什么关于docker上使用hadoop问题,欢迎沟通。





收藏 推荐 打印 | 录入: | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款