你好,游客 登录 注册 搜索
背景:
阅读新闻

Hadoop系列文章之二:三足鼎立

[日期:2014-12-26] 来源:CSDN博客  作者:彤庆 [字体: ]

  上次说到了Hadoop是目前最流行的大数据工具,其核心是HDFS来存储数据和MapReduce来处理数据,但它又不仅仅如此。后来,围绕着 Hadoop相继出现了一系列的应用。比如存储结构化数据的HBase,用于和传统数据实现数据迁移的Spooq,SQL接口Hive,用于工作调度的 Ozzie,以脚本取代代码完成MapReduce的Pig,机器学习工具集Mahout等等。羽翼渐丰的Hadoop已经一步步从“工具”发展成为“平台”和“生态系统”。可是,一条技术鸿沟却横在了众多企业面前。一方面,无论是金融还是电信,各个领域的大公司都有海量数据处理的需求。而另一方面,他们的IT部门大都不具备部署、维护大规模Hadoop集群,和开发Hadoop应用的能力。而他们以前倚重的IBM,Oracle也没有这样的能力。

  正是看到了这一点,以Hadoop为核心的一些咨询公司相继成立。经过市场洗礼,目前呈现出Cloudera,Hortonworks和MapR三足鼎立之势。三家的产品我都使用过,以后两家为主。下面就分别谈谈各家的优势和劣势。

  Cloudera 成立于2008年,是三家中成立最早的,目前为止客户资源最多,技术储备时间最长,规模总量最大。背后有Intel做坚强后盾。其产品线以企业级的平台管理和监控著称,其Hadoop用户界面Hue也十分友好。当然,Cloudera的许可证价格不菲,都是按年按机器收钱,这一点和Oracle没什么区别,可能和CEO的Oracle前高管的背景有关。

  Hortonworks 成立比较晚,是从Yahoo中剥离出去的,也算是嫡系正统。和其他两家最大的不同是,Hortonworks坚持百分百开源的理念,完全只靠咨询服务赚钱。我是开源的拥护者,也十分看好它未来的发展。个人认为Hortonworks的拳头产品是Hadoop自动部署工具Ambrari和资源管理器 YARN。其中YARN的意义甚至超过了Hadoop本身,这一点会在以后的文章中讨论。另外,Hortonworks在12月份刚刚IPO,希望充裕的资金有助于加速它对开源项目的贡献。

  MapR 和原生的Hadoop相距最远。它完全重写了文件系统和HBase实现,从而大幅提高了系统性能。它的读写性能都数倍于原生Hadoop。重新实现同时也简化了Hadoop的安全框架。但问题是和原生的HDFS和HBase不可能完全兼容,使得它在产品配套更新方面总是慢半拍。应用开发者也往往要付出额外的精力去考虑兼容Hadoop。当然,权衡投入产出比,这样的付出也许是值得的。最近MapR刚刚宣布其MapR Database可以免费使用,大概也是看到了自己的优秀产品在接受度上的尴尬。此外,MapR和Google走得很近,也等到了Google风投的资助,其产品通过脚本程序可以很方便地部署到Google计算引擎。很荣幸MapR接受了我对其脚本的小小补充。

  大数据市场是一块大蛋糕,三家公司应该会愉快地玩耍一段时间(除非被其他巨头吃掉)。至于长远来看,谁会是最大赢家,以及Hadoop还能火多久,取决于市场,资金和技术等诸多因素的影响。技术层面来看,我们也许可以从近两年的发展略窥端倪,请看下篇“Hadoop之技术未来”。

原文链接:http://blog.csdn.net/tongqqiu/article/details/42138295





收藏 推荐 打印 | 录入:Cstor | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款