你好,游客 登录 注册 搜索
背景:
阅读新闻

Spark取代MapReduce成为Apache顶级项目

[日期:2014-03-03] 来源:IT经理网  作者: [字体: ]

  Apache Spark是一种内存数据处理框架,目前已经升级成为Apche的顶级项目,这有助于提高Spark的稳定性,在下一代大数据应用中取代MapReduce的地位。

  Spark最近势头很猛,大有取代MapReduce的趋势。本周二Apache软件基金会宣布Spark升级成为顶级项目。

  由于性能和速度由于MapReduce,且更加容易使用,Spark目前已经拥有一个庞大的用户和贡献者社区。这意味着Spark更加符合下一代低延迟、实时处理、迭代计算的大数据应用的要求。

  Spark的创建者来自加州伯克利大学,目前已经创办了一家名为Databricks的公司推动Spark的商业化。

  从技术上来看,Spark是一个单独的项目,但被设计成能与Hadoop分布式文件系统(HDFS)一起工作,可以直接在HDFS上运行,SIMR使用户无需管理员权限和安装就可MapReduce集群上运行,而且得益于YARN(下一代Hadoop资源规划器和资源管理器),Spark如今能够与MapReduce在同一个集群上运行。Hadoop企业应用先驱Cloudera已经开始向客户提供Spark的企业应用支持。

  虽然很多新的项目(例如Hortonworks的Stinger)采用了不同的处理框架,但是MapReduce和Spark还缺少很多工具(例如Pig和Casading),而对于一些特定的批处理任务来说,MapReduce依然是上佳的选择。正如Cloudera联合创始人Mike Olson指出的:MapReduce有大量的遗留工作负载,短时间内不会转移,即使Spark上位。





收藏 推荐 打印 | 录入:elainebo | 阅读:
相关新闻      
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款