你好,游客 登录 注册 搜索
背景:
阅读新闻

Hortonworks改进Spark与Hadoop全面整合

[日期:2014-09-29] 来源:IT经理网  作者:Cashcow [字体: ]

  Hortonworks的新代码改进了Spark与Hive的集成,并计划对Spark内存分析平台进行安全和性能方面的升级。

Hortonworks改进Spark与Hadoop全面整合

  Apache Spark内存分析平台如今是大数据分析领域的热门技术,Hadoop发行商Hortonworks近日决定加大对Spark的投入。本周三 Hortonworks宣布其Spark软件将提升Hive集成度,并增加对Spark的ORC数据格式的支持,Hortonworks还计划提升 Spark通过YARN资源管理工具与Hadoop协作的安全性和性能表现。

  Hortonworks的产品营销总监Jim Walker在接受媒体采访时指出,Hortonworks的目标是确保Spark支持YARN并为YARN优化,同时配备合适的安全和运营工具。

  YARN 是 Hadoop 内的数据操作系统,可在一个集群上组合多个数据集,并使用各种处理引擎访问它们。

  而Spark是Databricks公司开发推广的一种内存(in-memory)机器学习平台(借助MLLib)。Spark同时还支持SQL分析 (借助SparkSQL),流分析(借助Spark Streaming),并有望支持流行的R分析库和图谱分析(分别借助SparkR和GraphX)。Spark既可以作为一个单独的分布式集群运行,也能在Hadoop和Cassandra上运行,还能与MongoDB和传统关系型数据库资源对接。

  Hortonworks致力于让 Spark能更好地与Hadoop协作,因此为Spark贡献了不少代码,提升其与Hive——一种Hortonworks偏爱的原生Hadoop开源 SQL查询工具的集成。值得注意的是Hortonworks的竞争对手也采用Hive,但是Cloudera和MapR例外,Cloudera致力于推广自己专有的Impala SQL查询引擎,MapR则支持开源的Apache Drill。

  据Hortonworks透露,本周将在其官网提供预览的新代码能够提升Spark读写Hive数据的性能,包括支持以ORC(Optimized Row Columnar)格式写入数据,ORC是一种列存储个事,为数据读取和压缩性能进行了优化,而ORC也正在成为Hive的事实存储格式。

  Hortonworks是发行Spark软件的十个厂商之一,其他厂商还包括BlueData、CLoudera、DataStax、Guavus、 IBM、Oracle、Pivotal、SAP和Stratio。其中三家厂商Cloudera、DataStax和MapR是Databricks的认证服务提供商。Hortonworks的认证虽然还没有下来,但是已经开始对发售的Spark软件提供支持。





收藏 推荐 打印 | 录入:Cstor | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款