你好,游客 登录
背景:
阅读新闻

Concurrent升级大数据应用框架、SQL接口

[日期:2013-11-21] 来源:ZDNet至顶网服务器频道  作者: [字体: ]

  在上个月发布的Apache hadoop 2.2的基础上,大数据应用程序平台专家Concurrent今天推出了新版本的Cascading——其大数据应用框架。

  Concurrent公司还推出了Cascading Lingual 1.0,这是提供全面ANSI SQL接口的开源项目。

  Cascading是一个独立的开源Java应用程序框架,它被设计作为MapReduce的替代API。Cascading让Java开发人员可以使用他们现有的技能在Hadoop上构建大数据应用程序。

  Cascading创造者Concurrent公司创始人兼首席技术官Chris Wensel表示:“我创建Cascading完全是因为愤怒,在我使用MapReduce后,我发誓决不再使用它了。”

  这个最新版本Cascading 2.5增加了对Hadoop 2.2的支持,该版本包括Hadoop 2.2版本中引入的新的YARN架构。Apache Hadoop YARN(另有一个资源管理器)作为Hadoop操作系统,利用单一用途数据平台来进行批处理,并将其发展成为多用途平台—可进行批处理、交互式、网络和流处理。

  YARN作为存储在Hadoop分布式文件系统(HDFS)上数据的主要资源管理器以及访问调解器,让企业可以将数据存储在一个地方,然后以多种方式与这些数据进行交互,具有一致的服务水平。

  企业现在可以使用Cascading来利用针对单一大数据处理应用程序的Java、传统SQL和预测建模投资。

  Hadoop 2的迁移路径

  Concurrent公司首席执行官Gary Nakamura表示,Cascading并不专门利用YARN,但它可以让用户无缝地迁移其应用程序到Hadoop 2,并利用YARN。Scalding、Cascalog和PyCascading等域特定语言(DSLs)也可以无缝地迁移到Hadoop 2。同样地,当Cascading位于Hadoop堆栈时,它将支持Apache Tez。

  Concurrent还为复的连接操作提高了性能,并优化了动态分区,以及更有效地在HDFS上存储经过处理的数据。

  除了Cascading,Concurrent还宣布Cascading Lingual 1.0开始发售,该产品能够帮助已经投入巨资到商业智能(BI)工具(例如Pentaho、Jaspersoft和Congnos)以及培训的企业快速访问存储在Hadoop上的数据。Lingual允许用户利用他们现有的SQL技能以及系统来在Hadoo上创建和运行应用程序。

  Concurrent公司的Wensel表示,Lingual让任何熟悉SQL的人可以立即利用其JDBC兼容的BI或者首选桌面工具来访问存储在Hadoop上的工具。

  亚马逊云计算服务亚马逊弹性MapReduce(EMR)集团总经理Steve McPherson表示:“Cascading是大数据应用程序开发生态系统的重要组件,Lingual是让其更容易构建大数据应用程序的另一个重要进展。”

  “现在,亚马逊弹性MapReduce客户可以利用Lingual来整合亚马逊云计算服务上不同的数据存储与亚马逊S3和Redshift等服务,并且,它们可以处理这些数据,并通过标准ANSI SQL命令将其存储在亚马逊EMR中,”McPherson表示,“这让客户可以更容易的使用自己喜爱的BI工具来查询数据。”





收藏 推荐 打印 | 录入: | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款