你好,游客 登录 注册 搜索
背景:
阅读新闻

磁盘性能同样彪悍,Spark打破大数据基准测试记录

[日期:2014-10-14] 来源:IT经理  作者: [字体: ]

    Apache Spark是当今最火爆的大数据处理框架。Spark的性能和速度都大大优于MapReduce,且更加容易使用,而且Spark已经拥有一个庞大的用户 和贡献者社区,这意味着Spark更加符合下一代低延迟、实时处理、迭代计算的大数据应用的要求,大有取代MapReduce的趋势。

    但不少人认为Spark仅仅是在内存计算环境比Mapreduce表现出色。近日为了给Spark正名,Spark商业化公司Databrick在磁盘环境给Spark做了GraySort跑分测试(下图)。

Apache Spark

    Databrick的Daytona GraySort测试环境使用了亚马逊云中的206台服务器共计6600个内核,测试数据量高达100TB,测试用时仅仅23分钟,打破了此前由雅虎保持 的记录,雅虎当时动用了2100节点的Hadoop集群,共计5万多个内核才完成100TB数据的测试(用时72分钟)。

    为了展示Spark在可靠处理超大规模数据集方面的性能,Databrick还增加了一个非正式的测试(上图),190台服务器处理1PB数据用时 4小时。Databricks的客户营销总监Arsalan Tavakoli表示,不少公司的大数据处理规模远不止1PB,对Spark在生产环境的扩展性持怀疑态度的人,应当看到阿里巴巴的Spark集群已经扩 展到数百PB。

    Databrick的GraySort基准测试采用HDFS作为存储层,测试数据来自Databricks云,存储在亚马逊的S3或HDFS(AWS实例)。Databrick的官网上周五公布了更多的测试细节,包括测试方法和可信度等。





收藏 推荐 打印 | 录入:Cstor | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款