你好,游客 登录
背景:
阅读新闻

谈谈Spark与Spark-Streaming关系

[日期:2017-10-19] 来源:oschina博客  作者:佚名 [字体: ]
Spark

  spark程序是使用一个spark应用实例一次性对一批历史数据进行处理,spark streaming是将持续不断输入的数据流转换成多个batch分片,使用一批spark应用实例进行处理,侧重点在Steaming上面。我们常说的Spark-Streaming依赖了Spark Core的意思就是,实际计算的核心框架还是spark。我们还是上一张老生常谈的官方图:

  从原理上看,我们将spark-streaming转变为传统的spark需要什么?

  需要构建4个东西:

  一个静态的 RDD DAG 的模板,来表示处理逻辑;

  一个动态的工作控制器,将连续的 streaming data 切分数据片段,并按照模板复制出新的 RDD

  DAG 的实例,对数据片段进行处理;

  Receiver进行原始数据的产生和导入;Receiver将接收到的数据合并为数据块并存到内存或硬盘中,供后续batch RDD进行消费;对长时运行任务的保障,包括输入数据的失效后的重构,处理任务的失败后的重调。

  至于上述过程具体怎么实现,我们会在spark-streaming源码分析的文章中一一解决。本文中图片文字来自于网络。





收藏 推荐 打印 | 录入:Cstor | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款