你好,游客 登录 注册 搜索
背景:
阅读新闻

大数据处理的两种方式,数据两种处理方式

[日期:2015-04-29] 来源:www.BkJia.Com  作者: [字体: ]

大数据

  大数据的处理方式有两种:基于内存的流式处理和基于硬盘的存储处理。

  流式处理就好象是在经过的数据面前建一道水闸。数据流过这里,经过闸门的时候,就进行筛选过滤,分析出有价值的内容,然后丢弃,以后也不再使用。

  存储处理则是建一个储水池。数据先放进入储水池存起来,需要的时候,再进到储水池里,在里面筛选分析,找到那些有价值的内容。这个过程中,因为水还在储水池里,没放掉,所以可以供下次继续使用。

  存储模式的数据处理是可以重复的,用完再用,反复使用。但是因为硬盘本身的机械特性问题,导致它处理速度慢,速率不高。不过现在也还是有一些针对硬盘的优化措施。

  流式处理因为数据的处理过程在内存里进行,内存的处理性能是硬盘的数个量级,所以它的处理速率比存储模式高很多。但是也因为数据驻留在内存里,内存的特性是掉电即失的,只能一次性使用。所以流式处理通常是用完即弃,象卫生巾。

  大数据产品里,Spark是流式处理,Laxcus、Hadoop是存储处理。





收藏 推荐 打印 | 录入:Cstor | 阅读:
本文评论   查看全部评论 (3)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款