你好,游客 登录 注册 搜索
背景:
阅读新闻

不用HDFS能运行Hadoop分析吗

[日期:2015-04-03] 来源:企业网(D1Net)  作者: [字体: ]

  George Crump:简短的回答是你必须有Hadoop分布式文件系统来执行Hadoop分析。但是,通常问这个问题的时候,IT人员实际上想问的是如果存储资源必须直接连接,哪一个是传统的Hadoop设计。对于这个问题的答案是NO,而且还有一些很有力的理由来佐证我们不必遵从通常的设计。

  什么是Hadoop分析?

  Hadoop是一种用于业务分析处理的环境。允许大量的计算算来处理超大型非结构化数据集。这些数据可以来自于各种源,但是最常见的数据是通过作为物联网的一部分的传感器创造的数据。为了让其分析处理是有价值的,Hadoop必须快速处理这些数据集,而且要通过Hadoop分布式文件系统 (HDFS)实现。HDFS本质上将计算转移到数据,而不是传输数据到计算。

  大多数Hadoop环境由商用服务器集群组成,都有本地存储。数据加载到这些结点,在那里处理那个数据集。这称之为MapReduce功能。一旦每一个结点基于请求处理那个数据,结果就会从每一个结点发送,然后在一个主结点合并。主结点也存储与集群管理相关的所有元数据。

  Hadoop存储替代

  传统Hadoop存储架构的替代品利用了共享的存储环境,这个环境是计算结点连接的。厂商提供了这种解决方案,既可以用他们自己的HDFS兼容的插件,也可以利用亚马逊简单存储服务(S3)接口的Hadoop模式。

  S3是一款本地的文件系统,用来读取和编写亚马逊云存储上的文件。很多对象存储系统支持这个接口,最终可以支持运行在本地虚拟云上的Hadoop基础架构,而不是在亚马逊云中。这个文件系统的优势在于Hadoop可以访问文件,这个文件可以通过其他工具或者联网的传感器编写。相反,其他的应用也可以使用Hadoop访问文件编写。

  使用共享存储基础架构存储Hadoop数据有很多好处,包括更好更有效地保护数据,多应用访问存储以及更好地保护Hadoop主结点。





收藏 推荐 打印 | 录入:Cstor | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款