你好,游客 登录
背景:
阅读新闻

将横向扩展NAS 用于大数据分析

[日期:2013-10-11] 来源:IT专家网  作者: [字体: ]
  随着数据量的增加,数据的查询、存储、分析会越来越依赖于高性能、高可扩展存储和处理等设备。传统的scale-up(纵向扩展)架构存储,不仅扩展性、易部署管理性很难满足高性能需求;同时,容量的扩展还可能产生性能衰减,无法满足存储容量和性能线性升级的扩展需求。解决海量数据的处理、消除I/O 瓶颈,实现数据存储安全和保护、降低升级运维复杂度,都成为了高性能计算用户保证高性能持续高性价比的最重要决定因素。
  ESG 调研结果曾表明,Scale- out存储已逐渐进入了商业IT ,并且站稳脚跟。在商业和政府部门,scale-out网络存储从2010年的4,189 PB 将增加到2015年的62,834 PB,达到了72% 的复合年增长率(CAGR),远远超过了整体的外部网络存储54% 的增长率。这个高速增长是基于供应商对于前景的预测,及早地从scale-up架构过渡到scale-out架构,并且他们的产品线中甚至是高端产品都提供scale-out架构。
  横向扩展存储系统克服了物理机架和模块的限制,可作为单一系统,通过增加控制器或容量节点来实现性能和容量的独立升级,提高IT 投入的回报率。同时,线性扩展能力为业务的长期高性价比提供了保障。解决了传统单一系统、模块化系统需要物理磁盘级别的管理、数据布局和性能调优的弊端。横向扩展平台不仅能够提升性能而且还可以降低操作成本,使单一系统在单一全局域名下,轻松扩展到若干PB容量范围,成为管理猛增数据的理想存储平台。
  hadoop
  大规模数据的采集与处理已经让高性能计算用户备感压力,迫使企业需要通过一种新的方式去管理。一些新的分布式平台技术也不断出现,其中比较突出的是Hadoop。Hadoop是一个比较新的技术,它是一个建立在普通服务器上的高度可扩展、高可靠的分布式系统,专为大规模计算和海量数据存储而设计。Hadoop的数据来源可以是任何形式,在处理半结构化和非结构化数据上与关系型数据库相比有更好的性能,具有更灵活的处理能力。基于Hadoop,用户可编写处理海量数据的分布式并行程序,并将其运行于由成百上千个节点组成的大规模计算机集群上。
  总之,在高性能计算系统中,计算节点的扩展、硬件升级能够进一步增强计算节点集群系统的处理能力,运算时间得到进一步缩短;但是存储设备的I/O 能力也必须有所提高,提高I/O 节点与存储设备之间的数据交换能力,从而提高整个高性能计算系统的计算效率。




收藏 推荐 打印 | 录入: | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款