你好,游客 登录 注册 搜索
背景:
阅读新闻

调查显示76%的数据科学家认为Hadoop太慢

[日期:2014-07-03] 来源:比特网  作者:songjiayu编译 [字体: ]

  据分析调研公司Paradigm4一项调查显示,76%的数据科学家认为Hadoop太慢了。数据科学家表示,Hadoop作为开源软件框架,在实际应用中还需要更多的精力进行编程,与大数据应用需求相比,其处理速度也还不够快。

Hadoop

  据分析调研公司Paradigm4一项调查显示,76%的数据科学家认为Hadoop太慢了。数据科学家表示,Hadoop作为开源软件框架,在实际应用中还需要更多的精力进行编程,与大数据应用需求相比,其处理速度也还不够快。

  91%的受访者表示,正在执行有关大数据的复杂分析,其中39%的人认为其工作变得更加困难。71%的受访者表示:数据类型的多样性和数据量让分析更加困难。

  76%的受访者提到了有关Hadoop的问题,39%人认为需要太多的编程努力;37%的人表示即席查询速度太慢,30%的人认为进行实时分析其速度太慢。

  如今大数据对于企业越来越重要。据戴尔委托Competitive Edge Research的一项研究显示:那些员工人数在2000~5000人的中型企业已经开始拥抱大数据技术兴起,80%的中型企业认为应该更好地分析他们的数据,他们相信大数据应用能够更好地提升企业决策水平。

  对于小型企业而言,免费和便宜工具会让大数据收集和分析变得简单,也是提升竞争力必须要做的事情。Paradigm4本次调查从三月开始,四月结束,为期一个月,得到了美国111数据科学家的响应。

  Hadoop是什么:

  一个分布式系统基础架构,由Apache基金会所开发。

  用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。

  Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。

  Hadoop的框架最核心的设计就是:HDFS和MapReduce.HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。





收藏 推荐 打印 | 录入:Cstor | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款