你好,游客 登录
背景:
阅读新闻

大数据发展存在制约因素 打破瓶颈势在必行

[日期:2013-11-14] 来源:企业网  作者: [字体: ]

  随着大数据的发展,大数据价值已经在各个行业凸显,大数据在带来机遇的同时,也带来了不可忽视的一系列挑战。

  “存不下”和“查不快”,是我们面临的两大难题。现在数据源源不断地产生,除非增加存储设备,但如此一来势必会增加存储成本。目前,街头摄像头拍摄的视频数据,通常只会存一段时间,有的保存三个月,有的保存一个月,就被覆盖掉,为什么会这样?就是因为存不起,费用太高。提高视频的压缩效率是解决存储问题的途径之一,目前科研人员正在从事第三代编码技术的研究,以减少空间占用。

  在数据处理上,由于大数据中大部分都是非结构化的数据,现有的软件和工具主要适用于以结构化数据为主的传统数据,要想及时捕捉、存储、聚合和管理这些大数据,以及对数据进行深度分析和挖掘,需要新的技术和能力。而我国数据存储、处理技术基础薄弱,总体上以跟随为主,难以满足大数据大规模应用的需求。

  此外,掌握非结构化数据或流数据的分析技能,对大多数企业来说是一个持续的挑战。在这些领域中,尽管硬件和软件已经成熟,但技能仍然缺乏。在美国,对高技能数据分析人才的需求,可能超出目前预测供应量的50%至60%。到2018年,美国需要新增多达14万至19万名专家。人才紧缺的状况如果不解决将严重影响大数据应用。

  “大数据”对个人信息获取渠道拓宽的需求引发了另一个重要问题:隐私和便利性之间的冲突。一方面,大数据需要共享、数据开放、平台利用,而目前我国一些部门和机构拥有大量数据但受行政垄断和商业利益所限,数据开放程度也较低,有些部门把一些数据当成自己的,放那里既不使用,也不提供给研究者。专家指出,这是我国大数据研究的软肋和需要解决的大问题。

  另一方面,消费者在享受大数据带来好处的同时,个人购买偏好、健康和财务情况的海量数据被收集,对隐私的担忧也在增大。从纯技术角度来说,美国的“棱镜”项目是一个典型的通过分析海量通讯数据获取安全情报的大数据案例,但严重侵犯了个人隐私。





收藏 推荐 打印 | 录入: | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款