你好,游客 登录 注册 搜索
背景:
阅读新闻

一线用户谈大数据面临的最大挑战

[日期:2013-11-21] 来源:网界网  作者: [字体: ]

  Klout公司正在利用数据分析来了解人们在社交网络的影响力,该公司首席技术官Virendra Vase表示:“我们基本上是位于社交网络上面,收集所有信息,帮助人们理解以及认识其影响力。”

  这个工作每天需要处理来自超过4亿用户的120亿数据信号,Klout的大数据环境包括开源平台Hadoop、以及Hbase、Hive、ElasticSearch、Scala、Storm、Node.js和其他工具。

  Vase最近谈到了Klout学到的一些大数据教训。保险公司ACE Group公司首席企业架构师Rachel Higham,Tenet Healthcare公司消费类应用程序副总裁Brian Barnes也分享了他们的大数据技巧、窍门以及遇到的问题,下面让我们来看看他们分享的内容:

  数据量使测试、存储和计算复杂化

  庞大的数据量使测试成为一个挑战。处理非结构化数据格式和社交媒体导出的数据(例如140个字符的微薄)也不是简单的事情。当涉及存储时,更多的数据并不总是更好。他提醒说:“我们必须要弄清楚:我们需要保存什么样的数据?我们需要归档哪些数据。在最后,并不是关于数据,而是关于我们如何分析数据。”

  技术成熟度是一个挑战

  Vase警告说,很多大数据技术仍然在开发中。虽然这些基础技术正在日趋完善,但用于管理和配置的工具仍然处于起步阶段,这让IT专业人士不得不应对这种差距。他表示:“我们需要从管理的角度、从工作流程的角度、从配置的角度来开发攻击。”

  模块化

  对于Klout来说,模块化的基础设施很重要,因为这允许IT团队处理业务优先级变化,并提供业务透明度。他重申,企业需要投资于管理和生产力工具。“这正是我们的20%和25%工程资源侧重的地方--生产力工具和工作流程管理。”

  努力发现人才

  大数据工具正在快速发展,而供应商支持并没有完全到位,这使得寻找大数据人才成为挑战。“我们很难找到人才,我们只能聘请优秀的工程师,并对他们进行培训。”

  大数据专家与业务专家合作

  我们经常谈到让大数据专家与产品专家以及业务专家紧密合作,但这说起来比做起来容易,这件事情仍然难以贯彻,但双方都需要了解另一方。

  ACE集团已经很善于利用大数据分析来发现风险和欺诈模式,识别新的商业机会,以及了解客户情绪。Higham表示:“我认为我们学到的最大经验是:在企业内传达我们的意图、愿景以及成功案例”。





收藏 推荐 打印 | 录入:elainebo | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款