你好,游客 登录 注册 搜索
背景:
阅读新闻

尽信大数据不如……

[日期:2015-03-23] 来源:中国大数据  作者:刘玉峰 [字体: ]

大数据

    她是前途看好的产品管理主管,准备向高阶团队作重要的简报时,注意到市占率数据中,有个数字看起来不对劲。她马上请一位助理查核那些数字。助理深入查看后发现,市场研究部门提供的数据有个错误,於是这位主管作了必要的改正,避免了一场灾难。简报进行得非常顺利,她高兴得当场奖赏那个 助理,并总结说:「嗯,我们该制订一个政策:每次都要仔细检查这些数字。」 没有人想到要告知市场研究部门人员这个错误,更别提该部门不会采取任何行动,来确保下回提供的数据是正确的

    我担任「数据医生」(的职涯中,在数十家公司见过类似情况。在电信业,维修部门可能必须改正客户服务部门输入的错误地址;在金融服务业,风险管理部门可能必须包容不正确的贷款发放细节;在医疗保健业,医生必须在面对不完全的临床数据时,努力改善患者的治疗效果。的确,数据的品质问题,困扰着各种产业的各个部门、各个层级,并涉及各类型的资讯。

    就像前述那位前途看好的主管,员工在日常工作中,经常要避开或纠正大量的这类错误。但这麽做的成本非常高。研究显示,知识工作者浪费多达50%的时间搜寻数据、找出错误予以纠正,以及为他们不信任的数据寻找有确切证据的来源。

    假设有许多错误数据流出,可能会造成哪些影响:医院实验室错误的衡量数据,可能害死病人。不清楚的产品规格,可能会增加数百万美元的生产成本。不正确的财务报告,可能破坏了最佳的投资机会。这类错误对声誉造成的后果可能很严重,例子之一就是苹果公司的地图服务Apple Maps,在2012年秋天爆发许多问题,酿成风暴。

    如果数据不可靠,经理人很快就不再信任数据,退而倚靠直觉去做决定、带领公司及执行策略。比方说,大数据分析当中出现的那些有违常理的重要结果,经理人常不愿接受。

    在「垃圾进,垃圾出」这个词问世五十年后的今天,我们仍在辛苦应付数据品质的问题。但我相信,要解决这个问题,不像许多人想的那样困难。解决方法并不是靠更好的技术,而在於:数据建立者与使用者之间的沟通必须更好;致力追求未来的好品质;最重要的是,数据品质的责任不应再放在资讯科技人员身上,他们无法掌控会产生那些数据的商业流程,而应由经理人来承担这个责任,他们投注极大努力要让数据正确。

    从品质的角度来看,在数据的生存期当中,只有两个时刻是重要的:建立数据的那一刻,以及使用数据的那一刻。数据的品质,在建立数据的当下就已确定。但我们直到使用它的那一刻,才真正要判断它的品质。如果人们认为数据的品质不良,通常的反应是避开那个数据,或是自行改正错误。

    但改善数据品质的重点,不在於大胆改正别人的错误数据,而在於让数据的建立者和使用者(他们的「顾客」)合作,以便让数据建立者找出错误的根本原因,并想出办法改善未来的品质。回想一下前述那位前途看好的主管。她没有把那个错误通知市场研究部门,而是自行改正错误,因而让他人成为同一笔错误数据的受害者。她也自行调整那些数字,尽管她远不如数据建立者适合和擅长做这件事。

    好消息是,一点点沟通就会大有助益。我曾多次在与数据建立者和使用者开会时,听到有人说:「我们不知道有人在使用那个数据集,所以没有花太多时间在上面。现在我们已经知道它很重要了,会努力提供你需要的东西。」最容易、最有效的一个改善品质做法,是确保数据建立者知道,其他人是如何使用数据的。

    更好的消息是,解决大部分的数据品质问题,不需要在新科技或流程再造方面进行重大投资。可以确定的是,严谨的衡量、自动化的控制、六标准差等方法,是有助益的,对较复杂的问题来说更是如此。但决定性的第一步,就只是让数据的使用者与建立者互相交谈。

    致力使新数据正确

    一旦公司发现自家数据的品质低於一般水准,通常第一个反应是采取大规模行动,清理现有的错误数据。其实,更好的做法是聚焦在改善新数据建立的方式,找出、并排除错误的根源。完成这项工作之后,未来可能还是得做一些清理工作,但不必持续清理。

    以年营收2,300亿美元的能源巨擘雪弗龙石油公司为例。该公司钻井部门虽然沿用产业标准采用的系统,来收集数据,以评估钻井、规画新油井、制订安全方案,但获得的数据往往不足。例如,从数据中,经理人无法确定某一油井的钻探工作,是否在预算内完成。雪弗龙推出了一个计画,来清理和油井相关的最重要数据。但公司领导人很快就发现,全面清理数据需要花费长达五年的时间,而且,除非他们做出改变,否则这五年期间建立的一切数据,都不会比今天的数据来得好。

    感谢中国大数据台湾读者:刘玉峰先生投稿!转载请注明来源!





收藏 推荐 打印 | 录入:Cstor | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款