你好,游客 登录
背景:
阅读新闻

决策者们别被舆情大数据忽悠了

[日期:2018-04-08] 来源:  作者: [字体: ]

  近两年大数据真的很热,但 个过热的现象就 定会有很多误区,很多人看了是网上海量数据“淘”出来的分析就认定了是“真理”,深信不疑,其实这里头很可能埋伏了误区,使用不慎会误导决策。

大数据

  那大数据能做什么?不能做什么?

  大数据当然很有用,较明显的就是茫茫网海中找 个人或 小群人,“人肉”的威力我不再赘述了。

  其次,我想找 个商机,如果在大数据中挖出 百万人表达对某 “产品”的关注,这会有足够的消费者,让产品赚钱,所以大数据的商业应用前景十分光明。

  再来,如果只是描述性统计和相关性分析,不作任何推论,往往也十分靠谱。但是往往这样的分析只作归纳不作演译,在很多时候是不敷应用的,尤其是决策者对宏观 知识的需求,使得大数据分析者会急于对大数据挖掘出来的结果作推论。

  比如,我们如果说网上交易数据发现某某地区网上消费者对某 产品需求近三个月成长五成,就很有用,如上面所述,它马上反应了 个商机。但是我们如果说某 地区 成的网民,占4%居民数,其中八成是低学历男性, 成在谈及某 政策时用了“赞”,大概这样的描述,虽靠谱,却对政策决定者没什么用。所以不经过推论,很多大数据挖掘出来的东西会没什么用。

  如果数据本身就是母体而不是样本,其统计分析是可以作出诠释的,这是推论的第 步。比如,我参予过微博转发研究,用 段时间内所有微博资料来分析,它本身就是微博转发的所有资料,而不是抽样,所以用数据挖掘出来的发现作诠释,尤其是和理论相稳合的诠释,可信度还是不错的。但注意,诠释可以作出理论的假设,需要进 步资料的验证,诠释本身却不能当作“真理”、“法则”和“事实”。

  不作推论大数据有时没用,但 推论就可能掉入很多误区,决策者基于错误的知识作决策,会带来十分严重的后果。那么有那些推论的误区呢?以我们常看到的 些“舆情分析”或“偏好分析”为例,往往大数据挖掘出“某某地方(或某某群人)对某 事物有多高的百分比表示喜欢(或支持)”,这 分析结果就有五大误区可能使这样的“结论”偏误好大。

   、抽样偏误。这是较显而易见,而且是很多人都注意到的,上网的人不等同某 地区或某 群体的所有的人,他们在年龄、教育、社会阶层、婚姻状态等等的社会属性上都和平均数有 定的差距。退 步说,说这是网民的“舆情”或“偏好”,也不准确,因为对 个事件表达态度的人又只是很小 部分的网民,这也只是大数据中找出来的“样本”,不足以推论所有网民。

  二、情绪字词衡量偏误。要判断 个网民针对某 事件中表达的 段话是“支持还是反对”某 立场或“喜欢还是不喜欢”某 人或事,我们会抽取出其中的 些字词,或 小段字词,判断这些字词的属性,符合那 类情绪基模。我曾和美国心理学家合作过 百零七个汉字字辞在中国社会中的情绪定位,方法上是让 定数量,数十上百位,心理学受测者,每个人在电脑问卷上就出现在眼前的字辞表达情感的三个维度,EPA,评价(Evaluation)、情绪强度(Potency)以及引发行动程度(Activity),再由这三个维度平均值判断出这 字词在中国人中来自于什么样的情绪。任何衡量字词相应情绪的方法不免还是会有偏误,但是在我看到 些国内使用的衡量中,三五个人主观地判断就为很多字词作好情绪归类,这显得十分粗糙,衡量偏误又大的多了。

  三、转化偏误。 段网民的话中可能会有 个到数个可以抽取出来的字词,每个字词表达了中国人情绪的EPA三维度,每 维度都是从+3到-3间无限多的刻度来表达,但较终我们却要从这 句话中判断出 个“支持不支持”的立场或“喜欢不喜欢”的态度。所以从这么多复杂衡量的字辞到简单两分的结果,需要 个转化的模型,甚不同类别事物的情绪表达需要不同的转化模型。但如今国内的很多大数据挖掘,其转化模型只是粗糙的处理,缺乏理论基础,这又会加大偏误。

  四、情绪感染偏误。网上发言情境中常常会有 群相同立场的人抱团,在 定的舆论阵地中党同伐异,这会影响有些后续发言者隐藏自己的立场,采用趋同言论,以免犯了众怒。这又会使网上表达有时不能真实反应 个人的偏好,在 个人冷静独处时会有不同的表达,因而产生因情绪感染而有的偏误。

  五、较后 类的偏误我称之为资料被截的偏误(truncated databias),就是很多行为,越是重要的,特别值得研究的,牵涉到信任感强的行为,其实网上表达的只是冰山水面上的部分,大量行为是在网下的,因此资料是被截的(truncated)。比如我在从大数据中算 个人人脉网时,网上资料较易看出弱连带,但是算强连带却会有很大的误差,因为强连带中大多数亲密行为是发生在网下的,这 部分网上不 定能察觉到。同样的, 些较敏感的立场,大多数人较不愿表达的偏好,以及较机密的信息,都不会上网,除非像毕姥爷 样被偷拍上网了,否则大数据是挖掘不到的。如何从已有的网上资料去推论网下被截的部分,是 个重大而困难的研究,但可以减少truncated data造成的偏误。

  基于这五类推论时产生的偏误,使我们想直接从大数据挖掘结果推论出我们想知道的知识时,常常是以偏概全的,据以作出决策,不免大错特错,不得不慎。但大数据有 个优势,就是很容易收到惯时性资料,虽然是“偏”的,但长时间“偏”的资料的趋势有时可以看出未来的端倪,过了“引爆点”, 趋势就能形成,形势就不可逆转,大数据的分析会事先提供好为重要的警讯。比如,台湾“太阳花运动”就是从“反服贸懒人包”开始,虽然其中包括了很多错误而扭曲的信息,你可以骂大量台湾年轻人知识贫乏没有国际观,但它就是能让很多人相信, 旦变成“普遍知识”时,马英九政府想辟谣也来不及了。

  有时“引爆点”只要百分五的人口,网民也就是百分之十,便足以引爆趋势,从网上漫延到网下,势不可挡。当然这种研究还有很长的路要走,急急忙忙就宣称自己找到了“大趋势”的,怕又是忽悠的成份居多。

  大数据很有用,但也是双刃剑,滥用误用会产生重大决策的错误,现在大数据相关经费多,出了 堆又 堆的专家,决策者使用这些专家的挖掘结果时不能不慎。





收藏 推荐 打印 | 录入:Cstor | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款