你好,游客 登录 注册 搜索
背景:
阅读新闻

抽样调查会被大数据的全样本分析所取代吗?

[日期:2015-02-05] 来源:中国大数据整理  作者:知乎:高济禾,飞羊 [字体: ]

  随着互联网技术的不断发展,大数据被应用的成功案例越来越多,而之前抽样调查一直是洞察原因和预测结果的手段。

  举个美国大选的例子:

  1936年盖洛普公司和罗珀公司成功地预测了罗斯福总统的连任成功;

  内特利用大数据准确预测了2012年50个州的结果;2012年奥巴马团队运用数据挖掘技术帮助其成功连任(至少媒体是这么说的);

  那么问题来了:抽样调查是否会被大数据的全样本分析取代?两者的比较应该从哪些维度去看?结果如何?哪些行业大数据应用成本比抽样调查成本更低?

  答案是:不会。

  第一,抽样调查的随机性,使得样本可以反映总体的情况。大数据样本没有这样的随机性,不能很好的代表总体。

  第二,能否把大数据样本当作“总体”来使用? 答案依旧是不行。大数据技术本身远远没有达到“普查”的水平,存在统计偏差。

  总结:大数据的确很牛逼!大数据不能代替抽样调查!错误的使用,得到的结果只能自欺欺人。

  从统计分析,到数据挖掘,再到大数据,扎实的统计知识都是必不可少的。统计知识的意义在于,告诉我们,什么样的结果是错误的!如何不被结果所欺骗!

  『全样本分析取代抽样』,如果是在说『在一些过去依靠抽样的研究领域,普查正在替代抽样』,是对的;如果是在说『在数据分析的整个世界里,一种方法正在取代另一种方法』,是不对的。

图来自 Peking谭北平的微博

  我觉得至少可以讲这四个故事:

  一些研究变不可能为可能(研究方法突破)

  一些过去依靠抽样的工作方法彻底过时(流程优化)

  一些过去靠抽样(数据采集)为生的人,在原有领域被做普查的人取代,只能去别的领域找机会(产业结构改变就业结构)

  一定还存在很多的领域,是目前还无法做普查但可以做抽样的,但过去做抽样的人觉得回报不够高而不愿做,现在他们降低了收入预期,所以就去做了(劳动力流动驱动技术扩散)。





收藏 推荐 打印 | 录入:Cstor | 阅读:
本文评论   查看全部评论 (3)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款