你好,游客 登录 注册 搜索
背景:
阅读新闻

快准狠的大数据(Big Data)

[日期:2014-11-27] 来源:泛科学  作者:泛科学 [字体: ]

  「大数据」(我个人比较喜欢「巨量资料」这个名词),在欧美主流媒体早已成了常见的名词了,到《纽约时报》(The New York Times) 用「Big Data」为关键字作搜寻就能找到一大堆有深度的文章,近年几乎每週都有和「大数据」有关的新闻。国外已有媒体指出,大学甚至可能会因应市场需要,而开设 新课程或系所来训练有能力分析大数据的人才;可是如果你用「大数据」在谷歌找中文新闻,出现的新闻要嘛是对岸的,要不然就是小众媒体的。难怪台湾经济会 闷……

  为何「大数据」重要?

  答案很简单,因为,不管是基础科学或者应用科学的研究,还有工商业,都可以用大数据来可以解决很多非常实际的问题。举例来说,大数据已经协助迅速找 出有致命危险的人孔盖,许多老旧的人孔盖是不定时炸弹,但其中有些更容易闯祸,快速有效地寻找出它们悠关公共安全;在公共卫生上,从谷歌的搜寻字眼之使用 量趋势,还可预测流感的蔓延,让官方快速掌控疫情;谷歌也用大数据而非语言学家来进多语言翻译的开发,虽然还有很搞笑的错误,但已是业界先锋。

  在工商业应用上,大数据可以预测机票的价格,这在美国已成了一个网站Farecast.com, 让使用者可以依据机票浮动的机率决定是否下单,Farecast.com后 来被微软併购;美国零售商Target用了大数据还可预测女生(甚至未成年)是否怀孕,来邮寄孕妇婴儿用品的折价卷;大数据能够帮忙规划快递的送货路线, 寻找最少停停走走的路线,以节约能量;还有个有趣的应用研究,能从驾驶人的臀部 形态判断是否为车主的防盗系统,甚至还能判断车主有没有酒驾或打嗑睡……

  这么好用,不买吗?

  不知上哪买?那就先读牛津大学网路研究所教授麦尔荀伯格(Viktor Mayer-Schonberger)和《经济学人》(The Economist)杂誌资料编辑库基耶(Kenneth Cukier)的《大数据》(Big Data: A Revolution That Will Transform How We Live, Work, and Think), 让他们告诉你什么碗糕是大数据,大数据有什么意义…或义气…还有大数据将如何改变我们的生活,对经济、社会和科学会带来什么影响,我们又能如何赶搭上这波 新潮流,如何懂得保护自己,避免个人资料和隐私受到侵害。《大数据》就用以上提到的实例,深入浅出地解说大数据之发掘和应用。

  很多讨论大数据的文章会指出,大数据有 4V之美──Volume、 Variety、 Value、 Velocity(资料量大、资料多样性、价值高、输入和处理速度快)。大数据之应用和分析,也影响了环境科学、生态学、地球科学、天文学、海洋学、公共 卫生、神经科学、大气科学、基因体学等学科,微软研究院(Microsoft Research)出了一本免费的专书在做学术上的探讨。

  大数据,简单来说,是由于网际网路普遍了、电脑撷取、储存、管理设备和强大的软硬体提升了分析运算能力后,科学家可以方便地蒐集资料,并且把所有收集到的 资料拿去作运算,不必再取样或牺牲掉大部分资料,甚至不必再取样,而是取得母体来作分析,于是不必再拘泥传统的统计理论和取样方法。大数据的使用和分析, 也产生了一种新的思维模式,让分析者不需要再拥抱精确性,也不再受限于因果关係的解释,只有找出有应用价值的相关性就好,当然这是在应用上而言。

  《大数据》也谈大数据的研究过程,以及巨量 资料的基础建设、运用方式与价值链。大数据对企业来说,也有利有弊,一般而言,大型和小型企业将受惠较多,因为大企业有能力投资设备和人才,而小企业则灵 活度高,然而中型企业可能因为不上不小而受创;大数据也让一些专家失了业,例如亚马逊网路书店就发现,用大数据分析出读者 的口味再推荐,效果比书评家推荐的还好!(啊!糟糕了Orz)

  大数据也有黑暗面,《大数据》也谈风险、管控与未来。美国国家安全局(NSA)为了蒐集全美的网路资料,单单储存设备就花了12亿镁,而社群网站的动态分 析也是重点,产生了政府该不该用这些巨量资料来监控人民的争议;而且,大数据本身就不完美,《大数据》 举了美国越战时的国防部长麦纳玛拉(Robert McNamara)为例,指出迷信数字是会多么的危险,连红透半边天的《半泽直树》也有一个迷信数字的恶同事福山XD 因此,《大数据》特别强调人的「能动性」(human agency),也就是人类出于自由意志而选择其行动。作者显然不想看到电影《关键报告》(The Minority Report)的故事真实地上演。

  水可行舟、亦可覆舟,大数据是标準的双面刃。科技之所以存在,是为了要解决人类的问题,而且不管大数据有多海量,终究仅是大自然或人类文明的一小部分而已。《大数据》最后不忘提醒读者,儘管让公民、政府、社会带来的种种挑战和变革,大数据只是工具,勿忘谦卑与人性。





收藏 推荐 打印 | 录入:Cstor | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款