你好,游客 登录 注册 搜索
背景:
阅读新闻

谁在享用大数据红利?

[日期:2014-02-21] 来源:浙商网  作者: [字体: ]

  百度能知道我们在关注什么,淘宝能洞察我们喜欢什么,这是喜还是忧?大数据已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。《自然与科技》杂志最近刊文研判,人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。

  没有最大,只有更大

  维基百科这样定义大数据(Big data):大数据或巨量数据、海量数据、大资料,指的是所涉及的数据量规模巨大,以至于无法在合理时间内通过人工截取、管理、处理并整理成为人类所能解读的信息。

  IBM团队为了让电脑战胜国际象棋冠军卡斯帕罗夫,收集了将近100年来的60万盘高手的棋谱,这个就是大数据,人脑是无法记忆所有这些棋谱并加以有效利用的。1997年,国际象棋特级大师卡斯帕罗夫在《危险边缘》(jeopardy)节目中首次输给了IBM深蓝电脑,成为轰动一时的新闻。电脑能战胜人脑,秘诀就在于存储在深蓝电脑内的棋谱大数据。科学家研制了人工智能博弈软件,能从大量的棋谱中找出最合适的步骤,这是人脑所无法企及的。

  有人把大数据的特征归纳为4V:Volume(量大)、Variety(多样)、Velocity(高速)、Value(价值密度低)。让我们来回顾一下去年的“双十一”节,那天淘宝商城达成了1.88亿笔交易,总交易额达到创纪录的350.19亿元。这些交易记录就形成了那天疯狂网购的大数据。

  这样的记录首先体现在数据量巨大上。首先,我们知道一部高清电影的容量大约有1GB,而1024个GB就是一个TB,再1024个TB就是一个PB,而大数据往往达到PB数量级,可见数据量大得无法想象;其次,就是数据的多样性,交易的品种、卖家的信息、买家的信息、快递的信息、支付的信息,构成了一个行业多样化的数据链;第三,就是数据产生的速度极快,检索结果的速度也要求快,要在几百万件商品中查找出一类商品,其检索速度只需要1秒,这是传统技术无法达到的。最后,需要说明的是,大数据的内容虽然真实、完整地反映了客观世界,但它的价值密度很低,如果不去研究挖掘,大数据是不会自动产生有用结果的。比如,在街景的海量监控视频中,犯罪分子留下的踪影也许只有几秒钟。

  大数据时代

  英国的大数据权威专家维克托·迈尔·舍恩伯格(Viktor Mayer-Sch?nberger)写过一本书,书名就叫《大数据时代》,书中首次断言人类已经无可逆转地跨入了大数据时代。据他估算,人类在2000年时大约只有1/4的信息实现了数字化,其他的3/4信息仍然以报纸、书籍、胶片、磁带等形式存在,但到了2007年人类存储的数据超过了300艾字节,相当于3000亿GB的信息量。大数据时代在生活、工作和思维上给人们带来了巨大变革。

  首先,是数据的形式由原来的关系型数据(如电子表格形式)更多地表现为非关系型数据(如用户评论、图片等);数据存储方式也由原来集中式存储变为分布式存储,大型数据不得不存储在不同地方的存储服务器中,通过网络进行互联访问,构成所谓的云存储。

  其次,是对数据处理的方式发生了根本变化,人们已无法只用一台电脑处理数据,必须依赖网络后面的云平台,进行云计算,才能有效处理大数据。在对大数据处理上,我们可以看到三个有趣的变化:在小数据时代,人们限于获取数据的困难,只能采用随机抽样的方式获取数据样本,然后根据样本数据进行分析预测。一旦样本出现偏差,那推导出的结果就会产生很大的误差。

  而在大数据时代,我们能轻易地得到数据全体,而不再需要样本。譬如,阿里巴巴能得到所有买家的数据,它能轻易地统计“光棍节”那天的交易金额,算出哪个地区交易最活跃,可以通过媒体实时转播交易盛况。这就是大数据的全数据模式,数据处理的范围是全体,而不再是样本。第二个变化,是不再一味地追求数据的精确性。由于大数据的多样性、丰富性、动态性(在处理的同时,数据还在大量产生),强调数据的精确性是做不到的,也没有必要。纷繁的数据会混杂在一起,看起来好像全无用处,甚至有些还是错误的数据,但没有关系,这就是大数据的本性,看似无关无用的一堆数据却蕴含着无限商机。

  想一想,当人们在百度上比以往更多地搜索“感冒”、“发热”等关键字时,往往意味着某地将要爆发流感,甚至还能预测是什么流感,这就是大数据的威力。第三个变化,是关注数据之间的相关性,而不是因果关系。比方说,通过挖掘天猫商城的交易数据,发现购买德龙咖啡机的买家,会有很高的比例购买宠物粮食,那商家会不失时机地推荐你购买皇家狗粮。咖啡机与狗粮没有因果关系,但却有内在的相关性。数据之间的相关性,就是大数据所蕴含的价值,也是商家追求的商机。大数据的相关性,告诉我们在面对错综繁杂的大数据时,我们不需要去研究“为什么”,只要知道“是什么”就足够了。

  最后,大数据时代将催生一个数据挖掘行业,出现一批数字科学家。简单地说,数据挖掘就是从收集的数据中用一定的算法分析计算,得到我们所需要信息和知识的过程。传统的统计分析是将数据按已知的类别进行分类统计,然后寻找有价值的数据。如果给定的分类是不合理的或是错误的,那统计出来的结果就不会产生最好的效果。而数据挖掘采用的是一种叫作“聚类”的方法,它事先不需要人工分类,而是由算法分析数据的属性,将数据自动聚集成“类”,使“类”间的相似性尽量小,“类”内的相似性尽量大。比方说,保险业务涵盖各类人群、各种职业,所以设计某个险种潜在的客户目标群,需要对大量数据进行挖掘,才能找出不同的客户群和重要系数,这不是事先人为设定的。要“让数据自己说话”,这样才能因地制宜地制定营销计划,科学测算盈亏平衡,为保险企业创造更多利润。

  大数据的红利

  有人断言,数据将成为人类的重要资产,成为比石油和黄金更为重要的可重复开发使用的资源。笔者也认同这个观点。最近,媒体报道“三马”联手买保险新闻,这是一个攒取大数据红利的例子。“三马”利用阿里巴巴、腾讯和平安保险三家公司掌握大数据的优势,成立了网络保险公司——众安在线,这是具里程碑的互联网金融创新,旨在利用大数据对保险消费者进行准确定位和精准营销,瞄准的主要是80后、90后消费者。可见,利用大数据技术将是未来各保险公司抢夺市场非常关键的一环。

  另一个有益的应用将是利用大数据来防范电信诈骗。电信诈骗是当今社会的一大顽疾,如果电信、银行、互联网、公安等各方摈弃利益纠结,共享各自的大数据,那么最大限度地杜绝电信诈骗是完全可能的。我们只要分析挖掘各方的大数据,找出电信诈骗相关性的数据因数,然后建立动态监控模型,那么一旦相关数据出现,公安就能根据数据链快速找到诈骗犯。

  炒股的高手都想赚取大数据概念股的红利。大数据的红利在哪里?存在于大数据的拥有者、大数据技术公司和大数据价值挖掘者(也就是提供思维的数据科学家)。马云说过:未来的世界是数据的世界。大数据时代已经撼动了世界的方方面面,从工业、农业、商业、科技到政府、医疗、教育、文化以及社会的其他各个领域,人们的生活日益被数据所改变。可以说,大数据是一种比石油、黄金还要珍贵的资源,谁掌握了足够多的数据,谁就抢占了制高点,增强了竞争力,也就掌握了未来。





收藏 推荐 打印 | 录入:elainebo | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款