你好,游客 登录 注册 搜索
背景:
阅读新闻

活用大数据 创造应用价值

[日期:2015-07-30] 来源:中国大数据  作者: [字体: ]

大数据

  大数据(Big Data)近年来已成为业界最炙手可热的话题之一,在大数据时代,企业不仅需要提升储存容量与数据管理能力,更重要的是,要设法从庞大、多元格式的数据海洋中,挖掘出数据的极致价值,进而创造新的商业机会与营运决策。

 

  国立台北商业技术学院教授邹庆士指出,大数据是个大议题,大家其实都还在学习阶段,但可以确定的是,对电脑而言,最有价值的东西已经不再是硬体,而是数据,许多产品及应用也都是以数据为基础,才能进一步产生重大价值。

  邹庆士指出,大数据的主要应用,仍是以数据探勘为主,但跟过去相比,特点在於数据量变得非常大,但大数据不见得数大就是美,容量大小还可以靠技术来解决,整理的时间则因为变得非常长,已经成为数据分析的困扰。邹庆士认为,唯有从数据分析的本质开始思考,才能真正深入大数据这个议题。

 

  邹庆士甚至认为,就像Web 1.0是建立网站,Web 2.0则是经营网站,现在的大数据应用,应该要进入「大数据2.0」的时代。在「大数据1.0」的时代,数据是靠IT科技来建立,後来则是透过统计领域或机器学习模式,来建立模式,但现在需要的是达到视觉化及诠释数据的能力。邹庆士认为,在大数据1.0,需要的是掌握新技术与系统,但在大数据2.0,需要培育新型数据分析人才。

 

  若从数据探勘角度来思考,为了要让大数据发挥价值,以数据为基础来做决策,首先要注意的是,数据探勘是一个跨领域的科学,涉及统计、AI、Machine Learning等,必须将来自於不同领域的数据收集起来後,才能整合调理得出结论。

 

  邹庆士将跨产业的数据探勘过程,简化成三个步骤,分别是数据预先处理(Data Preprocessing)、数据探勘(Data Mining)及後处理(Postprocessing),其中又以第一个阶段花最多的时间,邹庆士表示,前置处理非常重要,才不会在後面产生问题,导致「垃圾进、垃圾出」的数据输出结果。

 

  至於第二阶段的主要工作,分别是预测(Predictive)、群集(Cluster)、关联、异常等管理为主。但回到数据分析的根本,邹庆士认为,第一步要先做到数据有感(Data sensitive),才知道该怎麽对待数据;第二步是数据混搭(Data mashups),要懂很多不同的模式,知道每一个模式建模的特性,最後才能落实想法,先後完成模型混搭(Models mashups)及雏型化工具(Prototyping tools),再一步步放大,但一定要建立在商业理解上。

 

  邹庆士还将大数据的属性分成四类,第一类是名目尺度(nominal),如身分证号码、眼色、邮递区号,特徵是仅能比较异同;第二类是顺序尺度(ordinal),如排名、年级、高度等,特称是能够分别顺讯;第三类是区间指度(interval),如日期、温度等,特徵为有绝对零点,差异或距离都有其意义;第四类为比例尺度(ratio),如长度、时间、次数等,特徵为有自然零点,比率有其意义。

 

  邹庆士强调,每一类的处理方式都不同,运算的方式也因此会有适用的领域,不能随便乱用。数据集类型则分为三种,分别是记录数据(如数据矩阵、文件或交易数据)、图形数据(如全球资讯网或分子结构)及有序数据(如时间、次序、间或基因序列数据等),邹庆士指出,大数据时代要面对的数据不只一种,而是多元的数据来源。

 

  大数据时代的数据来源,其实是充斥在每个领域,包括推文串流、网页伺服器记录等。邹庆士指出,其实重点不在找数据,而是如何混搭各方来源数据,进行混模加值。

 

  因此,邹庆士建议,面对大数据时代,企业要练就数据柔术(Data Jiujtsu),好的数据人才,不能只是懂科技,而是要涉猎许多领域,才有办法将大问题分解成小问题,不用立即处理海量数据,做到小处着眼,反覆加值,以机敏弹性的流程,逐步迈向目标。

 

  邹庆士指出,R工具的出现,就是要因应前述的需求,目前已有5,000多个套件,而且支持开放源,所有的演算逻辑都是公开的,可以藉此了解其他工程师的思维。

 

  但在使用工具解决大数据的问题时,邹庆士认为要注意三个议题,分别是撰写有效率的程式,提高执行速度;将数据储存在外部,以避免记忆体受限的问题;运用专门的统计程序,以有效率的方式分析大量数据。

 

  但不管是什麽工具,都会一直不断地在演化,邹庆士指出,要特别注意工具的发展,工作才会有效率。此外,大数据分析要能伸缩自如,可大可小,数据分析的思维,一定要回到数据本身的属性,如纷丝团经营指标最佳权重,数据栏位超过90个,所以在开始进行大数据分析时,第一个步骤反而是删除不必要的栏位。

 

  邹庆士指出,活化大数据应用价值的关键,主要是加强个人与组织的数据分析思考能力,唯有将数据、程式及人的智慧加以整合,才会产生价值。企业还必须要能活化顾客留下的数据轨迹,因为价值的关键在於应用。





收藏 推荐 打印 | 录入:Cstor | 阅读:
本文评论   查看全部评论 (1)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款