你好,游客 登录 注册 搜索
背景:
阅读新闻

工业大数据

[日期:2014-09-26] 来源:新浪博客  作者:蝈蝈1968 [字体: ]

大数据

  引言 1988年,我在浙大数学系读书,范大茵教授主讲《概率论》。我曾问她:“全国新生儿的男女比例是51.2:48.8。如果各省的统计结果也一样,是否包含更多的信息?” 范老师说:“如果按同一个概率发生,各省的结果没有更多信息。” 20多年过去了,我才意识到:理论上,范老师的回答完全正确;但现实中,信息量却不相同。

  大数据是个流行词,受到了世界工业界的普遍关注。有位老院士曾说:大数据主要的成就,与侵犯个人隐私有关。的确,大数据在工业界的成功应用并不多。我相信,大数据会对工业界带来极大的改变。但与此同时,在工业界从事大数据研究也是项高风险的工作。多数人可能会铩羽而归。了解大数据不难,难的是不被一些光怪陆离的概念忽悠。如果不想被忽悠,就需要理解其精髓。

  有人说,大数据最本质的特征是数据量大,要有PB、EB的量级。为什么一定是这个量级呢?在这个级别以下,用过去的方法就可以有效存储、传输和处理;超过这个量级以后,需要新的理论、方法和思路。所以,数据级别的扩大,催生了新的理论。然而,从应用的角度看,似乎有没有必要:比这个数量级更低的数据分析往往都没有做好——数据挖掘理论出现了几十年,成功的案例也不多。所以,从理论工作者的角度看,强调数据量是有道理的;但从工程师的角度看,过分强调数据量没有多大的道理。

  从应用的角度看,数据量是否重要?可以换一种提法:要研究一个问题,10条数据、100条数据和1万条数据有区别吗?在过去,差别不是很大。比如,做线性回归,样本数目比自变量多一个就够了;如果能多几倍,基本上就很充分。采用神经元方法时,样本数比变量多一个数量级也就差不多了。在这些方法中,数据多了也难以发挥再大的作用。

  多出来的数据真的没用吗?我的感觉是:多的数据不是无用,而是不会用、难利用。不是个别人不会用,而是普遍性不会用。其中的奥妙何在呢?

  学过概率或统计理论的人都知道:所有的数学理论都基于特定的假设。比如,干扰按一定的概率分布发生、自变量检测误差可以忽略等。在很多时候,我们总是想当然地认为,这些条件是天然成立的。于是,人们习惯于按照书本上的做法,直接进行分析。

  但现实中,理论的假设却往往不成立。分析工业过程或设备时,数据的分布往往很不规范;随意的假设往往会带来错误的分析结论。再回头看看本文开头讲到的人口问题:我们假设孩子的性别按一定的概率发生。然而,这只是假设。事实上,这些年中国人口的出生比例就发生了很大的变化,而且各个省份也不一样。

  如果严格地进行统计研究,首先需要确认的就是:某个随机现象是否依照固定的频度发生。只有这个条件满足了,‘概率’的基本条件才能满足。后续的分析才能有靠谱的结果。

  所以,我们需要更多的数据来验证一些基本假设。这时,数据量的要求就会大大提升。另外,当数据的信噪比较低时,对数据量的需求也会大大上升。笔者曾经做过一个研究,发现分析一个要素的作用,需要2000~20000个数据。

  这样,多出来的数据就有用了。用好多出来的数据,才能保证分析的正确性。

  有人或许要问:像神经元这些非传统方法,并没有对数据提什么要求啊?的确,神经元方法没有明确提出什么要求。但是,谁又能保证其结果的可靠性呢?其实,采用神经元方法也有个潜在要求:建模数据充分,且未来数据的分布不变。‘分布不变’的要求其实很高:不仅是数据分布范围和密度不变,还包括变量间的关系不变、干扰的分布不变。这种要求,在现实中是难以验证和说清楚的。于是,结果的可靠性也就说不清楚。这对实际应用是非常不利的。

  既然多出来的数据是有用的,能否把‘大数据’的数量要求再降低一点呢?笔者认为:如果需要大量的数据才能完成特定分析任务,并且需要新的思想和方法,都可以看做大数据的范畴。过于强调数据量是没有必要的。

  刚才的分析可能有点理论化。下面再具体解一下。

  本人长期从事工业数据建模活动。深知分析结果的可靠性对应用至关重要。分析结果的可靠性与实用价值,常常是硬币的两面:如果正确的发现能创造出巨大的价值,错误的认识也必然导致重大的损失。所以,价值越大的分析结果,对可靠性的要求往往越高。而这恰恰是数据分析的难点所在。

  我们希望有更多的数据,目的是获得可靠性。

  有了大量的、分布区域广阔的数据,不仅可以验证数据的合理性,还可以合理地组合数据,以满足特定的分析要求,以达到特定的分析目的。同时,数据多了,还可以通过分析结果的相互校验,多角度、全方位地分析特定结论的正确性——这一点,是小样本数据根本做不到的。尤其是数据误差相对较大或者相关因素较多时。

  说到这里,我又想起来大数据的另外几个特征:“速度”、“多样性”“低价值密度”。从应用的角度看,这些特征的意义似乎也不是很大。

  1、产生速度快。增大了分析的难度,对应用带来的好处却不多,故而仅仅是在理论上有价值。

  2、低价值密度。也增加了分析的难度。但对应用来说,这是一种现象,似乎不值得强调。事实上,为了获得可靠的结果,个别的‘小数据’往往才是分析大数据的关键钥匙。而且,发现具有‘黑天鹅’性质的小数据,往往是研究大数据的重要目的。

  3、所谓‘多样性’,指有很多非结构化数据。也是增加理论难度、对实用无正面影响的因素。在现实中,数据分布越广越好,便于从不同角度和视野确定结论的可靠性。所以,我宁可把‘多样性’理解为数据分布的广泛性,而非数据形态的多样性。

  从应用的角度看,笔者更欣赏‘数据科学’的概念:综合利用数据分析、模型计算和领域知识来解决实际问题。

  对工程师来说,分析数据的目的是解决问题。为了达到分析的目的,应该采取一切有利的方法、收集一切有用的证据,不应该将自己限制在某个特定的理论方法上。我们期望大数据,却也喜欢小数据:我们喜欢完整的、真实的数据。IBM对4V理论进行了矫正。在笔者看来,这是很有道理的。

  综上所述,笔者认为:将大数据理论用于工业领域时,不可执着于‘原教旨主义’的认识。我们关注大数据,是为了创造价值,而不是追赶时髦的理论和领域。从这种意义上说,制造企业研究大数据,应该特别强调‘工业’二字,以区分现在流行的、以商务为主的大数据理论。

  ‘数据挖掘’理论出现了几十年。但在工业界的成功应用并不多。笔者认为:重要的原因之一是缺乏一个合适的数据分析处理理论。笔者认为:用好工业大数据需要关注三个要点:

  1、可靠性。可靠的结论才能用于工业实际。在本人看来,所谓可靠性,包含精确性、适用范围的广泛性和适用范围的可知性。现实中,绝对的可靠是不存在的,我们只能追求相对的可靠。相对的可靠,可以由尽量多的、独立的知识或分析结果来支撑。要做到可靠,就不能仅仅满足与‘相关性’,而是要尽量关注‘因果性’。这一点,工业大数据与商务大数据的理论是矛盾的。同时,可靠性要求我们尽量使用传统的、有坚实理论基础的统计方法——只是不能盲目适用这些方法,要关注对适用条件的验证和构造。

  2、超越性。新发现的知识一定要超越人的认识,否则就没有价值。在商务活动中,人的认识相对模糊,大数据研究容易得到超越性的结果。在工业领域,人们对物理对象的了解往往非常深刻。肤浅的研究很难超越人的经验。这时,要让新知识超越人的经验,往往要以精确定量为基础的。我们不宜将发现不同于经验的知识作为研究目标:在工业领域,与专家认识不同的结论多数是错的。有例外的话,也往往是量变引发质变造成的——这种现象,正是以结论的精确定量为前提的。

  3、嵌入性。大数据的应用必须嵌入合适的流程。一般来说,仅仅满足于发现知识并不能创造价值。在工业应用中,常见的做法是将新发现的知识嵌入到生产和管理流程中去。最好用模型为载体来实现,促进流程的智能化。众所周知,商务大数据的应用一般要结合新的商业模式。这一点,工业大数据与商务大数据是相通的。





收藏 推荐 打印 | 录入:Cstor | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款