最近去了一趟加拿大和美国，所到之处经常听到一个让人感兴趣的话题“大数据”。而另一个让我感兴趣的事是两个朋友的孩子，一个是中国人，毕业于加拿大滑铁卢大学数学系，另一个是美国白人的孩子，毕业于斯坦福大学数学系。两个孩子都非常的优秀和聪明并且也都非常的喜欢数学，毕业于两所优秀的大学。我就纳闷了，按照中国人的观点，学数学的，将来毕业了找工作都很困难，在中国基本没有发展前景。但是我错了，他们俩，一个在华尔街得到一份高薪的模型分析研究工作;一个在洛杉矶一个大银行领导一个小组进行数学模型研究，他们的工作都跟大数据有关。什么是“大数据”?目前有两本书全面的做了介绍。一本是《大数据时代》-生活、工作与思维的大变革(Big Data A Revolution—What Will Transform How We Live, Work,and Think)-维克托.迈尔-舍恩伯格、肯尼斯.库克耶;另一本是《大数据》(Big Data Revolution)——涂子佩。
2013年5月10日，阿里巴巴集团董事局主席马云在淘宝十周年晚会上，将卸任阿里集团CEO的职位，并在晚会上做卸任前的演讲，马云说，大家还没搞清PC时代的时候，移动互联网来了，还没搞清移动互联网的时候，大数据时代来了。
那么究竟什么是大数据?大数据对我们个人、企业和社会有什么样的影响?需要深入了解大数据的人可以找以上两本书来读一读，透过这两本书，确实让你体验到“生活、工作与思维的大变革”。这里摘录几段《大数据时代》一书中的精彩片段(自己认为)“大数据并非一个确切的概念，最初这个概念是指需要处理的信息量过大，已经超出了一般电脑在处理数据时所能使用的内存量，因此工程师必须改进处理数据的。这导致了新的处理技术的诞生，例如谷歌的Mapreduce 和开源hadoop平台(最初源于Yahoo)";"今天，一种最可能的方式是，亦是本书采取的方式，认为大数据是人们在大规模数据的基础上可以做到的事情，而这些事情在小规模数据的基础上是无法完成的……。这仅仅只是一个开始，大数据时代对我们的生活，以及与世界交流的方式都提出了挑战。最惊人的是，社会需要放弃它对因果关系的渴求，而仅需要关注相关关系。也就是说只需要知道是什么，而不需要知道为什么。这就推翻了自古以来的惯例，而我们做决定和理解现实的最基本方式也将受到挑战”;“大数据的精髓在于我们分析信息时的三个转变：第一个转变就是，在大数据时代，我们可以分析更多的数据，有时候甚至可以处理和某个特别现象相关的所有数据，而不在依赖随机采样;第二个改变是，研究的数据如此之多，以至于我们不再热衷于追求精确度;第三转变因前两个而促成，即我们不再热衷于寻找因果关系”;“数据化，不是数字化。量化一切，数据化的核心。数据化是指一种把现象转变为可制表分析的量化形式的过程”。仅从《大数据时代》目录中就可以看到引人入胜的地方：1、不是随机样本而是全体数据;2、不是精确性，而是混杂性;3、不是因果关系，而是相关关系……。
随着互联网技术，大容量廉价的存储器、高速运算的计算机的飞速发展。“全世界半个世纪的发展规律告诉我们，摩尔定律已经成为工业界一切呈指数增长的代名词，下一个十年可能还将有效，可以肯定的是创新无止境一直有效”;“一个好的数据结构和一个糟糕的代码比一个糟糕的数据结构和好的代码强多了”—摘自《大数据》。“大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。大数据可分成大数据技术、大数据工程、大数据科学和大数据应用等领域。目前人们谈论最多的是大数据技术和大数据应用。工程和科学问题尚未被重视。大数据工程指大数据的规划建设运营管理的系统工程;大数据科学关注大数据网络发展和运营过程中发现和验证大数据的规律及其与自然和社会活动之间的关系。”-摘自百度百科。
以下是书中列举的大数据的工程应用例子：
UPS与汽车修理预测。UPS国际快递公司从2000年就开始使用预测分析来监测自己全美60000辆车规模的车队，这样就能及时进行防御性的修理。如果车在路上抛锚损失会很大，因为那样就需要再派一辆车，会造成延误和再装载的负担，并消耗大量的人力和物力，所以以前UPS每两三年就会对车辆的零件进行定时的更换。但这种方法太有效，因为，有的零件并没有什么毛病就被换掉了。通过监测车辆的各个部位，UPS如今只需要更换需要更换的零件，从而节省了好几百万美元，有一次，监测系统甚至帮助UPS发现了一个新车的一个零件有问题，因此免除了可能会造成的困扰。
无独有偶，桥梁和建筑物上也被安装了传感器来监视磨损程度。大型化工厂和提炼厂也安装了传感器，因为一旦设备的某个零件有问题，就只有在更换了零件之后生产才能继续进行。收集和分析数据的花费比出现停产的损失要小得多。预测性分析并不能解释故障可能发生的原因，只会告诉你存在什么问题，也就是说它并不能告诉你引擎过热是因为什么，磨损的风扇皮带?没拧紧的螺帽?没有答案。
“企业需要向创造和取得数据方面的投入索取回报。有效管理来自历史数据库的数据以及获取能够破解庞大数据集含义的工具只等式的一边;等式的另一边是产生的数据在数量上持续膨胀，这种挑战不容低估。必须用一种智能的方式来解读”—摘自百度百科。
这里提出一个老大难问题，电力系统提了多年的状态检修为什么始终没有结果?其中一个关键的原因是无法可靠的预测设备的状态，即没有一个有效的手段来预测或检测设备处于一个什么样的健康“状态”。只能在“该修必修，修必修好”的计划检修的老道上打转转，没有实质性的发展，没能再向前迈进一步。在现代计算机技术，智能化、数字化电网和电厂的推动下，电网和电厂形成的监控系统，继电保护信息系统，水情测报系统以及各种设备的在线监测系统等等都已经初步形成，并以此形成海量的数据库。他们包括了从温度，转速，震动，流速，泥沙等等到电压，电流功率等等巨量数据库。如今的电力系统实际上已经具备了大数据分析的所有的物质条件。我们现在需要做的事情是，把来自新旧来源的数据转换成大数据相关分析所需要的“数据”，加上一套相关关系的数学模型或工具，我们就可以得出设备处于什么“状态”，什么时候需要更换和检修设备的“零件”。在大数据的背景下，企业特别是大企业非常非常的需要数学人才和软件人才，去开发和挖掘企业大数据这一金矿。正如《大数据时代》一书所预言的那样，大数据将决定企业的竞争力。
