从应用角度,我们最耳熟能详的大数据案例当属啤酒和尿布的故事。
1969年,全球零售巨头沃尔玛利用计算机对消费者的购物行为进行数据分析,发现男性顾客在购买婴儿尿布时,常常会顺便“搭配”几瓶啤酒来犒劳自己,于是推出了将啤酒与尿布捆绑销售的促销手段。如今,这一“啤酒+尿布”的数据分析成果,已成为科学家通俗解释“大数据”技术的经典案例,亦可称为大数据早期最具价值的应用。
中国在技术研究和数据资源上有一定优势,价值最高的应用领域则相对滞后。
类型多样、海量、快速和价值是大数据的4V特性。其中,价值特性最重要,但也最易被忽视。
大数据的总体架构包括三层,数据存储,数据处理和数据分析。一般来讲,三层架构可以与4V特性直接对应,即数据存储层解决类型复杂和海量问题,数据处理层解决快速性需求,数据分析层解决价值需求。
用户并不关心底层存储细节,只需要数据存储和读取方便快捷即可。因此,虽然存储层搭建有多种方式,但根据实际业务要求,我们需选择不同的存储模式。
我们知道,大数据的海量和多样对数据处理复杂度以及实效性提出了要求,这是数据处理层解决的问题。
分析层挖掘大数据的真正价值所在。CMIC研究发现,尽管概念不同,但大数据分析层仍然无法跳脱传统BI(商业智能)分析的内容,如数据维度分析、数据切片等。大数据基于BI分析的基本方法和思路并未改变,二者的区别在于,BI的数据库呈集中化,而大数据的数据库向分布式转变,因此,在执行数据存储和数据处理方法上,会发生一些变化,这是大数据处理的考验所在。
CMIC认为,将大数据的4V特性与其三层架构结合起来并使之相互配合,可助力大数据价值最大化。