你好,游客 登录
背景:
阅读新闻

大数据前景与发展现状分析

[日期:2017-05-15] 来源:  作者: [字体: ]

  摘要:大数据时代的出现简单的讲是海量数据同完美计算能力结合的结果。确切的说是移动互联网、物联网产生了海量的数据,大数据计算技术完美地解决了海量数据的收集、存储、计算、分析的问题。大数据时代开启人类社会利用数据价值的另一个时代。

  首先来介绍一下大数据时代中新出现的数据类型:

  1)过去一些记录是以模拟形式方式存在的,或者以数据形式存在但是存贮在本地,不是公开数据资源,没有开放给互联网用户,例如音乐、照片、视频、监控录像等影音资料。现在这些数据不但数据量巨大,并且共享到了互联网上,面对所有互联网用户,其数量之大是前所未有。举个例子Facebook每天有18亿张照片上传或被传播,形成了海量的数据。

  2)移动互联网出现后,移动设备的很多传感器收集了大量的用户点击行为数据,已知IPHONE有3个传感器,三星有6个传感器。它们每天产生了大量的点击数据,这些数据被某些公司所有拥有,形成用户大量行为数据。

  3)电子地图如高德、百度、Google地图出现后,其产生了大量的数据流数据,这些数据不同于传统数据,传统数据代表一个属性或一个度量值,但是这些地图产生的流数据代表着一种行为、一种习惯,这些流数据经频率分析后会产生巨大的商业价值。基于地图产生的数据流是一种新型的数据类型,在过去是不存在的。

  4)进入了社交网络的年代后,互联网行为主要由用户参与创造,大量的互联网用户创造出海量的社交行为数据,这些数据是过去未曾出现的。其揭示了人们行为特点和生活习惯。

  5)电商户崛起产来了大量网上交易数据,包含支付数据,查询行为,物流运输、购买喜好,点击顺序,评价行为等,其是信息流和资金流数据。

  6)传统的互联网入口转向搜索引擎之后,用户的搜索行为和提问行为聚集了海量数据。单位存储价格的下降也为存储这些数据提供了经济上的可能。

  我们所指的大数据不同与过去传统的数据,其产生方式、存储载体、访问方式、表现形式、来源特点等都同传统数据不同。大数据更接近于某个群体行为数据,它是全面的数据、准确的数据、有价值的数据。

  一、大数据时代带给我们的思考

  1)大数据计算提高数据处理效率,增加人类认知盈余

  大数据技术就像其他的技术革命一样,是从效率提升入手。大数据技术平台的出现提升了数据处理效率。其效率的提升是几何级数增长的,过去需要几天或更多时间处理的数据,现在可能在几分钟之内就会完成。大数据的高效计算能力,为人类节省了更多的时间。我们都知道效率提升是人类社会进步的典型标志,可以推断大数据技术将带领人类社会进入另外一个阶段。通过大数据计算节省下来的时间,人们可以去消费,娱乐和创造。未来大数据计算将释放人类社会巨大的产能,增加人类认知盈余,帮助人类更好地改造世界。

  2)大数据通过全局的数据让人类了解事物背后的真相

  相对于过去的样本代替全体的统计方法,大数据将使用全局的数据,其统计出来的结果更为精确,更接事物真相,帮助科学家了解事物背后的真相。大数据带来的统计结果将纠正过去人们对事物错误的认识,影响过去人类行为、社会行为的结论,带来全新的认知。有利于政府、企业、科学家对过去人类社会的各种历史行为真正原因的了解,大数据统计将纠正样本统计误差,为统计结论不断纠错。大数据可以让人类更加接近了解大自然,增加对自然灾害原因的了解。

  3)大数据有助于了解事物发展的客观规律,利于科学决策

  大数据收集了全局的数据,准确的数据,通过大数据计算统计出了解事物发展过程中的真相,通过数据分析出人类社会的发展规律,自然界发展规律。利用大数据提供的分析结果来归纳和演绎出事物的发展规律,通过掌握事物发展规律来帮助人们进行科学决策,大数据时代的精准营销就是典型的应用。

  4)大数据提供了同事物的连接,客观了解人类行为

  在没有大数据之前,我们了解人类行为的数据往往来源于一些被动的调查表格及滞后的统计数据。拥有了大数据技术之后,大量的传感器如手机APP、摄像头、分享的图片和视频等让我们更加客观的了解人类的行为。大数据技术连接了人类行为,通过大数据将人类的行为数据收集起来,经过一定的分析后来统计人类行为,帮助我们了解人类的行为。可以说大数据的一个重要作用就是将人类行为数据进行收集分析,了解人类行为特点,为数据价值的商业运用提供基础资产。

  5)大数据改变过去的经验思维,帮助人们建立数据思维

  人类社会的发展一直都在依赖着数据,无论是各国文明的演化,农业的规划,工业的发展,军事战役及政治事件等。但是出现大数据之后,我们将会面对着海量的数据,多种维度的数据、行为的数据、情绪的数据、实时的数据。这些数据是过去没有了解到的,通过大数据计算和分析技术,人们将会得到不同的事物真相,不同的事物发展规律。依靠大数据提供的数据分析报告,人们将会发现决定一件事、判断一件事、了解一件事不再变得困难。各国政府和企业将借助于大数据来了解民众需求,抛弃过去的经验思维和惯性思维,掌握客观规律,跳出历史预测未来的困境。

  二、大数据的企业应用场景

  大数据时代的最大意义就是利用大数据及大数据技术创造价值,大数据的企业应用场景就是介绍大数据在行业的应用,体现大数据商业价值。大数据的应用场景会将提升企业对大数据的关注,鼓励企业大数据产业中投入更多的资源,利用大数据这个工具,为人类社会造福。大数据的应用可以分为企业应用和政府应用,其关注点有所不同,我们分开介绍,先从大数据在企业应用开始谈起。

  1)医疗行业

  医疗行业拥有大量的病例,病理报告,治愈方案,药物报告等等。如果这些数据可以被整理和应用将会极大地帮助医生和病人。我们面对的数目及种类众多的病菌、病毒,以及肿瘤细胞,其都处于不断的进化的过程中。在发现诊断疾病时,疾病的确诊和治疗方案的确定是最困难的。在未来,借助于大数据平台我们可以收集不同病例和治疗方案,以及病人的基本特征,可以建立针对疾病特点的数据库。如果未来基因技术发展成熟,可以根据病人的基因序列特点进行分类,建立医疗行业的病人分类数据库。在医生诊断病人时可以参考病人的疾病特征、化验报告和检测报告,参考疾病数据库来快速帮助病人确诊,明确定位疾病。在制定治疗方案时,医生可以依据病人的基因特点,调取相似基因、年龄、人种、身体情况相同的有效治疗方案,制定出适合病人的治疗方案,帮助更多人及时进行治疗。同时这些数据也有利于医药行业开发出更加有效的药物和医疗器械。医疗行业的数据应用一直在进行,但是数据没有打通,都是孤岛数据,没有办法起大规模应用。未来需要将这些数据统一收集起来,纳入统一的大数据平台,为人类健康造福。政府和医疗行业是推动这一趋势的重要动力。

  2)生物技术

  主要是指大数据技术在基因分析上的应用,通过大数据平台人类可以将自身和生物体基因分析的结果进行记录和存储,利用建立基于大数据技术的基因数据库。大数据技术将会加速基因技术的研究,快速帮助科学家进行模型的建立和基因组合模拟计算。基因技术是人类未来战胜疾病的重要武器,借助于大数据技术的应用,人们将会加快自身基因和其它他生物的基因的研究进程。未来利用生物基因技术来改良农作物,利用基因技术来培养人类器官,利用基因技术来消灭害虫都即将实现。

  3)金融行业

  大数据在金融行业应用范围较广,典型的案例有花旗银行利用IBM沃森电脑为财富管理客户推荐产品,美国银行利用客户点击数据集为客户提供特色服务,如有竞争的信用额度。招商银行利用客户刷卡、存取款、电子银行转帐、微信评论等行为数据进行分析,每周给客户发送针对性广告信息,里面有顾客可能感兴趣的产品和优惠信息。大数据在金融行业的应用可以总结为以下五个方面:

  精准营销:依据客户消费习惯、地理位置、消费时间进行推荐

  风险管控:依据客户消费和现金流提供信用评级或融资支持,利用客户社交行为记录实施信用卡反欺诈

  决策支持:利用抉策树技术进抵押贷款管理,利用数据分析报告实施产业信贷风险控制

  效率提升:利用金融行业全局数据了解业务运营薄弱点,利用大数据技术加快内部数据处理速度

  产品设计:利用大数据计算技术为财富客户推荐产品,利用客户行为数据设计满足客户需求的金融产品

  4)零售行业

  零售行业大数据应用有两个层面,一个层面是零售行业可以了解客户消费喜好和趋势,进行商品的精准营销,降低营销成本。另一层面是依据客户购买产品,为客户提供可能购买的其它产品,扩大销售额,也属于精准营销范畴。另外零售行业可以通过大数据掌握未来消费趋势,有利于热销商品的进货管理和过季商品的处理。零售行业的数据对于产品生产厂家是非常宝贵的,零售商的数据信息将会有助于资源的有效利用,降低产能过剩,厂商依据零售商的信息按实际需求进行生产,减少不必要的生产浪费。

  5)电商

  电商是最早利用大数据进行精准营销的行业,除了精准营销,电商可以依据客户消费习惯来提前为客户备货,并利用便利店作为货物中转点,在客户下单15分钟内将货物送上门,提高客户体验。马云的菜鸟网络宣称的24小时完成在中国境内的送货,以及京的刘强东宣传未来京东将在15分钟完成送货上门都是基于客户消费习惯的大数据分析和预测。电商可以利用其交易数据和现金流数据,为其生态圈内的商户提供基于现金流的小额贷款,电商业也可以将此数据提供给银行,同银行合作为中小企业提供信贷支持。由于电商的数据较为集中,数据量足够大,数据种类较多,因此未来电商数据应用将会有更多的想象空间,包括预测流行趋势,消费趋势、地域消费特点、客户消费习惯、各种消费行为的相关度、消费热点、影响消费的重要因素等。依托大数据分析,电商的消费报告将有利于品牌公司产品设计,生产企业的库存管理和计划生产,物流企业的资源配制,生产资料提供方产能安排等等,有利于精细化社会化大生产,有利于精细化社会的出现。

  6)农牧业

  大数据在农业上的应用主要是指依据未来商业需求的预测来进行农牧产品生产,降低菜贱伤农的概率。同时大数据的分析将会更见精确预测未来的天气气候,帮助农牧民做好自然灾害的预防工作。大数据同时也会帮助农民依据消费者消费习惯决定来增加哪些品种的种植,减少哪些品种农作物的生产,提高单位种植面积的产值,同时有助于快速销售农产品,完成资金回流。牧民可以通过大数据分析来安排放牧范围,有效利用牧场。渔民可以利用大数据安排休渔期、定位捕鱼范围等。

  三、大数据的政府应用场景

  大数据另外一个重要应用领域就是在政府。利用提供的全局的数据、准确的数据、高效的数据,政府可以实现精细化管理。政府过去一直都在利用数据来进行管理,但是过去由于没有高效的数据处理平台,造成了很多数据只是在收集,没有体现其社会价值。由于缺少全局的数据和完善的数据,数据自身没有体现其应用的价值,所以在过去政府不重视数据价值。依托于大数据和大数据技术,政府可以及时得到更加准确信息,利用这些信息,政府可以更加高效的管理国家这部机器,实现精细化资源配置和宏观调控。

  1)交通

  交通的大数据应用主要在两个方面,一方面可以利用大数据传感器数据来了解车辆通行密度,合理进行道路规划包括单行线路规划。另一方面可以利用大活数据来实现即时信号灯调度,提高已有线路运行能力。科学的安排信号灯是一个复杂的系统工程,必须利用大数据计算平台才能计算出一个较为合理的方案。科学的信号灯安排将会提高30%左右已有道路的通行能力。在美国,政府依据某一路段的交通事故信息来增设信号灯,降低了50%以上的交通事故率。机场的航班起降依靠大数据将会提高航班管理的效率,航空公司利用大数据可以提高上座率,降低运行成本。铁路利用大数据可以有效安排客运和货运列车,提高效率、降低成本。

  2)天气预报

  借助于大数据技术,天气预报的准确性和实效性将会大大提高,预报的及时性将会大大提升,同时对于重大自然灾害,例如龙卷风,通过大数据计算平台,人们将会更加精确地了解其运动轨迹和危害的等级,有利于帮助人们提高应对自然灾害的能力。天气预报的准确度的提升和预测周期的延长将会有利于农业生产的安排。

  3)农牧业

  由于农产品不容易保存,因此合理种植和养殖农产品对十分重要。如果没有规划好,容易产生菜贱伤农的悲剧。过去出现的猪肉过剩、卷心菜过剩、香蕉过剩的原因就是农牧业没有规划好。借助于大数据提供的消费趋势报告和消费习惯报告,政府将为农牧业生产提供合理引导,建议依据需求进行生产,避免产能过剩,造成不必要的资源和社会财富浪费。农业关乎到国计民生,科学的规划将有助于社会整体效率提升。大数据技术可以帮助政府实现农业的精细化管理,实现科学决策。在数据驱动下,结合无人机技术,农民可以采集农产品生长信息,病虫害信息。相对于过去雇佣飞机成本将大大降低,同时精度也将大大提高。

  4)医药卫生

  食品安全问题直是国家的重点关注问题,关系大人们的身体健康和国家安全。最近几年外国旅游者减少了到中国旅游,进口食品大幅度增加,食品安全问题是其中的一个重要原因。在数据驱动下,采集人们在互联网上提供的举报信息,国家可以掌握部分乡村和城市的死角信息,挖出不法加工点,提高执法透明度,降低执法成本。国家可以参考医院提供的就诊信息,分析出涉及食品安全的信息,及时进行监督检查,第一时间进行处理,降低已有不安全食品的危害。参考个体在互联网的搜索信息,掌握流行疾病在某些区域和季节的爆发趋势,及时进行干预,降低其流行危害。政府可以提供不安全食品厂商信息,不安全食品信息,帮助人们提高食品安全意识。

  5)宏观调控和财政支出

  政府利用大数据技术可以了解各地区的经济发展情况,各产业发展情况,消费支出和产品销售情况,依据数据分析结果,科学地制定宏观政策,平衡各产业发展,避免产能过剩,有效利用自然资源和社会资源,提高社会生产效率。大数据还还可以帮助政府进行监控自然资源的管理,无论是国土资源、水资源、矿产资源、能源等,大数据通过各种传感器来提高其管理的精准度。同时大数据技术也能帮助政府进行支出管理,透明合理的财政支出将有利于提高公信力和监督财政支出。大数据及大数据技术带给政府的不仅仅是效率提升、科学决策、精细管理,更重要的是数据治国、科学管理的意识改变,未来大数据将会从各个方面来帮助政府实施高效和精细化管理。政府运作效率的提升,决策的科学客观,财政支出合理透明都将大大提升国家整体实力,成为国家竞争优势。大数据带个国家和社会的益处将会具有极大的想象空间。

  6)社会群体自助及犯罪管理

  国家正在将大数据技术用于舆情监控,其收集到的数据除了解民众诉求,降低群体事件之外,还可以用于犯罪管理。大量的社会行为正逐步走向互联网,人们更愿意借助于互联网平台来表述自己的想法和宣泄情绪。社交媒体和朋友圈正成为追踪人们社会行为的平台,正能量的东西有,负能量的东西也不少。一些好心人通过微博来帮助别人寻找走失的亲人或提供可能被拐卖人口的信息,这些都是社会群体互助的例子。国家可以利用社交媒体分享的图片和交流信息,来收集个体情绪信息,预防个体犯罪行为和反社会行为。最近警方通过微搏信息抓获了聚众吸毒的人,处罚了虐待小孩的家长。

  四、大数据产业链介绍

  由于大数据及大数据技术是一个工具,无法像互联网企业那样形成一个大数据生态圈,形成闭环。但从数据的收集,存贮,处理,分析,销毁等方面分析,可以形成大数据产业链。

  数据收集。主要是指各种数据通过传感器或其他方式被采集,大数据的的采集除了传统的互连网入口、社交平台、搜索引擎、电商交易数据、在线问答、企业业务数据外,移动互联网的App将是一个重要的数据入口,例如通过手机APP内嵌的SDK将手机App上的用户行为数据集中进行收集和处理,TalkingData目前是这一领域的领先的大数据厂商,他们既有大数据又有数据管理平台DMP。摄像头采集的数据、导航地图的轨迹数据、物流信息、移动互联网App的LBS位置数据等都大数据的重要来源。在这个阶段主要是指拥有大数据的公司例如BAT,通讯行业、互联网企业、物流行业、零售行业、医疗行业等,它们需要大数据采集和存储产品。

  数据存储。主要是指利用何种方式进行数据存贮,对于中小企业,云存储是以个不错的原则,对于金融行业和其他对数据保有权较为重视的企业,私有云将是一个不错的选择。政府主导的大数据存储平台可以作为参考。如果认为云平台无法采用时,采用低端的并行计算机可能是一个经济的方案,但是由于没有云操作系统,其存储的效率是个较大的挑战。EMC、NetAPP、日立的NAS存储可以考虑。SAN存储由于成本过高,不建议用于大数据存储,但是土豪除外。

  数据处理。数据处理主要是指数据处理平台,采用了SAAS概念的大数据处理平台都可以考虑,企业在考虑处理平台时建议,循序渐进,以未来2年内的数据处理量为参考,千万不要一次投资到位,因为数据处理的技术发展是几何级数的,两年后采用新的技术平台,其ROI将会大大降低。

  数据分析。主要是指如何对处理完的数据进行商业分析,业务需求和技术需求必须有本企业技术和商业人员主导,外部厂商很难了解企业自身的商业需求,但是数据展现形式和分析方式可以交给厂商来做,主要涉及的厂商是传统的商业智能产品和可视化应用等。

  数据销毁。主要是指数据如何进行安全管理,对于不再需要的数据如何进行销毁,鉴于数据的数量较大,存储需要重用,因此数据索引删除、数据空间7次重写,数据混淆、数据对称加密等方式都可以用作数据销毁,目前此阶段市场需求不多,因此还没有较为成熟的方案和厂商,未来将会用安全厂商进入此领域。

  由于目前大数据产业的商业模式和盈利模式还在探索之中,大数据带来的直接收益还没有明确,目前主要的商业形式还是大数企业自身的大数据应用(例如,大数据计算平台,大数据采集和分析,数据分析报告),行业应用处于一个探索的阶段,在大数据较为集中的电信行业,并没有成立数据事业部,数据被当作资产良好的保存起来,国外的大数据投资`在2005年就开始了,很多高科技企业已经大数产业链上投入巨资进行技术开发和行业应用。

  五、大数据隐私保护

  大数据的隐私和伦理已经争论了很多年,由于其涉及我们每个人的自身利益,大数据隐私保护是大数据产业需要正面面对的问题。大数据在采集过程中必定会涉及到隐私数据的收集,如果其保护的不好将会造成严重的后果,成为大数据产业发展的瓶颈。过度强调大数据的商业应用而忽视了大数据产业的隐私保护,将会产生灾难性的后果,大数据产业的发展可能会因此被禁止。过度强调隐私保护而不发展大数据产业也是一个错误的选择,人类可能会错失一个高速发展的机遇。大数据产业发展要建立在隐私保护基础之上,同时隐私保护也将通过适当约束来助推大数据产业的发展。

  大数据企业在采集外部数据时,应该注意尽量不要收集可以识别出个人的PII信息,参照美国个人隐私定义者,PII信息包括姓名、地址、手机号码、身份证号、驾驶证号、银行帐号、借记卡/信用卡号。大数据企业在使用自身拥有的信息时也要注意保护敏感信息例如民族、政治意见、宗教信仰、健康/医疗信息,婚姻状况、性生活、年龄、性别、犯罪记录、个人喜好、标准IP地址等。

  大数据企业应该在其公司的章程和文件中体现对个人隐私数据的保护,坚持遵守全球隐私保护7条原则;

  1)知晓权(透明性):应该通知本人关于所收集信息的目的

  2)选择权:提供机会选择或放弃所提供的个人信息是否被使用或如何被使用

  3)同意权:再符合知晓权和选择权的情况下才可以向第三方透露个人数据信息

  4)安全权:采取负责的措施保护个人信息免受丢失、滥用、未授权获取、泄露、篡改、毁坏的威胁

  5)数据完整性:确保个人信息在最终用途、合理防护方面的可靠性,确保信息精确、完整、无误。

  6)可查询:提供本人查询个人信息的途径

  7)责任性:企业有责任遵守上述法则,并应确保合规的机制。

  大数据企业面对的数据分为公开数据,授权数据,隐私数据。公开数据来源于公共媒体因此可以无须强调保护,授权数据来源于数据收集过程中,客户对企业的授权,需要依据签订的协议使用范围来使用,不能过越权进行数据转让和贩卖,大数据企业仅能在签署的授权范围内部进行使用,企业在使用大数据时尽量使用分类数据、群体数据、趋势数据、统计数据。不要使用针对个体的数据,同时在数据分析是需要注意关注隐私数据保护。大数据企业在利用隐私数据时将要特别注意对其的保护,即使在客户授权的前提下,也要注意数据的使用场合和揭示方式,不要向外泄露受保护的PII信息。

 

  大数据隐私保护应该从企业法律意识、国家法律法规、数据保护技术等几个方面入手进行大数据隐私保护,其是大数据产业发展的一个重要前提,解决了大数据隐私保护问题才能打开大数据产业发展的空间,大数据产业发展才有明确的未来。





收藏 推荐 打印 | 录入:elainebo | 阅读:
本文评论    (0)
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款