你好,游客 登录
背景:
阅读新闻

大数据时代畅想

[日期:2014-10-08] 来源:零壹财经  作者: [字体: ]

  1)交通

  交通的大数据应用主要在两个方面,一方面可以利用大数据传感器数据来了解车辆通行密度,合理进行道路规划包括单行线路规划。另一方面可以利用大活数据来实现即时信号灯调度,提高已有线路运行能力。科学的安排信号灯是一个复杂的系统工程,必须利用大数据计算平台才能计算出一个较为合理的方案。科学的信号灯安排将会提高30%左右已有道路的通行能力。在美国,政府依据某一路段的交通事故信息来增设信号灯,降低了50%以上的交通事故率。机场的航班起降依靠大数据将会提高航班管理的效率,航空公司利用大数据可以提高上座率,降低运行成本。铁路利用大数据可以有效安排客运和货运列车,提高效率、降低成本。

  2)天气预报

  借助于大数据技术,天气预报的准确性和实效性将会大大提高,预报的及时性将会大大提升,同时对于重大自然灾害,例如龙卷风,通过大数据计算平台,人们将会更加精确地了解其运动轨迹和危害的等级,有利于帮助人们提高应对自然灾害的能力。天气预报的准确度的提升和预测周期的延长将会有利于农业生产的安排。

  3)农牧业

  由于农产品不容易保存,因此合理种植和养殖农产品对十分重要。如果没有规划好,容易产生菜贱伤农的悲剧。过去出现的猪肉过剩、卷心菜过剩、香蕉过剩的原因就是农牧业没有规划好。借助于大数据提供的消费趋势报告和消费习惯报告,政府将为农牧业生产提供合理引导,建议依据需求进行生产,避免产能过剩,造成不必要的资源和社会财富浪费。农业关乎到国计民生,科学的规划将有助于社会整体效率提升。大数据技术可以帮助政府实现农业的精细化管理,实现科学决策。在数据驱动下,结合无人机技术,农民可以采集农产品生长信息,病虫害信息。相对于过去雇佣飞机成本将大大降低,同时精度也将大大提高。

  4)医药卫生

  食品安全问题直是国家的重点关注问题,关系大人们的身体健康和国家安全。最近几年外国旅游者减少了到中国旅游,进口食品大幅度增加,食品安全问题是其中的一个重要原因。在数据驱动下,采集人们在互联网上提供的举报信息,国家可以掌握部分乡村和城市的死角信息,挖出不法加工点,提高执法透明度,降低执法成本。国家可以参考医院提供的就诊信息,分析出涉及食品安全的信息,及时进行监督检查,第一时间进行处理,降低已有不安全食品的危害。参考个体在互联网的搜索信息,掌握流行疾病在某些区域和季节的爆发趋势,及时进行干预,降低其流行危害。政府可以提供不安全食品厂商信息,不安全食品信息,帮助人们提高食品安全意识。

  5)宏观调控和财政支出

  政府利用大数据技术可以了解各地区的经济发展情况,各产业发展情况,消费支出和产品销售情况,依据数据分析结果,科学地制定宏观政策,平衡各产业发展,避免产能过剩,有效利用自然资源和社会资源,提高社会生产效率。大数据还还可以帮助政府进行监控自然资源的管理,无论是国土资源、水资源、矿产资源、能源等,大数据通过各种传感器来提高其管理的精准度。同时大数据技术也能帮助政府进行支出管理,透明合理的财政支出将有利于提高公信力和监督财政支出。大数据及大数据技术带给政府的不仅仅是效率提升、科学决策、精细管理,更重要的是数据治国、科学管理的意识改变,未来大数据将会从各个方面来帮助政府实施高效和精细化管理。政府运作效率的提升,决策的科学客观,财政支出合理透明都将大大提升国家整体实力,成为国家竞争优势。大数据带个国家和社会的益处将会具有极大的想象空间。

  6)社会群体自助及犯罪管理

  国家正在将大数据技术用于舆情监控,其收集到的数据除了解民众诉求,降低群体事件之外,还可以用于犯罪管理。大量的社会行为正逐步走向互联网,人们更愿意借助于互联网平台来表述自己的想法和宣泄情绪。社交媒体和朋友圈正成为追踪人们社会行为的平台,正能量的东西有,负能量的东西也不少。一些好心人通过微博来帮助别人寻找走失的亲人或提供可能被拐卖人口的信息,这些都是社会群体互助的例子。国家可以利用社交媒体分享的图片和交流信息,来收集个体情绪信息,预防个体犯罪行为和反社会行为。最近警方通过微搏信息抓获了聚众吸毒的人,处罚了虐待小孩的家长。

四、大数据技术及厂商

  由于本篇文章主要的目的是进行大数据知识普及,因此在大数据技术和平台方面就不进行深入探讨,主要介绍一些典型的大数据技术和行业解决方案,具体的大家可以参考赵刚老师的《大数据技术与应用实践指南》,以及迈克尔.梅内里(MichaelMinelli)《大数据分析决生互连网金融时代》(BIGDATABIGANALYTICS)。以下内容主要来源于以上两本书。

  大数据技术必谈的hadoop和MapReduce.

  Hadoop的最早创始人是DougCutting(曾经在雅虎公司工作,现在Cloudera工作)和MikeCafrella.他们当时在从事一个名为Nutch的开源项目,该项目主要致力于创建Web海量检索框架,在研究过程中他们参考了google的MapReduce和 GFS(GoogleFilesSystem)的技术,开发出Hadoop数据处理平台。Hadoop的名称来源于Doug的儿子为一只黄毛绒玩具长毛象取的名字。

  Hadoop主要特点是,运行在标准硬件之上的Hadoop可以以传统解决方案1/10的成本从海量的数分析分析复杂问题,可以胜任收搜索系统、登录系统、推荐系统、数据仓库、语音/图像分析等。其是一个开源软件,同传统的技术不Hadoop能在它原有格式里存储任意种类数据,并基于这些数据衍生一系列分析和变化。可以廉价的存储百万兆(Terabyte)甚至千万亿字节(Petabyte)数据。HDFS和MapReduece是其两个关键要素。

  HDFS将数据分成若干片段后分布存储在集群中的不同服务器上。每台服务器只存储数据的若干片段,并且数据的每个片段被冗余存储在多个服务器之上。分析工作可以在存储数据的每个服务器上并行计算分析。每台服务同时对自己存储的数据片段进行分析并将结果范围,最后在汇总计算为一个详尽的分析结果,MapReduce就是这种收集和汇总分析结果代理。

  主流的大数据厂商分为大数据分析基础设施,大数据操作基础设施,大数据基础云服务,传统结构化数据库,商业智能,可视化领域等,下面将一一介绍。

  1)大数据分析基础设施

  主要指Hadoop的发行版本产品,主要厂商有Cloudera,Hortonworks,MapR.其他还包括HP的Vertica,EMC的GreenplumHD,IBM的BigInsights

  2)大数据操作基础设施

  主要是指企业级的NoSQL数据库和SQLonHadoop产品。主要产品有Caouchbase,Hadapt,Teredata,Marklogic等

  3)大数据基础云服务(IAAS)

  基于大数据基础设施提供云服务的有AmazonWebServiceElasticMapReduce、GoogleBigQuery、Infochimps、MicrosoftWindowsAzure,阿里云等

  4)关系型数据库

  关系型数据库产品Oracle、MicrosoftSQLserver、SAPSybase、IBMDB2、MySQL、PostgreSAL,MemSQL等

  5)数据云服务(DAAS)

  DaaS的服务主要有WindowsAzureMarketplace、Datasift、SpaceCurve、Factual等

  6)商业智能产品

  BI产品主要有Oracle的Hyperion、SAPBusinessObjects,MicrosoftBusinessIntelligence、IBMCongnos,SAS,HP的Autonomy、QlikView等这些产品通常具有分析和可视化能力。

  7)分析和可视化应用

  主要产品有SAS,TeraDataAster,EMCGreenplum,TableauSoftware,Tibco等。

  8)日志应用

  主要产品有Splunk、Loggly、SumoLogic。其中Splunk是一个可运行于各种平台的IT数据、日志分析软件。

  9)广告/媒体应用

  主要产品有MediaScience、BlucefinLaps、RocketFuelDataXu,RecordedFuture.其中RocketFuel是一家广告优化公司,每天处理15亿次品牌广告展示,广告效果完全基于数据来改善。

  10)垂直应用

  主要有PredictivePliciing、BloomReach,Myrrix,Atigeo.其中BloomReach公司面向市场开发大数据应用(BDA),通过机器学习,网络爬虫和搜索技术来挖掘数据,对网站的数据进行分析,然后为网站带来更多的流量,从而给他们的客户带来更多的利润。

  国内的互联网企业在大数据应用和研发方面处于较好的水平例如淘宝、百度、腾讯、新浪等。但是在大数据产品和技术服务领域却落后于国际厂商。国际主流大数据产商包括Cloudera、Hortonworks、MapR,IBM,Oracle,EMC,Intel,SAP,Teredata。具体的解决方案请参考赵刚老师的书《大数据技术与应用实践指南》

五、大数据产业链介绍

  由于大数据及大数据技术是一个工具,无法像互联网企业那样形成一个大数据生态圈,形成闭环。但是从数据的收集,存贮,处理,分析,销毁等方面分析,可以形成大数据产业链。

  数据的收集

  主要是指各种数据通过传感器或其他方式被采集,大数据的的采集除了传统的互连网入口、社交平台、搜索引擎、电商交易数据、在线问答、企业业务数据外,移动互联网的App将是一个重要的数据入口,例如通过手机APP内嵌的SDK将手机App上的用户行为数据集中进行收集和处理,TalkingData目前是这一领域的领先的大数据厂商,他们既有大数据又有数据管理平台DMP。摄像头采集的数据、导航地图的轨迹数据、物流信息、移动互联网App的LBS位置数据等都大数据的重要来源。在这个阶段主要是指拥有大数据的公司例如BAT,通讯行业、互联网企业、物流行业、零售行业、医疗行业等,它们需要大数据采集和存储产品。

  数据的存储

  主要是指利用何种方式进行数据存贮,对于中小企业,云存储是以个不错的原则,对于金融行业和其他对数据保有权较为重视的企业,私有云将是一个不错的选择。政府主导的大数据存储平台可以作为参考。如果认为云平台无法采用时,采用低端的并行计算机可能是一个经济的方案,但是由于没有云操作系统,其存储的效率是个较大的挑战。EMC、NetAPP、日立的NAS存储可以考虑。SAN存储由于成本过高,不建议用于大数据存储,但是土豪除外。

  数据处理

  数据处理主要是指数据处理平台,采用了SAAS概念的大数据处理平台都可以考虑,企业在考虑处理平台时建议,循序渐进,以未来2年内的数据处理量为参考,千万不要一次投资到位,因为数据处理的技术发展是几何级数的,两年后采用新的技术平台,其ROI将会大大降低,采用 Cloudera,Hortonworks,MapR的Hadoop产品都可以,如果其在中国没有成熟团队建议考虑IBM,HP,Oracle的解决方案,他们的案例较多。





收藏 推荐 打印 | 录入: | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款