你好,游客 登录
背景:
阅读新闻

解密谷歌的大数据技术

[日期:2014-06-23] 来源:新浪博客  作者:赵刚 [字体: ]

  毫不夸张的说,google就是大数据时代的开拓者,google的大数据技术架构一直都是全球互联网企业争相学习和研究的重点,也为行业大数据技术的架构树立起了标杆。

  下面就为大家解密google大数据技术架构:

  一、谷歌的数据中心

  谷歌目前建设了世界上最快最大的数据中心,这八个数据中心都距离加州的总部很远。而且还在中国香港、台湾以及新加坡也有数据中心。

Google大数据技术架构探秘

  二、谷歌新一代搜索引擎平台和大数据分析技术

  谷歌是GFS MapReduce BigTable的缔造者,但是谷歌在新一代的搜索引擎这一块的领域计算机能力加强,替换了原来的系统,新一代的搜索引擎的核心系统:

  1.基于Percolator的增量处理索引系统来取代MapReduce批处理索引系统,这个索引系统被称作Caffeine,它比MapReduce批处理索引系统搜索更快。

Google大数据技术架构探秘

  2.专为BigTable设计的分布式存储Colossus,也被称为GFS2(二代Google文件系统),它专为建立Caffeine搜索索引系统而用。

  3.列存储数据库BigTable,但为了更好地支持大数据集的互动分析,Google推出了Dremel和PowerDrill。Dremel被设计用来管理非常大量的大数据集(指数据集的数量和每数据集的规模都大),而PowerDrill则设计用来分析少量的大数据集(指数据集的规模大,但数据集的数量不多)时提供更强大的分析性能。

  4.为Google Instant提供服务的实时搜索引擎存储和分析架构。

  5.Pregel,这是谷歌更快捷的网络和图算法。

  在谷歌新一代搜索引擎平台上,每月40亿小时的视频,4.25亿Gmail用户,150,000,000 GB Web索引,却能实现0.25秒搜索出结果。

  三、谷歌云服务

  基于Colossus,谷歌为不但为用户提供了可以计算、存储以及应用的云服务。计算服务包括了计算的引擎以及应用的APP引擎;存储服务是利用了云存储、云SQL以及云数据的存储、永久磁盘等服务;云应用服务包括BigQuery、云终端(Cloud Endpoints)、缓冲、队列等。

  四、谷歌大数据的智能应用服务

  谷歌所提供的大数据分析智能主要是应用客户的情绪分析、交易上风险、产品推荐、

  消息路由、诊断、客户流失预测、法律文案分类、电子邮件内容过滤、政治倾向预测、物种鉴定等多个方面。据称,大数据已经给Google每天带来2300万美元的收入。例如,一些典型应用如下:

  (1)基于Map Reduce,Google的传统应用包括数据存储、数据分析、日志分析、搜索质量以及其他数据分析应用。

  (2)基于Dremel系统, Google推出其强大的数据分析软件和服务 — BigQuery,它也是Google自己使用的互联网检索服务的一部分。Google已经开始销售在线数据分析服务,试图与市场上类似亚马逊网络服务(Amazon Web Services)这样的企业云计算服务竞争。这个服务,能帮助企业用户在数秒内完成万亿字节的扫描。

  (3)基于搜索统计算法,Google推出搜索引擎的输写纠错、统计型机器翻译等服务。

  (4)Google的趋势图应用。通过用户对于搜索词的关注度,很快的理解社会上的热点是什么。对广告主来说,它的商业价值就是很快的知道现在用户在关心什么,他们应该在什么地方投入一个广告。据此, Google公司也开发了一些大数据产品,如“Brand Lift in Adwords”、“Active GRP”等,以帮助广告客户分析和评估其广告活动的效率。

  (5)Google Instant。输入关键词的过程,Google Instant 会边打边预测可能的搜索结果。

  谷歌的大数据平台架构仍在演进中,追去的目标是更大数据集、更快、更准确的分析和计算。这将进一步引领大数据技术发展的方向。





收藏 推荐 打印 | 录入: | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款