你好,游客 登录
背景:
阅读新闻

Hadoop(一):大数据 与 Hadoop

[日期:2018-03-01] 来源:简书  作者: [字体: ]

大数据背景

  • 大数据特征:海量数据规模、多样数据类型、快速数据流转(实时性)-> 数据价值
  • 大数据流程:数据采集->数据存储->数据处理/分析/挖掘->可视化

大数据的技术架构挑战

  • 对现有的数据库管理技术的挑战
  • 经典数据库技术并没有考虑数据的多类别
  • 实时性的技术挑战
  • 网络架构与数据中心、运维的挑战

大数据系统瓶颈(谷歌对此发表论文提出解决方案)

  • 存储容量 : GFS(谷歌文件系统)
  • 读写速度:BigTable(在普通PC上进行处理时,普通PC机容易出故障,因此要尽量减少容错)
  • 计算效率:MapReduce (减小生产成本、部署在普通PC机进行处理)

hadoop

  • Hadoop是什么 :分布式存储+分布式、可拓展计算平台
  • Hadoop能做什么 :搭建大型数据仓库、PB级数据存储、处理、分析
  • Hadoop优势 :高可靠性、低成本、搞拓展、成熟的生态圈、囊括了大数据处理的方方面面
  • 狭义的Hadoop :是一个适合大数据分布式存储(HDFS)、分布式计算(MapReduce)和资源调度(YARN)的平台
  • 广义的Hadoop :指的是hadoop的整个生态系统,Hadoop生态系统是一个很庞大的概念,hadoop是其中一个重要的基础部分,生态系统中的每一个子系统只解决某一个特定的问题域
  • Hadoop包括哪些模块
    • hadoop common
    • hadoop distributed file system(hdfs)负责数据存储
    • hadoop yarn 负责作业调度与集群资源管理
    • hadoop MapReduce 基于yarn系统之上可以并行处理大数据计算

核心组成

HDFS分布式文件系统

  • 特点:扩展性、容错性、海量数据存储
  • 将文件切分成指定大小的数据块以及多副本的存储在多个机器上,默认128M
  • 数据切分、多分布、容错等操作对用户是透明的

ax8Kh.md.png

资源管理系统 Yarn

  • 特点:扩展性、容错性、多框架资源统一调度(让多种作业可以跑在 Yarn 上、减少运维成本、由 Yarn 完成整个集群资源管理的调度)
  • 负责整个集群资源的管理和调度(一个大作业要占用多少cpu、内存)

axiWN.md.png

MapReduce

  • 特点:扩展性、容错性、海量数据的离线处理

axxru.md.png

Hadoop生态系统

  • HDFS :Hadoop 文件系统
  • Yarn :资源调度平台、可以让其它框架跑在 Hadoop 上
  • MapReduce :分布式计算
  • Hive :定义了一种类似于 SQL 语言,通过 Hive 的 SQL 语句借助 Hive 执行引擎可以对 HDFS 上的数据进行计算
  • R Conectors :做一些统计学计算
  • Mahout :封装了一些机器学习的库
  • Pig :通过编写脚本把脚本转化为 MapReduce
  • Oozie :工作流调度引擎,让任务A、B、C可以按顺序执行,把所有具有依赖关系的作业配置好,让其可以按顺序执行
  • Zookeeper :管理其它框架
  • Flume :日志收集框架、收集 nginx、tomcat 等这些日志文件
  • Sqoop :运用于关系型数据库与 Hadoop 之间的数据传输
  • Hbase :链式存储,针对于结构化数据的、可伸缩可拓展的数据库,大型数据库,可以达到秒级别上亿查询

axSoH.md.png

Hadoop发行版选择

  • Apache Hadoop (里面的框架只是解决了单个Hadoop框架的,整个集群配置比较麻烦,容易产生jar包冲突,适合学习)
  • CDH:Cloudera Distributed Hadoop (安装简单,升级简单,资源管理设置直接通过页面就可以完成,跟Spark合作开发较好,但非开源的)
  • HDP:Hortonworks Data Platform (安装和升级添加节点相对CDH比较费劲、但比原生的好)




收藏 推荐 打印 | 录入:Cstor | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款