你好,游客 登录
背景:
阅读新闻

初学Hadoop的个人历程

[日期:2016-09-29] 来源:极客头条  作者:大讲台学员徐卫卫 [字体: ]

  在学习 hadoop 之前,我就明确了要致力于大数据行业 , 成为优秀的大数据研发工程师的目标,有了大目标之后要分几步走,然后每一步不断细分,采用大事化小的方法去学习 hadoop 。下面开始叙述我是如何初学 hadoop 的。

  Hadoop 学习两步走 :linux 学习、 hadoop 学习。

  在接触 hadoop 之前我有 java 基础,为此我的计划是首先学习 Linux, 然后学习 hadoop 生态系统 , 为此学习 hadoop 第一步计划就是学习 linux 了,然后 linux 又可以分为四个步骤走。

  linux 任务第一个目标就是要熟练操作 linux 常用命令以及网络配置;

  第二个目标就是熟悉用户以及权限管理操作;

  第三个目标就是熟悉软件包以及系统命令管理,第四个就是要学习 shell 编程了。

  Linux 系统学习完毕之后,紧接着就是第二个计划了学习 Hadoop 。

  Hadoop 阶段分两步走 。

  第一阶段能熟练搭建伪分布式集群以及完全分布式集群,我个人认为先搭建 hadoop环境然后再学习 hadoop 这样效果更好。就如同看别人代码一样,我们先把别人代码能跑起来,然后再分析代码,如果代码都跑不起来,何谈代码分析,所以先让 hadoop环境搭建起来,能正常运行 wordcount 程序,我们才能慢慢分析整个 Hadoop 生态系统,这样我们能对 hadoop 有个整体上的认识。

  Hadoop 第二阶段就是基于第一阶段的基础上,再细分几大阶段:

  首先第一阶段整体上认识 hadoop 生态系统,了解 MapReduce 分布式计算框架、 Yarn 集群资源管理和调度平台、 hdfs 分布式文件系统、 hive 数据仓库、 HBase 实时分布式数据库、 Flume 日志收集工具、 sqoop 数据库 ETL 工具、 zookeeper 分布式协作服务、 Mahout 数据挖掘库;

  第二阶段学习 MapReduce,MapReduce 作为 hadoop 核心内容,要先易后难,首先了解 Mapper 、 Reducer 、 Configuration 、 job 等这些类,熟悉 MapReduce 流程图,然后写简单的单词统计代码,整体上对 MapReduce 认识,之后学习 MapReduce 运行机制,熟练掌握, MapReduce 输入格式, MapReduce 输出格式,以及 MapReduce 优化;

  第三阶段学习 hadoop 另一个核心内容 HDFS ,首先明白什么是 hdfs, 然后再分析 hdfs 的优点,然后再了解 Hdfs 的缺点有哪些, HDFS 是如何存储数据的,采用什么样的架构,我们如何实现读取和写入 HDFS 中的文件,以及了解 HDFS 副本存放策略,同时熟练掌握 HDFS 的 shell 访问和 java 访问。

  第三阶段就是学习 hadoop 另一个核心内容 :Yarn, 首先我们要了解 Yarn 是什么,为什么使用 Yarn , Yarn 的构架, Yarn 的原理。我个人认为, hadoop 初学者只要掌握了提供海量数据存储的 HDFS ,分布式计算的 MapReduce, 以及集群资源管理和调度平台的 yarn ,基本上也就掌握了 Hadoop 最核心的东西,也为以后的 hbase 、 hive 学习打下了坚实的基础。

  以下是我个人初学 hadoop 学习历程的思维导图,仅供参考。

 

Hadoop




收藏 推荐 打印 | 录入:elainebo | 阅读:
相关新闻       Hadoop