你好,游客 登录 注册 搜索
背景:
阅读新闻

想转行做大数据技术相关的工作,请问需要学习语言还是学什么?

[日期:2015-08-14] 来源:知乎  作者: [字体: ]

大数据

  首先,大数据是个好东西。

  然后,问个3个问题。

  多少数据量,你觉得是大?

  大数据工具比如hadoop能解决什么样的问题?对企业有什么利弊?

  大数据工具hadoop能做的事情,为什么传统的企业数据库比如sql,oracle就不能做?

  弄大数据以前,先思考这3个问题。不要人云亦云。

  就像当年的云计算,外行人吵得好热好热,内行人都在呵呵。技术层面来说,分布式解决方案升级版?

  Hadoop入门及生态系统介绍

  介绍Hadoop的发展,系统架构,相关版本和如何学习Hadoop。

  新一代虚拟技术Docker

  新一代的虚拟技术Docker的基本情况介绍和使用,并利用Docker快速的构建Hadoop的学习环境

  1. 新一代虚拟技术-容器虚拟化

  2. 在Windows上安装使用Docker

  Hadoop学习

  1. Hadoop介绍

  2. Hadoop系统搭建与部属

  a) Hadoop的三种安装方式

  b) Hadoop的Shell命令

  3. Hadoop HDFS组件分析

  a) HDFS架构,SNN及副本放置策略

  b) HDFS API

  4. Hadoop MapReduce工作原理与架构

  a) MapReduce API及工作流程

  b) MapReduce 错误处理,作业调度

  c) MapReduce 重要组件:Combiner

  d) MapReduce 重要组件:Partitioner

  e) MapReduce 重要组件:RecordReader

  5. Hadoop MapReduce 编程

  a) MapReduce 计数器

  b) MapReduce Join

  c) MapReduce Sort

  HBase学习

  基于Hadoop的关系型数据库HBase的学习,学习目标:了解HBase的应用场景,学习如何使用HBase

  1. Hbase介绍

  2. Pig,HBase,Hive三者的关系比较

  3. HBase系统搭建与部属

  4. HBase的Shell操作

  5. HBase的客户端操作

  Hive学习

  基于Hadoop的数据仓库和SQL查询引擎Hive 的学习,学习目标:了解Hive的应用场景,学习如何使用Hive,HQL语句,学习如何利用Hive来做数据分析

  1. Hive综述

  2. Hive系统搭建与部属。

  3. Hive的表操作

  4. Hive的数据加载与操作

  5. Hive的查询语句HQL

  6. Hive的窗口函数,分析函数和UDTF操作

  7. Hive自定义函数

  8. Hive HQL的优化

  基于Hadoop的开发实战

  1. 利用SQOOP来做简单的ETL抽取

  2. 日志分析系统

  3. 推荐系统(暂定)





收藏 推荐 打印 | 录入:Cstor | 阅读:
本文评论   查看全部评论 (4)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款