你好,游客 登录
背景:
阅读新闻

Hadoop大数据平台开发维护需要掌握的相关知识点

[日期:2017-09-05] 来源:简书  作者: [字体: ]

  我们公司CTO总结的

  1. 如何查看Linux系统当前状态

Hadoop

  cpu, io, memory, network

  进程列表,查找特定进程pid,进程的cpu, io, memory使用情况,

  系统的打开文件句柄数,线程数,当前用户的打开文件句柄数,线程数

  java进程

  进程pid,内存使用情况,JVM堆情况,Stack情况

  如何dump内存

  log中出现的Exception如何定位到源码中

  常见异常分析

  NPE,OOM

  OOM有哪些常见种类

  JVM GC参数配置

  JVM 常用的内存控制参数

  linux常用命令

  linux shell编写

  变量、判断、循环、函数、输入输出重定向、文本提取、统计

  测试题: 循环启动一组程序,重定向输出

  2. Java开发

  Java 集合操作:常用数据结构,增加、删除、遍历、排序、过滤、查找、子集

  常用字符串操作,拼接、替换、匹配、长度

  常用日期时间操作

  异常处理机制

  面向对象的理解:封装、继承、多态

  类的组织:继承、引用的选择

  常用设计模式

  测试题:

  ip to long, long to ip

  用数组实现List,链表

  3. hadoop开发

  hadoop相关

  hadoop起停

  hadoop命令行常用命令

  hadoop log查看

  hadoop提交、杀死任务

  Spark实现文本读取,字段提取,字段过滤,词频统计

  业务建模能力: 实时分析需求的思路





收藏 推荐 打印 | 录入:Cstor | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款