你好,游客 登录 注册 搜索
背景:
阅读新闻

大数据架构师技能图谱

[日期:2016-06-16] 来源:服务器运维与网站架构  作者: [字体: ]

  大数据通用处理平台

大数据

  Spark

  Flink

  Hadoop

  分布式存储

  HDFS

  资源调度

  Yarn

  Mesos

  机器学习工具

  Mahout

  Spark Mlib

  TensorFlow (Google 系)

  Amazon Machine Learning

  DMTK (微软分布式机器学习工具)

  数据分析/数据仓库(SQL类)

  Pig

  Hive

  kylin

  Spark SQL,

  Spark DataFrame

  Impala

  Phoenix

  ELK

  8.1 ElasticSearch

  8.2Logstash

  8.3Kibana

  消息队列

  Kafka(纯日志类,大吞吐量)

  RocketMQ

  ZeroMQ

  ActiveMQ

  RabbitMQ

  流式计算

  Storm/JStorm

  Spark Streaming

  Flink

  日志收集

  Scribe

  Flume

  编程语言

  Java

  Python

  R

  Ruby

  Scala

  数据分析挖掘

  MATLAB

  SPSS

  SAS

  数据可视化

  R

  D3.js

  ECharts

  Excle

  Python

  机器学习

  机器学习基础

  聚类

  时间序列

  推荐系统

  回归分析

  文本挖掘

  决策树

  支持向量机

  贝叶斯分类

  神经网络

  机器学习工具

  Mahout

  Spark Mlib

  TensorFlow (Google 系)

  Amazon Machine Learning

  DMTK (微软分布式机器学习工具)

  算法

  一致性

  paxos

  raft

  gossip

  数据结构

  栈,队列,链表

  散列表

  二叉树,红黑树,B树

  图

  常用算法

  1.排序

  插入排序

  桶排序

  堆排序

  2.快速排序

  3,最大子数组

  4.最长公共子序列

  5.最小生成树

  最短路径

  6.矩阵的存储和运算

  云计算

  云服务

  SaaS

  PaaS

  IaaS

  Openstack

  Docker

  End.

 

  转自:http://www.36dsj.com/archives/4520





收藏 推荐 打印 | 录入:elainebo | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款