你好,游客 登录
背景:
阅读新闻

大数据生态圈和机器学习专栏开篇

[日期:2018-04-10] 来源: 小专栏  作者: [字体: ]

本专栏面向大数据、机器学习爱好者,无论是在校的、刚进入社会的、还是老司机,希望通过阅读本专栏都能有收获。

专栏主要分大数据生态圈和机器学习两条主线

一、大数据生态圈

大数据

1. 大数据技术组件

  • 数据采集组件:DataX,sqoop,logstash,flume等
  • 数据计算组件:Spark Core,Spark Sql,Spark Streaming,Mapreduce,Hive Sql,Phoenix Sql,Storm
  • 数据调度组件:Azkaban,oozie等
  • 数据存储及中间件组件:Hbase,Hive,Redis,kafka等
  • 集群搭建组件:CDH,Ambari等
  • 数据挖掘相关组件:Spark Mlib,Spark Ml,Mahout等
  • 集群相关日志及任务监控:Elastic Search,logstash,kabana,也就是ELK监控等

2. 大数据常用架构

  • 日志埋点采集架构
  • 数据实时计算架构
  • 离线数据同步及离线计算任务的架构及调度

二、机器学习相关





收藏 推荐 打印 | 录入:Cstor | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款