你好,游客 登录
背景:
阅读新闻

360行,行行出状元——大数据工程师篇

[日期:2017-12-25] 来源:简书  作者:程序o07 [字体: ]

  IT中的12个职业,相信大家大致都有了了解,那么现在我就从工作内容、职业技能、职业需求等方面为大家详细分析这些职业。

  今天我们先分析一下大数据工程师这一职业吧!!!

大数据

  大数据工程师

  大数据就是指数据非常多多到一台机器放不下,要用上百台机器存储。而我们又常常需要从这些数据中筛选出来一些有价值的内容,这就需要对运营的指标有要求,这也是MapReduce产生的原因,当解决了离线数据的问题,很多人又想想做一些在线数据的实时处理。这就有了Storm。再加上其他的NLP模块,大数据就这么形成了。

  1 工作内容:

  工作在前期会比较多一些,基础搭建还是一个挺麻烦的事儿。系统搭建好之后呢,大概是两种,一种是向大数据部门提交任务,一种是持续的文本信息处理中增加新的处理模块。

  2 需要技能:

  环境【Linux】

  框架【Hadoo,spark,pig,hive,mahout 】

  算法【mapreduce,zookeeper】

  这些框架的原理和实现都要了解清楚。这才算是一个合格的大数据工程师。

  3 发展前景

  一般人要学的话,确实是有门槛,所以,也确实是属于高薪职业。

  1年~3年:10K~20K

  3年以上:15K~35K

  (大家可以加入爱好者集结群,一同交流:498290461) 欢迎交流: (老师q:858288017)

  4.入门门槛

  入门的门比较高的吧。比不上NLP,跟搜索比较类似,主要就是五六个框架的原理问题。

  5.哪些行业适合做大数据

  IT界:后端工程师中有两年经验

  其他界:无

  6.职业限制

  熟悉了这些架构之后,也并没有什么东西可以做。

  有点不伦不类,高不成低不就的样子。





收藏 推荐 打印 | 录入:Cstor | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款