你好,游客 登录
背景:
阅读新闻

闲谈大数据和算法 知道这些让你受益无穷

[日期:2017-11-08] 来源:简书  作者:dantezhao [字体: ]

  本篇总结 下自己对大数据算法认知的过程。正文包含两部分:自己对算法的认知过程和对大数据算法的理解。

  写这篇博客的原因有很多,总的来讲有下面几点:

  自己在算法的路上 直懵懵懂懂,现在刚刚有了 点点头绪,赶快做个记录。

  梳理清楚自己的思路,后续会有 个算法学习的 到两年的计划,这算是个引子。

  谈起算法大家都只会想到经典算法和机器算法,除此之外还有很多有意思的算法,特别是为了解决大数据量问题的算法,这些很容易被忽略掉,但是我认为这才算是大数据算法。

大数据

  0x01 认知过程

  1. 算法没什么用

  刚入坑的时候, 直以为大数据工程师就是安装 下 hadoop,写写 MR 程序,运维 下集群就够了,虽说算法很重要,但是工作中没有什么感觉。

  我在很长 段时间也抱着 种算法只是起到在面试中起到区分度作用的知识点而已。(现在想来,其实这个观点也没什么错,大部分的开发工作的确用不到自己写的算法。)

  2. 经典算法的魅力

  做了 段时间大数据运维后,接到了 个优化调度系统的任务,就和 Gim 老司机在 起设计重构调度系统的方案,在这个过程中复习了很多图论相关的知识点,从此开始对算法产生了好大的兴趣并 发不可收拾,随后重新学习了 遍树相关的内容,自己动手实现了什么2-3树、avl树、红黑树这些数据结构。

  其实,感兴趣的 个主要原因就是发现,这些东西基本构建了我们整个的计算机体系。比如文件系统、数据库的索引,学会这些总感觉以后就不会丢饭碗了。

  3. 机器学习代表了 切

  再接着,机器学习 下子就火了起来, 上只剩下了两种算法:机器学习算法和非机器学习算法。身边的朋友和同学,凡是和数据开发相关的,都称自己想转做机器学习。笔者也不能免俗,开始准备跟着浪潮走 波。但是 没场景,二是兴趣不大,当有 天我突然意识到自己在学机器学习累的时候居然想玩玩 Linux 放松心情的时候,就暂时放弃了转向机器学习的这个想法。以后我会用到它,可能还会用的很深,但是现在不会全身心地转向它。

  机器学习过后,17年又迎来了深度学习的浪潮。

  4. 深度学习又是 波浪潮

  感触较深的是在 17 年 5 月份,看到了 份招聘要求,招的 title 是人工智能平台架构师,具体的要求是除了数据平台要求的东西外加了 些深度学习平台的东西。

  这时候就感到,当浪潮到来的时候,你可以不转向它,但是要包容它。所以,顺便学了 波深度的东西,入了个门,大概知道我以后需要做些什么。(半年后的今天基本已经忘完了)

  5. 还有很多有趣的算法

  随着工作的深入,系统在性能上遇到了很多了瓶颈,我们要做 系列的调整来应对,比如敏感信息的加密、集群文件的压缩、负载均衡策略的选择,这时候就不得不深入学习 下加密算法、压缩算法、负载均衡算法的原理。

  这些算法 直都在,但是仍然可以在现在的大数据场景下发挥好大的作用。

  6. 分布式算法

  在这之前,我对自己从事的工作 直有 点心虚,感觉除了写写 MR,管 下集群貌似没什么技术含量太深的东西,能拿得出手的也就是各个系统的架构和对他们的熟悉程度。 后来无意间在 Mooc 发现了 门云计算原理的课,然后就对这 块产生了好大的兴趣。

  随着学习的深入,发现这块的水还是相当深的,我们称这些为分布式算法,它包含了这么 大堆内容:

  2PC、Gossip 这 大堆协议;DHT、Paxo、Raft 这 大堆算法、还有 些乱七八糟的原理。

  这块学的还是很皮毛,后面会有详细的学习计划。

  7. 大数据算法到底是什么?

  在工作和学习中遇到了这么多算法,再加上 段时间的思考,我会在想,大数据的算法到底是什么样子的?

  经典算法暂且不论,压缩和加密算法也 直都有。

  那么机器学习呢?总感觉有些地方不对劲,应该说是机器学习是使用了大数据,但是他不是为了解决大数据的各种问题的,真正的大数据问题还要有大数据的算法来解决。

  分布式算法也不完全算是,虽说大数据工程师都要用到分布式系统,但是他们解决的问题场景不太 样的。分布式算法要解决时钟、 致性问题这些问题。大数据场景的算法不太 样。

  然后我们要想 下大数据场景有什么问题?

  大数据场景的问题

  数据量大,这是 个较明显的特点,它带来的问题就是处理这些数据成了很大的麻烦。Hadoop 是 个突破性的项目,然后在这之外我们还会有 些场景要解决。

  集合中不同元素的个数, 比如独立访客(Unique Visitor,简称UV)统计,换成 Sql 来写的话就是 count(distinct user_id),假设有 1000 亿的数据放在这里,需要好快地算出来,可以允许 点点不精确,我们该怎么做?

  也就是,我们在很多场景下,会在允许 定牺牲 定的准确度地情况下来快速地算出结果。这 些算法有好大的应用场景。比如 Redis 会用到 Hyperloglog 来做基数统计。

  这样的 批算法,我认为算是大数据算法中的 部分,内容比较多,有专门的博客展开来专门讲,比如 Bitmap、Roaring Bitmap、Hyperloglog等。

  0x02 算法技能 览

  在这里做 个小总结,画 下我认为大数据工程师需要掌握、熟悉和了解的算法。很多其实在工作中都会经常遇到。

  学习优先 ?

  关于这些算法学习的优先 该怎么判定?这个就不装x了,居士自己其实也会有不少迷茫,没办法说哪个更重要,不过如果真是要学的话可以大致有 些参考。

  基础的数据结构和算法没什么好说的,属于基本功,理应具备。

  其它算法里面的加密、压缩、调度这些算法,如果不是需要深入搞得话,不必急着深入学,用到了就了解 些。

  分布式算法和大数据算法建议偏工程的童鞋尽早学 下,工作中写程序用不到也无所谓,早学没坏处。很多大数据组件的核心位置都有这些算法的身影。

  数据挖掘相关算法,对于数据挖掘的童鞋来讲肯定是必学的,对于数据开发转到数据挖掘的童鞋来讲,如果有了比较明确的转行计划,就开始深入地学,如果是观望状态,可以先搞 些和工作相关度比较高的算法玩 玩,有项目机会也能快速上手。

  0XFF 总结

  有时候感觉自己写程序可能永远也不需要写什么算法,但是不得不承认,算法的思维能让自己受益无穷。





收藏 推荐 打印 | 录入:Cstor | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款