你好,游客 登录
背景:
阅读新闻

探索高深的分析技能——数据挖掘

[日期:2017-08-15] 来源:中国统计网  作者:润禄数据jacky [字体: ]

  (一)并不神秘的数据挖掘

  1、什么是数据挖掘?

  有些朋友认为,数据挖掘需要掌握高深的分析技能,高深的算法,需要掌握程序开发,这样,就能把数据挖掘工作做好,实际上不是这样的。着魔于高深的算法和程序开发,只能让你走火入魔。在工作中,最好的数据挖掘工程师是一定是最熟悉和理解业务的人。

大数据

  2、数据挖掘与数据分析的区别

  数据分析与数据挖掘的界定非常的模糊。但有一点可以确定,数据分析输出的是统计结果,比如总计,平均值等,数据挖掘输出的是模型或规则,工作中,仅此一点区别,而已。

  (二)通过经典案例来学习数据挖掘,以达到触类旁通

  对于数据挖掘的学习心得,jacky认为学习数据挖掘一定要结合业务背景、案例背景来学习,这样才是以解决问题为导向的学习方法。那么,大体上,数据挖掘经典案例有以下几种:

  1、预测未来一段时间用户是否会流失

  2、某个促销活动用户是否会响应参加

  3、评估用户信用度是好还是差

  4、细分现有的目标市场

  5、对现有客户群进行群体细分

  6、提升商品销售及交叉销售

  7、一群用户购买了很多商品之后,哪些商品同时购买的几率比较高

  8、预测未来的销量

  9、天气预报中预测明天的气温是怎样的

  10、国家的年底规划中,预测明年的GDP增长率是怎样的

  数据挖掘要做的就是把上述类似的商业问题转化为数据挖掘问题

  那么,问题来了,我们该如何把上述的商业问题转化为数据挖掘问题呢?我们可以对数据挖掘问题进行细分,分为四类问题:分类问题、聚类问题、关联问题、预测问题;

  1、分类问题

  用户流失预测、促销活动响应,评估用户度都属于数据挖掘的分类问题,我们需要掌握分类的特点,知道什么是有监督学习,掌握常见的分类方法:决策树、贝叶斯、KNN、支持向量机、神经网络和逻辑回归等;

  2、聚类问题

  细分市场,细分客户群体都属于数据挖掘的聚类问题,我们要掌握聚类特点,知道无监督学习的概念,了解常见的聚类算法,例如划分聚类、层次聚类、密度聚类、网格聚类、基于模型聚类等。

  3、关联问题

  交叉销售问题等属于关联问题,关联分析也叫购物篮分析,我们要掌握常见的关联分析算法:Aprior算法、Carma算法,序列算法等

  4、预测问题

  我们要掌握简单线性回归分析、多重线性回归分析、时间序列等

  (三)用何种工具实操数据挖掘

  能实现数据挖掘的工具和途径实在是太多了,SPSS、SAS、Python、R等等都可以,但是我们需要掌握哪个或者说我们要掌握哪几个,才算学会了数据挖掘呢?这需要看我们所处的层次和我们想要进阶的路径是怎样的。

  1、达到理解入门层次

  了解统计学和数据库即可

  2、达到初级职场应用层次

  数据库+统计学+SPSS(也可以是SPSS代替软件)

  3、达到中级职场应用层次

  SAS或R

  4、达到数据挖掘师层次

  SAS或R+Python(或其他编程语言)

  (四)如何利用Python学习数据挖掘

  只要能解决实际问题,用什么工具来学习数据挖掘都是无所谓的,这里jacky首推Python。那么,我们该如何利用Python来学习数据挖掘呢?我们需要掌握Python中的哪些知识呢?

  1、Pandas库的操作

  Panda是数据分析特别重要的一个库,我们要掌握以下三点:

  1)pandas 分组计算;

  2)pandas 索引与多重索引;

  索引比较难,但是却是非常重要的

  3)pandas 多表操作与数据透视表

  2、numpy数值计算

  numpy数据计算主要的应用是在数据挖掘,对于以后的机器学习,深度学习,这也是一个必须掌握的库,我们要掌握以下内容:

  1)Numpy array理解;

  2)数组索引操作;

  3)数组计算;

  4)Broadcasting(线性代数里面的知识)

  3、数据可视化-matplotlib与seaborn

  1)Matplotib语法

  python最基本的可视化工具就是matplotlib。我们咋一看Matplotlib与matlib有点像,我们要搞清楚二者的关系是什么,这样我们学习起来才会比较轻松。

  2)seaborn的使用

  seaborn是一个非常漂亮的可视化工具。

  3)pandas绘图功能

  我们说过pandas是做数据分析的,但它也提供了一些绘图的API。

  4、数据挖掘入门

  这部分是最难也是最有意思的一部分,要掌握以下几个部分:

  1)机器学习的定义

  在这里跟数据挖掘先不做区别

  2)代价函数的定义

  3)Train/Test/Validate

  4) Overfitting的定义与避免方法

  5、数据挖掘算法

  数据挖掘发展到现在,算法已经非常多了,下面只需掌握最简单的,最核心的,最常用的算法;

  1)最小二乘算法;

  2)梯度下降;

  3)向量化;

  4)极大似然估计;

  5)Logistic Regression

  6) Decision Tree

  7) RandomForesr

  8) XGBoost

  6、数据挖掘实战

  通过机器学习里面最著名的库scikit-learn来进行模型的理解。

  以上,就是jacky为大家厘清的数据挖掘学习逻辑。可是,这还仅仅是开始,在通往数据挖掘师与数据科学家的道路上,我们还要学习文本处理与自然语言的知识、Linux与Spark的知识、深度学习的知识等等,我们要保持持续的兴趣来学习数据挖掘。

  数据挖掘的路上,你准备好了吗?2017,跟我一起,来逆袭吧





收藏 推荐 打印 | 录入: | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款