你好,游客 登录
背景:
阅读新闻

数据挖掘概述

[日期:2014-12-08] 来源:CSDN博客   作者:Android路上的人 [字体: ]

      最近看了比较多的关于大数据处理方面的知识,但是例如hadoop,Spark,Storm等平台大都是对于数据的存储和管理操作,并不是对于 数据进行分析和处理的。所以这里就衍生出了另外一种对于数据的处理,数据挖掘。学习数据挖掘也非常偶然,首先毕竟本人一直在做的是数据方面的工作,数据挖 掘相当于是对数据处理后的下一步操作,学习一下数据挖掘的基本知识,了解了解常用的一些数据挖掘算法,对我来说也是一件不错的事。

      由于我目前的水准还只是入门水准,就简单的聊聊数据挖掘的基本概念。数据挖掘,英文为:Data Miming,又叫KDD,知识的再次发现,数据挖掘,顾名思义,就是从数据中发掘出对于人们来说,有意义的东西。数据挖掘无处不在,最常见的就是在网上 购物的时候,人家会推荐一些可能让你感兴趣的商品。专业上讲,这叫BI(商业智能)。还有很多例如银行利用数据进行欺诈检测。下面是数据挖掘的一般步骤:

1.数据清理(数据预处理)

2.数据集成 (数据预处理)

3.数据选择 (数据预处理)

4.数据变换 (数据预处理)

5.数据挖掘

6.模式评估

7.知识表示

      前四步又是作为数据预处理的操作。数据预处理有很多作用,比如取出噪声数据或者是离群点的处理,还有数据的规格化的操作。也许你会问,我们这么 庞大的数据存在于什么地方呢,像一般的系统,就是存在于关系数据库中,但是这时候就有问题了,数据挖掘对于数据的需求量往往是非常大的,这就需要很多的数 据,所以我们通过一个叫数据仓库的概念,把许多的数据库组织起来,形成一个数据仓库,然后我们对于数据仓库进行OLAP联系分析处理。而数据仓库又是以数 据立方体的形式来表现数据的情况的。

挖掘 数据的 什么

      数据挖掘都挖出些什么东西呢,首先一个就是 频繁模式 的挖掘,这个很好理解吧,这里涉及很多的频繁项集的挖掘算法,比如Apriori算法,里面还有很多关联和相关性的要素。还有一个挖掘中经常提到的东西叫 分类 ,分类算法在数据挖掘中也是非常重要的,比较常被人说起的就是贝叶斯分类算法,基于概率统计的算法,随后在分类算法的基础上又出现了聚类分析,就有了后面 的k-means算法,k-中心点算法。对于前面的2大模块的挖掘体系,都有相对应的高级阶段的挖掘分析。对于更加特殊的数据格式和更加复杂的环境又会有 不同的挖掘算法和方式的不同。

数据挖掘的展望

      未来一定会是一个数据大爆炸的时代,数据挖掘将会是一个非常热门的领域,他是一个多学科交叉的领域,机器学习,神经网络,统计学,对于各行各业都会起到非常重要的作用。





收藏 推荐 打印 | 录入: | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款