R语言与数据分析之三：分类算法1

    分类算法与我们的生活息息相关，也是目前数据挖掘中应用最为广泛的算法，如：已知系列的温度、湿度的序列和历史的是否下雨的统计，我们需要利用历史的数据作为学习集来判断明天是否下雨；又如银行信用卡诈骗判别。

    分类问题都有一个学习集，根据学习集构造判别函数，最后根据判别函数计算我们所需要判别的个体属于哪一类的。

    常见的分类模型与算法

    传统方法

    1、线性判别法；2、距离判别法；3、贝叶斯分类器；

    现代方法：

    1、决策树；2、支持向量机；3、神经网络；

线性判别法：

    天气预报数据(x1,x2分别为温度和湿度，G为是否下雨)

[plain] view plaincopy

1. G=c(1,1,1,1,1,1,1,1,1,1,2,2,2,2,2,2,2,2,2,2) 
2. x1=c(-1.9,-6.9,5.2,5.0,7.3,6.8,0.9,-12.5,1.5,3.8,0.2,-0.1,0.4,2.7,2.1,-4.6,-1.7,-2.6,2.6,-2.8) 
3. x2=c(3.2,0.4,2.0,2.5,0.0,12.7,-5.4,-2.5,1.3,6.8,6.2,7.5,14.6,8.3,0.8,4.3,10.9,13.1,12.8,10.0) 
4. a=data.frame(G,x1,x2) 
5. plot(x1,x2) 
6. text(x1,x2,G,adj=-0.5) 

      观察上图可以1点分布在右下方区域，2点主要分布在上方区域，肉眼可见这两个集合分离的比较明显，线性判别法的原理就是在平面中找出一条直线，使得属于学习集1号的分布在直线一侧，属于学习集2号的分布在直线另一侧。

    判别式是允许有出差的，只要在一定的范围内即可。

    R语言的表达如下

[plain] view plaincopy

1. library(MASS) 
2. ld=lda(G~x1+x2) 
3. z=predict(ld) 
4. newG=z$class 
5. y=cbind(G,z$x,newG) 

    由上左图可以看出，首先计算先验概率，数据中1，2各占50%，然后计算x1和x2的平均值，最后给出了判别函数的代数表达：

    观察上右图可见，newG为预测的判别，可见两类分别只有一个判错，同时可以见判别函数的值为正值时判为第2类，判别函数值为负值时判为第1类。

距离判别法

    计算待测点和各类的距离，选择最近的分类进行归类。其中距离的计算非常关键，常见的距离为马氏距离：

      R语言没有自动距离判别法的函数，我们需要自己手动写：

[plain] view plaincopy

1. myDiscriminiant<- function(TrnX1,TrnX2,TstX =NULL,var.equal=FALSE) 
2. { 
3.     if(is.null(TstX)==TRUE) TstX <- rbind(TrnX1,TrnX2) 
4.     if(is.vector(TstX)==TRUE) TstX<- t(as.matrix(TstX)) 
5.     else if(is.matrix(TstX) !=TRUE) 
6.         TstX <- as.matrix(TstX) 
7.     if(is.matrix(TrnX1)!=TRUE) TrnX1 <- as.matrix(TrnX1) 
8.     if(is.matrix(TrnX2)!=TRUE) TrnX2 <- as.matrix(TrnX2) 
9.     nx <- nrow(TstX) 
10.     blong <- matrix(rep(0,nx),nrow=1,byrow=TRUE,dimnames=list("blong",1:nx)) 
11.     mu1 <-colMeans(TrnX1);mu2 <- colMeans(TrnX2) 
12.     if(var.equal==TRUE || var.equal==T){ 
13.         S<- var(rbind(TrnX1,TrnX2)) 
14.         w<- mahalanobis(TstX,mu2,S)-mahalanobis(TstX,mu1,S) 
15.     } 
16.     else{ 
17.         S1<-var(TrnX1);S2<-var(TrnX2) 
18.         w<-mahalanobis(TstX,mu2,S2)-mahalanobis(TstX,mu1,S1) 
19.     } 
20.     for(i in 1:nx){ 
21.         if(w[i]>0)   
22.             blong[i] <- 1 
23.         else 
24.             blong[i] <- 2     
25.     } 
26.     blong 
27. } 

 保存到当前空间后，在控制台调用它：

[plain] view plaincopy

1. classX1 <- data.frame( 
2.             x1=c(6.6,6.6,6.1,6.1,8.4,7.2,8.4,7.5,7.5,8.3,7.8,7.8), 
3.             x2=c(39,39,47,47,32,6,113,52,52,113,172,172), 
4.             x3=c(1,1,1,1,2,1,3.5,1,3.5,0,1,1.5) 
5.  ) 
6.  classX2 <- data.frame( 
7.             x1=c(8.4,8.4,8.4,6.3,7,7,7,8.3,8.3,7.2,7.2,7.2,5.5,8.4,8.4,7.5,7.5,8.3,8.3,8.3,8.3,7.8,7.8), 
8.             x2=c(32,32,32,11,8,8,8,161,161,6,6,6,6,113,113,52,52,97,97,89,56,172,283), 
9.             x3=c(1,2,2.5,4.5,4.5,6,1.5,1.5,0.5,3.5,1.0,1.0,2.5,3.5,3.5,1,1,0,2.5,0,1.5,1,1)   
10. ) 
11. source("myDiscriminiant.R") 
12. myDiscriminiant(classX1,classX2,var.equal=TRUE) 

    观看blong就可以看出个体属于哪一分类

贝叶斯分类器：

    计算个体属于所有分类的概率，根据概率大小选择所属分类，已两个总体总体的判别情况来看，X1，X2分别具有概率密度函数f1(x)和f2(x)，则样本实际来自X1却误判为X2的概率为：

    同样来自X2却误判为X1的概率简单转换下即可；

    来自X1也被判为X1的概率为：

    来自X2也被判为X2的也类似

    设p1,p2分别表示X1和X2的先验概率，则

    用L(1|2)表示X2被误判为X1的损失，其他类似，为了是分类越准确，则需降低平均误判损失（expected cost of misclassification:ECM）越小越好:

    上式便为Bayes版别式。

    按照上述数学推导，我们构建自己的两个总体的Bayes判别程序：

[plain] view plaincopy

1. myBayes <- function(TrnX1,TrnX2,rate=1,TstX=NULL,var.equal=FALSE){ 
2.     if(is.null(TstX)==TRUE) TstX<-rbind(TrnX1,TrnX2) 
3.     if(is.vector(TstX)==TRUE) TstX<-t(as.matrix(TstX)) 
4.     else if(is.matrix(TstX)!=TRUE) 
5.         TstX <- as.matrix(TstX) 
6.     if(is.matrix(TrnX1)!=TRUE) TrnX1 <- as.matrix(TrnX1) 
7.     if(is.matrix(TrnX2)!=TRUE) TrnX2 <- as.matrix(TrnX2) 
8.     nx <- nrow(TstX) 
9.     blong <- matrix(rep(0,nx),nrow=1,byrow=TRUE,dimnames=list("blong",1:nx)) 
10.     mu1 <-colMeans(TrnX1);mu2 <- colMeans(TrnX2) 
11.     if(var.equal==TRUE || var.equal==T){ 
12.         S<- var(rbind(TrnX1,TrnX2)) 
13.         w<- mahalanobis(TstX,mu2,S)-mahalanobis(TstX,mu1,S) 
14.     } 
15.     else{ 
16.     S1<-var(TrnX1);S2<-var(TrnX2) 
17.     beta <-2*log(rate)+log(det(S1)/det(S2)) 
18.     w<-mahalanobis(TstX,mu2,S2)-mahalanobis(TstX,mu1,S1) 
19.     } 
20.     for(i in 1:nx){ 
21.         if(w[i]>beta)   
22.             blong[i] <- 1 
23.         else 
24.             blong[i] <- 2 
25.     } 
26.     blong 
27. } 

    以天气预报为案例，我们看看如何使用Bayse分类器：

 我们在控制台录入数据：

[plain] view plaincopy

1. TrnX1<- matrix( 
2.     c(24.8,24.1,26.6,23.5,25.5,27.4, 
3.         -2,-2.4,-3,-1.9,-2.1,-3.1), 
4.     ncol=2) 
5. TrnX2<-matrix( 
6.     c(22.1,21.6,22,22.8,22.7,21.5,22.1,21.4, 
7.         -0.7,-1.4,-0.8,-1.6,-1.5,-1,-1.2,-1.3), 
8.     ncol=2) 
9. source("myBayes.R") 
10. myBayes(TrnX1,TrnX2,rate=8/6) 

下图可见所有的样本全部判别正确:

原文链接：http://blog.csdn.net/howardge/article/details/41800091