快捷搜索:   创业  NBA直播  准备    NBA排名 

LDA结构式,十八.降维之线性判别分析LDA原理和sklearn实现

十八.降维之线性判别分析LDA原理和sklearn实现

1.数学原理LDA是一种由监督的降维技术,它的每个样本输出都是有类别的。LDA的思想是投影后类间方差尽可能大,类内方差尽可能小。

1类间散度矩阵

  其中,为类别总数,为类别为的样本的均值,为类别的样本数,为所有类别的均值。

2类内散度矩阵

3投影后的协方差矩阵

类间协方差矩阵:

类内协方差矩阵:

类内方差最小,类间方差最大等价于:

  分子和分母都为的二次项,不是一般性,令,则:

使用拉格朗日乘子法:

因此,,转变为求矩阵的特征值和特征向量。

  由于是一个利用了样本的类别得到的投影矩阵,因此降维到的维度最大值为。

2.LDA算法流程输入:个维样本的数据集,有个类别,需要降维到维。

输出:降维后的样本集。

1求类间散度矩阵和类内散度矩阵

2计算出矩阵

3计算出的最大个特征值和对应的特征向量,组成投影矩阵。

3.LDA与PCA的区别1LDA为有监督降维,PCA为无监督降维。

2PCA可以降低到任意维度,LDA只能降维至类别数减1。

3LDA可以进行分类。

4.sklearn实现LDA#生成1000个三个维度样本

  ax.scatterX[:,0],x[:,1],x[:,2],c=y#使用PCA降维

plt.show#使用LDA进行降维

留言与评论(共有 条评论)

   
验证码: