尊龙体育-尊龙体育官网|娱乐平台官方网站尊龙体育-尊龙体育官网|娱乐平台官方网站

官方视频
用PCA还是LDA?特征抽取经典算法PK-尊龙体育
来源:尊龙体育官网|娱乐平台官方网站    发布时间:2021-02-02 20:14:01
本文摘要:在前一篇文章中,我们解释了经典的特征提取算法——主成分分析(PCA),并理解PCA本质上是开始了坐标轴的旋转,试图使数据同构在新坐标轴方向上的方差尽可能大,使原始数据和新同构数据之间的距离尽可能小。

在前一篇文章中,我们解释了经典的特征提取算法——主成分分析(PCA),并理解PCA本质上是开始了坐标轴的旋转,试图使数据同构在新坐标轴方向上的方差尽可能大,使原始数据和新同构数据之间的距离尽可能小。方差较小的方向意味着数据包含的信息较少,建议保留。方差较小的方向意味着数据包含的信息较少,建议丢弃。

今天我们来看另一种显式应用于案例和特征同构的PCA方法:线性判别分析(LDA)。PCA案例用于机器学习,其中使用的数据往往维数较大。我们必须使用降维方法来突出信息内容较少的数据。PCA是一种很好的降维方法。

尊龙体育

我们来看一个具体的应用案例。为了简单起见,我们将其用于较小的数据集进行展示。显然,我们的数据有6个维度。

虽然维度不多,但不一定意味着数据不能缩减。sklearn中使用的PCA算法的数值数据集得到如下结果:我们可以看到,PCA降维后,仍然分解了6个新的维度,但是每个维度中数据同构的方差是不同的。我们不会对每个维度的差异进行标准化。

每个维度中的方差称为解释方差。从图中可以看出,各维度的可解释方差之比为0.4430、0.2638、0.1231、0.1012、0.0485、0.0204。根据经验,我们希望可解释方差的总值优于80%,因此我们可以自由选择将维度降低到3维(82.99%)或4维(93.11%)。括号中的数字是总的可解释方差,最后的二维方差只有7%左右,建议放弃。

图中的直方图对应于新坐标轴上原始尺寸的同构矢量大小。前两个维度,右图如下:PCA可以构建出很好的降维效果,但毕竟是一种无监督的方法。本质上,我们期望对于有类别标签(有监督)的数据,也可以构造降维,降维后可以更好的区分每个类别。

这时又出现了另一种经典的特征提取算法,——线性判别分析(LDA)。LDA概述LDA是一种有监督自学习的降维技术,即其数据集的每个样本都有类别输入。这和PCA不一样。

主成分分析是一种不考虑样本类别输入的无监督降维技术。LDA的思路可以用一句话概括,就是“投影后类内方差大于,类间方差仅次于”。

什么意思?我们需要将数据投影到更低的维度。投影后,我们期望每一类数据的投影点尽可能相似,而不同类别数据的类别中心之间的距离尽可能大。上图得到两种投影方式,哪一种更能符合我们的标准?直观来看,右图的投影效果比左图好,因为右图的黑数据和蓝数据更集中,类别之间的距离也更显著。

在左边,数据在边界混合。LDA的降维效果更像右图。它可以在新的坐标轴上优先区分两类。

是如何构建的?LDA原理LDA的主要思想是“投影后类内方差大于,类间方差仅次于”。本质上,这是两种植物的一个很好的区别。我们知道,依赖于数据分布的两个最重要的指标是均值和方差。对于每一类,它们的定义如下:和PCA一样,LDA也是将数据的坐标轴旋转一次。

假设旋转的移动矩阵为W,新的旋转数据可以如下响应:同样,两类的中心点也转换为:只有解决了这个线性规划问题,才能得到移动到变换矩阵W的最终结果,也就是LDA。PCA vs LDALDA用于降维,与PCA有很多异同。因此,只有一点可以比较PCA和ldada的降维细节。首先,我们想到相同的点:1。

两者都可以对数据进行扩展和降维;2.两者在降维时都使用了矩阵特征分解的思想;3.两者都假设数据符合高斯分布;然后我们想到不同的点:1 .LDA是有监督降维方法,PCA是无监督降维方法;2.LDA最多缩减到类别号k-1的维度,而PCA没有这个容差。也可以用于分类4。LDA自由选择分类性能最差的投影方向,而PCA自由选择仅次于方差的样本点投影方向。在一些数据分布中,LDA比PCA(左)降维更好,而PCA在一些数据分布中比LDA降维更好。

好了,这就是本期材料的内容。我们将在下期中听到它。


本文关键词:尊龙体育,尊龙体育官网

本文来源:尊龙体育-www.356gp.com

上一新闻:尊龙体育官网:“南林情,中国梦”2015届毕业生交流座谈会召开

下一新闻:我校学生荣获2017年“学创杯”大学生创业综合模拟大赛二等奖-尊龙体育

推荐阅读

企业要闻

企业动态

门窗百科

太阳能着色 互补系统 易护理 保温 环保节能
预约报名 免费测量 免费设计 免费报价 免费安装 终身维护
版权所有©2011-2020 盐城市尊龙体育官网|娱乐平台官方网站股份有限公司
苏ICP备28814368号-4
联系地址: 江苏省盐城市定海区视工大楼800号
联系电话:0808-349978546
联系邮箱:663395747@qq.com
传真号码:058-142727272
友情链接:搜狗 百度 360 Bing