13.2.2在NumPy中实现PCA13.3利用PCA对半导体制造数据降维

第十三章

Analysis主成分分析是一种常用的降维技术用于将高维数据集转换为低维的表示同时保留尽可能多的数据信息。

它的主要原理是通过线性变换将原始数据投影到一个新的坐标系中使得数据在新坐标系下的方差最大化。

这样数据的主要特征就能够通过少数几个主成分来表示从而达到降维的效果。

13.1降维技术

主成分分析PCA在PCA中数据从原来的坐标系转换到了新的坐标系新坐标系的选择是由数据本身决定的。

第⼀个新坐标轴选择的是原始数据中⽅差最⼤的⽅向第二个新坐标轴的选择和第⼀个坐标轴正交且具有最⼤⽅差的⽅向。

该过程⼀直重复重复次数为原始数据中特征的数⽬。

我们会发现⼤部分⽅差都包含在最前⾯的⼏个新坐标轴中。

因⼦分析Factor

Analysis。

在因⼦分析中我们假设在观察数据的⽣成中有⼀些观察不到的隐变量latent

variable。

假设观察数据是这些隐变量和某些噪声的线性组合。

那么隐变量的数据可能⽐观察数据的数⽬少也就是说通过找到隐变量就可以实现数据的降维。

因⼦分析已经应⽤于社会科学、⾦融和其他领域中了。

独⽴成分分析Independent

Component

AnalysisICA。

ICA假设数据是从N个数据源⽣成的这⼀点和因⼦分析有些类似。

假设数据为多个数据源的混合观察结果这些数据源之间在统计上是相互独⽴的⽽在PCA中只假设数据是不相关的。

同因⼦分析⼀样如果数据源的数⽬少于观察数据的数⽬则可以实现降维过程。

13.2PCA

优点降低数据的复杂性识别最重要的多个特征。

缺点不⼀定需要且可能损失有⽤信息。

13.2.1移动坐标轴

在PCA中我们对数据的坐标进⾏了旋转该旋转的过程取决于数据的本⾝。

第⼀条坐标轴旋转到覆盖数据的最⼤⽅差位置即下图中的红直线

在选择了覆盖数据最⼤差异性的坐标轴之后我们选择了第二条坐标轴。

假如该坐标轴与第⼀条坐标轴正交它就是覆盖数据次大差异性的坐标轴。

如下图

考察下图其中的数据来⾃于上⾯的图并经PCA转换之后绘制⽽成的。

如果仅使⽤原始数据那么这⾥的间隔会⽐决策树的间隔更⼤。

另外由于只需要考虑⼀维信息因此数据就可以通过⽐SVM简单得多的很容易采⽤的规则进⾏区分。

13.2.2在NumPy中实现PCA

去除平均值计算协方差矩阵计算协方差矩阵的特征值和特征向量将特征值从大到小排序保留最上⾯的N个特征向量将数据转换到上述N个特征向量构建的新空间中

def

print(reconMat,reconMat[:3,:])lowDMat

0.09741085]]

cred)plt.show()13.3利用PCA对半导体制造数据降维

dataMat

mean(dataMat[nonzero(~isnan(dataMat[:,i].A))[0],i])

#values

number)dataMat[nonzero(isnan(dataMat[:,i].A))[0],i]

meanVal

dataMatreplaceNanWithMean(dataMat)

print(dataMat[20:24,:4])[[2987.32

2528.81

5.34151979e07]其中有大量特征值都是0。

这就意味着这些特征都是其他特征的副本也就是说它们可以通过其他特征来表示而本身并没有提供额外的信息

我们可以尝试不同的截断值来检验它们的性能。

有些人使用能包含90%信息量的主成分数量而其他人使用前20个主成分。

我们无法精确知道所需要的主成分数目必须通过在实验中取不同的值来确定。

有效的主成分数目则取决于数据集和具体应用。

上述分析能够得到所用到的主成分数目然后我们可以将该数目输入到PCA算法中如lowDMat,

reconMat

pca(dataMat20)最后得到约简后数据就可以在分类器中使用了。