/>

3.

表格数据

对于第一个示例，我们将利用来自

Scikit-Learn

数据集，这是最著名的实践数据集之一，可在开源、商业可用的BSD

150

列。

因此，数据集是四维的。

由于有四个维度，人类无法想象这个数据集的空间表示，但我们可以将维度减少到两个，然后可视化转换后的数据集。

我们将使用一些库，这些库可以使用下面的代码块安装：

%%sh
pip
gensim-q

让我们先导入我们将用于此练习的包：

#
import
librariesimportnumpyasnpimportpandasaspdfromsklearn.datasetsimportload_irisfromsklearn.preprocessingimportStandardScalerfromsklearn.decompositionimportPCAimportmatplotlib.pyplotasplt%matplotlib
inline

接下来，我们将加载数据集，标准化数据并应用

PCA：

#
load
datasetiris=load_iris()X=iris.data
y=iris.target#
standardize
datascaler=StandardScaler()X_std=scaler.fit_transform(X)#
apply
pcapca=PCA(n_components=2)principal_components=pca.fit_transform(X_std)

注意，我们选择了一个二维数据集，其中我们确定了n_components。

现在让我们创建一个包含我们上面创建的两个主成分的数据框，然后可视化它。

#
dataframe
componentsprincipal_df=pd.DataFrame(data=principal_components,columns=['PC1','PC2'])final_df=pd.concat([principal_df,pd.DataFrame(y,columns=['target'])],axis=1)#
visualizationplt.figure(figsize=(8,6))targets=[0,1,2]colors=['r','g','b']fortarget,colorinzip(targets,colors):indices=final_df['target']==target
plt.scatter(final_df.loc[indices,'PC1'],final_df.loc[indices,'PC2'],c=color,s=50)plt.legend(iris.target_names)plt.xlabel('Principal
Component
1')plt.ylabel('Principal
Component
2')plt.title('PCA
Iris
Dataset')plt.show()

https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/e85d7c1ead804629ede5157519494a3e.png

Iris

数据集的主成分分析

好吧，现在我们有了数据集上方的二维表示，但在从

维降低到

维的过程中，我们失去了多少信息？记住，在这个上下文中，我们将方差视为信息，所以让我们看看当我们选择降低维度时，有多少方差被解释。

整个过程与我们上面所做的是非常相似的，所以我会跳过解释每一个步骤，但我已经在代码中添加了注释，以便更容易地跟踪代码。

整体过程是这样的：我们首先选择主成分的数量为

Iris

数据集的原始特征计数，然后计算四维数据集的方差。

由于原始数据集有四个特征，那么四维主成分将代表数据集中的原始方差。

然后我们将逐个减少维度，计算每一步的方差，最后可视化结果以展示在每一步通过降维丢失了多少信息（即方差）。

#
load
datasetiris=load_iris()X=iris.data#
standardize
datascaler=StandardScaler()X_std=scaler.fit_transform(X)#
apply
variance)pca=PCA(n_components=4)pca.fit(X_std)#
calculate
componentexplained_variance=pca.explained_variance_ratio_#
calculate
variancecumulative_variance=np.cumsum(explained_variance)#
visualizeplt.figure(figsize=(6,4))plt.plot(range(1,len(cumulative_variance)+1),cumulative_variance,marker='o',linestyle='--',color='b')plt.title('Cumulative
Explained
Variance')plt.xlabel('Number
Principal
Components')plt.ylabel('Cumulative
Explained
Variance')plt.grid()plt.show()

https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/f241a273fef118ac8a77eb8d9ce642f7.png

各种主成分数量的累积解释方差

这非常有趣！我们可以看到，从右上角开始，四维解释了

100%的方差，正如预期的那样，因为这是

Iris

时，信息损失增加，因为我们分别保持了大约

96%和

文本

词嵌入是单词的向量（或数组）表示。

对于这篇帖子，我们不需要完全理解这是如何实现的，但我们只需要知道例如单词"medium"可以被一个数字数组表示。

这几乎就像用不同的字母表书写一样——想象一个世界，在那里我们不是用字母，而是用数字来表示单词。

让我们导入几个库，并查看使用嵌入单词"medium"将看起来是什么样子。

注意，我们使用的是全球词表示向量（GloVe），这是来自斯坦福大学的一个

import

librariesimportgensim.downloaderasapifromsklearn.decompositionimportPCAimportmatplotlib.pyplotasplt%matplotlib

inline#

embeddingmodel=api.load('glove-wiki-gigaword-50')#

50-dimensional

embeddings

现在我们已经导入了必要的库，让我们看看单词"medium"的嵌入是什么样的：

model['medium']

https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/0824144445436f987ca6cf91a9fcc06e.png

使用

GloVe

嵌入的单词"medium"

如预期，这是一个包含

个数字的数组，代表单词"medium"。

这个数组对人类读者来说并没有太多意义，但如果我们向模型提供这个嵌入，并告诉模型我们使用了

GloVe

来创建嵌入，那么模型就会理解我们的意思是"medium"！这些嵌入是强大的工具，使人类与机器之间的沟通成为可能。

现在我们理解了这个概念，让我们选择一组随机的单词，将它们从

维减少到二维，并可视化它们。

#
select
wordswords=['red','blue','green','yellow','purple','orange','pink','brown','black','white']word_vectors=[model[word]forwordinwords]#
apply
pcapca=PCA(n_components=2)components=pca.fit_transform(word_vectors)#
visualize
embeddingsplt.figure(figsize=(8,6))fori,wordinenumerate(words):plt.scatter(components[i,0],components[i,1])plt.annotate(word,(components[i,0],components[i,1]))plt.title('PCA
Word
Embeddings')plt.xlabel('Principal
Component
1')plt.ylabel('Principal
Component
2')plt.show()

https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/58466f7dda512a33d4c9ef262438f125.png

将单词嵌入到二维空间

如上图所示，单词现在被减少到只有两个维度，因此我们可以可视化它们。

让我们再次看看当我们减少维度时会丢失多少信息。

这个过程与我们上次做的是类似的，所以让我们直接进入代码：

#
reduce
dimensionspca_10d=PCA(n_components=10)word_vectors_10d=pca_10d.fit_transform(word_vectors)#
explained
ratioexplained_variance_ratio_10d=pca_10d.explained_variance_ratio_#
cumulative
variancecumulative_variance_10d=np.cumsum(explained_variance_ratio_10d)#
plotplt.figure(figsize=(8,6))plt.plot(range(1,11),cumulative_variance_10d,marker='o',linestyle='--',color='b')plt.title('Cumulative
Explained
Components')plt.xlabel('Number
Principal
Components')plt.ylabel('Cumulative
Explained
Variance')plt.xticks(range(1,11))plt.grid()plt.show()

https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/924875d3f445575723ae66f093a3e83a.png

不同主成分数量的累积解释方差

如预期，当我们有

个维度时，我们从右上角开始，方差为

100%，随着维度的减少，方差持续下降，直到只有一个维度时，方差大约为

37%。

看到我们的二维表示中，主成分分析（PCA）帮助我们保持了约

51%的信息，这令人印象深刻！

在下一节中，我们将转向计算机视觉领域，看看

PCA

图像

我们的最后一个例子是一个视觉例子。

我们将从一个图像开始，然后使用

PCA

减少其维度。

最后，我们将查看结果，看看图像在视觉质量和尺寸上的变化。

我使用的图片是一张由Carlos

Lugo

Unsplash拍摄的冰淇淋杯子的照片。

我们遵循的步骤与我们迄今为止所做的是非常相似的，但这次我们将

PCA

方法应用于图像，而不是文本。

注意，为了运行这段代码，您需要首先从Unsplash下载图片，并将其保存到您的当前工作目录中，命名为icecream.jpg。

然后代码将顺利运行。

#
import
librariesimportnumpyasnpimportmatplotlib.pyplotaspltfromsklearn.decompositionimportPCAfromskimageimportio,color#
load
imageimage=io.imread('icecream.jpg')#
convert
scalegray_image=color.rgb2gray(image)#
get
changesoriginal_size=gray_image.size
original_shape=gray_image.shapeprint(f"Original
Image
pixels):{original_size}")print(f"Original
Image
Shape:{original_shape}")#
standardize
flatenning)h,w=gray_image.shape
flat_image=gray_image-np.mean(gray_image,axis=0)#
pca
dimensionspca=PCA(n_components=50)image_pca=pca.fit_transform(flat_image)#
get
dimensionality-reduced/transformed
imagereduced_size=image_pca.size+pca.components_.size
reduced_shape=image_pca.shapeprint(f"Reduced
Image
PCA):{reduced_size}")print(f"Reduced
Image
PCA):{reduced_shape}")

https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/929a25bb4f6113b132ded6764caffc8a.png

在进一步讨论之前，让我们暂停一下，因为这非常有趣。

我们可以看到，像素计数从原始图像的

18,438,054

实现的！在需要压缩图像以节省空间或加快计算的各种用例中，PCA

可以非常有用。

我们还可以在“形状”中看到，原始图像有

3,506

个特征（或维度），我们将它们减少到

50，从而实现了上述像素减少。

但这会导致我们能够直观确认的图像质量损失吗？让我们来对比一下！

#
reconstruct
laterreconstructed_image=pca.inverse_transform(image_pca)#
plot
sideplt.figure(figsize=(12,6))#
original
imageplt.subplot(1,2,1)plt.imshow(gray_image,cmap='gray')plt.title("Original
Image")plt.axis('off')#
transformed
imageplt.subplot(1,2,2)plt.imshow(reconstructed_image,cmap='gray')plt.title("Reconstructed
Image
(PCA)")plt.axis('off')plt.show()

https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/beaf1e0e1b3cd6340d4b61c47ae8c42f.png

图片对比

Lugo在Unsplash上发布，右侧为转换版本

这非常有趣！你有没有尝试过减小图像的大小，以便将其附加到电子邮件中或提交到申请中？这正是它的作用。

我们可以看到，右侧的转换（重构）图像似乎比左侧的原始图像质量低。

因此，我们使用

PCA

减小了图像的大小，但我们也为此付出了质量损失或我们称之为信息或“方差”的代价。

让我们量化这种信息损失。

#
explained
information/varianceexplained_variance=pca.explained_variance_ratio_
cumulative_variance=np.cumsum(explained_variance)#
plotplt.figure(figsize=(8,6))plt.plot(range(1,len(cumulative_variance)+1),cumulative_variance,marker='o',linestyle='--',color='b')plt.title('Cumulative
Explained
Components')plt.xlabel('Number
Principal
Components')plt.ylabel('Cumulative
Explained
Variance')plt.grid()plt.show()

https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/fe38b8d637ddcbe515b3d1c697225da2.png

不同主成分数量的累积解释方差

与之前的例子类似，我们可以看到，随着我们降低数据的维度，信息（通过方差来衡量）是如何丢失的，从

98%解释方差降低到只有

/>

结论

在这篇文章中，我们探讨了降维是什么以及它在文本应用（如搜索优化、降低音乐流媒体和图像压缩的文件大小）中的用例。

然后我们介绍了主成分分析作为降维的一种流行方法，并探讨了三个降维的实战示例。