该算法的基本思想是#xff1a;对于一个新的输入样本#xff0c;通过…什么是knn算法

KNN算法是一种基于实例的机器学习算法其全称为K-最近邻算法K-Nearest

Neighbors

该算法的基本思想是对于一个新的输入样本通过计算它与训练集中所有样本的距离找到与它距离最近的K个训练集样本然后基于这K个样本的类别信息来进行分类或回归预测。

KNN算法中的“K”代表了在预测时使用的邻居数通常需要手动设置。

KNN算法的主要优点是简单、易于实现并且在某些情况下可以获得很好的分类或回归精度。

但是它也有一些缺点如需要存储所有训练集样本、计算距离的开销较大、对于高维数据容易过拟合等。

KNN算法常用于分类问题如文本分类、图像分类等以及回归问题如预测房价等。

我们这次学习机器学习的knn算法分别对前二维数据和前四维数据进行训练和可视化。

两个目标

1、通过knn算法对iris数据集前两个维度的数据进行模型训练并求出错误率最后进行可视化展示数据区域划分。

2、通过knn算法对iris数据集总共四个维度的数据进行模型训练并求出错误率并对前四维数据进行可视化。

基本思路

1、通过knn算法对iris数据集前两个维度的数据进行模型训练并求出错误率最后进行可视化展示数据区域划分

from

mean:{}.format(np.mean(x_train,axis0),

print(TrainSets

std:{}.format(np.std(x_train,axis0),

print(TestSets

mean:{}.format(np.mean(x_test,axis0),

print(TestSets

std:{}.format(np.std(x_test,axis0),

###

KNeighborsClassifier(n_neighbors5,

p2,

pred_testknn.predict(x_test_std)

err_num

plot_decision_regions(x_combined_std,

y_combined,

plot_decision_regions(x_combined_std,

y_combined,

2、通过knn算法对iris数据集总共四个维度的数据进行模型训练并求出错误率并进行可视化

from

mean:{}.format(np.mean(x_train,axis0),

print(TrainSets

std:{}.format(np.std(x_train,axis0),

print(TestSets

mean:{}.format(np.mean(x_test,axis0),

print(TestSets

std:{}.format(np.std(x_test,axis0),

###

KNeighborsClassifier(n_neighbors5,

p2,

pred_testknn.predict(x_test_std)

err_num

#四维可视化在二维或三维空间中是无法呈现的但我们可以使用降维技术来可视化数据。

在这种情况下我们可以使用主成分分析PCA或线性判别分析LDA等技术将数据降到二维或三维空间中并在此空间中可视化数据。

import

pca.fit_transform(x_train_std)#

Create

green]):ax.scatter(x_train_pca[y_trainlabel,

0],

plt.show()四维可视化在二维或三维空间中是无法呈现的但我们可以使用降维技术来可视化数据。

在这种情况下我们可以使用主成分分析PCA或线性判别分析LDA等技术将数据降到二维或三维空间中并在此空间中可视化数据。

下面是代码效果图展示如何使用PCA将四维数据降至三维并在三维空间中可视化iris数据集

将iris数据集的四维数据降至三维并在三维空间中可视化了训练集。

每个点代表一个数据样本不同颜色代表不同的类别。

我们可以看到在三维空间中有两个类别可以相对清晰地分开而另一个类别则分布在两个主成分的中间。

我们要注意对于高维数据使用knn算法容易出现高维数据容易过拟合的情况这是因为在高维空间中数据点之间的距离变得很大同时训练样本的数量相对于特征的数量很少容易导致KNN算法无法很好地进行预测。

特征选择选择有意义的特征进行训练可以降低特征数量避免过拟合。

常用的特征选择方法有Filter方法、Wrapper方法和Embedded方法。

降维可以通过主成分分析PCA等方法将高维数据映射到低维空间中以减少特征数量避免过拟合。

调整K值KNN算法中的K值决定了邻居的数量K值过大容易出现欠拟合而K值过小容易出现过拟合。

因此可以通过交叉验证等方法来确定最佳的K值。

距离度量KNN算法中的距离度量方法对结果影响较大不同的距离度量方法会导致不同的预测结果。

因此可以尝试不同的距离度量方法选择最优的方法。

数据增强在数据量较少的情况下可以通过数据增强的方法来增加训练样本以提高模型的泛化能力。