个人简介一·算法概述二·算法思想2.1

️️:Python领域新星创作者CSDN实力新星认证CSDN内容合伙人阿里云社区专家博主新星计划导师在职数据分析师。

免费学习专栏

悲索之人烈焰加身堕落者不可饶恕。

永恒燃烧的羽翼带我脱离凡间的沉沦。

一·算法概述

Neighbor简称KNN是一种基于实例学习的算法可以应用于分类和回归任务。

作为一种非参数算法KNN不对数据分布做任何假设而是直接使用数据中的最近K个邻居的标签来预测新数据点的标签。

在KNN算法中每个数据点都可以表示为一个n维向量其中n是特征的数量。

对于一个新的数据点KNN算法会计算它与每个训练数据点之间的距离并选择最近的K个训练数据点。

对于分类问题KNN算法会将这K个训练数据点中出现最多的类别作为预测结果。

而对于回归问题KNN算法会将这K个训练数据点的输出值的平均值作为预测结果。

在KNN算法中K的取值是一个超参数需要根据数据集的特点和算法的性能进行选择。

通常情况下较小的K值可以使模型更复杂更容易受到噪声的影响而较大的K值可以使模型更简单、更稳定但可能会导致模型的欠拟合。

因此选择合适的K值对于KNN算法的性能至关重要。

二·算法思想

KNNK-最近邻算法是一种基于实例的分类方法通过计算不同特征值之间的距离来进行分类。

如果一个样本在特征空间中的k个最邻近的样本中的大多数属于某一个类别则该样本也划分为这个类别。

KNN算法中所选择的邻居都是已经正确分类的对象。

该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。

2️⃣

确定k值即选取多少个最近邻居参与投票。

计算待分类样本与已知分类样本之间的距离通常使用欧氏距离作为距离度量。

对距离进行排序找出最近的k个邻居。

统计这k个邻居中各个类别的数量将数量最多的类别作为待分类样本的类别。

3️⃣KNN算法涉及3个主要因素

实例集、距离或相似的衡量、k的大小。

实例集是指已知分类的样本集合距离或相似的衡量是指计算样本之间距离的方法如欧氏距离k的大小是指选取多少个最近邻居参与投票k值的选择会影响分类结果的准确性。

一个实例的最近邻是根据标准欧氏距离定义的。

更精确地讲把任意的实例x表示为下面的特征向量

其中ar(x)表示实例x的第r个属性值。

那么两个实例xi和xj间的距离定义为d(xi,xj)其中

2.1

对噪声敏感训练数据中的噪声可能影响最近邻的选择导致预测结果不准确。

K值选择K值的选择对算法性能有很大影响需要通过实验来确定最佳值。

特征缩放敏感需要对特征进行归一化或标准化否则可能导致某些特征过于主导。

三·实例演示

warnings.filterwarnings(actionignore)4.使用电影数据

movies

pd.read_excel(../data/movies.xlsx,sheet_name1)

movies#

KNeighborsClassifier(n_neighbors5,p2)2.训练

自己提供测试数据训练数据和测试数据列得相同行可以不同x_testnp.array([[20,1],[0,20],[10,10],[33,2],[2,13]])

x_test

np.array([动作片,爱情片,爱情片,动作片,爱情片])

y_pred

warnings.filterwarnings(actionignore)4.得到鸢尾花数据

from

load_iris(return_X_yTrue)5.使用sklearn库中的load_iris()函数加载鸢尾花数据集并将数据集分为数据data、目标target、目标名称target_names、特征名称feature_names四个部分。

iris

pd.DataFrame(data,columnsfeature_names)

df6.拆分数据集

把data和target取一部分作为测试数据剩下的作为训练数据

从sklearn库的model_selection模块中导入train_test_split函数该函数用于将数据集划分为训练集和测试集。

from

train_test_split(data,target,test_size0.2)

x_train.shape,

y_train)knn.score(x_test,y_test)

#0.33

warnings.filterwarnings(actionignore)读取adults.csv文件最后一列是年收入并使用KNN算法训练模型然后使用模型预测一个人的年收入是否大于50python

adults

pd.read_csv(../data/adults.csv)

adults4.获取年龄age、教育程度education、职位workclass、每周工作时间hours_per_week

作为机器学习数据

adults[[age,education,workclass,hours_per_week]].copy()

target

adults[salary]5.数据转换将String/Object类型数据转换为int,用0,1,2,3…表示

使用factorize()函数

data[education].factorize()[0]data[workclass]

data[workclass].factorize()[0]data6.拆分数据集训练数据和预测数据

train_test_split(data,target,test_size0.2)x_train7.使用KNN算法

knn

knn.fit(x_train,y_train)knn.score(x_test,y_test)