其中内容多为一次书写#xff0c;缺少检查与订正#xff0c;如有问题或其他拓展…前言

文章内容为方便作者自己后日复习与查阅而进行的书写与发布其中引用内容都会使用链接表明出处如有侵权问题请及时联系。

其中内容多为一次书写缺少检查与订正如有问题或其他拓展及意见建议欢迎评论区讨论交流。

文章目录

Shift优点缺点总结简单实例函数库实现数学表达总结手动实现代码分析

聚类算法

聚类算法在各种领域中有广泛的应用主要用于发现数据中的自然分组和模式。

以下是一些常见的应用场景以及每种算法的优缺点

经典应用场景

市场细分根据消费者的行为和特征将他们分成不同的群体以便进行有针对性的营销。

图像分割

是一种基于密度的聚类方法旨在寻找数据点的高密度区域并将其聚集成簇。

以下是

Mean

不需要预先指定簇的数量这使得它在处理未知数据时更具灵活性。

适应性

Mean

根据数据的分布自适应地确定簇的形状和大小能够处理不同密度的簇。

有效处理非球形簇

它能够识别和聚类形状各异的簇而不仅限于圆形或球形。

不受噪声影响

Mean

由于该算法基于数据的密度估计因此可以清晰地理解每个簇的形成过程。

计算复杂度高

的计算复杂度通常较高尤其是在大数据集上因为每次迭代都需要计算所有点之间的距离。

选择带宽参数

Mean

的效果在很大程度上依赖于带宽参数的选择选择不当可能导致不理想的聚类结果。

带宽过小可能导致过拟合而过大可能导致聚类的缺乏细节。

对高维数据敏感

在高维空间中密度估计变得更加困难Mean

的收敛速度可能在某些情况下较慢特别是在数据点分布非常稀疏的情况下。

局部极小问题

在某些情况下Mean

是一种强大且灵活的聚类算法尤其适合于处理具有复杂形状和不同密度的簇。

然而它的计算效率和对参数设置的敏感性可能会限制其在某些应用中的有效性。

在选择使用

Mean

是一种基于密度的聚类算法其核心思想是通过迭代地向数据点的密度最大区域移动来进行聚类。

以下是对

Mean

mh​(x)∑i1n​K(hx−xi​​)∑i1n​xi​K(hx−xi​​)​

m_h(x)

通过不断更新每个点将最终收敛到一个高密度区域即簇的中心。

在所有点收敛后可以通过其聚类标签来区分不同的簇通常使用每个点最终对应的中心位置来标识。

聚类结果

最终的聚类结果基于每个点所收敛的中心位置。

相同的聚类中心将被标记为同一簇。

聚类的数量不是预先指定的而是在算法运行后自动确定的。

Mean

聚类通过不断地向数据点密度最大化的方向移动利用核密度估计来找到数据的高密度区域。

其数学基础主要依赖于核函数和加权平均的概念使其能够灵活地适应不同密度和形状的簇。

选择合适的带宽参数

Mean

np.sum(weights)new_centers.append(new_center)#

np.array(new_centers)shift_distance

centers,

unique_centers):unique_centers.append(center)unique_centers

为每个点分配标签labels

np.vstack((np.random.normal(loc0,

scale1,

labelCenters)plt.legend()plt.title(Mean

Shift

\exp\left(-\frac{x^2}{2\sigma^2}\right)

K(x)σ2π

\left(\frac{\text{distance}}{\text{bandwidth}}\right)^2\right)

​1​exp(−21​(bandwidthdistance​)2)

这表达了在给定距离和带宽参数的情况下高斯核函数的值。

它描述了如何根据距离值和带宽来计算核函数的输出形成一个用于加权的函数。

def

np.sum(weights)new_centers.append(new_center)#

np.array(new_centers)shift_distance

centers,

unique_centers):unique_centers.append(center)unique_centers

为每个点分配标签labels

C{c1​,c2​,…,cn​}{x1​,x2​,…,xn​}。

centers

np.copy(data)

d(xi​,cj​)∥xi​−cj​∥。

使用核函数计算权重通常使用高斯核

exp

\exp\left(-\frac{\|x\|^2}{2h^2}\right)

K(x)exp(−2h2∥x∥2​)

cjnew​∑i1n​K(xi​−cj​)∑i1n​K(xi​−cj​)⋅xi​​收敛判定

shift_distance

shift_distancejmax​∥cjnew​−cj​∥

shift_distance

labeli​argkmin​∥xi​−unique_centerk​∥