引言：聚类算法的“军械库”与选择智慧

亲爱的读者朋友们，欢迎回到我们的“K-Means深度探索”系列！

我们已经携手走过了

K-Means

的理论、实践、优化与应用，甚至探访了它的“亲戚”们。

现在，你对

K-Means

算法的理解，已经从入门级小白跃升为资深玩家了！

然而，在数据科学的宏大战场上，K-Means

并非唯一的“武器”。

如同一个经验丰富的将军，我们不可能只依赖一种兵器打天下。

不同的数据特性、不同的业务需求，需要我们从聚类算法的“军械库”中，挑选出最合适的那件“神兵利器”。

如果错误地选择了工具，轻则事倍功半，重则可能导致项目失败，得出错误的结论。

今天，我们将把

K-Means

请下“神坛”，与两位同样大名鼎鼎、且解决问题角度截然不同的聚类算法进行一番“切磋”：DBSCAN（基于密度的空间聚类应用与噪声）和层次聚类（Hierarchical

Clustering）。

通过深入对比它们的原理、优劣和适用场景，你将学会如何根据你的数据特点和聚类目标，做出最明智的算法选择。

准备好了吗？

让我们一起磨砺你的“选择智慧”，成为聚类算法的“战场指挥官”！

⚔️

算法的“定位”与“短板”简述

在开始与其他算法对比之前，让我们快速回顾一下

K-Means

的核心特性：

• 核心思想：

  个簇，使得簇内方差最小化。

• 优点：

  简单、高效、易于实现，对于球形、大小相近且密度均匀的簇效果很好。

• 局限性：

  1. 需要预设

     值：

     的选择敏感。

  2. “球形簇”假设：

     无法很好地处理任意形状、非凸形的簇（我们已经在第六篇文章中见过它的“滑铁卢”）。

  3. 对噪声和异常值敏感：

     异常值会拉偏质心。

  4. 簇大小和密度：

     倾向于发现大小和密度相近的簇。

理解这些，是我们选择其他聚类算法的出发点。

DBSCAN：发现任意形状的“密度岛屿”与“噪声”

id="_42">理论解读：基于密度的聚类

DBSCAN

(Density-Based

是一个非常强大的基于密度的聚类算法。

它不需要预设簇的数量，能够发现任意形状的簇，并且能有效识别噪声点（异常值）。

DBSCAN

的核心思想是：“足够密集的区域形成簇，而稀疏的区域则被认为是噪声。

”

它通过两个关键参数来定义“密度”：

1. eps

   (epsilon)：

   mathnormal">p

   eps

   mathnormal">p

   的邻域。

2. min_samples：

   mathnormal">p

   eps

   mathnormal">p

   自身）。

基于这两个参数，DBSCAN

将数据点分为三类：

• 核心点：

  邻域内数据点数量达到

  min_samples。

• 边界点（Border

  Point）：

  min_samples，但它在某个核心点的

  eps

  既不是核心点也不是边界点。

聚类过程：从一个未被访问的核心点开始，找到所有密度可达（Density-Reachable）的点，从而形成一个簇。

这个过程持续进行，直到所有核心点都被访问过。

DBSCAN

的优势与劣势

• 优势：

  • 发现任意形状的簇：

    K-Means

    最显著的优势，特别适合处理非球形、复杂的簇结构。

  • 无需预设

    值：

    簇的数量由算法根据数据密度自动确定。

  • 识别噪声：

    能够很好地区分数据点和噪声点。

• 劣势：

  • 参数敏感：

    eps

    这两个参数非常敏感，不同参数组合可能产生截然不同的结果。

    参数选择需要经验和领域知识。

  • 难以处理密度差异大的簇：

    eps

    参数能够同时良好地识别所有簇。

  • 高维数据：

    在高维空间中，定义“密度”变得困难，eps

    的选择更加复杂。

闪耀时刻

我们将使用之前

punctuation">.preprocessing

punctuation">(n_samples

class="token

punctuation">.fit_transform

class="token

punctuation">.fit_predict

class="token

punctuation">(X_scaled

class="token

punctuation">(dbscan_labels

class="token

punctuation">(dbscan_labels

class="token

punctuation">.count

class="token

punctuation">{n_clusters

class="token

punctuation">}

class="token

punctuation">{n_noise

class="token

punctuation">}

class="token

punctuation">.figure

class="token

punctuation">(figsize

class="token

punctuation">(dbscan_labels

class="token

punctuation">.Spectral

class="token

punctuation">.linspace

class="token

punctuation">(unique_labels

class="token

punctuation">(unique_labels

class="token

punctuation">(dbscan_labels

punctuation">[class_member_mask

class="token

punctuation">}

class="token

punctuation">.title

class="token

punctuation">.xlabel

class="token

punctuation">.ylabel

class="token

punctuation">.legend

class="token

punctuation">)

运行代码，你会看到

成功地识别出了两个月牙形簇，并且能够将一些稀疏的数据点标记为噪声，展现了

K-Means

无法企及的优势！

层次聚类：构建聚类的“家谱图”

id="_130">理论解读：层层聚合或分裂

层次聚类（Hierarchical

个簇，而是通过构建一个嵌套的簇层次结构来组织数据。

这个层次结构通常以**树状图（Dendrogram）**的形式展示，清晰地反映了数据点和簇之间的亲疏关系。

层次聚类主要有两种类型：

1. 聚合型

   个簇），然后逐步将最相似的簇合并，直到所有数据点都合并成一个大簇，或者达到预设的停止条件。

2. 分裂型

   (Divisive)：

   从所有数据点作为一个大簇开始，然后逐步将簇分裂成更小的簇，直到每个数据点都成为一个独立的簇，或者达到预设的停止条件。

聚合型层次聚类的核心要素：

• 距离度量：

  K-Means

  一样，需要定义数据点之间的距离。

• 连接标准

  (Linkage

  这是定义“簇与簇之间距离”的关键。

  常见的有：

  • Ward：

    K-Means

    目标类似）。

  • Average：

    计算两个簇中所有点对之间平均距离。

  • Complete：

    两个簇中最远点之间的距离（最大距离）。

  • Single：

    两个簇中最近点之间的距离（最小距离）。

id="_149">层次聚类的优势与劣势

• 优势：

  • 无需预设

    值：

    用户可以根据生成的树状图，在不同层级“剪切”来决定簇的数量。

  • 提供层次结构：

    能够揭示数据点之间的多层次关系，这在某些领域（如生物分类、语言学）非常有价值。

  • 可视化：

    树状图直观展现聚类过程和结构。

  • 可以处理任意形状的簇：

    Single

    Linkage），可以发现非球形的簇。

• 劣势：

  • 计算成本高：

    尤其是对于大型数据集，需要计算所有点对之间的距离矩阵，空间复杂度和时间复杂度都非常高（通常是

    mtight">3

    class="mclose">)

    mtight">2

    class="mclose">)），难以处理海量数据。

  • 对噪声敏感：

    Single

    容易受到噪声点的影响，导致“链式效应”。

  • 剪枝主观性：

    从树状图确定最佳簇数量可能具有主观性。

id="_163">代码实践：构建数据的“家谱图”

我们将使用

sklearn

AgglomerativeClustering

scipy.cluster.hierarchy

punctuation">.cluster

class="token

数据准备：生成一些有清晰层次结构或不规则形状潜力的数据

punctuation">(n_samples

class="token

punctuation">.fit_transform

class="token

punctuation">(X_scaled

class="token

punctuation">.figure

class="token

punctuation">(figsize

class="token

punctuation">(linked

class="token

string">'descending'

class="token

punctuation">.title

class="token

punctuation">.xlabel

class="token

punctuation">.ylabel

class="token

punctuation">(n_clusters

class="token

operator">=k_clusters_hierarchical

class="token

punctuation">.fit_predict

class="token

punctuation">(X_scaled

class="token

punctuation">.figure

class="token

punctuation">(figsize

class="token

punctuation">.scatter

class="token

punctuation">(X_scaled

class="token

operator">=hierarchical_labels

class="token

punctuation">.title

class="token

punctuation">{k_clusters_hierarchical

class="token

punctuation">}

class="token

punctuation">.xlabel

class="token

punctuation">.ylabel

class="token

punctuation">)

运行代码，你将看到一个树状图，你可以通过观察图中的“长线”或“分支”来决定在哪里“剪断”，从而得到合适的簇数量。

然后，可视化结果会展示层次聚类根据你选择的

id="KMeans_VS__215">K-Means

其他聚类算法：如何选择最合适的工具？

现在，我们总结一下

K-Means、DBSCAN

和层次聚类的特点，并提供一个选择框架：

align="left">层次聚类

(聚合型)

K

align="left">簇形状

align="left">任意形状

align="left">噪声处理

align="left">敏感

align="left">密度处理

align="left">倾向于均匀密度和大小

align="left">适合均匀密度，难处理密度差异大

align="left">适合均匀密度，易受链式效应影响

align="left">计算效率

align="left">高

class="mclose">))

align="left">中

class="mclose">)

mtight">2

class="mclose">))

align="left">低

mtight">3

class="mclose">)

mtight">2

class="mclose">))

align="left">结果解释

align="left">提供层次结构，树状图直观

align="left">参数敏感

align="left">对

align="left">对连接标准和“剪枝”敏感

**选择策略：像侦探一样思考！

1. 你对

   有先验知识吗？

   • Yes:

     如果你明确知道要分成几个簇（比如业务要求），并且期望的簇是球形的，那么

     K-Means

     效率高、效果好。

   • No:

     如果你不确定

     或层次聚类更合适。

2. 你期望的簇是什么形状？

   • 球形/凸形：

     K-Means

     可能是首选。

   • 任意形状/非凸形：

     DBSCAN

     是强项。

     层次聚类在某些连接标准下也能处理。

3. 你的数据包含噪声和异常值吗？

   需要识别它们吗？

   • Yes:

     DBSCAN

     和层次聚类也可以考虑，但可能需要预处理步骤来去除异常值。

4. 你的数据量有多大？

   • 大规模数据：

     K-Means

     和层次聚类会非常慢。

5. 你是否需要了解簇之间的层次关系？

   • Yes:

     层次聚类可以提供一个很好的可视化。

6. 你需要硬性划分还是模糊划分？

   • 硬性

     (每个点一个簇)：

     (见上一篇文章)。

最佳实践：没有最好的算法，只有最适合的算法。

往往需要在不同算法之间进行尝试，结合可视化、领域知识和聚类评估指标（如轮廓系数），才能找到最符合数据本质和业务需求的聚类方案。

id="_256">小结与展望：数据世界的无限可能，你来探索！

恭喜你！

现在的你已不仅熟练掌握

K-Means

和层次聚类这两种重要算法，并具备了根据场景选择最优解的能力。

可以说，你已经成为一名真正的聚类算法专家了！

这种全面掌握多种算法特性及应用场景的能力，正是你在数据科学领域持续进阶的核心竞争力。

它让你在面对各类聚类问题时都能游刃有余，快速找到最佳解决方案。

---