and

如图可以看到两者的区别在于无监督学习的样本是没有标签的换言之就是无监督学习不会赋予主观上的判断需要算法自己去探寻区别第二张图就是算法经过计算根据位置特点给两组样本划分开来尽管算法并不知道这种特点意味着什么这种按照特点分成一组或几组簇的算法叫聚类算法。

K-means

假设我们数据集中的数据呈现两组的分布K-means算法首先会给出两个点之所以是两个是因为其数据分布像是两类数据如果是成三组的聚类分布则有三个聚类中心点将其称为聚类中心。

接着遍历数据集中的每个样本点计算其离哪个中心点更近就将其分配给那类如图经过计算后通过颜色来区分数据集中的两类样本

接下来分别计算分配后的两类簇数据集的均值点并把聚类中心移到均值点处重新进行一次簇分配以此类推随着两类数据集的重新分配聚类中心点会不断地移动到簇的中心直到聚类中心及其样本不再变化

总结一下对于K-means算法来说首先是输入簇的数量K和无标签的样本集接着把K个聚类中心记作随即循环计算每个点到每个聚类中心的距离并找到最小值即计算每个簇的均值点将其值更新为新的聚类中心直到聚类中心点及其样本点类别不再改变写成代价函数就是有时也把它叫做失真代价函数。

随机初始化(Random

虽然我们有了聚类算法如何更新的细节但是每簇的第一个聚类中心该怎么选取呢

事实上一般我们会进行多次的随机初始化并选取代价函数值最小的那类结果每一次随机初始化都会随机选取K个样本点作为聚类中心进行多次初始化的原因是避免使用计算出局部最优解的算法结果如下

一般来说我们选择的迭代次数在50到10000之间注意当簇的数量较低时如2-10多次的迭代会给出好的结果而如果簇的种类较多一般在第一次初始化就会得到相当好的结果但后面即便进行多次初始化也不会有太大的提升。

一般来说K值的选取都是通过我们手动来决定即观察可视化的图或事先对数据集有一定的了解这里介绍两种选取K值的方法。

肘部法则选择K值

如图我们分别计算K从1到8的代价函数值从图中观察假设图像存在一个较为明显的拐点就像图的左边我们就能够认为选取该点作为K值比较好当然如果运气不好画出的图像右边一样是一个平稳下降的勺子那么只能回到我们的手动选取法了我们把这个方法称为肘部法则。

另一种方法则是在每次选取一种聚类数量后进行一次评估例如计算可得的利润市场需求的满足度等等这能帮你更好地判断哪类聚类数量更符合你的数据。

数据压缩(Data

除了聚类算法还有一种经常会见到的无监督学习算法叫做降维算法的其中一个功能叫做数据压缩。

将两个特征压缩为一个特征

如图假设我们有两个输入特征一个表示物体的厘米长度一个表示英寸长度这实际上只是同一种数据特征的不同单位表示那么这时候我们就可以对其进行数据压缩将这两个特征的样本点重新用一个特征表示也就是将二维数据降为一维数据通过的方式来表示原来的样本点这样做就能减少原来所占用的一部分内存空间类似的三维降为二维也是通过投影的方法将其用二维的点来表示三维的样本。

Visualization)

降维的另一个好处的可以让数据更好地可视化从而对数据集有更好的了解方便后续处理。

假如我们对多个国家进行了50个种类的数据调查每个国家的特征是50维的向量此时我们很难去直观地判断这些国家的特点可能需要去进行复杂的计算才行。

但假如我们对这些数据进行降维压缩例如降成2维国家总GDP和人均GDP降维后新数据的意义不同于之前在图上我们就可以很清晰地看到这些国家的实力

视频学习来自https://www.bilibili.com/video/BV1By4y1J7A5?spm_id_from333.788.videopod.episodesvd_source867b8ecbd62561f6cb9b4a83a368f691p83