/>

马氏距离

核心思想：考虑数据的形状和尺度

马氏距离的革命性在于：它不再假设所有维度是独立同尺度的，而是根据数据的实际分布情况来修正距离。

• 统计视角：在测量一个点与一个分布的距离时，不仅要看绝对偏移量，还要看这个方向上的数据散布程度（方差）以及维度之间的相关性。

• 生活类比：判断一个人是否"异常高"，不能只看他的绝对身高（比如190cm）。

  如果是在

  NBA

  可能很普通；如果是在小学生群体中，190cm

  就是异常值。

  马氏距离会自动考虑"群体"的均值和散布。

• 本质：它度量的是一个点与一个分布之间的标准化距离，同时消除了各维度量纲不同和相关性的影响。

2.

数学定义

马氏距离的定义涉及协方差矩阵，体现了对数据分布的深刻理解。

点

到分布（均值

SS）的马氏距离：

/>

两个点

在同一分布下的马氏距离：

/>

其中：

• x−μ：偏差向量（点相对于均值的偏移）。

• S−1：协方差矩阵的逆（包含了数据的散布和相关结构信息）。

• (⋅)T：转置运算。

3.

物理意义与核心特性

①

去相关——旋转坐标系

如果数据存在相关性（例如身高和体重正相关），原始坐标系中的轴并不独立。

马氏距离通过协方差矩阵的逆

S−1，实际上对坐标系进行了旋转和缩放：

1. 旋转：使新坐标轴指向数据变异最大的方向（主成分方向）。

2. 缩放：使每个方向上的变异度（方差）变为1（标准化）。

经过变换后，马氏距离就变成了新空间中的欧氏距离。

②

标准化——消除量纲影响

不同维度往往有不同的单位（如身高用厘米，体重用千克）。

欧氏距离直接计算数值差，会导致量纲大的维度主导距离。

马氏距离通过除以各方向的标准差（体现在协方差矩阵中），实现了无量纲化，所有维度在距离计算中地位平等。

③

等距面——超椭球

在原始空间中，到均值点具有相同马氏距离的点构成一个超椭球面。

• 椭球方向：由数据的相关结构决定（沿着相关方向拉长）。

• 椭球大小：由马氏距离值决定。

这与欧氏距离的圆形（或球形）等距面形成鲜明对比。

二维数据等距面对比：
原始数据分布：
（合理的等距）

④

马氏距离

欧氏距离

4.

直观类比：身高体重的相关性

假设我们测量一群人的身高（厘米）和体重（公斤）：

• 数据特征：身高和体重通常是正相关的——高的人一般也更重。

• 分布形状：在二维平面上，数据点形成一个倾斜的椭圆，而不是正圆。

现在有两个新样本：

• A：身高170cm，体重70kg（靠近椭圆中心，正常）

• B：身高170cm，体重40kg（严重偏瘦）

• C：身高200cm，体重90kg（高大但比例正常）

欧氏距离的判断：

• 计算A到B的距离与A到C的距离，可能认为C的偏差更大（因为200-170=30，90-70=20，综合偏差大）。

马氏距离的判断：

• 对于B：虽然体重偏差只有30kg（70→40），但在"身高170cm"这个条件下，体重40kg极度偏离该身高的正常体重范围（沿着椭球的短轴方向，概率密度极低）。

  马氏距离会很大。

• 对于C：虽然身高偏差30cm，但在"身高200cm"的条件下，体重90kg是符合比例的正常值（沿着椭圆的长轴方向，概率密度尚可）。

  马氏距离会相对较小。

结论：马氏距离告诉我们，B比C更"异常"，尽管欧氏距离可能给出相反的结论。

5.

应用场景

• 异常检测（Outlier

  Detection）：

  • 识别数据集中远离主体分布的异常点。

    马氏距离是多元异常检测的经典方法。

  • 金融风控：识别异常的交易行为。

  • 工业质检：发现生产过程中的异常产品。

• 模式识别与分类：

  • 线性判别分析（LDA）：核心就是基于马氏距离进行分类。

  • 马氏距离分类器：对于每类数据估计均值和协方差，新样本属于马氏距离最小的类别。

• 聚类分析：

  • 在某些需要考虑数据形状的聚类算法中，使用马氏距离可以更好地识别椭球形簇。

• 近红外光谱分析：

  • 光谱数据维度高且高度相关，马氏距离常用于判断待测样本是否在模型适用范围内。

• 图像处理：

  • 颜色空间中的颜色距离计算，考虑通道间的相关性。

6.

使用注意事项

• 需要足够样本：协方差矩阵的准确估计需要样本数远大于维度数，否则矩阵可能奇异（不可逆）。

• 假设多元正态：虽然马氏距离不强制要求正态分布，但其许多优良性质（如卡方分布）在正态假设下成立。

• 计算复杂度：涉及矩阵求逆，计算量比欧氏距离大得多。