马哈拉诺比斯距离

马哈拉诺比斯距离是由印度统计学家马哈拉诺比斯 (英语)提出的，表示数据的协方差距离。它是一种有效的计算两个未知样本集的相似度的方法。与欧氏距离不同的是它考虑到各种特性之间的联系（例如：一条关于身高的信息会带来一条关于体重的信息，因为两者是有关联的）并且是尺度无关的（scale-invariant），即独立于测量尺度。对于一个均值为${\displaystyle \mathrm{\mu <!--\; \mu \; -->}=({\mathrm{\mu <!--\; \mu \; -->}}_1,{\mathrm{\mu <!--\; \mu \; -->}}_2,{\mathrm{\mu <!--\; \mu \; -->}}_3,\dots <!--\; \dots \; -->,{\mathrm{\mu <!--\; \mu \; -->}}_p{)}^T}$。

其中${\displaystyle {\mathrm{\sigma <!--\; \sigma \; -->}}_i}$是${\displaystyle x_i}$的标准差。

马哈拉诺比斯距离是基于样本分布的一种距离。物理意义就是在规范化的主成分空间中的欧氏距离。所谓规范化的主成分空间就是利用主成分分析对一些数据进行主成分分解。再对所有主成分分解轴做归一化，形成新的坐标轴。由这些坐标轴张成的空间就是规范化的主成分空间。

换句话说，主成分分析就是把椭球分布的样本改变到另一个空间里，使其成为球状分布。而马哈拉诺比斯距离就是在样本呈球状分布的空间里面所求得的欧式距离。

当然，上面的解释只是对椭球分布而言，对一般分布，只能消除分布的二阶相关性，而不能消除高阶相关性。