U-统计量

U-统计量是统计学中一类特定的、具有对称性的统计量，它在估计理论中扮演重要角色。名称中的“ U”为无偏（unbiased）之意。在初等统计学中，U-统计量与最小方差无偏估计量 (UMVUE) 有密切联系。

U-统计量的一个重要性是，对概率分布来说，其可估计参数的最小方差无偏估计量 是一个U-统计量。 因此通过研究U-统计量的一般性质，可以系统地了解这些估计量的统计学性质。

U-统计量在非参数统计中尤其重要，不少用于估计和统计检验的统计量，在形式上都是U-统计量。U-统计量通常具有良好的渐近正态性，这方便了基于它的统计推断。 近年来，U-统计量在研究复杂的随机过程和随机网络类型数据的随机性质方面，发挥了作用。

目前，统计学家们对U-统计量性质的了解，几乎全都基于Hoeffding发表于1948年的经典论文。在这篇论文里，Hoeffding给出了U-统计量最重要的性质——它的ANOVA分解。

定义 ${\displaystyle h(x_1,\dots <!--\; \dots \; -->,x_r):{\mathbb{R}}^r\to <!--\; \to \; -->\mathbb{R}}$ 为一个函数，其具有对称性，即交换任意 ${\displaystyle x_i,x_j}$ 的位置，${\displaystyle h}$ 的值保持不变。对随机变量 ${\displaystyle X_1,\dots <!--\; \dots \; -->,X_n}$ ，基于 ${\displaystyle h}$ 的U-统计量定义如下：

这里，${\displaystyle h(\cdot <!--\; \cdot \; -->)}$ 称为U-统计量的核函数（Kernel function），而核函数的维数 ${\displaystyle r}$ 称为该U-统计量的度（degree）。

定义 ${\displaystyle h(x_1,\dots <!--\; \dots \; -->,x_r;y_1,\dots <!--\; \dots \; -->,y_s):{\mathbb{R}}^{r+s}\to <!--\; \to \; -->\mathbb{R}}$ 为一个函数，其对 ${\displaystyle X}$ 和 ${\displaystyle Y}$ 分别具有对称性，即交换任意 ${\displaystyle x_{i_1},x_{i_2}}$ 的位置或交换任意 ${\displaystyle y_{j_1},y_{j_2}}$ 的位置，${\displaystyle h}$ 的值保持不变（但不能随意交换 ${\displaystyle x_i,y_j}$ ）。对随机变量 ${\displaystyle X_1,\dots <!--\; \dots \; -->,X_m;Y_1,\dots <!--\; \dots \; -->,Y_n}$ ，基于 ${\displaystyle h}$ 的两样本U-统计量定义如下：

目前在机器学习中，最常见的情形是 ${\displaystyle r=s=1}$，例如能量距离和最大平均差异（MMD）。

Hoeffding的ANOVA分解定理是现代U-统计量理论的基础。为表述该定理，定义：${\displaystyle \mathrm{\mu <!--\; \mu \; -->}=\mathbb{E}}$。对所有 ${\displaystyle 1\le <!--\; \le \; -->k\le <!--\; \le \; -->r}$ ，定义投影函数：

${\displaystyle a_k(x_1,\dots <!--\; \dots \; -->,x_k)=\mathbb{E}-<!--\; -\; -->\mathrm{\mu <!--\; \mu \; -->}}$

然后定义正交化投影函数：

${\displaystyle g_1(x_1)=a_1(x_1)}$，${\displaystyle g_2(x_1,x_2)=a_2(x_1,x_2)-<!--\; -\; -->g_1(x_1)-<!--\; -\; -->g_2(x_2)}$，等等，每一个 ${\displaystyle g_k}$ 都定义为相应的 ${\displaystyle a_k}$减去之前定义过的所有 ${\displaystyle g_1,\dots <!--\; \dots \; -->,g_{k-<!--\; -\; -->1}}$，直至最后一个函数 ${\displaystyle g_r}$：

Hoeffding的ANOVA分解定理的内容是：

所有的正交化投影函数 ${\displaystyle g_k}$ 都满足：

${\displaystyle \mathbb{E}=0}$

因此，所有的分解项之间是互不相关的，并且度为 ${\displaystyle k}$ 的分解项之平均的阶为 ${\displaystyle O_p\left(n^{-<!--\; -\; -->k/2}\right)}$.

在大多数应用中，一个U-统计量的ANOVA分解中最重要的是前一项或前两项。根据分解项的性质，可以得到如下的两项ANOVA分解式：

同时，分解定理也指出了应该如何正确地一阶逼近U-统计量的方差，和对其进行t-标准化。

称为“平均成对偏差”。

这正是人们熟知的样本方差 ${\displaystyle S_n^2}$。

展开后可以写成一个U-统计量。