置信水平

在统计学中，一个概率样本的置信区间（英语：Confidence interval，CI），是对产生这个样本的总体的参数分布（Parametric Distribution）中的某一个未知参数值，以区间形式给出的估计。相对于点估计（Point Estimation）用一个样本统计量来估计参数值，置信区间还蕴含了估计的精确度的信息。在现代机器学习中越来越常用的置信集合（Confidence Set）概念是置信区间在多维分析的推广。置信区间在频率学派中间使用，其在贝叶斯统计中的对应概念是可信区间（英语：Credible interval）（Credible Interval）。两者建立在不同的概念基础上的，贝叶斯统计将分布的位置参数视为随机变量，并对给定观测到的数据之后未知参数的后验分布进行描述，故无论对随机样本还是已观测数据，构造出来的可信区间，其可信水平都是一个合法的概率；而置信区间的置信水平，只在考虑随机样本时可以被理解为一个概率。定义置信区间最清晰的方式是从一个随机样本出发。考虑一个一维随机变量 X {displaystyle {cal {X}}} 服从分布 F {displaystyle {cal {F}}} ，又假设 θ {displaystyle theta } 是 F {displaystyle {cal {F}}} 的参数之一。假设我们的数据采集计划将要独立地抽样 n {displaystyle n} 次，得到一个随机样本 { X 1 , … , X n } {displaystyle {X_{1},ldots ,X_{n}}} ，注意这里所有的 X i {displaystyle X_{i}} 都是随机的，我们是在讨论一个尚未被观测的数据集。如果存在统计量(统计量定义为样本 X = { X 1 , … , X n } {displaystyle X={X_{1},ldots ,X_{n}}} 的一个函数，且不得依赖于任何未知参数) u ( X 1 , … , X n ) , v ( X 1 , … , X n ) {displaystyle u(X_{1},ldots ,X_{n}),v(X_{1},ldots ,X_{n})} 满足 u ( X 1 , … , X n ) < v ( X 1 , … , X n ) {displaystyle u(X_{1},ldots ,X_{n})<v(X_{1},ldots ,X_{n})} 使得：则称 ( u ( X 1 , … , X n ) , v ( X 1 , … , X n ) ) {displaystyle left(u(X_{1},ldots ,X_{n}),v(X_{1},ldots ,X_{n})right)} 为一个用于估计参数 θ {displaystyle theta } 的 1 − α {displaystyle 1-alpha } 置信区间，其中的， α {displaystyle alpha } 称为置信水平。接续随机样本版本的定义，现在，对于随机变量 X {displaystyle {cal {X}}} 的一个已经观测到的样本 { x 1 , … , x n } {displaystyle {x_{1},ldots ,x_{n}}} ，注意这里用小写x表记的 x i {displaystyle x_{i}} 都是已经观测到的数字，没有随机性了，定义基于数据的 1 − α {displaystyle 1-alpha } 置信区间为：注意，置信区间可以是单边或者双边的，单边的置信区间中设定 u = − ∞ {displaystyle u=-infty } 或者 v = + ∞ {displaystyle v=+infty } ，具体前者还是后者取决于所构造的置信区间的方向。初学者常犯一个概念性错误，是将基于观测到的数据所同样构造的置信区间的置信水平，误认为是它包含真实未知参数的真实值的概率。正确的理解是：置信水平只有在描述这个同样构造置信区间的过程(或称方法)的意义下才能被视为一个概率。一个基于已经观测到的数据所构造出来的置信区间，其两个端点已经不再具有随机性，因此，类似的构造的间隔将会包含真正的值的比例在所有值中，其包含未知参数的真实值的概率是0或者1，但我们不能知道是前者还是后者。1 − α {displaystyle 1-alpha } 水平的正态置信区间为：以下为方便起见，只列出双边置信区间的例子，且区间中用" ± {displaystyle pm } "进行简记：1 − α {displaystyle 1-alpha } 水平的双边正态置信区间为：1 − α {displaystyle 1-alpha } 水平的双边正态置信区间为：一般来说，置信区间的构造需要先找到一个枢轴变量（Pivotal quantity，或称Pivot），其表达式依赖于样本以及待估计的未知参数(但不能依赖于总体的其它未知参数)，其分布不依赖于任何未知参数。下面以上述例2为例，说明如何利用枢轴变量构造置信区间。对于一个正态分布的随机样本 X 1 , … , X n {displaystyle {X_{1},ldots ,X_{n}}} ，可以证明(此证明对初学者并不容易)如下统计量互相独立：它们的分布是：所以根据t分布的定义，有于是反解如下等式左边括号中的不等式就得到了例2中双边置信区间的表达式。有时，置信区间可以用来进行参数检验。例如在上面的例1中构造的双边 1 − α {displaystyle 1-alpha } 水平置信区间，可以用来检验具有相应的显著水平为 α {displaystyle alpha } 的双边对立假设，具体地说是如下检验： 正态分布总体，知道总体方差 σ 2 {displaystyle sigma ^{2}} ，在 α {displaystyle alpha } 显著水平下检验：检验方法是：当且仅当相应的 1 − α {displaystyle 1-alpha } 水平置信区间不包含 μ 0 {displaystyle mu _{0}} 时拒绝零假设 H 0 {displaystyle H_{0}}例1中构造的双边 1 − α {displaystyle 1-alpha } 水平置信区间也可以用来检验如下两个显著水平为 α / 2 {displaystyle alpha /2} 的单边对立假设：和检验方法是完全类似的，比如对于上述第一个单边检验 H 1 : μ > μ 0 {displaystyle H_{1}:mu >mu _{0}} ，当且仅当双边置信区间的左端点大于 μ 0 {displaystyle mu _{0}} 时拒绝零假设。