估计量的偏差

✍ dations ◷ 2025-07-01 13:00:39 #统计理论,估计理论,认知偏误

在统计学中,估计量的偏差(或偏差函数)是此估计量的期望值与估计参数的真值之差。偏差为零的估计量或决策规则称为无偏的。否则该估计量是有偏的。在统计中,“偏差”是一个函数的客观陈述。

偏差也可以相对于中位数来衡量,而非相对于均值(期望值),在这种情况下为了与通常的“均值”无偏性区别,称作“中值”无偏。偏差与一致性相关联,一致估计量都是收敛并且无偏的(因此会收敛到正确的值),虽然一致序列中的个别估计量可能是有偏的(只要偏差收敛于零);参见偏差与一致性。

当其他量相等时,无偏估计量比有偏估计量更好一些,但在实践中,并不是所有其他统计量的都相等,于是也经常使用有偏估计量,一般偏差较小。当使用一个有偏估计量时,也会估计它的偏差。有偏估计量可能用于以下原因:由于如果不对总体进一步假设,无偏估计量不存在或很难计算(如标准差的无偏估计(英语:unbiased estimation of standard deviation));由于估计量是中值无偏的,却不是均值无偏的(或反之);由于一个有偏估计量较之无偏估计量(特别是收缩估计量(英语:shrinkage estimator))可以减小一些损失函数(尤其是均方差);或者由于在某些情况下,无偏的条件太强,而这些无偏估计量没有太大用处。此外,在非线性变换下均值无偏性不会保留,不过中值无偏性会保留(参见变换的效应);例如样本方差是总体方差的无偏估计量,但它的平方根标准差则是总体标准差的有偏估计量。下面会进行说明。

设我们有一个参数为实数 的概率模型,产生观测数据的概率分布 P θ ( x ) = P ( x θ ) {\displaystyle P_{\theta }(x)=P(x\mid \theta )} 的估计量。也就是说,我们假定我们的数据符合某种未知分布 P θ ( x ) = P ( x θ ) {\displaystyle P_{\theta }(x)=P(x\mid \theta )} 是一个固定常数,而且是该分布的一部分,但具体值未知),于是我们构造估计量 θ ^ {\displaystyle {\hat {\theta }}} 的值对应起来。因此这个估量的(相对于参数 的)偏差定义为

其中 E θ {\displaystyle \operatorname {E} _{\theta }} 对于条件分布 P ( x θ ) {\displaystyle P(x\mid \theta )} 的所有值的偏差都等于零的估计量称为无偏估计量。

在一次关于估计量性质的模拟实验中,估计量的偏差可以用平均有符号离差(英语:mean signed difference)来评估。

随机变量的样本方差从两方面说明了估计量偏差:首先,自然估计量(naive estimator)是有偏的,可以通过比例因子校正;其次,无偏估计量的均方差(MSE)不是最优的,可以用一个不同的比例因子来最小化,得到一个比无偏估计量的MSE更小的有偏估计量。

具体地说,自然估计量就是将离差平方和加起来然后除以 ,是有偏的。不过除以  − 1 会得到一个无偏估计量。相反,MSE可以通过除以另一个数来最小化(取决于分布),但这会得到一个有偏估计量。这个数总会比  − 1 大,所以这就叫做收缩估计量(英语:shrinkage estimator),因为它把无偏估计量向零“收缩”;对于正态分布,最佳值为  + 1。

1, ..., 是期望为 、方差为 2 的独立同分布(i.i.d.)随机变量。如果样本均值与未修正样本方差定义为

则 2 是 2 的一个有偏估计量,因为

换句话说,未修正的样本方差的期望值不等于总体方差 2,除非乘以归一化因子。而样本均值是总体均值 的无偏估计量。

2 是有偏的原因源于样本均值是 的普通最小二乘(英语:ordinary least squares)(OLS)估计量这个事实: X ¯ {\displaystyle {\overline {X}}} 是令 i = 1 n ( X i X ¯ ) 2 {\displaystyle \sum _{i=1}^{n}(X_{i}-{\overline {X}})^{2}} 尽可能小的数。也就是说,当任何其他数代入这个求和中时,这个和只会增加。尤其是,在选取 μ X ¯ {\displaystyle \mu \neq {\overline {X}}} 就会得出,

于是

注意到,通常的样本方差定义为

而这时总体方差的无偏估计量。可以由下式看出:

方差的有偏(未修正)与无偏估计之比称为贝塞尔修正(英语:Bessel's correction)。

相关

  • 丙酰辅酶A羧化酶丙酰辅酶A羧化酶是依赖生物素催化线粒体基质中的丙酰辅酶A羧化反应的酶,该反应的产物是(S)-甲基丙二酰辅酶A。人体表达下列两种丙酰辅酶A羧化酶同工酶:EC 1.1/2/3/4/5/6/7/8/9
  • 碳纳米泡沫碳纳米泡沫,碳元素的同素异形体之一,1997年由澳大利亚国立大学的Andrei V. Rode及其合作者发现。碳纳米泡沫呈蛛网状,具有分形结构,有铁磁性。泡沫由许多原子团簇构成,每个含有约
  • 谢司起义美国谢司起义(英文:Shays' Rebellion)或译为谢司暴动,是美国马萨诸塞州中西部地区在1786年—1787年发生的一场起义。因为起义领导者是丹尼尔·谢司,是前美国独立战争军官,因此这场
  • 室利佛逝泰国中部:泰国北部:泰国南部:三佛齐(阿拉伯语:سريفيجايا,爪哇语:ꦯꦿꦶꦮꦶꦗꦪ,?-1397年),中国古籍又称室利佛逝(梵文:श्रीविजय Sri Vijaya)、佛逝、旧港,在阿拉伯文献则
  • 青岛前湾港区2号疏港高速公路青岛前湾港区2号疏港高速公路,简称青岛前湾港区2号疏港高速,高速公路网编号为S7602,是中国青岛市黄岛区连通青岛前湾港的一条疏港高速公路,全长26.146km,双向四车道,设计时速120公
  • 江苏省梁丰高级中学江苏省梁丰高级中学,是位于江苏省张家港市国泰南路的一所高级中学。江苏省梁丰高级中学的前身为创办于1894年(清光绪年间)的梁丰书院。1956年改为公立完全中学。1988年挂牌“苏
  • 贾高博贾高博 (荷兰语:Aart Jacobi, 1955年2月16日-),荷兰外交官,2012年-2015年担任荷兰驻华大使。贾高博是他的汉名。1955年出生于荷兰希森兰登,1981年毕业于京都大学,获得法学学位。198
  • 嘉年华 (电影)《嘉年华》(英语:Angels Wear White),中国大陆剧情片,由导演文晏编剧并执导,为第74届威尼斯电影节主竞赛片。2017年11月24日于中国大陆上映,同年11月,获得第54届金马奖最佳导演奖。
  • 东澳航空东澳航空(Eastern Australia Airlines Pty Ltd)是一家总部位于澳大利亚悉尼机场的航空公司。这是一家服务澳大利亚境内17个航点的区域航空公司,以澳洲连接航空的名义运营。从20
  • 亚隆城足球会亚隆城足球会(Athlone Town F.C.;爱尔兰语:Cumann Peile Bhaile Áth Luain)是一支位于爱尔兰瓦特福的职业足球会,目前于爱尔兰超级足球联赛角逐。.Source:注释:国旗表示球员在