离散程度

在统计学里，离散程度（英语：statistical dispersion）或变差（英语：variation）是指一个分布或随机变量的压缩和拉伸的程度。习惯上，离散程度更多地用来描述分布，而变差更多地用来描述随机变量。用以描述离散程度或变差的量主要有方差、标准差、变差系数和四分位距等。离散程度与集中趋势相对。衡量离散程度的值，通常是非负实数：当衡量值取零时，表示分布集中在同一个值上；随着衡量值的增加，随机变量的取值越来越分散。部分描述离散程度的量是带单位的，并且，这些量的单位与随机变量本身的单位相同。也就是说，如果随机变量的单位是米或者秒，则这些量的单位也是米或者秒。这些量举例如下：此外，也有一些无量纲量：另外，还有一些带单位的量，但是他们的单位和随机变量本身的单位不同：变差的可解释性，通常是对于一个随机变量而言的。当观测到随机变量的一些取值（例如训练集中的标签可视作是一个随机变量的一些观测值），需要推断随机变量服从的分布时，就会遇到这个问题。一般而言，推断有限观测值的随机变量服从的分布的过程，即是建立模型的过程。假设有随机变量 X {displaystyle mathbf {X} } 及其服从的真实分布 X ∼ D {displaystyle mathbf {X} sim D} 。则对于该随机变量的观测值，可计算其变差（以方差表示） SS total := Var ( X ) {displaystyle {text{SS}}_{text{total}}:={text{Var}}(mathbf {X} )} ；对于分布，亦可计算其变差 SS distribution := Var ( D ) {displaystyle {text{SS}}_{text{distribution}}:={text{Var}}(D)} 。则 SS distribution {displaystyle {text{SS}}_{text{distribution}}} 是相对该随机变量的可解释变差（英语：explainable variation），其余的部分则是不可解释变差（英语：unexplainable variation）。为了衡量不可解释变差，可引入不可解释变差分数（英语：fraction of unexplainable variation） FUV := 1 − SS distribution SS total {displaystyle {text{FUV}}:=1-{tfrac {{text{SS}}_{text{distribution}}}{{text{SS}}_{text{total}}}}} 。不可解释变差亦称为统计噪声。假设 D ′ {displaystyle D'} 是模型给出的随机变量的分布。则对于该预测分布，我们可以计算器变差（以方差表示） SS model := Var ( D ′ ) {displaystyle {text{SS}}_{text{model}}:={text{Var}}(D')} 。则 SS model {displaystyle {text{SS}}_{text{model}}} 是该模型相对该随机变量的已解释变差（英语：explained variation），其余部分则是未解释变差（英语：unexplained variation）。同样，为了衡量未解释变差，可引入未解释变差分数（英语：fraction of unexplained variation） FUV := 1 − SS model SS total {displaystyle {text{FUV}}:=1-{tfrac {{text{SS}}_{text{model}}}{{text{SS}}_{text{total}}}}} 。