统计独立性

在概率论里，说两个事件是独立的，直觉上是指一次实验中一事件的发生不会影响到另一事件发生的概率。例如，在一般情况下可以认为连续两次掷骰子得到的点数结果是相互独立的。类似地，两个随机变量是独立的，若其在一事件给定观测量的条件概率分布和另一事件没有被观测的概率分布是一样的。标准的定义为：这里，A ∩ B是A和B的交集，即为A和B两个事件都会发生的事件。更一般地，任意个事件都是互相独立的当且仅当对其任一有限子集A1, ..., An，会有或写作： Pr ( ⋂ i = 1 n A i ) = ∏ i = 1 n Pr ( A i ) . {displaystyle Pr left(bigcap _{i=1}^{n}A_{i}right)=prod _{i=1}^{n}Pr(A_{i}).!,}这被称为独立事件的乘法规则。若两个事件A和B是独立的，则其B给之A的条件概率和A的“无条件概率”一样，即至少有两个理由可以解释为何此一叙述不可以当做独立性的定义：(1)A和B两个事件在此叙述中并不对称，及(2)当概率为0亦可包含于此叙述时，会有问题产生。若回想条件概率Pr(A | B)的定义为则上面的叙述则会等价于即为上面所给定的标准定义。注意独立性并不和它在地方话里的有相同的意思。例如，一事件独立于其自身当且仅当亦即，其概率不是零就是一。因此，当一事件或其补集几乎确定会发生，它即是独立于其本身。例如，若事件A从单位区间的连续型均匀分布上选了0.5，则A是独立于其自身的，尽管重言式地，A完全决定了A。上面所定义的是事件的独立性。在这一节中，我们将处理随机变量的独立性。若X是一实数值随机变量且a是一数字的话，则X ≤ a的事件是一个事件，所以可以有意义地说它是否会独立于其他的事件。两个随机变量X和Y是独立的当且仅当对任何数字a和b，事件(X小于或等于a的事件)和为如上面所定义的独立事件。类似地，随意数量的随机变量是明确地独立的，若对任一有限子集X1, ..., Xn和任一数字的有限子集a1, ..., an，其事件, ..., 会是如上面所定义的独立事件。其量测可以由事件来取代上面所定义的事件，其中A为任一包络集合。此一定义完全和上述其随机变量的值为实数的定义等价。且他有着可以作用于复值随机变量和在任一拓扑空间中取值之随机变量上的优点。即使任意数目中的任二个随机变量都是独立的，但它们可能仍旧会无法互相独立；这种的独立被称为两两独立。若X和Y是独立的，则其期望值E会有下列的好性质： E = E E, （假定都存在）且其方差（若存在）满足因为其协方差 cov(X,Y) 为零。(其逆命题不成立，即若两个随机变量的协方差为0，它们不一定独立。)此外，具有分布函数FX(x) 及 FY(y)和概率密度fX(x) 及 fY(y)的随机变量X和Y为独立的，当且仅当其相结合的随机变量(X,Y)有一共同分布或等价地，有一共同密度类似的表示式亦可以用来两个以上的随机变量上。直觉地，两个随机变量X和Y给定Z条件独立，如果：一旦知道了Z，从Y的值便不能得出任何关于X的信息。例如，相同的数量Z的两个测量X和Y不是独立的，但它们是给定Z条件独立（除非两个测量的误差是有关联的）。条件独立的正式定义是基于条件分布的想法。如果X、Y和Z是离散型随机变量，那么我们定义X和Y给定Z条件独立，如果对于所有使 P ( Z ≤ z ) > 0 {displaystyle mathrm {P} (Zleq z)>0} 的x、y和z，都有：另一方面，如果随机变量是连续的，且具有联合概率密度p，那么X和Y给定Z条件独立，如果对于所有使 p Z ( z ) > 0 {displaystyle p_{Z}(z)>0} 的实数x、y和z，都有：如果X和Y给定Z条件独立，那么对于任何满足 P ( Z = z ) > 0 {displaystyle mathrm {P} (Z=z)>0} 的x、y和z，都有：也就是说，X给定Y和Z的条件分布，与仅仅给定Z的条件分布是相同的。对于连续的情况下的条件概率密度函数，也有一个类似的公式。独立性可以视为条件独立的一个特例，因为概率可以视为不给定任何事件的条件概率。