方差分析

方差分析或变方分析（Analysis of variance，简称ANOVA）为数据分析中常见的统计模型，主要为探讨连续型（Continuous）资料型态之因变量（Dependent variable）与类别型资料型态之自变量（Independent variable）的关系，当自变项的因子中包含等于或超过三个类别情况下，检定其各类别间平均数是否相等的统计模式，广义上可将T检定中方差相等（Equality of variance）的合并T检定（Pooled T-test）视为是方差分析的一种，基于T检定为分析两组平均数是否相等，并且采用相同的计算概念，而实际上当方差分析套用在合并T检定的分析上时，产生的F值则会等于T检定的平方项。方差分析依靠F-分布为概率分布的依据，利用平方和（Sum of square）与自由度（Degree of freedom）所计算的组间与组内均方（Mean of square）估计出F值，若有显著差异则考量进行事后比较（英语：Post-hoc analysis）或称多重比较（Multiple comparison），较常见的为薛费法（英语：Scheffé's method）(事后比较法)、杜其范围检定（英语：Tukey's range test）与邦费罗尼校正，用于探讨其各组之间的差异为何。在方差分析的基本运算概念下，依照所感兴趣的因子数量而可分为单因子方差分析、双因子方差分析、多因子方差分析三大类，依照因子的特性不同而有三种型态，固定效应方差分析（fixed-effect analysis of variance）、随机效应方差分析（random-effect analysis of variance）与混合效应方差分析（Mixed-effect analaysis of variance），然而第三种型态在后期发展上被认为是Mixed model的分支，关于更进一步的探讨可参考Mixed model的部分。方差分析优于两组比较的T检定之处，在于后者会导致多重比较（multiple comparisons）的问题而致使第一型错误（Type one error）的机会增高，因此比较多组平均数是否有差异则是方差分析的主要命题。在统计学中，方差分析（ANOVA）是一系列统计模型及其相关的过程总称，其中某一变量的方差可以分解为归属于不同变量来源的部分。其中最简单的方式中，方差分析的统计测试能够说明几组数据的平均值是否相等，因此得到两组的T检定。在做多组双变量T检定的时候，错误的概率会越来越大，特别是第一型错误，因此方差分析只在二到四组平均值的时候比较有效。方差分析（ANOVA）是一种特殊形式的统计假设检定，广泛应用于实验数据的分析中。统计假设检定是一种根据数据进行决策的方法。测试结果（通过零假设进行计算）如果不仅仅是因为运气，则在统计学上称为显著。统计显著的结果（当可能性的p值小于临界的“显著值”）则可以推翻零假设。在方差分析的经典应用中，原假设是假设所有数据组都是整体测试对象的完全随机抽样。这说明所有方法都有相同效果（或无效果）。推翻原假设说明不同的方法，会得到不同的效果。在操作中，假设测试限定I类型错误（假阳性导致的假科学论断）达到某一具体的值。实验者也希望II型错误（假阴性导致的缺乏科学发现）有限。II型错误受到多重因素作用，例如取样范围（很可能与试验成本有关），相关度（当实验标准高的时候，忽视发现的可能性也大）和效果范围（当对一般观察者来说效果明显，II型错误发生率就低）。方差分析分为三种型态：用于方差分析模型中所考虑的因子为固定的情况，换言之，其所感兴趣的因子是来自于特定的范围，例如要比较五种不同的汽车销售量的差异，感兴趣的因子为五种不同的汽车，反因变量为销售量，该命题即限定了特定范围，因此模型的推论结果也将全部着眼在五种汽车的销售差异上，故此种状况下的因子便称为固定效应。不同于固定效应模式中的因子特定性，在随机效应中所考量的因子是来自于所有可能的母群体中的一组样本，因子方差分析所推论的并非着眼在所选定的因子上，而是推论到因子背后的母群体，例如，借由一间拥有全部车厂种类的二手车公司，从所有车厂中随机挑选5种车厂品牌，用于比较其销售量的差异，最后推论到这间二手公司的销售状况。因此在随机效应模型下，研究者所关心的并非局限在所选定的因子上，而是希望借由这些因子推论背后的母群体特征。此种混合效应绝对不会出现在单因子方差分析中，当双因子或多因子方差分析同时存在固定效应与随机效应时，此种模型便是典型的混合型模式。方差分析之统计分析假设通常会依照各种模式型态不同而有差异，但广义而言，方差分析一共有三大前提假设：1.各组样本背后所隐含的族群分布必须为正态分布或者是逼近正态分布。2.各组样本必须独立。3.族群的方差必须相等。总变量（TSS）： ∑ i ∑ j ( Y i j − Y ¯ t o t a l ) 2 {displaystyle sum _{i}sum _{j}(Y_{ij}-{overline {Y}}_{total})^{2}}i为组别（i=1,2...,I），j为观测值个数（j=1,2,3,...,J）， Y i j {displaystyle Y_{ij}} 为第i组第j个观测值， Y ¯ t o t a l {displaystyle {overline {Y}}_{total}} 为所有观测值的平均数。组间变异量（BSS）： ∑ i n i ( Y ¯ i − Y ¯ t o t a l ) 2 {displaystyle sum _{i}n_{i}({overline {Y}}_{i}-{overline {Y}}_{total})^{2}}n i {displaystyle n_{i}} 为i组内观测值总数， Y ¯ i {displaystyle {overline {Y}}_{i}} 为第i组的平均数组内变异量（WSS）： ∑ i ∑ j ( Y i j − Y ¯ i ) 2 {displaystyle sum _{i}sum _{j}(Y_{ij}-{overline {Y}}_{i})^{2}}由上述的计算公式可知，BSS代表所有观测值的期望值与分组后各组内的期望值差异，换言之，当各组的期望值没有差异的时候，BSS=0，这个时候我们会认为各组间平均值就没有差异存在，但并不代表所有观测值的一致性也会很高，因此计算WSS来帮助我们判断所有期望值的差异量多寡，当WSS=0的情况，代表各组内的所有观测值与各组的期望值没有差异存在，因此只有WSS与BSS都为0情况下，我们才能断定所有观测值达到完美的一致，然而当WSS>0, BSS=0的情况，则是各组期望值达到一致，但组内却存在变异，WSS=0, BSS>0，则是组内没有变异存在，但各组间却存在差异，然后真实状况不可能如此极端，因此必须比较WSS与BSS的差异来判断方差分析的结果，也就是各组期望值是否有差异存在。而这个部分在比较变异量的过程中，必须考量到各组变易量会受到观测数量与组别数量的多寡而有所差异，因此必须进行自由度的调整，也就是计算出均方值来比较组内变异与组间变异量。组间均方BMSS（between means sum of squares）： B M S S {displaystyle BMSS} = B S S k − 1 {displaystyle {frac {BSS}{k-1}}} = ∑ i n i ( Y ¯ i − Y ¯ t o t a l ) 2 k − 1 {displaystyle {frac {sum _{i}n_{i}({overline {Y}}_{i}-{overline {Y}}_{total})^{2}}{k-1}}}组内均方WMSS（within means sum of squares）： W M S S {displaystyle WMSS} = W S S N − k {displaystyle {frac {WSS}{N-k}}} = ∑ i ∑ j ( Y i j − Y ¯ i ) 2 N − k {displaystyle {frac {sum _{i}sum _{j}(Y_{ij}-{overline {Y}}_{i})^{2}}{N-k}}}其中k为组别数量，N为观测值总数。两个均方值的比较为 B M S S W M S S {displaystyle {frac {BMSS}{WMSS}}}此比较值也就是目前惯称的F检定值，F越大，则组间均方大于组内均方，也就是组间变异量大于组内变异量，各组间的差异远超出总期望值离差，代表各组的平均数存在明显的差异，相反的，F越小甚至于逼近于0，则是组间变异量小于组内变异量，代表各组间的差异很小，各组平均数则不存在明显的差异。整个分析概念中，受到方差分析所规范的族群的方差必须相等的条件下，组内变异量成为了基准，因此组间变异量的多寡就成了判定方差分析结论的重要数值，然而F值仅为提供判断虚拟假设存在的可能性，为了方便下结论，由alpha值决定可容许的错误判断概率为5%，因此F值所计算的虚拟假设概率值若小于0.05，则下定论为各组存在差异，其隐含的意义则是否定了各组间无差异的概率，也就是容许了各组无差异可能成真的错误判断概率，因为判断错误的概率太小而能容许，但并不代表不可能判断错误，因此任何F检定的结果均只能下定论为达到统计上的意义，而非绝对意义。虽然在单因子方差分析中有随机效应的存在，但运算上与Fixed-effect并无太大差异，其F检定的结果相同，唯一的差别是在于均方期望值上。在许多情境下，某现象并非仅受单一因子的影响，甚至存在另一个因子的效应，例如要比较五个都市的空气污染总指标差异，除了都市别的因素之外，还必须考量汽机车密度的因素，在这样的情境下，都市别与汽机车密度可能就存在着某种效应影响着空气污染的多寡，因此在双因子方差分析中，除了考量双因子彼此的效应之外，也可能存在因子之间的联合效应，也就是因子间的交互作用（interaction），这也使得双因子方差分析变的比较复杂。延续单因子方差分析的基本概念，双因子方差分析也能将总变异量分解成双因子的主效应与双因子的联合效应，还有表示误差项的组内差异量，为了简化问题，其下列的计算均表示为各组间样本数一致的情况下，其线性关系为TSS=ASS+BSS+WSS+ABSS。总变异量（TSS）： ∑ i ∑ j ∑ z ( Y i j z − Y ¯ t o t a l ) 2 {displaystyle sum _{i}sum _{j}sum _{z}(Y_{ijz}-{overline {Y}}_{total})^{2}}A因子的主效应（ASS）： n b ∑ i ( Y ¯ i − Y ¯ t o t a l ) 2 {displaystyle nbsum _{i}({overline {Y}}_{i}-{overline {Y}}_{total})^{2}} 其均方AMSS为： A S S a − 1 {displaystyle {frac {ASS}{a-1}}}B因子的主效应（BSS）： n a ∑ j ( Y ¯ j − Y ¯ t o t a l ) 2 {displaystyle nasum _{j}({overline {Y}}_{j}-{overline {Y}}_{total})^{2}} 其均方BMSS为： B S S b − 1 {displaystyle {frac {BSS}{b-1}}}AB因子的交互作用（ABSS）： n ∑ i ∑ j ( Y ¯ i j − Y ¯ i − Y ¯ j + Y ¯ t o t a l ) 2 {displaystyle nsum _{i}sum _{j}({overline {Y}}_{ij}-{overline {Y}}_{i}-{overline {Y}}_{j}+{overline {Y}}_{total})^{2}} 其均方ABMSS为： A B S S ( a − 1 ) ( b − 1 ) {displaystyle {frac {ABSS}{(a-1)(b-1)}}}组内差异量（WSS）： ∑ i ∑ j ∑ z ( Y i j z − Y ¯ i j ) 2 {displaystyle sum _{i}sum _{j}sum _{z}(Y_{ijz}-{overline {Y}}_{ij})^{2}} 其均方WMSS为： W S S a b ( n − 1 ) {displaystyle {frac {WSS}{ab(n-1)}}}在F检定中，由于考虑的双因子的个别主效应与交互作用，因此会出现三个检定方向，其一为A因子检定、B因子检定与交互作用的检定。A因子的F检定为： A M S S W M S S {displaystyle {frac {AMSS}{WMSS}}}B因子的F检定为： B M S S W M S S {displaystyle {frac {BMSS}{WMSS}}}交互作用的F检定为： A B M S S W M S S {displaystyle {frac {ABMSS}{WMSS}}}互作用不显著的情况，才会考虑依照各别因子主效应的检定结果做为双因子方差分析的结论。当方差分析检定结果呈现统计显著，代表反因变量的平均值在与所感兴趣的因子有差异存在，因此事后检定用于进一步探讨其反因变量的平均数差异为何。在其事后检定的统计发展上有不少各具特色的方法，至今仍然陆续有新方法发表，但其运算理念都大同小异，都是为了修正第一型误差因为多重比较而出现误差上升的状况。较常用的为Bonferroni、Tukey、Duncan、Scheffé四种，其余方法如下所列：