缺失数据

✍ dations ◷ 2025-10-25 13:20:16 #统计学,抽样

在统计调查的过程中,由于受访者对问题的遗漏、拒绝,或是调查员与调查问卷本身存在的一些疏忽,使得记录经常会出现 缺失数据 (Missing Data) 的问题。但是,几乎所有标准统计方法都假设每个个案具有可用于分析的所有变量信息,因此缺失数据就成为进行统计研究或问卷调查的工作人员所必须解决的一个问题。

Paul D. Allison在其2011年出版的Missing Data一书中,提到了许多解决缺失数据问题的方案,而它们各有利弊。

在介绍缺失数据的解决方案之前,需要明确几个相关的统计概念:

假设一个特殊变量Y有缺失数据。如果Y缺失数据的概率与Y本身的值或在该数据组中任何其他变量的值都无关的话,那么Y的数据就是完全随机缺失的(MCAR)。

如果在分析中控制了其他变量后,Y缺失数据的概率与Y值无关,则称Y的数据为随机缺失(MAR)的,即:Pr(Y missing|Y,X)=Pr(Y missing|X)。

如果数据位MAR且管制缺失数据过程的参数与要估计的参数无关,则缺失数据的机制是可忽略的。在某些情况下,MAR和可忽略性可以视为相等的条件。

如果数据不是MCAR或MAR,则说缺失数据机制是不可忽略的。

解决缺失数据问题的方法主要有:成列删除、成对删除、虚拟变量调整、插补、多重插补和最大似然。

成列删除的思想是:在分析中当某个案的任何变量有缺失数据时,便简单地将该个案从分析中排除。也称为个案删除。

成列删除方法的优点有:

成列删除方法的缺点有:

成对删除的原理是:通过所有可得的个案来计算这些描述统计的每一个。成对删除又称可得个案分析。

成对删除方法的优点是:如果数据为MCAR,成对删除就产生一致的参数估计值(在大样本中接近无偏误),且有比成列删除更少的抽样变异(较小的真实标准误),而当变量间相关性普遍较低时,成对删除会产生更有效的估计值。

成对删除方法的缺点有:

虚拟变量调整或缺失指标方法:假设某变量X有一些缺失数据,X为回归分析中数个自变量的其中一个,那么可以建立一个虚拟变量D,如果X存在数据缺失则D=1,否则D=0。同时建立一个变量X',使得当不存在数据缺失时X'=X,否则X'等于一个任意常数c。回归因变量Y于X'、D及其他在预设模型中的所有变量。

虚拟变量调整方法的优点是:它使用了所有可用的关于缺失数据的信息。

虚拟变量调整方法的缺点是:它通常会产生有偏误的系数估计值。

插补方法的基本原理是:以某些合理的猜测插补或替代缺失值,然后再接着按没有缺失数据的情况进行分析。但是,按照完整数据的情况分析插补数据会低估标准误、高估检验统计量。

多重插补法(MI)具有与最大似然法相同的最适特性,但却排除了某些局限性。特别是当数据为MAR时,正确使用多重插补会产生一致的、渐近有效且渐近正态的估计值。多重插补的另一个优势是,它几乎可以被任何一种数据或模型所使用,且分析可以利用未修改的、传统的软件执行。不过,多重插补也有缺点,它的执行可能很麻烦也很容易出错,最严重的是每次使用多重插补时,都会产生不同的估计值。

最大似然是一个有效且实用的处理随机缺失数据的方法,且对于大样本来说是最合适的,但它有一个限制条件:它需要包含所有缺失变量的联合概率的模型。因此比较适合于线性模型和对数线性模型。

任何有关不可忽略的缺失数据的方法都应伴随一个敏感性分析,因为根据假设的模型,结果可能变化很大,故试验一貌似有理范围的模型并看它们是否产生相同的结果是很重要的。


相关

  • 生活品质马斯洛的需求金字塔上达到越高层的人可以视同生活质量越高自我实现的需求尊重需求(社会承认需求)社交需求(社会关系需求)安全的需求生理的需求(身体基本需求)生活质量(Quality of L
  • 放射性落下灰放射性落下灰,也称放射性沉降物、放射性落尘、辐射落尘或原子尘,是核弹爆炸或核反应堆泄漏后从天而降的放射性尘埃,含有大量放射性元素,是一种放射性污染。核弹爆炸产生的辐射尘
  • 肯尼思·威尔森肯尼斯·格德斯·威耳孙(英语:Kenneth Geddes Wilson,1936年6月8日-2013年6月15日),美国理论物理学家,利用电脑研究粒子物理学的先驱。于1982年,他因为相变研究而获得诺贝尔物理学奖
  • 注生娘娘注生娘娘,俗称“注生妈”,又作“注生娘娘”,是闽南、台湾和潮汕一带最受尊奉的生育女神,主管妇女的怀孕、生产,是许多不孕妇女或怀孕妇女的信仰寄托。注生娘娘的造像,多是左手执簿
  • 琴吉·罗杰斯琴吉·罗杰斯(Ginger Rogers,1911年7月16日-1995年4月25日),美国电影演员、舞台剧演员、舞蹈家、歌手,以和弗雷德·阿斯泰尔的合作最为知名。她于1940年因电影《女人万岁》得到奥
  • span class=nowrapCuReOsub4/sub/span高铼酸亚铜是一种无机化合物,化学式为CuReO4。将高铼酸铜在真空中加热数天,温度控制在400~500℃,得到高铼酸亚铜。高铼酸铜和金属铜在360 °C反应也能得到高铼酸亚铜,但存在杂质
  • Achatina fulica非洲大蜗牛(学名:Achatina fulica)是腹足纲动物,为陆栖蜗牛。俗名褐云玛瑙螺、菜螺。非洲大蜗牛也被列入世界百大外来入侵种之一。成体壳长一般为7-8公分,最大则可长到超过20公分
  • 阮经天阮经天(1982年11月8日- ),台湾演员、模特儿,曾以电影《艋舺》荣获第47届金马奖影帝,为多部知名戏剧男主角。阮经天出生于台湾台中市眷村的军人家庭,父亲为浙江省台州温岭人。阮经天
  • 沃尔特·霍沃思沃尔特·诺曼·霍沃思爵士,FRS(英语:Sir Walter Norman Haworth,1883年3月19日-1950年3月19日),英国化学家。因在碳水化合物和维生素上的研究,1937年获诺贝尔化学奖。该奖项是与瑞士
  • 吉尔伯特和埃利斯群岛吉尔伯特和埃利斯群岛(英语:Gilbert and Ellice Islands)自1892年起是英国的保护国,1916年起成为殖民地,直至1976年1月1日群岛分割为两个殖民地后不久独立为止。1974年12月举行了