核回归

✍ dations ◷ 2025-06-28 10:56:09 #核回归

核回归（又称局部加权线性回归）是统计学中用于估计随机变量的条件期望的非参数方法。目的是找到一对随机变量和之间的非线性关系。

在任何非参数回归中，变量的条件期望 ${displaystyle Y}$ 的联合分布和，

${displaystyle {hat {f}}(x,y)={frac {1}{n}}sum _{i=1}^{n}K_{h}left(x-x_{i}right)K_{h}left(y-y_{i}right)}$ ${displaystyle {hat {f}}(x,y)={frac {1}{n}}sum _{i=1}^{n}K_{h}left(x-x_{i}right)K_{h}left(y-y_{i}right)}$ , ${displaystyle {hat {f}}(x)={frac {1}{n}}sum _{i=1}^{n}K_{h}left(x-x_{i}right)}$ ${displaystyle {hat {f}}(x)={frac {1}{n}}sum _{i=1}^{n}K_{h}left(x-x_{i}right)}$ ,

我们得到

${displaystyle {begin{aligned}operatorname {hat {E}} (Y|X=x)&=int {frac {ysum _{i=1}^{n}K_{h}left(x-x_{i}right)K_{h}left(y-y_{i}right)}{sum _{j=1}^{n}K_{h}left(x-x_{j}right)}}dy,\&={frac {sum _{i=1}^{n}K_{h}left(x-x_{i}right)int y,K_{h}left(y-y_{i}right)dy}{sum _{j=1}^{n}K_{h}left(x-x_{j}right)}},\&={frac {sum _{i=1}^{n}K_{h}left(x-x_{i}right)y_{i}}{sum _{j=1}^{n}K_{h}left(x-x_{j}right)}},end{aligned}}}$ ${displaystyle {begin{aligned}operatorname {hat {E}} (Y|X=x)&=int {frac {ysum _{i=1}^{n}K_{h}left(x-x_{i}right)K_{h}left(y-y_{i}right)}{sum _{j=1}^{n}K_{h}left(x-x_{j}right)}}dy,\&={frac {sum _{i=1}^{n}K_{h}left(x-x_{i}right)int y,K_{h}left(y-y_{i}right)dy}{sum _{j=1}^{n}K_{h}left(x-x_{j}right)}},\&={frac {sum _{i=1}^{n}K_{h}left(x-x_{i}right)y_{i}}{sum _{j=1}^{n}K_{h}left(x-x_{j}right)}},end{aligned}}}$

这便是Nadaraya–Watson估计量。

${displaystyle {widehat {m}}_{PC}(x)=h^{-1}sum _{i=2}^{n}(x_{i}-x_{i-1})Kleft({frac {x-x_{i}}{h}}right)y_{i}}$ ${displaystyle {widehat {m}}_{PC}(x)=h^{-1}sum _{i=2}^{n}(x_{i}-x_{i-1})Kleft({frac {x-x_{i}}{h}}right)y_{i}}$

此处 ${displaystyle h}$ $h$ 为带宽（或平滑参数）。

${displaystyle {widehat {m}}_{GM}(x)=h^{-1}sum _{i=1}^{n}lefty_{i}}$ ${displaystyle {widehat {m}}_{GM}(x)=h^{-1}sum _{i=1}^{n}lefty_{i}}$

此处 ${displaystyle s_{i}={frac {x_{i-1}+x_{i}}{2}}}$ ${displaystyle s_{i}={frac {x_{i-1}+x_{i}}{2}}}$

此示例基于加拿大截面工资数据，该数据由1971年加拿大人口普查公用带中的随机样本组成，这些样本适用于受过普通教育的男性（13年级）。共有205个观测值。

右图显示了使用二阶高斯核以及渐近变化范围的估计回归函数

以下R语言命令使用npreg()函数提供最佳平滑效果并创建上面给出的图形。这些命令可以通过剪切和粘贴在命令提示符下输入。

 install.packages("np") library(np) # non parametric library data(cps71) attach(cps71) m <- npreg(logwage~age) plot(m,plot.errors.method="asymptotic",   plot.errors.style="band",   ylim=c(11,15.2)) points(age,logwage,cex=.25)

核回归

相关资料

相关