引导影像滤波器

在图像处理上，引导影像滤波器（英语：Guided Image Filter）是一种能使影像平滑化的非线性滤波器。

与双边滤波器（Bilateral Filter）相同，这个影像滤波器同样能够在清楚保持影像边界的情况下，达到让影像平滑的效果。

但不同于双边滤波器，引导影像滤波器有两个优点：首先，双边滤波器有非常大的计算复杂度，但引导影像滤波器因为并未用到过于复杂的数学计算，有线性的计算复杂度。再来，双边滤波器因为数学模型的缘故，在某些时候会发生梯度反转（gradient reverse）的状况，出现影像有损；而在引导影像滤波器，因为这个滤波器在数学上以线性组合为基础出发，输出图片（Output Image）必与引导图片（Guidance Image）的梯度方向一致，并不会出现梯度反转的问题。

为了达到将影像平滑化、即去除噪声的效果，首先定义输出的结果图片是输入图片减去噪声后的结果；同时，为了让输出的图片符合引导图片的影像边界，将输出图片定为引导图片的线性组合。

以下为引导影像滤波器的基础模型：

(1)　　${\displaystyle q_i=p_i-<!--\; -\; -->n_i}$

(2)　　${\displaystyle q_i=a{I}_i+b}$

在上述公式中，${\displaystyle q_i}$是第i个输出的像素，${\displaystyle p_i}$是第i个输入的像素，${\displaystyle n_i}$是第i个输入像素的噪声成分，${\displaystyle I_i}$是第i个引导图片的像素，${\displaystyle a,b}$则是用来衡量输入权重的参数。

定义为线性组合（Linear Combination）的原因在于，一对象的边界与其梯度（Gradient）相关，而在线性组合的定义下，输出图片之梯度必与引导图片之梯度成对比（微分时高幂次系数保留而常量项则被去除），故可以达到保留梯度的效果、保留影像边界的目的。

为了导出上述线性组合的参数，将(1)及(2)相减得到公式(3)；同时，定义一个代价方程式(cost function)(4)：

(3)　　${\displaystyle n_i=p_i-<!--\; -\; -->a{I}_i-<!--\; -\; -->b}$

(4)　　${\displaystyle E(a_k,b_k)=\underset{i\mathrm{ϵ<!--\; ϵ\; -->}{\mathrm{\omega <!--\; \omega \; -->}}_k}{\overset{}{\sum <!--\; \sum \; -->}}((a_k{I}_i+b_k-<!--\; -\; -->pi{)}^2+\mathrm{ϵ<!--\; ϵ\; -->}{a}_k^2)}$

在上式中， ${\displaystyle \mathrm{ϵ<!--\; ϵ\; -->}}$ 是一用来惩罚（penalize）过大的 ${\displaystyle a_k}$ 的参数， ${\displaystyle {\mathrm{\omega <!--\; \omega \; -->}}_k}$ 是以第 ${\displaystyle k}$ 个像素为中心点的窗格（window）。

在这个方程式中可以看到，希望同时让最终的输出图片做到让噪声减少以及让引导图片在输出图片的影响减小（引导图片的系数项）两件事，遂定义每个像素噪声和系数项的平方总合为最后须付出的价值项（cost）。并且，基于让价值项最小化的原则，可以将(4)以线性回归（linear regression）的方法找出它的线性模型，从而求得、使得出它的价值方程式有最小解的到以下两参数 ${\displaystyle a_k}$ 和 ${\displaystyle b_k}$：

(5)　　${\displaystyle a_k=\frac{\frac{1}{\mathrm{\omega <!--\; \omega \; -->}}\underset{i\mathrm{ϵ<!--\; ϵ\; -->}{\mathrm{\omega <!--\; \omega \; -->}}_k}{\sum <!--\; \sum \; -->}{I}_i{p}_i-<!--\; -\; -->{\mathrm{\mu <!--\; \mu \; -->}}_k\stackrel{¯<!--\; ¯\; -->}{p_k}}{{\mathrm{\sigma <!--\; \sigma \; -->}}_k^2+\mathrm{ϵ<!--\; ϵ\; -->}}}$

(6)　　${\displaystyle b_k=\stackrel{¯<!--\; ¯\; -->}{p_k}-<!--\; -\; -->a_k{\mathrm{\mu <!--\; \mu \; -->}}_k}$

在这里， ${\displaystyle {\mathrm{\mu <!--\; \mu \; -->}}_k}$ 和 ${\displaystyle {\mathrm{\sigma <!--\; \sigma \; -->}}_k^2}$ 分别是引导图片 ${\displaystyle I}$ 在窗格 ${\displaystyle {\mathrm{\omega <!--\; \omega \; -->}}_k}$ 的平均数（mean）和标准差（variance），而 ${\displaystyle {\stackrel{¯<!--\; ¯\; -->}{p}}_k=\frac{1}{\left|\mathrm{\omega <!--\; \omega \; -->}\right|}\underset{i\mathrm{ϵ<!--\; ϵ\; -->}{\mathrm{\omega <!--\; \omega \; -->}}_k}{\sum <!--\; \sum \; -->}{p}_i}$ 是在窗格 ${\displaystyle {\mathrm{\omega <!--\; \omega \; -->}}_i}$ 中像素的平均值；这两项系数，换句话说，即是一以输入图片为考虑计算权重之平均滤波器（weighted mean）。

依据上式，可以列出此滤波器之算法：

Algorithm 1. 引导图片滤波器

输入： 输入图片 ${\displaystyle p}$ ，引导图片 ${\displaystyle I}$ ，窗格半径 ${\displaystyle r}$ ，修正项 ${\displaystyle \mathrm{ϵ<!--\; ϵ\; -->}}$

输出： 输出图片 ${\displaystyle q}$

第一部分

${\displaystyle mea{n}_I}$ = ${\displaystyle f_{mean}(I)}$${\displaystyle mea{n}_p}$ = ${\displaystyle f_{mean}(p)}$${\displaystyle cor{r}_I}$ = ${\displaystyle f_{mean}(I.\ast <!--\; \ast \; -->I)}$${\displaystyle cor{r}_{Ip}}$ = ${\displaystyle f_{mean}(I.\ast <!--\; \ast \; -->p)}$

第二部分

${\displaystyle va{r}_I}$ = ${\displaystyle cor{r}_I-<!--\; -\; -->mea{n}_{I.}\ast <!--\; \ast \; -->mea{n}_I}$${\displaystyle co{v}_{Ip}}$ = ${\displaystyle cor{r}_{Ip}-<!--\; -\; -->mea{n}_{I.}\ast <!--\; \ast \; -->mea{n}_p}$

第三部分

${\displaystyle a}$ = ${\displaystyle co{v}_{Ip}./(va{r}_I+\mathrm{ϵ<!--\; ϵ\; -->})}$${\displaystyle b}$ = ${\displaystyle mea{n}_p-<!--\; -\; -->a.\ast <!--\; \ast \; -->mea{n}_I}$

第四部分

${\displaystyle mea{n}_a}$ = ${\displaystyle f_{maean}(a)}$${\displaystyle mea{n}_b}$ = ${\displaystyle f_{maean}(b)}$

第五部分

${\displaystyle q}$ = ${\displaystyle mea{n}_{a.}\ast <!--\; \ast \; -->I+mea{n}_b}$

/*${\displaystyle f_{mean}}$ 是一个有线性计算复杂度的平均滤波器（mean filter）*/

引导图片滤波器保留边界的特性，其实也可以被理解为是保留梯度的特性。由下图可以看到，可以将一张图分为细节图层和基底图层两层，基底图层的能量并无小幅度的升降，只有大幅度诸入梯度的能量升降；而细节图层，只有噪声式的小幅度能量升降。而引导图片滤波器所作的，其实就是将细节层和基底层分离并保留基底层，也就是保留梯度而去除噪声，达到平滑效果。

由引导图片滤波器的特性，可以延伸出除了原先的平滑化外的几项功能

当一影像图同时为输出图片和引导图片时，可知最终得到的会是以该图片的边界为依据的基底层和细节层；因此，若要加强依影像之细节，可以将细节层的能量放大n倍后再次叠加回基底层，以达到增强细节的效果。

无论是利用光场（light field）技术或是焦点合成（focal-stack）所制作的深度图（depth map），在出制作完成时往往都会有一些坑洞（holo）；而这时若使用引导影像滤波器，以原始影像为引导图片、以深度图为输入图片，便可得到一完整、无坑洞的深度图。