影像去背

✍ dations ◷ 2025-05-18 09:05:30 #影像科技

影像去背(英语:Image Matting),是指借由计算前景的颜色和透明度,将前景从影像中撷取出来的技术,可用于替换背景、影像合成、视觉特效,在电影工业中被广泛地使用。影像中的每个像素会有代表其前景透明度的值,称作阿法值(英语:Alpha),一张影像中所有阿法值的集合称作阿法遮罩(英语:Alpha Matte),将影像被遮罩所涵盖的部分取出即可完成前景的分离。

影像去背的主要工作就是求得精确的阿法遮罩,而影像常有无法人工标示的部分,例如:人的发丝或是动态模糊的部分,一种简单的解决方法是先人工标定出影像的“Trimap”,再由算法计算出阿法遮罩以完成影像去背。

阿法遮罩,是代表对于影像前景透明度的遮罩,大小和影像相同,遮罩中每个像素的值为相应的影像像素的阿法值(英语:Alpha)。阿法值为1代表该像素属于前景,0则代表该像素属于背景。阿法值也可能介于0,1之间,表示对应到的影像像素为半透明,例如烟雾、动态模糊。

一张影像的“Trimap”,是指将影像中的每个像素划分为三种区域:前景(英语: Foreground)、背景(英语:Background)和待确认(英语:Unknown)。算法会将标定好的前景和背景当成已知,再借由颜色等资讯将待确认区域中的像素标为前景或背景。

常见去背问题可分为单色去背(英语:Constant-color Matting)、差异去背(英语:Difference Matting)和自然影像去背(英语:Natural Image Matting)三种。

影像的背景为已知且为单一颜色,通常为较容易处理的蓝色或绿色。一般在拍摄电影,需要替换背景时,会在蓝幕或绿幕前拍摄,就是为了要将去背简化为最容易的单色去背,让后制的工作更容易且有效率。

影像的背景为已知但不是单色,可以先将相机固定,拍摄完已知的背景后,再拍摄加入人物的影像,把两影像相减后即可得到粗略的前景,故称之为差异去背。相减的方法虽然简单,但得出的前景再边界部分容易出错,可再借由算法进行优化。

影像的前景背景没有限制,是最一般化也最困难的去背问题。通常会由人工将影像标定为前景、背景和待确认三种区域,算法再由已知的前景、背景颜色,去推算待确认区域中的每个像素属于前景或是背景。

可大致分为两类:取样法(英语:Sampling-based)和传播法(英语:Propagation-based)。

取样法会对影像的局部区域取样,从已知资讯计算出该区域的阿法遮罩。常见的方法有贝式去背景法(英语:Bayesian Matting)。

传播法是指借由分析整张影像的特性,像是颜色、梯度等,来直接求得整张影像遮罩的方法。常见的方法有帕松去背景法(英语:Poisson Matting)、罗氏去背景法(英语:Robust Matting)等。

以贝氏几率模型计算最大后验概率,对前景、背景及阿法值同步进行优化,使用有向高斯共变异数(Oriented Gaussian Covariances)能有效的推估颜色的分布。贝氏去背的优点是几率模型简单又符合直觉,去背效果良好。其限制是需要良好的“Trimap”,当影像的前后景关系变得复杂时,贝氏去背的效果会显著下降。

帕松去背分为两步,一是从影像中算出遮罩近似的梯度场,二是借由解帕松等式(Poisson Equation),从遮罩的梯度场求得遮罩。当前景和背景颜色接近时,帕松去背容易出错,此时能够以更多的使用者输入,用区域的帕松去背来进行优化。

通常在有品质好的“Trimap”的情况下,取样法可以得到较好的遮罩;但在前后景关系复杂,“Trimap”品质不佳时,取样法的效果会迅速衰减。稳健性去背景法会先进行取样,得到遮罩后再进行优化,进而结合取样法和传播法的好处。

在实作上,可以借由增加观测资讯,让去背景变得更加容易。

在拍摄时,同时使用一般镜头和红外线镜头,借由红外线照片所得到的资讯,将同时拍摄的一般照片当中的人与背景分离。

在拍摄时,拍下使用闪光灯和没有使用闪光灯各一张,闪光灯会明显改变前景的亮度,但对背景的影响较小,借由分析有无闪光的两张照片,来完成影像去背。分析照片时能使用上述算法,如贝氏闪光去背(Joint Bayesian Flash Matting)。

相关

  • 头痛头痛,又叫头疼(英语:headache),是一种在头部、颈部或肩膊以上位置发生的局部疼痛。许多头部和颈部问题的症状都是头痛。头痛表现种类繁多,可能是偏头痛、紧缩型头痛(英语:tension-ty
  • 四环素四环霉素(英语:Tetracycline,/ˌtɛtrəˈsaɪkliːn/,INN),又称四环素,一种聚酮类广谱抗生素药物的泛称,这类药物由链霉菌属放线菌门细菌所产生,基本化学结构均由四个环接合而成,可用
  • 亥姆霍兹联合会亥姆霍兹联合会(Helmholtz-Gemeinschaft),全称“德国亥姆霍兹国家研究中心联合会”(Helmholtz-Gemeinschaft Deutscher Forschungszentren)是德国最大的科学研究机构,由17个各自独
  • 大魔域《大魔域》(The NeverEnding Story)是一部1984年英语奇幻电影,由德国导演沃尔夫冈·彼得森执导(也是他执导的第一部英语电影),剧情改编自米歇尔·恩德的小说《说不完的故事》。这
  • 北洋大臣北洋通商大臣,清咸丰十年(1860年),咸丰帝下诏设总理各国事务衙门,下设办理三口通商大臣,简称三口通商大臣及办理五口通商大臣,简称五口通商大臣,负责新设口岸的通商、关防及税收,并在
  • 塔拉瓦环礁塔拉瓦,是基里巴斯的一组环礁,英国殖民时期和吉尔伯特和埃利斯群岛的首都,当中南塔拉瓦是基里巴斯的首都。塔拉瓦环礁是以第二次世界大战的塔拉瓦战役而闻名。塔拉瓦环礁由24个
  • 朝鲜政府朝鲜民主主义人民共和国主题根据《朝鲜民主主义人民共和国宪法》的规定,内阁(1972-1998年称政务院)是朝鲜国家最高权力的行政执行机关,是总括性的国家管理机关。内阁由总理、副总
  • 远交衰退远交衰退(Outbreeding depression),又称杂种衰败、杂种衰退(Hybrid breakdown),是演化生物学中指不同种群之间的后代比同种群的后代有劣势的现象,与杂种优势相反。这是配子后生殖隔
  • 核酮糖-1,5-二磷酸核酮糖-1,5-二磷酸(英语:ribulose-1,5-bisphosphate,缩写RuBP)又称为1,5-二磷酸核酮糖、二磷酸核酮糖、双磷酸核酮糖,是在光合作用中的卡尔文循环里起重要作用的一种五碳糖。植物
  • 真空低温烹调法真空低温烹调法 (法语:Cuisine sous vide),又作低温慢煮法,在台湾又被称为舒肥法(为Sous vide的音译),是一种通过利用较低温度长时间加热的烹饪方法,目的是要带出原料(尤其是肉类)的最