帧内编码

✍ dations ◷ 2025-09-17 22:38:45 #帧内编码

高效率视频编码(HEVC)中的帧内编码(英语:Intra Coding,又称画面内编码)可以视为高阶视频编码(Advanced Video Coding,H.264/AVC)的扩展,因为他们都是利用空间上的取样预测来编码,而高效率视频编码的帧内编码包含以下基本元素:

此外,高效率视频编码中的帧内编码过程与帧间编码共享部分的处理步骤,包含转换(Transformation)、量化(Quantization)、熵编码(Entropy Coding)、降低区块的效应、取样自适应偏移(Sample Adaptive Offset)。

高阶视频编码的帧内编码是借由前一个解码影像区块且基于空间上的样本来推断,而高效率视频编码也沿用此准则,但是更进一步扩展至能够有效呈现更大范围的图像材质及结构的信息。高效率视频编码的帧内编码设计基于下列考量:

帧内编码使用的编码结构遵循边高效率视频编码的编解码器架构,图像会由编码树单元分割为数个(或不分割)编码单元、预测单元、转换单元,因为高效率视频编码包含上列提及的数种改善帧内编码的方式,因此可逐渐改变取样值使得不同方向的结构和区域更精准,而且借由参考样本的自适应平滑性和使直流(DC)、垂直、水平模式产生的预测边界样本平滑,可避免分区块编码所造成的边缘效应。

所有预测模式皆使用相同集合的参考样本(Reference Samples),而这些参考样本位于影像区块的左侧及上侧,在此定义参考样本为Rx,y,预测样本(Predicted samples)为Px,y,如图一所示。

位于图片或片(Slice)的边界或是被限制的编码单元边界,附近的参考样本可能无法使用,此时左边界的遗漏参考样本会由最近下面的参考样本产生,若是下边没有参考样本则使用上边的参考样本;相同地,上边界的遗漏参考样本会由最近左边的参考样本产生;若是没有任何参考样本可以使用,则所有样本被指定为比特深度的平均值。高效率视频编支持35种帧内预测模式,包含平面、直流、以及角度,帧内预测模式0为平面帧内预测,模式1为直流预测,模式2至34为角度预测模式,如图二所示。

高效率视频编码的角度帧内预测被设计成可以有效支持多种不同的方向结构,特别是针对影像及图片内容,会选择特定的帧内预测模式数量以及角度是为了在编码复杂度和编码效率中获取平衡,因此样本的预测程序会被设计成符合低运算量以及维持跨区块大小间及预测方向的一致性,也就是说可以最小化硬件实现上的芯片面积或是软件实践上的代码数量,以及更容易在不同环境下优化成高效率及高处理能力(Throughput)。在高效率视频编码中,共有4种有效的帧内预测区块大小-4×4至32×32,以及33种角度帧内预测模式,因此解码器必须支持132种区块大小和预测方向的组合。

对一般图片而言,垂直和水平的图形发生的频率会比其他方向的图形更高,这33种预测角度是根据观察而定义出优化精准度的集合,四分圆包含8个预测角度,如图二所示。对于垂直和水平的方向,有着小偏移参数可以提供垂直和水平图形更精确的预测,越靠近对角线,预测方向的偏移系数越大,对于使用频率较小的图形可以有效减少预测模式的密度。

高效率视频编码的帧内样本预测过程是由重建的参考样本以及固定方向推断,为了简化过程,根据选定的预测模式,在一个预测区块内的所有样本会被投影至单一的参考行或列,预测模式2至17会采用左边的参考行,预测模式18至34则会使用上方参考列。在一些情况下,被投影的像素位于负的座标轴上,此时参考的行或列会借由投影左边参考行至上方参考列或投影上方参考列至左边参考行来扩展,这样的方法只会造成压缩表现一点可被忽略的影响。图三描述扩展左边参考行至上方参考列。

假设每一预测样本Px,y由参考列投影而来,以及使用差值法得到1/32像素精准度,如下

Wy为两参考样本Ri,0和Ri+1,0的权重,>>代表比特向右位移,参考样本索引i和Wy借由投影位移d、选择的预测方向计算,而投影位移d范围是-32至32,&代表对每比特作按位与(AND)计算。

公式(1)和(2)定义在预测模式18至34如何获得预测样本值,而在预测模式2至17也是相同的推导方式,只要替换公式中的x和y。

当边缘出现时,虽然提供一有效的预测很重要,不是所有的图像内容会符合边缘模型(Edge Model),因此提供直流预测(DC Prediction)此一替换的模式,此模式致力于保持区块边界的连续性,其值为两线性预测的平均,如下:

高阶视频编码对于8×8的预测亮度区块采用三阶平滑滤波器(Three-tap Smoothing Filter),而高效率视频编码对于8×8及更大的预测亮度区块也采用相同的滤波器,第一个参考样本R0,2N和R2N,0不被过滤;对于32×32大小的区块,除了垂直和水平的所有角度模式皆使用一个过滤参考;在16×16大小的区块,这些不使用一个过滤参考的模式增加至4个模式(9、11、25、27),包含很接近水平和垂直的模式;此外,平滑滤波也使用在平面模式。根据选择的区块大小及预测方向采用参考样本平滑滤波,可以减少编码造成的边缘轮廓。

相关

  • Azelaic acid壬二酸是一种饱和二羧酸,化学式为HOOC(CH2)7COOH。在标准状态下,纯壬二酸呈白色粉末状。壬二酸自然存在于小麦、黑麦和大麦等榖物中。壬二酸可作为聚合物和增塑剂等化工产品的
  • 猪脚猪脚是指猪的脚部(蹄)和小腿,在广东称圆手,又叫元蹄、北方则将南方所称的“猪脚”细分为猪肘和猪蹄,在华人世界中,猪脚是猪常被人食用的部位之一,有多种不同的烹调作法。猪脚在台湾
  • 李博 (植物生态学家)李博(1929年4月15日-1998年5月21日),山东夏津县人,植物生态学家。1953年毕业于北京农业大学。担任内蒙古大学教授,1993年当选中国科学院生物学部院士。他是第九届全国人大代表、中
  • 1,2-二溴-3-氯丙烷1,2-二溴-3-氯丙烷(英语:1,2-Dibromo-3-chloropropane,简称:DBCP),是杀线虫剂(Nemagon,又称Fumazone)的活性成分。它是一种于以前美洲农业上使用的土壤熏蒸剂。在发现它对人类健康造
  • 西姆巴尔·什帕克西姆巴尔·什帕克 (约公元前1025年—约公元前1008年在位)(英语:Simbar-Shipak)巴比伦第五王朝首任国王。即第二海地王朝,继承那布·舒穆·里布尔之位。并全力支持宗教活动,但最后被
  • 种姓 (姓氏)种姓(读作虫,chóng)是中国少有的姓氏,出自仲姓,因避仇家而改姓。《通志·氏族略》载:“种,本仲氏,以避难改载仲为种,望出河南。”“种姓”的“种”不能写成“種”。
  • 雕龙记《雕龙记》是一部中国上海美术电影制片厂制作的木偶动画,根据欧小枚整理的白族民间故事改编。该片获得了罗马尼亚第二届布加勒斯特国际木偶电影节银质奖。黑龙潭里居住的一条
  • 小公主莎拉《小公主莎拉》,又译《莎拉公主》、《莎拉物语》;(小公女セーラ),为日本动画公司制作的〈世界名作剧场〉系列第11部的动画作品。改编自英国作家法兰西丝·霍森·柏纳特的作品《小
  • 船舶下水船舶下水(英语:ship launching)指的是将新建造的船舶离开造船厂、干坞转移到水中的过程。由于船舶的尺寸和重量,如何使其平稳下水是一项具难度的工程。下水过程亦伴随用于带来运气的传统,例如在船首打破一瓶香槟来祝福。
  • 阿史那昕阿史那昕(?-?),西突厥继往绝可汗,阿史那怀道之子。739年,唐朝碛西节度使盖嘉运率唐军助突骑施黄姓部落莫贺达干,消灭了黑姓二可汗——杀尔微特勤,俘吐火仙。740年,册拜是阿史那昕为十姓可汗,四月,又册拜了阿史那昕妻李氏为金河公主。莫贺达干大怒,声言“首诛苏禄,我之谋也。今立史昕,何以赏我?”于是率部叛唐。唐朝只是册立莫贺达干为突骑施一部可汗,而不是十姓可汗。742年四月,唐朝护送阿史那昕赴碎叶川西,至俱兰城受到莫贺达干攻击,阿史那昕被杀,西突厥阿史那王朝完全灭亡。