帧内编码

✍ dations ◷ 2025-11-30 05:38:47 #帧内编码

高效率视频编码(HEVC)中的帧内编码(英语:Intra Coding,又称画面内编码)可以视为高阶视频编码(Advanced Video Coding,H.264/AVC)的扩展,因为他们都是利用空间上的取样预测来编码,而高效率视频编码的帧内编码包含以下基本元素:

此外,高效率视频编码中的帧内编码过程与帧间编码共享部分的处理步骤,包含转换(Transformation)、量化(Quantization)、熵编码(Entropy Coding)、降低区块的效应、取样自适应偏移(Sample Adaptive Offset)。

高阶视频编码的帧内编码是借由前一个解码影像区块且基于空间上的样本来推断,而高效率视频编码也沿用此准则,但是更进一步扩展至能够有效呈现更大范围的图像材质及结构的信息。高效率视频编码的帧内编码设计基于下列考量:

帧内编码使用的编码结构遵循边高效率视频编码的编解码器架构,图像会由编码树单元分割为数个(或不分割)编码单元、预测单元、转换单元,因为高效率视频编码包含上列提及的数种改善帧内编码的方式,因此可逐渐改变取样值使得不同方向的结构和区域更精准,而且借由参考样本的自适应平滑性和使直流(DC)、垂直、水平模式产生的预测边界样本平滑,可避免分区块编码所造成的边缘效应。

所有预测模式皆使用相同集合的参考样本(Reference Samples),而这些参考样本位于影像区块的左侧及上侧,在此定义参考样本为Rx,y,预测样本(Predicted samples)为Px,y,如图一所示。

位于图片或片(Slice)的边界或是被限制的编码单元边界,附近的参考样本可能无法使用,此时左边界的遗漏参考样本会由最近下面的参考样本产生,若是下边没有参考样本则使用上边的参考样本;相同地,上边界的遗漏参考样本会由最近左边的参考样本产生;若是没有任何参考样本可以使用,则所有样本被指定为比特深度的平均值。高效率视频编支持35种帧内预测模式,包含平面、直流、以及角度,帧内预测模式0为平面帧内预测,模式1为直流预测,模式2至34为角度预测模式,如图二所示。

高效率视频编码的角度帧内预测被设计成可以有效支持多种不同的方向结构,特别是针对影像及图片内容,会选择特定的帧内预测模式数量以及角度是为了在编码复杂度和编码效率中获取平衡,因此样本的预测程序会被设计成符合低运算量以及维持跨区块大小间及预测方向的一致性,也就是说可以最小化硬件实现上的芯片面积或是软件实践上的代码数量,以及更容易在不同环境下优化成高效率及高处理能力(Throughput)。在高效率视频编码中,共有4种有效的帧内预测区块大小-4×4至32×32,以及33种角度帧内预测模式,因此解码器必须支持132种区块大小和预测方向的组合。

对一般图片而言,垂直和水平的图形发生的频率会比其他方向的图形更高,这33种预测角度是根据观察而定义出优化精准度的集合,四分圆包含8个预测角度,如图二所示。对于垂直和水平的方向,有着小偏移参数可以提供垂直和水平图形更精确的预测,越靠近对角线,预测方向的偏移系数越大,对于使用频率较小的图形可以有效减少预测模式的密度。

高效率视频编码的帧内样本预测过程是由重建的参考样本以及固定方向推断,为了简化过程,根据选定的预测模式,在一个预测区块内的所有样本会被投影至单一的参考行或列,预测模式2至17会采用左边的参考行,预测模式18至34则会使用上方参考列。在一些情况下,被投影的像素位于负的座标轴上,此时参考的行或列会借由投影左边参考行至上方参考列或投影上方参考列至左边参考行来扩展,这样的方法只会造成压缩表现一点可被忽略的影响。图三描述扩展左边参考行至上方参考列。

假设每一预测样本Px,y由参考列投影而来,以及使用差值法得到1/32像素精准度,如下

Wy为两参考样本Ri,0和Ri+1,0的权重,>>代表比特向右位移,参考样本索引i和Wy借由投影位移d、选择的预测方向计算,而投影位移d范围是-32至32,&代表对每比特作按位与(AND)计算。

公式(1)和(2)定义在预测模式18至34如何获得预测样本值,而在预测模式2至17也是相同的推导方式,只要替换公式中的x和y。

当边缘出现时,虽然提供一有效的预测很重要,不是所有的图像内容会符合边缘模型(Edge Model),因此提供直流预测(DC Prediction)此一替换的模式,此模式致力于保持区块边界的连续性,其值为两线性预测的平均,如下:

高阶视频编码对于8×8的预测亮度区块采用三阶平滑滤波器(Three-tap Smoothing Filter),而高效率视频编码对于8×8及更大的预测亮度区块也采用相同的滤波器,第一个参考样本R0,2N和R2N,0不被过滤;对于32×32大小的区块,除了垂直和水平的所有角度模式皆使用一个过滤参考;在16×16大小的区块,这些不使用一个过滤参考的模式增加至4个模式(9、11、25、27),包含很接近水平和垂直的模式;此外,平滑滤波也使用在平面模式。根据选择的区块大小及预测方向采用参考样本平滑滤波,可以减少编码造成的边缘轮廓。

相关

  • 前视人体解剖学方位是解剖学中用来描述人体器官的相对位置、以及运动方向的标准术语,以两手放在身体两侧且掌心面向前方的标准解剖姿势(英语:Standard anatomical position)为准。在
  • 小目亚目(suborder)是生物分类法中的一级,一般是界于目和科之间,但有时亚目和科之间会再分下目(又译作次目)。亚目的拉丁文名称较无固定的字尾。下目(infra-order),又译作次目是生物分类
  • 准线离心率又称偏心率,是指圆锥曲线上的一点到平面内一定点的距离与到不过此点的一定直线的距离之比。其中此定点称为焦点,而此定直线称为准线。设一圆锥曲线
  • 长白猪长白猪(Landrace pigs)也称蓝德瑞斯猪或蓝瑞斯猪,是家猪中著名的瘦肉型品种。长白猪因高产和高饲料利用率而著称,常用作杜长大(杜洛克×(长白×大白))杂交体系的母系猪。另外,也有农
  • 威廉·鲍威尔·弗里思威廉·鲍威尔·弗里思(William Powell Frith,1819年1月19日-1909年12月9日),英国维多利亚时代画家,擅长风俗画和叙述性全景画。1853年,他获选为皇家美术学院院士,在入会时,他提交了自
  • F·加里·格雷菲力克斯·加里·格雷(英语:Felix Gary Gray,1969年7月17日-),非洲裔美国电影导演、监制和MV导演。 代表作有《王牌对王牌》、《意大利工作室》、《冲出康普顿》和《速度与激情8》。他生于纽约市,1992年执导了首部MV "It Was a Good Day",1995年,执导了首部电影《星期五》。2015年,加里所执导的《冲出康普顿》获得了好评和优异的票房,电影在第88届奥斯卡金像奖上提名了最佳原创剧本;同年,范·迪塞尔宣布他成为了《速度与激情8》的导演。在此之前,加里曾在《意大利工作
  • 张伸瑛张伸瑛(韩语:장신영,1984年1月17日-),韩国女演员,名字曾被译作张申英。2001年,通过第71届全国春香小姐选拔大赛出道。2004年拍摄电影《当春天来到》时,在朋友介绍下认识经纪公司BOF理事魏承喆,2006年11月18日两人喜结连理。2007年生下儿子。2009年因为性格不合,张伸瑛于在首尔广津区东部地方法院申请协议离婚,三年婚姻告终,儿子抚养权归张伸瑛。2013年3月,张伸瑛通过电视剧《荆棘花》与同剧男演员姜景晙发展为恋人关系。两人于2018年5月25日举行非公开婚礼。2019年7月1日,据韩
  • 刘刚 (1965年2月)刘刚(1965年2月10日-),祖籍山东济宁,南开大学经济研究所所长,研究领域为现代企业理论、创新经济及创新政策。1989年获得安徽师范大学政治系法学学士学位。1989年至1994年,在淮北煤炭师范学院任教。1994年至2001年间,先后就读并获得华中师范大学经济学院硕士学位,中国人民大学经济学博士学位。2001至2003年,在南开大学经济学院从事理论经济学博士后研究,2003年至今,在南开大学经济研究所工作。著作:《后福特制:当代资本主义经济发展的新阶段》、《中国经济学30年》、《企业的异质性假设--对
  • 新年日 (泰勒·斯威夫特歌曲) 《新年日》(英语:)是美国创作歌手泰勒·斯威夫特的一首歌曲,收录于她的第6张录音室专辑《名誉》中。歌曲由斯威夫特和杰克·安东诺夫在安东诺夫的公寓共同创作及共同制作,其灵感源于斯威夫特在伦敦住所举办的一场跨年夜派对后的经历。歌曲于2017年11月9日首播,是一首仅有声乐、钢琴及吉他的歌曲,与《名誉》其他首歌的电子流行相反,其释出之后获得了主流乐评的好评。同年11月13日,斯威夫特在电视节目《吉米·法伦今夜秀》首次现场表演了这首歌曲。11月27日,歌曲在美国乡村电台发行,这是专辑第4支发行为单曲的歌曲。《新
  • 米罗斯拉夫·布拉热维奇米罗斯拉夫·布拉热维奇(克罗地亚语:Miroslav Blažević,1935年2月10日-),克罗地亚足球主教练,曾经率领克罗地亚国家队获得1998年法国世界杯季军,在中国执教时曾担任上海申花和中国国奥队主教练。布拉泽维奇出生于南斯拉夫王国特拉弗尼克(现属波黑)的一个克罗地亚族家庭。他的职业球员生涯成绩并不突出,后期都在瑞士效力,退役后也在瑞士开始自己的教练生涯,先后在沃韦FC(1968-71年)、锡永(1971-76年)和洛桑体育(1976-79年)等瑞士俱乐部执教。在1976年,他曾经做为瑞士国家