H.264

H.264,或称MPEG-4第十部分,是由ITU-T视讯编码专家组(VCEG)和ISO/IEC动态图像专家组(MPEG)联合组成的联合视讯组(JVT,Joint Video Team)提出的高度压缩数位视讯编解码器标准。

ITU-T的H.264标准和ISO/IEC MPEG-4第10部分(正式名称是ISO/IEC 14496-10)在编解码技术上是相同的,这种编解码技术也被称为AVC,即进阶视讯编码(Advanced Video Coding)。该标准第一版的最终草案已于2003年5月完成。

H.264是ITU-T以H.26x系列为名称命名的标准之一,同时AVC是ISO/IEC MPEG一方的称呼。这个标准通常被称之为H.264/AVC(或者AVC/H.264或者H.264/MPEG-4 AVC或MPEG-4/H.264 AVC)而明确的说明它两方面的开发者。该标准最早来自于ITU-T的称之为H.26L的项目的开发。H.26L这个名称虽然不太常见,但是一直被使用着。

有时候该标准也被称之为“JVT编解码器”,这是由于该标准是由JVT组织并开发的(作为两个机构合作开发同一个标准的事情并非空前,之前的视讯编码标准MPEG-2也是由MPEG和ITU-T两方合作开发的,因此MPEG-2在ITU-T的命名规范中被称之为H.262)。

H.264/AVC项目最初的目标是希望新的编解码器能够在比相对以前的视讯标准(比如MPEG-2或者H.263)低很多的位元率下(比如说,一半或者更少)提供很好的视讯质量;同时,并不增加很多复杂的编码工具,使得硬体难以实现。另外一个目标是可适应性,即该编解码器能够在一个很广的范围内使用(比如说,即包含高码率也包含低码率,以及不同的视讯解析度),并且能在各种网路和系统上(比如组播、DVD存储、RTP/IP包网路、ITU-T多媒体电话系统)工作。

JVT最近完成了一个对原标准的拓展,该拓展被称为高精度拓展(Fidelity Range Extensions,FRExt)。该拓展通过支援更高的像素精度(包括10位元和12位元像素精度)和支援更高的色度抽样率(包括YUV 4:2:2和YUV 4:4:4)来支援更高精度的视讯编码。该拓展加入了一些新的特性(比如自适应的4x4和8x8的整数变换,用户自定义量化加权矩阵,高效的影格间无失真编码,支援新增的色度空间和色度参差变换)。该拓展的设计于2004年7月完成,草案也于2004年9月完成。由于该标准的最早版本于2003年5月完成,JVT已经完成了一轮对标准的勘误工作,新一轮的勘误也已于最近完成并且得到了ITU-T的批准,不久也将被MPEG批准。

H.264/AVC包含了一系列新的特征,使得它比起以前的编解码器不但能够更有效的进行编码,还能在各种网路环境下的应用中使用。这些新特性包括:

  • 多参考影格的运动补偿。比起以前的视讯编码标准,H.264/AVC以更灵活的方式使用已编码的更多影格来作为参考影格。在某些情况下,可以使用最多32个参考影格(在以前的标准里面,参考影格的数目不是1就是对B影格来说的2)。该特性对大多数场景序列都可以带来一定的码率降低或者质量提高,对某些类型的场景序列,例如快速重复的闪光,反覆的剪下或者背景遮挡的情况,它能很显著的降低编码的码率。
  • 变块尺寸运动补偿。可使用最大16x16至最小4x4的块来进行运动估计与运动补偿,能够对图像序列中的运动区域进行更精确的分割。这些类型共有16×16、16×8、8×16、8×8、8×4、4×8、4×4。
  • 为了减少混叠(Aliasing)并得到更锐化的图像,采用六抽头的滤波器(六阶数位滤波器)来产生二分之一像素的亮度份量预测值。
  • 宏块对结构允许场模式中采用16x16的宏块(相对于MPEG-2中的16x8)。
  • 1/4像素精度的运动补偿能够提供更高精度的运动块预测,由于色度通常是亮度抽样的1/2(参见4:2:0),这时运动补偿的精度就达到了1/8像素精度。
  • 加权的运动预测,指在运动补偿时可以使用增加权重和偏移的办法。它能在一些特殊的场合,如淡入、淡出、淡出而后淡入等情况提供相当大的编码增益。
  • 使用了一个环内的除块效应滤波器,能够减轻普遍存在于其他基于离散余弦变换(DCT)的视讯编解码器的块效应。
  • 一个匹配的整数4x4变换(类似于离散余弦变换的设计),同样在高精度拓展中,采用整数8x8变换,并能在4x4变换和8x8变换中进行自适应的选择。
  • 在第一次4x4变换后,对DC系数(色度的DC系数和某种特殊状况的亮度DC系数)再进行一次Hadamard变换,使得在平滑区域得到更好的压缩效果。
  • 利用临近块的边界像素的Intra空间预测(比曾在MPEG-2视讯部分使用的直流系数预测和在H.263+和MPEG-4视讯部分使用的变换系数预测的效果要好)。
  • 基于上下文的二元算数编码(CABAC),它能够灵活的将各种语法元素,在已知相应上下文机率分布的状况下进行更有效的无损熵编码。
  • 基于上下文的变长编码(CAVLC),用于对量化后的变化系数进行编码。比起CABAC它的复杂度相对较低,压缩比不高,但是比起以前的视讯编码标准所使用的熵编码方案,它又是相当有效的。
  • 对既不是用CABAC也不是用CAVLC的语法元素,使用指数哥伦布码(Exponential-Golomb,Exp-Golomb)熵编码方案,进行编码。
  • 使用一个网路抽像层 (NAL),使得相同的视讯语法可以适用于多种网路环境中;并且使用了序列参数集(SPSs)和图像参数集(PPSs)来提供更高的强健性(robustness)和灵活性。
  • 切换条带(Switching slices,包括SP和SI两种),它使得编码器能够指令解码器跳转到一个正在处理的视讯码流,用来解决视讯码流码率切换和"窍门模式"(Trick mode)操作。当解码器利用SP/SI条带跳转到一个视讯码流中间时,除非之后的解码影格参照切换影格之前的图像作为参考影格,它都可以得到完全一致的解码重建图像。
  • 灵活的宏块排列模式(FMO for Flexible macroblock ordering,也被称为条带组slice groups技术)和任意条带排列(ASO for arbitrary slice ordering)模式,用来更改图像编码的最基本单位-宏块的编码顺序。它能够用来提高有绕信道下码流的强韧性(robustness)以及一些其它的目的。
  • 数据分区(DP for Data partitioning),能够将重要程度不同的语法元素分开打包传输,并使用非平等数据保护(UEP for unequal error protection)等技术来改善视讯码流对抗信道误码/丢包的强韧性(Robustness).
  • 冗余条带(RS for Redundant Slices),同样是一个提高码流鲁棒性的技术。编码器利用该技术可以发送图像某区域(或者全部)的另一个编码表示(通常是较低解析度的编码码流)使得当主表示发生错误或者丢失的时候能够用冗余的第二个编码表示来解码。
  • 使用了一个自动的位元组码流打包方法,避免了码流中出现与开始码重复的码字。开始码是码流中用于随机访问和重建同步的码字。
  • 补充增强资讯(SEI for Supplemental Enhancement Information)和视讯可用资讯(VUI for Video Usability Information)增加了向视讯码流中加入资讯的办法,为各种应用提供了用途。
  • 辅助图层(Auxiliary pictures),可以用来实现某些特殊的功能,例如alpha复合(alpha compositing)。
  • 影格编号,使用该功能支援创建一个视讯序列的子序列,可用来支援实现时域的可伸缩性,还支援对丢失的整影格图像进行检测和隐藏(丢失可能是由于网路丢包或者信道误码造成的)。
  • 图像顺序计数,使用该功能使得各影格图像的顺序和解码图像的像素值与时间资讯无关,即使用一个单独的系统对时间资讯进行传输、控制、更改,从而不影响解码图像的像素值。

上述这些技术,与其它技术的结合,使得H.264比起以前的视讯编解码能够带来效能上显著的提高,并在各种不同的环境下达成更广泛的应用。H.264在压缩效能上比起MPEG-2有很大的提高,在相同的图像质量下可以,码率可以减少到一半或者更少。

和MPEG的其它视讯标准一样,H.264/AVC也提供了一个参考软件,并可以免费下载。它的主要目的是提供一个演示H.264/AVC各种功能的演示平台,而不是作为一个直接的应用平台。目前在MPEG也同时在进行一些硬体参考设计的实现。

和MPEG-2第一部分、第二部分,MPEG-4第二部分一样,使用H.264/AVC的产品制造商和服务提供商需要向他们的产品所使用的专利的持有者支付专利许可费用。这些专利许可的主要来源是一家称为MPEG-LA LLC的私有组织,该组织和MPEG标准化组织没有任何关联, 但是该组织也管理着MPEG-2第一部分系统、第二部分视讯、MPEG-4第二部分视讯和其它一些技术的专利许可。

其他的专利许可则需要向另一家称为VIA Licensing的私有组织申请,这家公司另外也管理偏向音讯压缩的标准如MPEG-2 AAC及MPEG-4 Audio的专利许可。


無線網路規劃建議

回答與建議

硬碟長壽十五招

回答與建議

關於影像分析的十件事

回答與建議

蓝眼知识学院

蕴藏许多助人的知识与智慧。

关注蓝眼知识学院