编码标准的分层结构#xff1a;为了适应不同网络和应用需求#xff0c;视频编码数据根据其内容特性被分成若干NAL单元#xff08;NAL

视频数据分层的必要性网络类型的多样性、不同的应用场景对视频有不同的需求。

编码标准的分层结构为了适应不同网络和应用需求视频编码数据根据其内容特性被分成若干NAL单元NAL

UnitNALU并对NALU的内容特性进行标识。

网络只需要根据NALU及其标识就可以优化视频传输性能不再需要亲自分析视频数据的内容特性。

如下图就是典型的分层结构。

原始图像经过编码VCL后每幅图像变成难以理解的码流片段每个码流片段内的数据不再具有类似像素表示的形式。

NAL根据压缩视频码流的内容特性将其划分成多个数据段对每个数据段进行分装并对内容特性进行标识就生成了NALU将内容特性信息存放在NALU头信息中。

网络适配层单元

语法元素编码方式解释nal_umit_header(){––forbidden_zero_bitf(1)值设置为0nuh_reserved_zero_bitu(1)值设置为0,1预留待未来使用nuh_layer_idu(6)表示NALU对应的层标识号取值范围0~55该值在一幅编码图像内的所有VCL

NALU应该相同nal_unit_typeu(5)表示NALU的类型即NAL单元中包含的RBSP语法结构的类型共5比特分为VCL和non-VCL两类取值0~31nuh_temporal_id_plus1u(3)NALU所在的时域层的标识号}–

在视频编码过程中输出包含不同内容的压缩数据比特流片段这些比特流片段称为SODBString

Data

BitsSODB为最高有效位在左的存储形式即字节内的比特按照从左到右、从高到低

的顺序排列在SODB后添加RBSP尾rbsp_trailing_bits就生成了RBSPRBSP尾由称为RBSP停止比特的一比特1和其后的零比特或多比特0组成。

RBSP

RBSP不能直接作为NALU的载荷因为在字节流应用环境中0x000001为NALU的起始码0x000000为结束码。

因此为了避免NALU载荷中的字节流片段与NALU的都起始码、结束码冲突需要对RBSP字节流进行冲突避免处理。

H266使用了图像单元PU和接入单元AU的概念每个AU包含同一时刻的一个或多个PU每个PU包含且仅包含一幅完整图像的编码数据每个图像编码数据包含一个或多个Slice

NALU即VCL

一个比特流包含一个或多个编码视频序列CVS从时间维度看一个CVS包含一个或多个AU从层级维度看一个CVS包含一个或多个编码层视频序列CLVS。

一个AU包含一个或多个按照nuh_layer_id升序排列的PU。

在一个AU中最多可以包含一个AU界定符AU

Delimiter

NALU时其应该为AU的第一个NALU同时也是AU内第一个PU的第一个NALU。

一个PU由零个或一个PH

要求对NALU的边界进行标识以保证解码端可以对NALU进行识别。

在每个NALU前面插入3字节的起始码start_code_prefix_one_3bytes其对应的值为0x000001。

其语法结构如下。

分组流应用

视频分组流是网络传输的一种有效方式当视频NALU作为网络分组的载荷在网络中传输时不同的网络分组因承载不同特性的NALU而具有不同的重要性网络可以根据分组重要性优化视频流的服务质量。

基于RTP/UDP/IP的实时业务采用典型的分组流传输方式。

RTP分组由RTP头和RTP载荷前后两部分组成其RTP头的结构如下图。

RTP分组的类型有单NALU分组一个分组只承载一个NALU、聚合分组一个分组承载多个NALU、分片分组一个分组只承载一个NALU的一部分。

JVET输出文档

https://www.itu.int/wftp3/av-arch/jvet-site/

霍俊彦

本系列博客主要是对《新一代通用视频编码H266/VVC原理、标准与实现》的学习笔记。