空间布局|编解码方法及设备技术

本发明专利技术提供了一种应用于视频处理领域的解码方法，包括接收二维全景图像的编码码流，确定二维全景图像适用的空间布局格式解析二维全景图像的编码码流，判断二维全景图像的各个子图的空间位置关系是否为适用空间布局格式下的默认空间位置关系；如果在适用的空间布局格式下，所有二维全景图像的每个子图像的空间位置关系为默认空间位置关系，则按照适用的二维全景图像的编码码流进行解码空间布局格式和默认空间位置关系。

下载所有详细的技术数据

【技术实现步骤总结】

编解码方法及装置

本专利技术涉及视频编解码压缩领域，尤其涉及一种适用于全景图像编解码的编解码方法及装置。

技术介绍

数字视频功能可以集成到各种设备中，包括数字电视、数字直播系统、无线广播系统、个人数字助理 (PDA)、笔记本电脑或台式电脑、平板电脑、电子书阅读器相机、数码相机、数字记录设备、数字媒体播放器、视频游戏设备、视频游戏控制台、蜂窝或卫星无线电话、视频会议设备、视频流设备等。数字视频设备实施视频压缩技术，例如 MPEG-2、MPEG-4、ITU-TH.263、ITU-TH.264/MPEG-4 Part 10 高级视频编解码器所描述的技术(AVC)，由 ITU-TH.265 高效视频编解码器 (HEVC) 标准定义的标准，以及标准扩展中描述的那些视频压缩技术，以更有效地传输和接收数字视频信息。通过实施这些视频编解码器技术，视频设备可以更有效地发送、接收、编码、解码和/或存储数字视频信息。在视频编解码领域，帧的概念是指一幅完整的图像，将逐帧图像按照一定的顺序和帧率形成视频格式后即可播放。当帧率达到一定速度时，两帧之间的间隔小于人眼的分辨率极限，在动态出现在屏幕上之前会出现短暂的视觉停顿。视频文件压缩的​​基础是单帧数字图像的压缩编码。数字化图像中存在大量重复的表示信息，称为冗余信息。

在一帧图像中往往有很多地方具有相同或相似的空间结构。例如，同一物体或背景中采样点的颜色大多密切相关和相似。在多帧图像组中，一帧图像基本上与其上一帧或下一帧具有巨大的相关性，描述信息的像素值差异很小。这些都是可以压缩的部分。同理，视频文件不仅具有空间冗余信息，而且还包含大量的时间冗余信息，这是由视频的构图结构造成的。例如，视频采样的帧率一般为25帧/秒到30帧/秒，特殊情况下可能会出现60帧/秒。即相邻两帧之间的采样时间间隔至少为1/30秒到1/25秒。在这么短的时间内，采样图像中基本存在大量相似信息，图像之间存在巨大的相关性。然而，在原有的数字视频录像系统中，记录是独立的，没有考虑和利用这些连贯相似的特性，从而导致了大量的冗余数据。此外，研究表明，从人眼视觉敏感的心理特征来看，还有一部分视频信息可以进行压缩，即视觉冗余。所谓视觉冗余是指人眼对亮度的变化比较敏感，而对色度的变化相对不敏感，以适当压缩视频码流。在高亮度区域，人类视觉对亮度变化的敏感度呈下降趋势，对物体边缘更加敏感，内部区域相对不敏感；对整体结构比较敏感，对内部细节变化相对不敏感。

由于视频图像信息的最终服务对象是我们人类群体，我们可以充分利用人眼的这些特性来压缩原始视频图像信息，以达到更好的压缩效果。除了上面提到的空间冗余、时间冗余和视觉冗余之外，视频图像信息中还会存在信息熵冗余、结构冗余、知识冗余、重要性冗余等信息的一系列冗余。视频压缩编码的目的是利用各种技术方法去除视频序列中的冗余信息，从而达到减少存储空间、节省传输带宽的效果。就目前的技术发展而言，视频压缩处理技术主要包括帧内预测、帧间预测、变换量化、熵编码、去块滤波处理等。在国际范围内，现有的视频压缩编码标准中主要有四种主要的压缩编码方式：色度采样、预测编码、变换编码和量化编码。色度采样：该方法充分利用人眼的视觉心理特征，从底层数据表示中尽量减少单个元素所描述的数据量。在大多数电视系统中，使用亮度-色度-色度 (YUV) 颜色编码，这是欧洲电视系统中广泛使用的标准。 YUV色彩空间包括一个亮度信号Y和两个色差信号U和V，三个分量相互独立。 YUV颜色模式相互分离的表示更灵活，传输占用带宽更小，相对于传统的红绿蓝（RGB）颜色模型具有优势。例如YUV4:2:0的形式表示U和V这两个色度分量在水平和垂直方向上只有亮度Y分量的一半，即4个采样像素中有4个亮度分量Y空间布局，色度分量U和V只有一个。

这样表达时，数据量进一步减少，只有原来的33%左右。利用人眼的生理视觉特性，这种通过色度采样来达到视频压缩目的的方法是目前应用最广泛的视频数据压缩方法之一。预测编码：即利用之前编码帧的数据信息来预测当前要编码的帧。通过预测得到一个预测值，它与实际值并不完全等价，两者之间存在一定的残差。如果预测更合适，预测值会更接近实际值，残差值会更小。这样，对残差值进行编码可以大大减少数据量。在解码端解码时，将使用残差值加上预测值。恢复和重建原始图像是预测编码的基本思想。在主流编码标准中，预测编码分为两种基本类型：帧内预测和帧间预测。变换编码：它不直接对原始空间域信息进行编码，而是将当前域的信息样本值按照某种形式的变换函数转换到另一个人为定义的域（通常称为变换域），然后进行压缩编码根据变换域中信息的分布特征进行。进行变换编码的原因是视频图像数据在空间域往往存在较大的数据相关性，导致存在大量冗余信息，直接编码需要大量的比特。在变换域，数据相关性大大降低，减少了编码的冗余信息，编码所需的数据量也大大减少，从而可以获得更高的压缩比，可以得到更好的压缩效果达到。 典型的变换码包括卡洛（K-L）变换、傅里叶变换等。

整数离散余弦变换（DCT）是许多国际标准中常用的变换编码方法。量化编码：上面提到的变换编码实际上并不压缩数据本身。量化过程是压缩数据的有力手段，也是有损压缩中数据“丢失”的主要原因。量化的过程就是将动态范围较大的输入值强行规划成较少输出值的过程。因为量化后的输入值范围大，表示需要更多的bits，而“强制规划”后的输出值范围小，所以只能表示少量bits。每个量化的输入被归一化为一个量化的输出，即量化为数量级，通常称为量化级别（通常由编码器指定）。在基于混合编码架构的编码算法中，结合使用上述压缩编码方式，编码器控制模块根据视频帧中不同图像块的局部特性，选择图像块采用的编码方式。对帧内预测编码块进行频域或空间域预测，对帧间预测编码块进行运动补偿预测，然后对预测的残差进行变换量化，形成残差系数，最后通过熵编码器。流动。为了避免预测误差的累积，在编码端通过解码模块得到帧内或帧间预测的参考信号。将变换和量化后的残差系数进行反量化和反变换以重构残差信号，然后与预测参考信号相加得到重构图像。环路滤波将对重建图像进行像素校正，以提高重建图像的编码质量。在上述基本编码技术和编码框架下空间布局，衍生出多种针对不同场景的编码技术，如全景编码()技术，可以将360度全方位的视觉信息在三维空间中进行编码并传输到接收者。接收端对接收到的编码数据进行解码，然后通过专用显示设备再现360度全方位视觉内容，为用户提供身临其境的视觉体验。该技术的应用推动了一系列虚拟现实（VR）产品的生产和应用，如、、、、等，并迅速普及。相应地，对编码技术提出了更高的要求。

技术实现思路

专利技术提供了一种可以提高编解码效率的编解码方法。该编解码方法适用于对二维全景图像进行编码，尤其是当二维全景图像中包含多个子图像，且多个子图像的空间位置关系对图像的空间位置关系有很大影响的情况下。整体编码效率

【技术保护点】

一种解码方法，包括：接收二维全景图像的编码码流，确定二维全景图像的适用空间布局格式；解析二维全景图像的编码码流，得到确定二维全景图像的每个子图像的空间位置关系是否为适用的空间布局格式下的默认空间位置关系；如果在适用的空间布局格式下，二维全景图像的每个子图像如果子图像的空间位置关系是默认的空间位置关系，则根据二维全景图像的编码码流进行解码到适用的空间布局格式和默认的空间位置关系。

【技术特点总结】

1.一种解码方法，其特征在于，包括：接收二维全景图像的编码码流，确定二维全景图像适用的空间布局格式；对码流进行编码，判断二维全景图像的各个子图像的空间位置关系是否为适用的空间布局格式下的默认空间位置关系；如果在适用的空间布局格式下，这两个如果3D全景图像的每个子图像的空间位置关系是默认的空间位置关系，则按照适用的空间布局格式对2D全景图像的编码码流进行解码以及默认的空间位置关系。 2.根据权利要求1所述的解码方法，其特征在于：分析二维全景图像的编码码流，判断在适用的空间布局格式下，二维全景图像是否存在空间位置关系每个子图像的位置关系为默认空间位置关系，包括：解析二维全景图像的编码码流，获取默认空间位置关系指示标记，当默认空间位置关系指示标记为第一个时的值设置，则确定在适用的空间布局格式中，二维全景图像的各个子图像的空间位置关系为默认空间位置关系。 3.根据权利要求1或2所述的解码方法，其特征在于，所述确定二维全景图像适用的空间布局格式包括：解析二维全景图像的编码码流，得到宽度和二维全景图像的高度，根据二维全景图像的纵横比和预设的纵横比与空间布局格式对应表确定二维全景图像适用的空间布局格式或者解析二维全景图像的编码码流，得到二维全景图像适用的空间布局格式索引，根据空间大小确定二维全景图像适用的空间布局格式。布局格式索引。

4.根据权利要求1至3任一项所述的解码方法，其特征在于，所述默认空间位置关系包括多个不同的默认空间位置关系，如果在适用的空间布局格式中，则对应于所述空间位置关系。二维全景图像的每个子图像的空间位置关系是默认的空间位置关系，解码二维全景图像的编码码流包括：如果在适用的空间布局格式中，每个子图像的空间位置关系二维全景图像的图像为默认空间位置关系，解析二维全景图像码流编码得到默认空间位置关系的索引，以及两者的每个子图像的默认索引根据默认的sp从多个默认的空间位置关系中得到索引对应的-维全景图位置关系指数。根据适用的空间布局格式和默认的空间位置关系对二维全景图像的空间位置关系进行解码。 5.根据权利要求1、2或4所述的解码方法，其特征在于： 所述确定二维全景图像适用的空间布局格式包括： 解析二维全景图像，判断是否适用二维全景图像的空间布局格式为默认的空间布局格式；相应地，判断二维全景图像在适用的空间布局格式下的各个子图的空间位置关系是否为默认空间位置关系包括：判断二维全景图像的空间布局格式是否为默认空间位置关系。根据二维全景图像适用的空间布局格式是否为默认空间布局格式，二维全景图为默认空间布局格式。在空间布局格式中，二维全景图像的每个子图像的空间位置关系为默认空间位置关系。

6.根据权利要求5所述的解码方法，其特征在于：所述分析二维全景图像的编码码流，判断应用二维全景图像的空间布局格式是否为默认空间布局格式，包括：解析二维全景图像的编码码流，获取默认空间布局格式指示符，确定默认空间布局格式指示符何时为第一个值。二维全景图像适用的空间布局格式为默认空间布局格式。 7.根据权利要求1、2、4或5所述的解码方法，其特征在于：所述确定二维全景图像适用的空间布局格式，包括：解析编码二维全景图像的码流，用于判断二维全景图像适用的空间布局格式是否为默认空间布局格式；图像的各个子图像的空间位置关系是否为默认空间位置关系包括：当二维全景图像适用的空间布局格式不是默认空间布局格式时，确定在适用的空间布局格式下, all 二维全景图像的每个子图像的空间位置关系是否为默认空间位置关系。 8.根据权利要求1至7任一项所述的解码方法，其特征在于，所述全景图像的各个子图像的空间位置关系包括所述全景图像的各个子图像的排列顺序，或者旋转角度。全景图像的每个子图像，或者全景图像的每个子图像的排列顺序和旋转角度。

9.一种编码方法，其特征在于，包括：确定待编码的二维全景图像的适用空间布局格式和适用空间布局格式的二维全景图像的空间位置关系图像的每个子图像；判断二维全景图像在适用的空间布局格式下的各个子图的空间位置关系是否与在适用的空间布局格式下的默认空间位置关系相同；当适用的空间布局格式下的二维全景图像的各个子图像的空间位置关系与适用的空间布局格式下的默认空间位置关系相同时，编码用于 . ..

【专利技术属性】

技术研发人员：马翔、杨海涛、

申请人（专利权）：华为技术有限公司，

类型：发明

国家省市：广东，44

下载所有详细的技术数据我是该专利的所有者