1.本发明实施方案中的至少一个实施方案整体涉及一种用于视频编码或解码的方法或设备，并且更具体地涉及一种用于获得图片块的残差编码模式的方法和设备。
背景技术：2.一个或多个具体实施的技术领域整体涉及视频压缩。与现有的视频压缩系统诸如hevc(hevc是指高效视频编码，也称为h.265和mpeg-h第2部分，其在“itu-t h.265国际电联电信标准化部门(10/2014)，h系列：视听和多媒体系统，视听服务基础设施-移动视频的编码，高效视频编码，itu-t h.265建议书”中进行描述)相比，或者与开发中的视频压缩系统诸如vvc(通用视频编码，由联合视频专家小组(jvet)开发的新标准)相比，至少一些实施方案涉及改进压缩效率。
3.为了实现高压缩效率，图像和视频编码方案通常采用包括运动向量预测在内的预测以及变换来利用视频内容中的空间和时间冗余。一般来讲，帧内或帧间预测用于利用帧内或帧间相关性，然后对在原始图像与预测图像之间的差值(通常表示为预测错误或预测残差)进行变换、量化和熵编码。为了重构视频，通过对应于熵编码、量化、变换和预测的逆过程对压缩数据进行解码。
4.在hevc和vvc中使用的编码工具中，如果变换不提供编码益处，则变换跳过(trskip)允许编码器绕过变换阶段。根据一个示例，在残差统计信息不符合变换特性的情况下，绕过变换对于屏幕内容而言是有用的。根据另一示例，还针对无损编码绕过变换，因为变换(和量化)导致有损编码模式。此外，与hevc相比，vvc引入了一种用于对由变换跳过产生的残差进行编码的新模式。换句话说，针对常规块和变换跳过块，对残差系数进行不同地编码。期望在内容的不同可能编码模式方面优化变换跳过编码的高级语法(hls)。
技术实现要素：5.本发明的目的是克服现有技术的缺点中的至少一个缺点。为此目的，根据至少一个实施方案的一般方面，提出了一种方法。该方法包括：对指示比特流中是否存在变换跳过数据的语法元素进行解码；响应于存在变换跳过数据，对与图片块的残差编码模式有关的至少一个语法数据元素进行解码，其中残差编码模式是常规残差编码模式或变换跳过残差编码模式中的一者。
6.根据至少一个实施方案的另一个一般方面，提出了一种方法。该方法包括：对指示比特流中是否存在变换跳过数据的语法元素进行编码；响应于存在变换跳过数据，对与图片块的残差编码模式有关的至少一个语法数据元素进行编码，其中残差编码模式是常规残差编码模式或变换跳过残差编码模式中的一者。
7.根据至少一个实施方案的另一个一般方面，提出了一种设备。该设备包括一个或多个处理器，其中一个或多个处理器被配置为对指示比特流中是否存在变换跳过数据的语法元素进行解码；响应于存在变换跳过数据，对与图片块的残差编码模式有关的至少一个
语法数据元素进行解码，其中残差编码模式是常规残差编码模式或变换跳过残差编码模式中的一者。
8.根据至少一个实施方案的另一个一般方面，提出了一种设备。该设备包括一个或多个处理器，其中一个或多个处理器被配置用于对指示比特流中是否存在变换跳过数据的语法元素进行编码；响应于存在变换跳过数据，对与图片块的残差编码模式有关的至少一个语法数据元素进行编码；其中残差编码模式是常规残差编码模式或变换跳过残差编码模式中的一者。
9.根据至少一个实施方案的另一个一般方面，呈现了一种用于编码的方法。编码方法包括：获得图片块的残差编码模式，其中残差编码模式是常规残差编码模式(rrc)或变换跳过残差编码模式(tsrc)中的一者；根据获得的残差编码模式对图片块进行编码。根据特定特性，获得块的残差编码模式包括当变换跳过被启用时，对与图片块的残差编码模式有关的至少一个语法数据元素进行编码。根据另一特定特性，获得块的残差编码模式包括当变换跳过被禁用时，将残差编码模式设置为常规残差编码模式(rrc)。有利地，当变换跳过被禁用时，不对常规残差编码模式(rrc)或变换跳过残差编码模式(tsrc)进行编码。
10.根据至少一个实施方案的另一个一般方面，呈现了一种用于解码的方法。解码方法包括：获得图片块的残差编码模式，其中残差编码模式是常规残差编码模式(rrc)或变换跳过残差编码模式(tsrc)中的一者；根据获得的残差编码模式对图片块进行解码。根据特定特性，获得块的残差编码模式包括当变换跳过被启用时，对与图片块的残差编码模式有关的至少一个语法数据元素进行解码。根据另一特定特性，获得块的残差编码模式包括当变换跳过被禁用时，将残差编码模式设置为常规残差编码模式(rrc)。对于编码方法，当变换跳过被禁用时，对常规残差编码模式(rrc)或变换跳过残差编码模式(tsrc)进行隐式解码。
11.根据至少一个实施方案的另一个一般方面，提出了一种用于编码的设备，该设备包括用于实现编码方法的实施方案中的任一实施方案的装置。
12.根据至少一个实施方案的另一个一般方面，提出了一种用于解码的设备，该设备包括用于实现解码方法的实施方案中的任一实施方案的装置。
13.根据至少一个实施方案的另一个一般方面，提供了一种用于编码的设备，该设备包括一个或多个处理器和至少一个存储器。一个或多个处理器被配置为实现编码方法的实施方案中的任一实施方案。
14.根据至少一个实施方案的另一个一般方面，提供了一种用于解码的设备，该设备包括一个或多个处理器和至少一个存储器。一个或多个处理器被配置为实现解码方法的实施方案中的任一实施方案。
15.根据至少一个实施方案的另一个一般方面，对至少一个语法数据元素进行编码或解码，其中至少一个语法数据元素涉及启用对图片的至少一个区域的变换跳过；并且当将帧内子分区划分类型设置为no_split时，根据获得的残差编码模式对图片块进行编码或解码。
16.根据至少一个实施方案的另一个一般方面，对至少一个语法数据元素进行编码或解码，其中至少一个语法数据元素涉及当帧内子分区(isp)被启用并且变换跳过被启用时启用对图片的至少一个区域的变换跳过。根据至少一个实施方案的另一个一般方面，在序
列参数集(sps)中发信号通知当帧内子分区(isp)被启用并且变换跳过被启用时启用对图片的至少一个区域的变换跳过的至少一个高级语法元素。
17.根据至少一个实施方案的另一个一般方面，对至少一个语法数据元素进行编码或解码，其中至少一个语法数据元素涉及启用对图片的至少一个区域的变换跳过；并且当针对isp启用变换跳过并将帧内子分区划分类型设置为no_split时，根据获得的残差编码模式对图片块进行编码或解码。
18.根据至少一个实施方案的另一个一般方面，当针对isp启用变换跳过并将帧内子分区划分类型设置为no_split时，根据获得的残差编码模式对图片块进行编码或解码。
19.根据至少一个实施方案的另一个一般方面，对至少一个语法数据元素进行编码或解码，其中一个语法数据元素涉及启用变换跳过编码模式(trskip)的约束，并且一个语法数据元素涉及当该约束启用变换跳过编码模式(trskip)时定义启用变换跳过残差编码模式(tsrc)的约束。
20.根据至少一个实施方案的另一个一般方面，对至少一个语法数据元素进行编码或解码，其中至少一个语法数据元素涉及定义启用变换跳过残差编码模式(tsrc)的约束。
21.根据至少一个实施方案的另一个一般方面，对至少一个语法数据元素进行编码或解码，其中至少一个语法数据元素涉及启用对图片的至少一个区域的变换跳过残差编码；并且其中获得残差编码模式进一步包括当变换跳过残差编码被启用时，对与图片块的残差编码模式有关的至少一个语法数据元素进行解码。根据至少一个实施方案的另一个一般方面，在序列参数集(sps)中发信号通知与启用图片的至少一个区域的变换跳过残差编码有关的至少一个语法数据元素。
22.根据至少一个实施方案的另一个一般方面，提出了包含根据前述描述中任一项所述的方法或设备生成的数据内容的非暂态计算机可读介质。
23.根据至少一个实施方案的另一个一般方面，提供了一种信号，该信号包括根据前述描述中任一项所述的方法或设备生成的视频数据。
24.本发明实施方案中的一个或多个实施方案还提供一种计算机可读存储介质，该计算机可读存储介质具有存储在其上的用于根据上述方法中的任一种方法对视频数据进行编码或解码的指令。本发明实施方案还提供了一种计算机可读存储介质，该计算机可读存储介质具有存储在其上的根据上述方法生成的比特流。本发明实施方案还提供了一种用于发射根据上述方法生成的比特流的方法和设备。本发明实施方案还提供了一种计算机程序产品，该计算机程序产品包括用于执行所述方法中任一种的指令。
附图说明
25.图1a示出了根据至少一个实施方案的一般方面的解码方法的示例；
26.图1b示出了根据至少一个实施方案的一般方面的解码方法的另一个示例；
27.图1c示出了根据至少一个实施方案的一般方面的解码方法的另一个示例；
28.图2示出了根据至少一个实施方案的一般方面的编码方法的示例；
29.图3示出了可实现实施方案的各个方面的视频编码器的实施方案的框图；
30.图4示出了可实现实施方案的各个方面的视频解码器的实施方案的框图；
31.图5示出了可实现实施方案的各个方面的示例性设备的框图。
具体实施方式
32.应当理解，附图和描述已简化以说明与清楚理解本发明原理相关的元素，同时为了清楚起见，消除了在典型的编码和/或解码设备中发现的许多其他元素。应当理解，尽管在本文中可使用术语第一和第二来描述各种元件，但是这些元件不应受这些术语限制。这些术语仅用于将一个元件与另一元件区分开。
33.相对于图片的编码/解码描述了各种实施方案。可应用这些实施方案来对图片的一部分进行编码/解码，诸如切片或图块，或整个图片序列。此外，相对于块(例如编码单元cu)的解码描述了各种实施方案，并且这些实施方案易于被推导以用于块的编码。
34.上文描述了各种方法，并且方法中的每一方法包括用于实现所描述的方法的一个或多个步骤或动作。除非正确操作方法需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或用途。
35.首先，公开了用于根据本发明原理对图片进行编码或解码的方法的若干实施方案，然后提出了实现所公开方法的附加信息和一般实施方案。
36.用于使用变换跳过工具进行编码或解码的至少一个实施方案
37.在将图片编码为比特流时，对在原始内容与其预测之间保持的预测残差或残差进行变换并量化，并且量化系数被熵编码为比特流。变换消除了空间冗余，并且量化排除了不重要的细节。在hevc和vvc中使用的编码工具中，如果变换不提供编码益处，则变换跳过(trskip)允许编码器针对无损编码绕过变换阶段。具体地，对于相对于图形编码、更一般地相对于非摄像机捕获的视频编码的屏幕内容编码(scc)，块差分脉冲编码调制(bdpcm)利用相同图片中的图形中的重复图案，以通过对残差与其先前编码的残差之间的差异进行编码来去除内容冗余。在这些模式中，变换跳过/bdpcm残差编码(tsrc)与常规残差编码(rrc)模式相比允许不同的残差编码方案。
38.在vvc的最新版本中，在trskip的情况下，引入了切片级标记slice_ts_residual_coding_disabled_flag以在tsrc与rrc之间切换。换句话说，如果该标记被设置为1，则使用常规编码模式(rrc)对trskip编码单元(trskip cu)进行编码，或如果该标记设置为0，则使用变换跳过编码模式(tsrc)对trskip cu进行编码。此模式有利地利用rrc启用无损模式，其中发信号通知trskip模式，并且rrc和小于或等于4的量化参数一起使用，使得变换和量化均被绕过。类似地，此模式允许利用rrc对bdpcm cu进行编码，而此前总是使用tsrc对bdpcm cu进行编码。在下文中，描述了在vvc版本中变换跳过模式(trskip)和块差分脉冲编码调制(bdpcm)的高级信令。trskip和bdpcm由sps标记控制，其中bdpcm取决于trskip的激活，如下表中所描述：
39.[0040][0041]
其中log2_transform_skip_max_size_minus2指定如vvc版本中所描述的变换跳过的最大块大小：
[0042][0043]
并且其中min_qp_prime_ts_minus4在变换跳过和调色板模式的情况下确定最小量化参数(其中调色板模式用于屏幕内容编码以使用有限数量的颜色中的一种颜色的索引来对内容进行编码)，如下：
[0044][0045]
如前所述，使用标记slice_ts_residual_coding_disabled_flag在切片级别进行rrc与tsrc之间的切换：
[0046][0047]
其中该标记被定义为：
[0048][0049]
bdpcm的编码在cu级别执行：
[0050][0051]
而trskip和rrc与tsrc之间的切换使用切片级标记slice_ts_residual_coding_disabled_flag在变换单元级别完成：
[0052]
[0053][0054]
然而，此切片级标记slice_ts_residual_coding_disabled_flag在作为工具控制变换跳过以绕过变换和变换跳过残差编码或作为残差的替代编码方法时产生了一些歧义。实际上，变换跳过由sps标记(sps_transform_skip_enabled_flag)控制，并且在切片级别(slice_ts_residual_coding_disabled_flag)控制tsrc。两个标记均被独立编码，从而导致4种可能性：
[0055]
1)trskip和tsrc均被激活：这是vtm常见测试条件下的默认情况，其中可以绕过变换，并且使用tsrc来对随后的残差系数进行编码；
[0056]
2)trskip和tsrc均被去激活：这是变换跳过被完全去激活的模式。在这种情况下，未绕过变换并且从未使用tsrc。
[0057]
3)trskip被激活并且tsrc被去激活：这是用于对vtm中自然内容进行无损编码的当前方法。在这种情况下，可以跳过变换，但将rrc用于后续残差系数。
[0058]
4)trskip被去激活并且tsrc被激活：在vvc中允许这一情况，但它是无用模式。实际上，如果不允许trskip，则未绕过变换，因此无论tsrc是否被激活它都不会被使用。这与vvc设计矛盾，在vvc设计中应该避免产生矛盾的信令。
[0059]
另外，对于定义配置文件，vvc具有若干约束标记。对于trskip，使用约束标记no_transform_skip_constraint_flag。如果将该标记设置为1，则由对应的sps标记变换跳过被禁用。这对应于变换跳过未由解码器实现的配置文件。例如，配置文件通过以下约束标记完成：
[0060][0061]
其中，trskip约束标记的语义为：
[0062][0063]
然而，在trskip被激活的情况下，虽然没有使用tsrc但仍实现tsrc。例如，trskip对于支持无损的配置文件非常有用，但在这种情况下未实现tsrc。因此，期望此无损模式的有效实现。
[0064]
最后，与变换工具有关的另一个工具是帧内子分区(isp)，其中对于变换单元(tu)，isp使用每个子分区的可用的重构样本来生成对下一个子分区的预测。实际上，当在水平或垂直方向上启用isp时，cu被分成2个或4个子分区。然而，变换跳过未与isp一起激活，因此isp模式与无损编码不兼容。这种限制是可接受的，因为tsrc不太适合常见测试条件下的isp残差，并且发信号通知两种模式(trskip与否)的成本似乎高于tsrc的益处。然而，通过采用slice_ts_residual_coding_disabled_flag，期望利用rrc针对无损情况启用isp。
[0065]
因此，用于使用变换跳过工具进行编码或解码的至少一个实施方案有利地避免了在变换跳过被禁用时对slice_ts_residual_coding_disabled_flag进行编码。用于使用变换跳过工具进行编码或解码的至少一个变体实施方案有利地针对无损模式启用isp。用于使用变换跳过工具进行编码或解码的至少一个变体实施方案无论是否在trskip的情况下均允许bdpcm，因为它可以用rrc来编码。并且，用于使用变换跳过工具进行编码或解码的至少一个变体实施方案添加约束标记来启用配置文件，该配置文件在没有tsrc的情况下允许无损。
[0066]
图1a示出了根据至少一个实施方案的一般方面的解码方法的示例。在下文中，针对解码方法描述了用于发信号通知/推导变换工具和编码模式的不同实施方案，但是本领域技术人员将针对编码方法容易地导出本发明原理。因此，用于对图片中的块(例如，编码单元cu)进行解码的方法10包括在步骤11中获得残差编码模式即rc模式。如先前所描述，残差编码模式是常规残差编码模式rrc或变换跳过残差编码模式tsrc中的一者。在对图片块进行解码16时应用rc模式，以控制对块的残差进行熵编码。根据特定特性，当变换跳过被禁用时，残差编码模式被设置为常规残差编码模式rrc。这个实施方案有利地避免了在变换跳过被禁用时对slice_ts_residual_coding_disabled_flag进行编码。根据另一特定特性，当变换跳过被启用时，从slice_ts_residual_coding_disabled_flag对残差编码模式进行解码。
[0067]
图1b示出了根据至少一个实施方案的一般方面的解码方法的另一个示例。根据特定特性，在步骤12中，方法包括对启用或禁用变换跳过工具sps_transform_skip_enabled_flag的sps标记进行解码。在步骤13中，使用sps_transform_skip_enabled_flag的解码值测试trskip。如果trskip被禁用，则未绕过变换，因此tsrc将不会被使用，因此，在步骤14中，rc模式被设置为rrc。如果trskip被启用，则残差编码模式由步骤15中的slice_ts_
residual_coding_disabled_flag的解码值控制。因此，如果trskip在sps级别被禁用，则不需要对slice_ts_residual_coding_disabled_flag进行编码，因为将不会绕过变换。换句话说，当trskip被去激活时，对slice_ts_residual_coding_disabled_flag进行隐式解码。因此，vvc规范在切片标头中被修改如下(下划线)：
[0068][0069]
图1c示出了根据至少一个实施方案的一般方面的解码方法的另一个示例。此示例性方法是用于获得残差编码模式的图1b的步骤11的替代方案。根据特定特性，在步骤12中，方法包括对启用或禁用变换跳过工具sps_transform_skip_enabled_flag(trskip)的sps标记进行解码，其中更具体地，sps_transform_skip_enabled_flag被定义为：
[0070]
sps_transform_skip_enabled_flag等于1指定transform_skip_flag可存在于变换单元语法中。sps_transform_skip_enabled_flag等于0指定变换单元语法中不存在transform_skip_flag。
[0071]
在步骤13中，使用sps_transform_skip_enabled_flag的解码值测试trskip。如果trskip被启用，即sps_transform_skip_enabled_flag指定transform_skip_flag可存在于变换单元语法中，则在步骤15中对slice_ts_residual_coding_disabled_flag进行解码，并且根据slice_ts_residual_coding_disabled_flag的解码值设置残差编码模式。否则，隐式地推导出残差编码模式，并且例如将其设置为常规残差编码模式rrc。换句话说，仅当trskip被激活时对slice_ts_residual_coding_disabled_flag进行解码。尽管未表示，但相同的原则适用于编码：仅当sps_transform_skip_enabled_flag设置为1时在比特流中对slice_ts_residual_coding_disabled_flag进行编码，sps_transform_skip_enabled_flag设置为1指定transform_skip_flag可存在于变换单元语法中。
[0072]
根据另一特定特性，因此控制启用trskip的rrc和tsrc的slice_ts_residual_coding_disabled_flag也被用于isp。因此，当将帧内子分区划分类型设置为no_split时，根据获得的残差编码模式，使用应用于块残差的熵解码对图片块进行解码。此变体实施方案有利地针对无损模式启用isp。实际上，由于rrc与tsrc之间可能的切换，可使用rrc针对无损编码与isp一起有益地启用trskip。因此，vvc规范在切片标头中被修改如下(下划线)：
[0073][0074]
根据另一特定特性，显式地发信号通知与当帧内子分区(isp)被启用时启用对图片的至少一个区域的变换跳过有关的至少一个语法数据元素(sps_trskip_isp_enabled_flag)。根据另一特定特性，在序列参数集(sps)中发信号通知启用变换跳过和isp的至少一个高级语法元素sps_trskip_isp_enabled_flag，使得序列中的所有块使用该发信号通知的语法元素sps_trskip_isp_enabled_flag。因此，根据该特性，添加了附加的sps标记以启用trskip与isp的组合。根据非限制性示例，此标记可以如下编码：
[0075][0076]
并且将其与slice_ts_residual_coding_disabled_flag组合使用以对残差进行解码，如下：
[0077][0078]
换句话说，当针对isp启用变换跳过并且将帧内子分区划分类型如灰色突出显示设置为no_split时，根据获得的残差编码模式(即，从slice_ts_residual_coding_disabled_flag进行解码)使用应用于块残差的熵解码对图片块进行解码。有利地，当sps_trskip_isp_enabled_flag设置为0时，不使用rrc上的isp与trskip。
[0079]
根据变体实施方案，针对rrc和tsrc两者允许isp-trskip组合。因此，针对特定编码条件(例如，无损)通过sps标记有利地启用组合isp-trskip，并且取决于内容，可使用rrc(用于自然内容)或tsrc(用于屏幕内容)。如前所述，根据该变体实施方案，添加了附加的sps标记以启用trskip与isp的组合：
[0080][0081]
其中解码标记使用如下：
[0082][0083]
根据另一实施方案，发信号通知用于tsrc的约束标记。因此，当定义配置文件时，对与启用变换跳过编码模式(trskip)的约束有关的至少一个语法数据元素进行解码，并且对与当该约束启用变换跳过编码模式(trskip)时定义启用变换跳过残差编码模式(tsrc)的约束有关的至少一个语法数据元素进行进一步解码。如前所述，在区分trskip作为用于绕过变换的方法与trskip作为用于残差编码(tsrc)的方法之间存在一些歧义。实际上，vvc的当前版本不允许定义在不实现tsrc的情况下跳过变换的配置文件，尽管该配置可用。有利地，至少一个实施方案添加另一约束标记以控制tsrc，如下：
[0084][0085]
而添加的约束标记no_tsrc_constraint_flag定义如下：
[0086][0087]
有利地，当标记no_tsrc_constraint_flag设置为1时，定义了允许跳过变换以及将rrc用于残差编码的配置文件。此外，当标记no_tsrc_constraint_flag设置为1时，定义了进一步允许启用bdpcm但禁用tsrc的配置文件。
[0088]
根据vvc规范的版本，用于禁用tsrc的切片级别取决于变换跳过sps标记和量化类型。这是因为依赖性量化和符号数据隐藏不能与rrc一起使用，并且仅使用了tsrc。在vvc规范的此版本中，标头标记被重新命名。根据非限制性示例，切片标头标记使用前缀sh_，图片标头标记使用前缀ph_。因此，在下文中，slice_ts_residual_coding_disabled_flag和sh_ts_residual_coding_disabled_flag以不同的方式使用。对应的规范文本是：
[0089][0090]
换句话说，当针对当前切片启用依赖性量化或符号数据隐藏(sh_dep_quant_enabled_flag＝1或sh_sign_data_hiding_enabled_flag＝1)时，由于未发信号通知sh_ts_residual_coding_disabled_flag但将其推断为零，因此默认启用tsrc。变换跳过被禁用(sps_transform_skip_enabled_flag＝0)时会出现问题，这意味着不使用变换跳过，因此默认情况下tsrc被禁用。然而，sh_ts_residual_coding_disabled_flag的推断值保持为零(tsrc未禁用)，并且不能将约束标记no_tsrc_constraint_flag设置为1，尽管从未使用tsrc。换句话说，约束标记不能表示实际配置文件。
[0091]
描述了至少两个变体实施方案来解决这个问题。第一实施方案包括修改sh_ts_residual_coding_disabled_flag的推断作用，使得当变换跳过被禁用时，tsrc被禁用。对规范的变更为(以灰色突出显示)：
[0092]
sh_ts_residual_coding_disabled_flag等于1指定residual_coding()语法结构用于解析针对当前切片的变换跳过块的残差样本。sh_ts_residual_coding_disabled_flag等于0指定residual_ts_coding()语法结构用于解析针对当前切片的变换跳过块的残差样本。当sh_ts_residual_coding_disabled_flag不存在时，推断其等于0！sps_transform_skip_enabled_flag。
[0093]
通过这样做，当未发信号通知sh_ts_residual_coding_disabled_flag时，在变换跳过被禁用(sps_transform_skip_enabled_flag＝0)时推断其等于1(无tsrc)，或当变换跳过被启用时推断其为0(使用tsrc)。
[0094]
第二实施方案包括修改约束标记的语义。换句话说，当sh_ts_residual_coding_disabled_flag等于1或sps_transform_skip_enabled_flag为0时，no_tsrc_constraint_flag设置为1。规范变更如下：
[0095][0096]
根据约束标记的变体实施方案，一种用于控制tsrc-rrc切换的sps级标记。换句话说，在sps中，可以添加如下(下划线)：
[0097][0098]
如果没有对标记进行编码，则该标记被推断为零。如果该标记为1，则tsrc被禁用。相同的切片级标记用于控制tsrc-rrc切换：
[0099][0100][0101]
并且约束标记被设计为：
[0102][0103]
并且其语义为：
[0104][0105]
在上述实施方案中的至少一些实施方案的变体中，可以帮助减少信令开销，此约束标记(no_tsrc_constraint_flag)可取决于变换跳过约束标记。
[0106]
换句话说，如果通过其约束标记知道变换跳过被去激活，则没有必要通过约束标记进一步发信号通知tsrc被去激活，因为在这种情况下未使用tsrc。
[0107]
例如，在示例性使用情况例如vvc下，其中用于变换跳过的约束标记被命名为“no_transform_skip_constraint_flag”，能够按下列方式设置“no_tsrc_constraint_flag”的条件：
[0108][0109]
no_tsrc_constraint_flag的语义可例如表示为：
[0110][0111]
为了使该sps标记适应于当前的vvc规范，需要进行以下更改(删除线和灰色突出显示)：
[0112][0113]
sps_tsrc_disabled_flag和sh_ts_residual_coding_disabled_flag的推断作用应为：
[0114]-当未发信号通知sps_tsrc_disabled_flag时，推断其为1，使得当变换跳过被禁用时，tsrc被禁用，并且约束标记(no_tsrc_constraint_flag)被正确设置。
[0115]-当未发信号通知sh_ts_residual_coding_disabled_flag时，推断其等于0。
[0116]
在另一实施方案中，当no_tsrc_constraint_flag等于1(指示未使用tsrc)时，依赖性量化和符号数据隐藏应当被去激活，因为它们不能与rrc一起使用。因此，当no_tsrc_constraint_flag等于1时，no_dependent_quant_constraint_flag和no_sign_data_hiding也应为1。唯一地用于“no_dependent_quant_constraint_flag和no_sign_data_hiding”的语义的对应的规范变更为：
[0117]
no_dep_quant_constraint_flag等于1指定sps_dep_quant_enabled_flag应等于0。no_dep_quant_constraint_flag等于0不施加此约束。当no_tsrc_constraint_flag等于1时，no_dep_quant_constraint_flag的值应等于1。
[0118]
no_sign_data_hiding_constraint_flag等于1指定sps_sign_data_hiding_enabled_flag应等于0。no_sign_data_hiding_constraint_flag等于0不施加此约束。当no_tsrc_constraint_flag等于1时，no_sign_data_hiding_constraint_flag的值应等于1。
[0119]
图2示出了根据至少一个实施方案的一般方面的编码方法的示例。用于发信号通知/推导变换工具和编码模式的上述实施方案与编码方法兼容，并且将被容易地组合以实现编码方法的各种实施方案。因此，用于对图片中的块(例如，编码单元cu)进行编码的方法20包括在步骤21中获得残差编码模式即rc模式。如先前所描述，残差编码模式是常规残差编码模式rrc或变换跳过残差编码模式tsrc中的一者。在对图片块进行编码22时应用rc模式，以控制对块的残差进行熵编码。根据特定特性，当变换跳过被禁用时，残差编码模式被默认设置为常规残差编码模式rrc。这个实施方案有利地避免了在变换跳过被禁用时对slice_ts_residual_coding_disabled_flag进行编码。根据另一特定特性，残差编码模式被设置为常规残差编码模式rrc，或者当变换跳过被启用时被设置为变换跳过残差编码模
式tsrc。然后，当变换跳过被启用时，在slice_ts_residual_coding_disabled_flag中对残差编码模式rrc或tsrc进行编码。有利地，经编码的标记允许解码器执行与编码方法对应的残差解码。
[0120]
另外的实施方案和信息
[0121]
本技术描述了各个方面，包括工具、特征、实施方案、模型、方法等。具体描述了这些方面中的许多方面，并且至少示出个体特性，通常以可能听起来有限的方式描述。然而，这是为了描述清楚，并不限制这些方面的应用或范围。实际上，所有不同的方面可组合和互换以提供进一步的方面。此外，这些方面也可与先前提交中描述的方面组合和互换。
[0122]
本专利申请中描述和设想的方面可以许多不同的形式实现。下面的图3、图4和图5提供了一些实施方案，但是设想了其他实施方案，并且图3、图4和图5的讨论不限制具体实施的广度。这些方面中的至少一个方面整体涉及视频编码和解码，并且至少一个其他方面通常涉及发射生成或编码的比特流。这些和其他方面可实现为方法、设备、其上存储有用于根据所述方法中任一种对视频数据编码或解码的指令的计算机可读存储介质，和/或其上存储有根据所述方法中任一种生成的比特流的计算机可读存储介质。
[0123]
在本技术中，术语“重构”和“解码”可以互换使用，术语“像素”和“样本”可以互换使用，术语“图像”、“图片”和“帧”可以互换使用。
[0124]
本文描述了各种方法，并且每种方法包括用于实现方法的一个或多个步骤或动作。除非正确操作方法需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或用途。
[0125]
本技术中所述的各种方法和其他方面可用于修改模块，例如，视频编码器100和解码器200的变换模块(125,250)，如图3和图4所示。此外，本发明方面不限于vvc或hevc，并且可应用于例如其他标准和推荐(无论是预先存在的还是未来开发的)以及任何此类标准和推荐的扩展(包括vvc和hevc)。除非另外指明或技术上排除在外，否则本技术中所述的方面可单独或组合使用。
[0126]
本技术中使用了各种数值，例如标记的值。具体值是为了示例目的，并且所述方面不限于这些具体值。变量名称例如标记名称也仅以示例性目的呈现。
[0127]
图3示出了编码器100。设想了这一编码器100的变型，但是为了清楚起见，下文描述了编码器100而未描述所有预期的变型。
[0128]
在被编码之前，视频序列可经过预编码处理(101)，例如，将颜色变换应用于输入的彩色图片(例如，从rgb 4:4:4转换到ycbcr 4:2:0)，或执行输入图片分量的重新映射，以获取更能弹性应对压缩的信号分布(例如，使用颜色分量中的一个颜色分量的直方图均衡化)。元数据可与预处理相关联并且附加到比特流。
[0129]
在编码器100中，图片由编码器元件进行编码，如下所述。待编码的图片按单元例如cu进行分区(102)和处理。例如，使用帧内模式或帧间模式对每个单元进行编码。当以帧内模式对单元进行编码时，该单元执行帧内预测(160)。在帧间模式中，执行运动估计(175)和运动补偿(170)。该编码器决定(105)以帧内模式或帧间模式中的哪一者对单元进行编码，以及通过例如预测模式标记来指示帧内/帧间决策。例如，通过从原始图像块减去(110)预测块来计算预测残差。
[0130]
然后，对该预测残差进行变换(125)和量化(130)。对经量化的变换系数以及运动
向量和其他语法元素进行熵编码(145)，以输出比特流。该编码器可跳过变换，并对未变换的残差信号直接应用量化。该编码器可绕过变换和量化两者，即，在不应用变换或量化过程的情况下直接对残差进行编码。
[0131]
该编码器对编码块进行解码以提供进一步预测的参考。对经量化的变换系数进行解量化(140)和逆变换(150)，以对预测残差进行解码。组合(155)经解码的预测残差和预测块，重构图像块。将环路滤波器(165)应用于重构的图片，以执行例如去块效应/样本自适应偏移(sao)滤波，从而减少编码伪影。经滤波的图像存储在参考图片缓冲器(180)中。
[0132]
图4示出了视频解码器200的框图。在解码器200中，比特流由解码器元件进行解码，如下所述。视频解码器200一般执行与图3中所述的编码过程相反的解码过程。编码器100通常还执行视频解码作为对视频数据进行编码的一部分。
[0133]
具体地，该解码器的输入包括视频比特流，该视频比特流可由视频编码器100生成。首先，对该比特流进行熵解码(230)以获得变换系数、运动向量和其他已编码信息。图片分区信息指示如何对图片进行分区。因此，该解码器可以根据已解码图片分区信息划分(235)图片。对该变换系数进行解量化(240)和逆变换(250)，对该预测残差进行解码。通过组合(255)经解码的预测残差和预测块，重构图像块。可通过帧内预测(260)或运动补偿预测(即帧间预测)(275)获得(270)该预测块。将环路滤波器(265)应用于该重构图像。经滤波的图像存储在参考图片缓冲器(280)中。
[0134]
经解码的图片还可经过解码后处理(285)，例如，颜色逆变换(例如，从ycbcr 4:2:0转换到rgb 4:4:4)或执行与在预编码处理(101)中执行的重新映射过程相反的逆重新映射。解码后处理可使用在预编码处理中导出并且在比特流中有信号通知的元数据。
[0135]
图5示出了实现各个方面和实施方案的系统的示例的框图。系统1000可体现为包括下文所述的各个部件的设备，并且被配置为执行本文档中所述的一个或多个方面。此类设备的示例包括但不限于各种电子设备，例如个人计算机、膝上型计算机、智能电话、平板电脑、数字多媒体机顶盒、数字电视机接收器、个人视频录制系统、连接的家用电器和服务器。系统1000的元件可单独地或组合地体现在单个集成电路(ic)、多个ic和/或分立部件中。例如，在至少一个实施方案中，系统1000的处理和编码器/解码器元件分布在多个ic和/或分立元件上。在各种实施方案中，系统1000经由例如通信总线或通过专用输入和/或输出端口通信地耦接到一个或多个其他系统或其他电子设备。在各种实施方案中，系统1000被配置为实现本文档中所述的一个或多个方面。
[0136]
系统1000包括至少一个处理器1010，该至少一个处理器被配置为执行加载到其中的指令，以用于实现例如本文档中所述的各个方面。处理器1010可包括嵌入式存储器、输入输出接口和本领域已知的各种其他电路。系统1000包括至少一个存储器1020(例如，易失性存储器设备和/或非易失性存储器设备)。系统1000包括存储设备1040，该存储设备可包括非易失性存储器和/或易失性存储器，包括但不限于电可擦除可编程只读存储器(eeprom)、只读存储器(rom)、可编程只读存储器(prom)、随机存取存储器(ram)、动态随机存取存储器(dram)、静态随机存取存储器(sram)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备1040可包括内部存储设备、附接存储设备(包括可拆和不可拆的存储设备)和/或网络可访问的存储设备。
[0137]
系统1000包括编码器/解码器模块1030，该编码器/解码器模块被配置为例如处理
数据以提供编码视频或解码视频，并且编码器/解码器模块1030可包括其自身的处理器和存储器。编码器/解码器模块1030表示可被包括在设备中以执行编码和/或解码功能的模块。众所周知，设备可包括编码模块和解码模块中的一者或两者。此外，编码器/解码器模块1030可实现为系统1000的独立元件，或者可结合在处理器1010内作为本领域技术人员已知的硬件和软件的组合。
[0138]
要加载到处理器1010或编码器/解码器1030上以执行本文档中所述的各个方面的程序代码可存储在存储设备1040中，并且随后被加载到存储器1020上以供处理器1010执行。根据各种实施方案，处理器1010、存储器1020、存储设备1040和编码器/解码器模块1030中的一者或多者可在本文档中所述过程的执行期间存储各个项目中的一个或多个项目。此类存储项目可包括但不限于输入视频、解码的视频或部分解码的视频、比特流、矩阵、变量以及处理等式、公式、运算和运算逻辑的中间或最终结果。
[0139]
在一些实施方案中，处理器1010和/或编码器/解码器模块1030内部的存储器用于存储指令和提供工作存储器以用于在编码或解码期间需要的处理。然而，在其他实施方案中，处理设备外部的存储器(例如，处理设备可以是处理器1010或编码器/解码器模块1030)用于这些功能中的一个或多个功能。外部存储器可以是存储器1020和/或存储设备1040，例如动态易失性存储器和/或非易失性闪存存储器。在若干实施方案中，外部非易失性闪存存储器用于存储例如电视机的操作系统。在至少一个实施方案中，快速外部动态易失性存储器诸如ram用作视频编码和解码操作的工作存储器，诸如mpeg-2(mpeg是指运动图片专家组，mpeg-2也称为iso/iec13818，并且13818-1也称为h.222，13818-2也称为h.262)、hevc(hevc是指高效视频编码，也称为h.265和mpeg-h部分2)或vvc(通用视频编码，由联合视频专家小组(jvet)开发的新标准)。
[0140]
对系统1000的元件的输入可通过如框1130中所示的各种输入设备提供。此类输入设备包括但不限于：(i)射频(rf)部分，其接收例如由广播器通过空中传输的rf信号；(ii)分量(comp)输入端子(或一组comp输入端子)；(iii)通用串行总线(usb)输入端子；和/或(iv)高清晰度多媒体接口(hdmi)输入端子。图5中未示出的其他示例包括复合视频。
[0141]
在各种实施方案中，块1130的输入设备具有本领域已知的相关联的相应输入处理元件。例如，rf部分可与适用于以下的元件相关联：(i)选择所需的频率(也称为选择信号，或将信号频带限制到一个频带)，(ii)下变频选择的信号，(iii)再次频带限制到更窄频带以选择(例如)在某些实施方案中可称为信道的信号频带，(iv)解调下变频和频带限制的信号，(v)执行纠错，以及(vi)解复用以选择所需的数据包流。各种实施方案的rf部分包括用于执行这些功能的一个或多个元件，例如频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。rf部分可包括执行这些功能中的各种功能的调谐器，这些功能包括例如下变频接收信号至更低频率(例如，中频或近基带频率)或至基带。在一个机顶盒实施方案中，rf部分及其相关联的输入处理元件接收通过有线(例如，电缆)介质发射的rf信号，并且通过滤波、下变频和再次滤波至所需的频带来执行频率选择。各种实施方案重新布置上述(和其他)元件的顺序，移除这些元件中的一些元件，和/或添加执行类似或不同功能的其他元件。添加元件可包括在现有元件之间插入元件，例如，插入放大器和模数变换器。在各种实施方案中，rf部分包括天线。
[0142]
此外，usb和/或hdmi端子可包括用于跨usb和/或hdmi连接将系统1000连接到其他
电子设备的相应接口处理器。应当理解，输入处理(例如reed-solomon纠错)的各个方面可根据需要例如在单独的输入处理ic内或在处理器1010内实现。类似地，usb或hdmi接口处理的方面可根据需要在单独的接口ic内或在处理器1010内实现。将解调流、纠错流和解复用流提供给各种处理元件，包括例如处理器1010，和编码器/解码器1030，其与存储器和存储元件结合操作，以处理需要用于呈现在输出设备上的数据流。
[0143]
系统1000的各种元件可设置在集成外壳内，在该集成外壳内，各种元件可使用合适的连接布置(例如，如本领域已知的内部总线，包括ic间(i2c)总线、布线和印刷电路板)互连并且在其间发射数据。
[0144]
系统1000包括能够经由通信信道1060与其他设备通信的通信接口1050。通信接口1050可包括但不限于被配置为通过通信信道1060发射和接收数据的收发器。通信接口1050可包括但不限于调制解调器或网卡，并且通信信道1060可例如在有线和/或无线介质内实现。
[0145]
在各种实施方案中，使用诸如wi-fi网络，例如ieee 802.11(ieee是指电气和电子工程师协会)之类的无线网络将数据流式发射或以其他方式提供给系统1000。这些实施方案中的wi-fi信号通过适用于wi-fi通信的通信信道1060和通信接口1050进行接收。这些实施方案的通信信道1060通常连接到接入点或路由器，该接入点或路由器提供对包括互联网的外部网络的访问，以用于允许流式应用和其他云上通信。其他实施方案使用通过输入块1130的hdmi连接传递数据的机顶盒向系统1000提供流式数据。其他实施方案使用输入块1130的rf连接向系统1000提供流式数据。如上所述，各种实施方案以非流式的方式提供数据。此外，各种实施方案使用除了wi-fi以外的无线网络，例如蜂窝网络或蓝牙网络。
[0146]
系统1000可将输出信号提供到各种输出设备，包括显示器1100、扬声器1110和其他外围设备1120。各种实施方案的显示器1100包括例如触摸屏显示器、有机发光二极管(oled)显示器、曲面显示器和/或可折叠显示器中的一者或多者。显示器1100可用于电视机、平板、笔记本、蜂窝电话(移动电话)或其他设备。显示器1100还可与其他部件集成在一起(例如，如在智能电话中)，或者是单独的(例如，笔记本电脑的外部监视器)。在实施方案的各种示例中，其他外围设备1120包括独立数字视频光盘(或数字多功能光盘，两个术语都是dvr)、光盘播放器、立体声系统和/或照明系统中的一者或多者。各种实施方案使用提供基于系统1000的输出的功能的一个或多个外围设备1120。例如，盘播放器执行播放系统1000的输出的功能。
[0147]
在各种实施方案中，控制信号使用诸如av.link、消费电子产品控制(cec)或其他通信协议的信令在系统1000与显示器1100、扬声器1110或其他外围设备1120之间传送，该其他通信协议使得能够在有或没有用户干预的情况下进行设备到设备控制。输出设备可通过相应接口1070、1080和1090经由专用连接通信地耦接到系统1000。另选地，输出设备可使用通信信道1060经由通信接口1050连接到系统1000。显示器1100和扬声器1110可与电子设备(诸如电视机)中的系统1000的其他部件集成在单个单元中。在各种实施方案中，显示接口1070包括显示驱动器，诸如例如定时控制器(t con)芯片。
[0148]
另选地，如果输入1130的rf部分是单独机顶盒的一部分，则显示器1100和扬声器1110可选地与其他部件中的一个或多个部件分开。在显示器1100和扬声器1110为外部部件的各种实施方案中，输出信号可经由专用输出连接(包括例如hdmi端口、usb端口或comp输
出)提供。
[0149]
这些实施方案可由处理器1010或由硬件或由硬件和软件的组合实现的计算机软件执行。作为非限制性示例，这些实施方案可由一个或多个集成电路实现。作为非限制性示例，存储器1020可以是适合于技术环境的任意类型，并且可使用任何适当的数据存储技术来实现，诸如光学存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器。作为非限制性示例，处理器1010可以是适合于技术环境的任意类型，并且可涵盖微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一者或多者。
[0150]
各种具体实施参与解码。如本技术中所用，“解码”可涵盖例如对所接收的编码序列执行的过程的全部或部分，以便产生适于显示的最终输出。在各种实施方案中，此类过程包括通常由解码器执行的一个或多个过程，例如熵解码、逆量化、逆变换和差分解码。在各种实施方案中，此类过程还包括或可替代地包括由本技术中描述的各种具体实施的解码器执行的过程，该解码器例如根据残差编码模式对图片块进行解码，其中当变换跳过被禁用时，残差编码模式被设置为常规残差编码模式(rrc)。
[0151]
作为进一步的示例，在实施方案中，“解码”仅是指熵解码，在另一个实施方案中，“解码”仅是指差分解码，并且在又一个实施方案中，“解码”是指熵解码和差分解码的组合。短语“解码过程”是具体地指代操作的子集还是广义地指代更广泛的解码过程基于具体描述的上下文将是清楚的，并且据信将被本领域的技术人员很好地理解。
[0152]
各种具体实施参与编码。以与上面关于“解码”的讨论类似的方式，如在本技术中使用的“编码”可涵盖例如对输入视频序列执行以便产生编码比特流的全部或部分过程。在各种实施方案中，此类过程包括通常由编码器执行的一个或多个过程，例如，分区、差分编码、变换、量化和熵编码。在各种实施方案中，此类过程还包括或可替代地包括由本技术中描述的各种具体实施的编码器执行的过程，该编码器例如根据残差编码模式对图片块进行编码，其中当变换跳过被禁用时，残差编码模式被设置为常规残差编码模式(rrc)，并且跳过对残差编码模式的编码。
[0153]
作为进一步的示例，在实施方案中，“编码”仅是指熵编码，在另一个实施方案中，“编码”仅是指差分编码，并且在又一个实施方案中，“编码”是指差分编码和熵编码的组合。短语“编码过程”是具体地指代操作的子集还是广义地指代更广泛的编码过程基于具体描述的上下文将是清楚的，并且据信将被本领域的技术人员很好地理解。
[0154]
注意，本文所用的语法元素是描述性术语。因此，它们不排除使用其他语法元素名称。
[0155]
当附图呈现为流程图时，应当理解，其还提供了对应设备的框图。类似地，当附图呈现为框图时，应当理解，其还提供了对应的方法/过程的流程图。
[0156]
本文所述的具体实施和方面可在例如方法或过程、设备、软件程序、数据流或信号中实现。即使仅在单个形式的具体实施的上下文中讨论(例如，仅作为方法讨论)，讨论的特征的具体实施也可以其他形式(例如，设备或程序)实现。设备可在例如适当的硬件、软件和固件中实现。方法可在例如一般是指处理设备的处理器中实现，
[0157]
该处理设备包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，诸如例如计算机、手机、便携式/个人数字助理(“pda”)以及便于最终用户之间信息通信的其他设备。
[0158]
提及“一个实施方案”或“实施方案”或“一个具体实施”或“具体实施”以及它们的其他变型，意味着结合实施方案描述的特定的特征、结构、特性等包括在至少一个实施方案中。因此，短语“在一个实施方案中”或“在实施方案中”或“在一个具体实施中”或“在具体实施中”的出现以及出现在本技术通篇的各个地方的任何其他变型不一定都是指相同的实施方案。
[0159]
另外，本技术可涉及“确定”各种信息。确定信息可包括例如估计信息、计算信息、预测信息或从存储器检索信息中的一者或多者。
[0160]
此外，本技术可涉及“访问”各种信息。访问信息可包括例如接收信息、检索信息(例如，从存储器)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息中的一者或多者。
[0161]
另外，本技术可涉及“接收”各种信息。与“访问”一样，接收旨在为广义的术语。接收信息可包括例如访问信息或检索信息(例如，从存储器)中的一者或多者。此外，在诸如例如存储信息、处理信息、发射信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，“接收”通常以一种方式或另一种方式参与。
[0162]
应当理解，例如，在“a/b”、“a和/或b”以及“a和b中的至少一者”的情况下，使用以下“/”、“和/或”和“至少一种”中的任一种旨在涵盖仅选择第一列出的选项(a)，或仅选择第二列出的选项(b)，或选择两个选项(a和b)。作为进一步的示例，在“a、b和/或c”和“a、b和c中的至少一者”的情况下，此类短语旨在涵盖仅选择第一列出的选项(a)，或仅选择第二列出的选项(b)，或仅选择第三列出的选项(c)，或仅选择第一列出的选项和第二列出的选项(a和b)，或仅选择第一列出的选项和第三列出的选项(a和c)，或仅选择第二列出的选项和第三列出的选项(b和c)，或选择所有三个选项(a和b和c)。如对于本领域和相关领域的普通技术人员显而易见的是，这可扩展到所列出的尽可能多的项目。
[0163]
而且，如本文所用，词语“发信号通知”是指(除了别的以外)向对应解码器指示某物。例如，在某些实施方案中，编码器发信号通知用于基于矩阵的帧内预测的多个参数中的特定一个参数。这样，在一个实施方案中，在编码器侧和解码器侧两者均使用相同的参数。因此，例如，编码器可将特定参数发射(显式信令)到解码器，使得解码器可使用相同的特定参数。相反，如果解码器已具有特定参数以及其他，则可在不发射(隐式信令)的情况下使用信令，以简单允许解码器知道和选择特定参数。通过避免发射任何实际功能，在各种实施方案中实现了位节省。应当理解，信令可以各种方式实现。例如，在各种实施方案中，使用一个或多个语法元素、标记等将信息发信号通知至对应解码器。虽然前面涉及词语“signal(发信号通知)”的动词形式，但是词语“signal(信号)”在本文也可用作名词。
[0164]
本公开已描述了例如可被传输或存储的各种信息，诸如例如语法。此信息能够以多种方式封装或布置，包括例如视频标准中常见的方式，诸如将信息放入sps、pps、nal单元、标头(例如，nal单元标头或切片标头)或sei消息中。其他方式也是可用的，包括例如用于系统级或应用级标准的通用方式，诸如将信息放入以下中的一者或多者：
[0165]
·
会话描述协议(sdp)，其为用于描述多媒体通信会话以用于会话通知和会话邀请的一种格式，例如，如在rfc中所述并与实时传输协议(rtp)传输结合使用；
[0166]
·
dash媒体演示描述(mpd)描述符，例如，如在dash中使用并通过http传输，描述符与表示或表示的集合相关联，以向内容表示提供附加特性；
[0167]
·
rtp标头扩展，例如，如在rtp流式传输期间使用；
[0168]
·
iso基础媒体文件格式，例如，如在omaf中使用并且使用box，该box是由唯一类型标识符和长度定义的面向对象的构建块，在某些规范中也称为“atom”；
[0169]
·
通过http传输的http实时流式传输(hls)manifest。manifest可例如与内容的版本或版本集合相关联，以提供版本或版本集合的特性。
[0170]
对于本领域的普通技术人员将显而易见的是，具体实施可产生格式化为携带例如可存储或可传输的信息的各种信号。信息可包括例如用于执行方法的指令或由所述具体实施中的一个具体实施产生的数据。例如，可格式化信号以携带所述实施方案的比特流。可格式化此类信号例如为电磁波(例如，使用频谱的射频部分)或基带信号。格式化可包括例如对数据流编码并且用编码的数据流调制载体。信号携带的信息可以是例如模拟或数字信息。已知的是，信号可通过各种不同的有线或无线链路发射。信号可存储在处理器可读介质上。
[0171]
我们描述了多个实施方案。这些实施方案的特征可在各种权利要求类别和类型中单独地或以任何组合提供。此外，实施方案可包括以下特征、设备或方面中的一个或多个，单独地或以任何组合，跨各种权利要求类别和类型：
[0172]
·
修改视频的图片块的编码/解码，该块根据残差编码模式进行编码/解码，其中当变换跳过被禁用时，残差编码模式被设置为常规残差编码模式(rrc)；
[0173]
·
修改视频的图片块的编码/解码，该块根据残差编码模式进行编码/解码，其中当变换跳过被启用时，对与图片块的残差编码模式有关的至少一个语法数据元素进行编码/解码；
[0174]
·
修改将残差编码模式与帧内子分区相结合的视频的图片块的编码/解码。
[0175]
·
在信令中插入与当帧内子分区(isp)被启用并且变换跳过被启用时启用对图片的至少一个区域的变换跳过有关的至少一个语法数据元素；
[0176]
·
在信令中插入与定义启用变换跳过残差编码模式(tsrc)的约束有关的至少一个语法数据元素；
[0177]
·
包括所描述的语法元素中的一个或多个语法元素或其变型的比特流或信号。
[0178]
·
包括传递根据所述实施方案中任一项生成的信息的语法的比特流或信号。
[0179]
·
在信令中插入使得解码器能够以与编码器所使用的方式相对应的方式处理trskip和残差编码模式的语法元素。
[0180]
·
对包括所描述的语法元素中的一个或多个语法元素或其变型的比特流或信号进行创建和/或传输和/或接收和/或解码。
[0181]
·
根据所述实施方案中任一项所述的创建和/或发射和/或接收和/或解码。
[0182]
·
根据所述实施方案中任一项所述的方法、过程、设备、存储指令的介质、存储数据的介质或信号。
[0183]
·
执行根据所述实施方案中任一项所述的变换跳过和残差编码的电视、机顶盒、蜂窝电话、平板电脑或其他电子设备。
[0184]
·
执行根据所述实施方案中任一项所述的变换跳过和残差编码并显示所得图像(例如，使用监视器、屏幕或其他类型的显示器)的电视、机顶盒、蜂窝电话、平板电脑或其他电子设备。
[0185]
·
选择(例如，使用调谐器)用于接收包括编码图像的信号的信道并且执行根据所述实施方案中任一项所述的变换跳过和残差编码的电视、机顶盒、蜂窝电话、平板电脑或其他电子设备。
[0186]
·
通过无线电(例如，使用天线)接收包括编码图像的信号并执行根据所述实施方案中任一项所述的变换跳过和残差编码的电视、机顶盒、蜂窝电话、平板电脑或其他电子设备。
技术特征：1.一种方法，所述方法包括：对指示比特流中是否存在变换跳过数据的语法元素(trskip)进行解码；响应于存在变换跳过数据，对与图片块的残差编码模式有关的至少一个语法数据元素进行解码；其中所述残差编码模式是常规残差编码模式(rrc)或变换跳过残差编码模式(tsrc)中的一者。2.一种设备，所述设备包括一个或多个处理器，其中所述一个或多个处理器被配置为：对指示比特流中是否存在变换跳过数据的语法元素(trskip)进行解码；响应于存在变换跳过数据，对与图片块的残差编码模式有关的至少一个语法数据元素进行解码；其中所述残差编码模式是常规残差编码模式(rrc)或变换跳过残差编码模式(tsrc)中的一者。3.一种方法，所述方法包括：对指示比特流中是否存在变换跳过数据的语法元素(trskip)进行编码；响应于存在变换跳过数据，对与图片块的残差编码模式有关的至少一个语法数据元素进行编码；其中所述残差编码模式是常规残差编码模式(rrc)或变换跳过残差编码模式(tsrc)中的一者。4.一种设备，所述设备包括一个或多个处理器，其中所述一个或多个处理器被配置用于：对指示比特流中是否存在变换跳过数据的语法元素(trskip)进行编码；响应于存在变换跳过数据，对与图片块的残差编码模式有关的至少一个语法数据元素进行编码；其中所述残差编码模式是常规残差编码模式(rrc)或变换跳过残差编码模式(tsrc)中的一者。5.一种用于解码的方法，所述方法包括：获得图片块的残差编码模式，其中所述残差编码模式是常规残差编码模式(rrc)或变换跳过残差编码模式(tsrc)中的一者；根据所获得的残差编码模式对所述图片块进行解码；其中获得所述块的所述残差编码模式包括在变换跳过被启用的条件下，对与图片块的残差编码模式有关的至少一个语法数据元素进行解码。6.一种用于解码的设备，所述设备包括一个或多个处理器，其中所述一个或多个处理器被配置用于：获得图片块的残差编码模式，其中所述残差编码模式是常规残差编码模式(rrc)或变换跳过残差编码模式(tsrc)中的一者；根据所获得的残差编码模式对所述图片块进行解码；其中获得所述块的所述残差编码模式包括在变换跳过被启用的条件下，对与图片块的残差编码模式有关的至少一个语法数据元素进行解码。7.一种用于编码的方法，所述方法包括：获得图片块的残差编码模式，其中所述残差编码模式是常规残差编码模式(rrc)或变换跳过残差编码模式(tsrc)中的一者；根据所获得的残差编码模式对所述图片块进行编码；在变换跳过被启用的条件下，对与图片块的残差编码模式有关的至少一个语法数据元
素进行编码。8.一种用于编码的设备，所述设备包括一个或多个处理器，其中所述一个或多个处理器被配置用于：获得图片块的残差编码模式，其中所述残差编码模式是常规残差编码模式(rrc)或变换跳过残差编码模式(tsrc)中的一者；根据所获得的残差编码模式对所述图片块进行编码；在变换跳过被启用的条件下，对与图片块的残差编码模式有关的至少一个语法数据元素进行编码。9.根据权利要求5或7中任一项所述的方法，或根据权利要求6或8中任一项所述的设备，其中获得所述残差编码模式进一步包括在变换跳过被禁用的条件下将残差编码模式设置为常规残差编码模式(rrc)。10.根据权利要求5、7、9中任一项所述的方法或根据权利要求6、8-9中任一项所述的设备，进一步包括对与启用图片的至少一个区域的变换跳过有关的至少一个语法数据元素进行解码；当将帧内子分区划分类型设置为no_split时，根据所获得的残差编码模式对所述图片块进行解码。11.根据权利要求5、7、9-10中任一项所述的方法或根据权利要求6、8-10中任一项所述的设备，进一步包括当帧内子分区(isp)被启用并且变换跳过被启用时，对与启用对图片的至少一个区域的变换跳过有关的至少一个语法数据元素进行解码。12.根据权利要求11所述的方法或根据权利要求11所述的设备，进一步包括对与启用图片的至少一个区域的变换跳过有关的至少一个语法数据元素进行解码；当针对isp启用变换跳过并将帧内子分区划分类型设置为no_split时，根据所获得的残差编码模式对所述图片块进行解码。13.根据权利要求11所述的方法或根据权利要求11所述的设备，进一步包括：当针对isp启用变换跳过并将帧内子分区划分类型设置为no_split时，根据所获得的残差编码模式对所述图片块进行解码。14.根据权利要求5、7、9-13中任一项所述的方法或根据权利要求6、8-13中任一项所述的设备，进一步包括对与启用变换跳过编码模式(trskip)的约束有关的至少一个语法数据元素进行解码以及；对与当所述约束启用变换跳过编码模式(trskip)时定义启用变换跳过残差编码模式(tsrc)的约束有关的至少一个语法数据元素进行解码。15.根据权利要求5、7、9-13中任一项所述的方法或根据权利要求6、8-13中任一项所述的设备，进一步包括对与定义启用变换跳过残差编码模式(tsrc)的约束有关的至少一个语法数据元素进行解码。16.根据权利要求15所述的方法或根据权利要求15所述的设备，进一步包括对与定义启用变换跳过残差编码模式(tsrc)的约束有关的至少一个语法数据元素进行解码。
17.根据权利要求16所述的方法或根据权利要求16所述的设备，进一步包括对与启用图片的至少一个区域的变换跳过残差编码有关的至少一个语法数据元素进行解码；并且其中获得所述残差编码模式进一步包括当变换跳过残差编码被启用时，对与图片块的残差编码模式有关的至少一个语法数据元素进行解码。18.根据权利要求11所述的方法或根据权利要求11所述的设备，其中在序列参数集(sps)中发信号通知当帧内子分区(isp)被启用并且变换跳过被启用时启用对图片的至少一个区域的变换跳过的所述至少一个高级语法元素。19.根据权利要求17所述的方法或根据权利要求17所述的设备，其中在所述序列参数集(sps)中发信号通知与启用图片的至少一个区域的变换跳过残差编码有关的所述至少一个语法数据元素。20.一种非暂态计算机可读介质，所述非暂态计算机可读介质包括根据权利要求7所述的方法或根据权利要求8所述的设备生成的数据内容。21.一种非暂态计算机可读介质，所述非暂态计算机可读介质包括程序代码指令，所述程序代码指令用于当所述程序在计算机上执行时，执行根据权利要求5或9-19中任一项所述的解码方法，或执行根据权利要求7所述的编码方法。
技术总结本发明描述了不同的具体实施，具体地，提出了用于视频编码和解码的具体实施。因此，编码或解码包括：获得图片块的残差编码模式，其中残差编码模式是常规残差编码模式(RRC)或变换跳过残差编码模式(TSRC)中的一者；根据获得的残差编码模式对图片块进行解码。根据特定特性，当变换跳过被禁用时，残差编码模式被设置为常规残差编码模式(RRC)。根据另一特定特性，当变换跳过被启用时，从语法元素对残差编码模式进行解码。式进行解码。式进行解码。
技术研发人员：K
受保护的技术使用者：交互数字VC控股法国公司
技术研发日：2021.03.09
技术公布日：2022/11/1
