一种面向学习模型的编码决策处理方法、装置及设备

1.本技术涉及视频编码技术领域，具体而言，涉及一种面向学习模型的编码决策处理方法、装置及设备。


背景技术：

2.在视频编码的过程中，会将视频的每一帧确定为一个视频图片，再对每个视频图片进行编码，目前，对编码模式的选择是在对每个视频图片进行编码的一项重要任务。为了在编码预测阶段在多个候选的编码模式中选择出最优的编码模式，达到更低的码率占用和更高的重建质量的效果，编码器在进行编码模式决策时会预编码所有的候选模式，然后计算出每个模式所对应的率失真代价(rate-distortion cost, rdc)，其中，率失真代价直接反应了使用编码模式对应的编码代价。因此，rdc最小的编码模式将会被选择为最佳模式。
3.事实上，更加多样的候选模式通常会进一步带来更多的编码收益。因此，随着编码标准的发展，候选编码模式也在逐渐增多。如在新一代编码标准中（versatile video coding, vvc和 the third generation audio video coding standard, avs3）cu划分的模式都由2种提升到了6种，帧内预测角度也分别从33种提升到了65种和66种。
4.更多的候选模式势必导致编码器在决策过程的编码复杂度的增大。近年来，随着机器学习和深度学习技术的流行，使用学习模型来近似决策结果已成为快速决策算法的一个主要方向。
5.但是，目前对学习模型的训练的目的均是提升学习模型对候选模式选择的准确性，并未在提升候选模式选择的准确性的同时真正使编码器对图片的编码代价减少，比如，一个有百分之九十九编码模式选择准确率的学习模型，其百分之一的错误率可能会导致编码代价的大量增加，很有可能会比一个有百分之九十七编码模式选择准确率的学习模型的编码代价更大。


技术实现要素：

6.有鉴于此，本技术的目的在于提供一种面向学习模型的编码决策处理方法、装置及设备，能够通过每个编码单元的训练决策模式下的训练率失真损失值和最佳率失真损失值，计算出每个编码单元的编码率失真差值，根据编码率失真差值，计算率失真损失参考值，并根据率失真损失参考值，计算编码决策模型的损失函数，解决现有技术中存在的并未在提升候选模式选择的准确性的同时真正使编码器对图片的编码代价减少的问题，达到在对学习模型训练的过程中，将图片编码的率失真代价值添加至学习模型的损失函数中，对初始编码决策模型进行训练，保证了训练得到的目标编码决策模型可以在提升编码决策准确率的同时，降低对图片进行编码的率失真代价，达到优化视频编码的效果。
7.第一方面，本技术实施例提供了一种面向学习模型的编码决策处理方法，所述方法包括：将训练图片划分为多个编码单元，并确定每个编码单元对应的最佳决策模式；针对每个编码单元，执行以下处理：将该编码单元输入至初始编码决策模型中，得到编码决策模
型的训练决策模式，确定该编码单元在训练决策模式下的训练率失真损失值，根据该编码单元对应的最佳率失真损失值和训练率失真损失值，计算该编码单元的编码率失真差值；根据每个编码单元的编码率失真差值，确定每个编码单元的率失真损失参考值；根据每个编码单元的率失真损失参考值，计算初始编码决策模型的损失函数值；根据所得到的损失函数值，对初始编码决策模型进行训练，以获得训练完成的目标编码决策模型。
8.可选地，针对每个编码单元，还执行以下处理：确定该编码单元的多个可选决策模式，并计算该编码单元在每个可选决策模式下的率失真损失值，其中，确定该编码单元在训练决策模式下的训练率失真损失值的步骤包括：从所述可选决策模式中确定与所述训练决策模式对应的决策模式，所述训练决策模式为所述可选决策模式中的一个；将可选决策模式中与所述训练决策模式对应的决策模式的率失真损失值，确定为训练率失真损失值。
9.可选地，通过以下公式计算每个编码单元的编码率失真差值：，其中，，表示编码单元对应的所有可选决策模式，表示第i个编码单元对应的训练决策模式，该训练决策模式为中的第j种决策模式，表示第i个编码单元在训练决策模式下的训练率失真损失值，表示第i个编码单元对应的最佳决策模式，表示第i个编码单元在最佳决策模式下的最佳率失真损失值，表示编码单元的编码率失真差值。
10.可选地，根据每个编码单元的编码率失真差值，确定每个编码单元的率失真损失参考值的步骤包括：确定目标限制条件下的所有编码单元中的最大率失真差值和目标限制条件下的所有编码单元中的最小率失真差值；计算每个编码单元的编码率失真差值与目标限制条件下的所有编码单元中的最小率失真差值的第一差值；计算目标限制条件下的所有编码单元中的最大率失真差值与目标限制条件下的所有编码单元中的最小率失真差值的第二差值；将第一差值与第二差值的比值，确定为每个编码单元的编码损失参考值。
11.可选地，通过以下公式计算每个编码单元的率失真损失参考值：，其中，表示第i个编码单元在第j种决策模式在目标限制条件s下的率失真损失参考值，表示第i个编码单元在第j种决策模式的编码率失真差值，表示目标限制条件s下的所有编码单元中的最大率失真差值，表示目标限制条件s下的所有编码单元中的最小率失真差值。
12.可选地，根据每个编码单元的率失真损失参考值，计算初始编码决策模型的损失函数值的步骤包括：确定初始编码决策模型的原始损失函数值以及损失函数参数值；根据原始损失函数值、损失函数参数值和每个编码单元的率失真损失参考值，计算初始编码决策模型的损失函数值。
13.可选地，通过以下公式计算初始编码决策模型的损失函数值：，或，其中，表示初始编码决策模型的损失函数值，表示损失函数参数值，表
示每个编码单元在目标限制条件s下的率失真损失参考值，表示原始损失函数值。
14.第二方面，本技术实施例还提供了一种面向学习模型的编码决策处理装置，所述装置包括：训练图片确定模块，用于将训练图片划分为多个编码单元，并确定每个编码单元对应的最佳决策模式；编码单元计算模块，用于针对每个编码单元，执行以下处理：将该编码单元输入至初始编码决策模型中，得到编码决策模型的训练决策模式，确定该编码单元在训练决策模式下的训练率失真损失值，根据该编码单元对应的最佳率失真损失值和训练率失真损失值，计算该编码单元的编码率失真差值；率失真损失参考值计算模块，用于根据每个编码单元的编码率失真差值，确定每个编码单元的率失真损失参考值；损失函数值计算模块，用于根据每个编码单元的率失真损失参考值，计算初始编码决策模型的损失函数值；目标编码决策模型训练模块，用于根据所得到的损失函数值，对初始编码决策模型进行训练，以获得训练完成的目标编码决策模型。
15.第三方面，本技术实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述的面向学习模型的编码决策处理方法的步骤。
16.第四方面，本技术实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述的面向学习模型的编码决策处理方法的步骤。
17.本技术实施例提供的面向学习模型的编码决策处理方法、装置及设备，能够通过每个编码单元的训练决策模式下的训练率失真损失值和最佳率失真损失值，计算出每个编码单元的编码率失真差值，根据编码率失真差值，计算率失真损失参考值，并根据率失真损失参考值，计算编码决策模型的损失数，解决现有技术中存在的并未在提升候选模式选择的准确性的同时真正使编码器对图片的编码代价减少的问题，达到在对学习模型训练的过程中，将图片编码的率失真代价值添加至学习模型的损失函数中，对初始编码决策模型进行训练，保证了训练得到的目标编码决策模型可以在提升编码决策准确率的同时，降低对图片进行编码的率失真代价，达到优化视频编码的效果。
18.为使本技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
19.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
20.图1为本技术实施例所提供的一种面向学习模型的编码决策处理方法的流程图；图2为本技术实施例所提供的训练图片的示意图；
图3为本技术实施例所提供的一种面向学习模型的编码决策处理装置的结构示意图；图4本技术实施例所提供的一种电子设备的结构示意图。
具体实施方式
21.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的每个其他实施例，都属于本技术保护的范围。
22.首先，对本技术可适用的应用场景进行介绍。本技术可应用于视频编码技术领域。
23.经研究发现，在视频编码的过程中，会将视频的每一帧确定为一个视频图片，再对每个视频图片进行编码，目前，对编码模式的选择是在对每个视频图片进行编码的一项重要任务。为了在编码预测阶段在多个候选的编码模式中选择出最优的编码模式，达到更低的码率占用和更高的重建质量的效果，编码器在进行编码模式决策时会预编码所有的候选模式，然后计算出每个模式所对应的率失真代价(rate-distortion cost, rdc)，其中，率失真代价直接反应了使用编码模式对应的编码代价。因此，rdc最小的编码模式将会被选择为最佳模式。
24.事实上，更加多样的候选模式通常会进一步带来更多的编码收益。因此，随着编码标准的发展，候选编码模式也在逐渐增多。如在新一代编码标准中（versatile video coding, vvc和 the third generation audio video coding standard, avs3）cu划分的模式都由2种提升到了6种，帧内预测角度也分别从33种提升到了65种和66种。
25.更多的候选模式势必导致编码器在决策过程的编码复杂度的增大，近年来，随着机器学习和深度学习技术的流行，使用学习模型来近似决策结果已成为快速决策算法的一个主要方向。
26.但是，目前对学习模型的训练的目的均是提升学习模型对候选模式选择的准确性，并未在提升候选模式选择的准确性的同时真正使编码器对图片的编码代价减少，比如，一个有百分之九十九编码模式选择准确率的学习模型，其百分之一的错误率可能会导致编码代价的大量增加，很有可能会比一个有百分之九十七编码模式选择准确率的学习模型的编码代价更大。
27.基于此，本技术实施例提供了一种面向学习模型的编码决策处理方法、装置及设备，以解决现有技术中存在的并未在提升候选模式选择的准确性的同时真正使编码器对图片的编码代价减少的问题，达到在对学习模型训练的过程中，将图片编码的率失真代价值添加至学习模型的损失函数中，对初始编码决策模型进行训练，保证了训练得到的目标编码决策模型可以在提升编码决策准确率的同时，降低对图片进行编码的率失真代价，达到优化视频编码的效果。
28.请参阅图1，图1为本技术实施例所提供的一种面向学习模型的编码决策处理方法
的流程图。如图1中所示，本技术实施例提供的面向学习模型的编码决策处理方法，包括：s101、将训练图片划分为多个编码单元，并确定每个编码单元对应的最佳决策模式。
29.需要说明的是，可以通过以下方式获取训练图片：获取训练视频集，所述训练视频集中包括多个训练视频；针对每个训练视频，对该训练视频进行投影得到多个训练图片。
30.示例性的，训练视频可以为三维动态点云视频，可以首先将三维动态点云视频投影成为三个记录不同信息二维视频，也就是二维占用视频、二维几何视频和二维属性视频，再获取上述三个二维视频的每一帧图像，得到二维点云占用图片、二维点云几何图片和二维点云属性图片。
31.这样，就得到了与训练视频对应的多张训练图片。
32.示例一，请参阅图2，图2为本技术实施例所提供的训练图片的示意图，如图2中所示，本技术所提供的训练图片的示意图，训练图片201包括：第一编码单元202、第二编码单元203和目标限制条件204。
33.其中，可以将训练图片划分为大小相同的编码单元，例如，第一编码单元202、第二编码单元203，也可以将训练图片划分为不同大小的编码单元。
34.如图2中所示，第一编码单元202的最佳决策模式为划分模式，第二编码单元203的最佳决策模式为不划分模式。
35.示例二，在对训练图片进行帧内预测时，对训练图片的帧内预测的决策模式有65或66种，例如，亮度决策、角度决策、色度决策等，每个编码单元的决策模式也更加多样，在此不再赘述。
36.s102、针对每个编码单元，执行以下处理：将该编码单元输入至初始编码决策模型中，得到编码决策模型的训练决策模式，确定该编码单元在训练决策模式下的训练率失真损失值，根据该编码单元对应的最佳率失真损失值和训练率失真损失值，计算该编码单元的编码率失真差值。
37.其中，针对每个编码单元，还执行以下处理：确定该编码单元的多个可选决策模式，并计算该编码单元在每个可选决策模式下的率失真损失值。
38.需要说明的是，最佳决策模式和训练决策模式均为可选决策模式中的一个。
39.这样，就得到了每个编码模块在每个可选决策模式下的率失真损失值。
40.具体的，确定该编码单元在训练决策模式下的训练率失真损失值的步骤包括：从所述可选决策模式中确定与所述训练决策模式对应的决策模式，所述训练决策模式为所述可选决策模式中的一个；将可选决策模式中与所述训练决策模式对应的决策模式的率失真损失值，确定为训练率失真损失值。
41.其中，可以通过以下公式计算每个编码单元的编码率失真差值：，其中，，表示编码单元对应的所有可选决策模式，表示第i个编码单元对应的训练决策模式，该训练决策模式为中的第j种决策模式，表示第i个编码单元在训练决策模式下的训练率失真损失值，表示第i个编码单元对应的最佳决策模式，表示第i个编码单元在最佳决策模式下的最佳率失真损失值，
表示编码单元的编码率失真差值。
42.s103、根据每个编码单元的编码率失真差值，确定每个编码单元的率失真损失参考值。
43.具体的，根据每个编码单元的编码率失真差值，确定每个编码单元的率失真损失参考值的步骤包括：确定目标限制条件下的所有编码单元中的最大率失真差值和目标限制条件下的所有编码单元中的最小率失真差值；计算每个编码单元的编码率失真差值与目标限制条件下的所有编码单元中的最小率失真差值的第一差值；计算目标限制条件下的所有编码单元中的最大率失真差值与目标限制条件下的所有编码单元中的最小率失真差值的第二差值；将第一差值与第二差值的比值，确定为每个编码单元的编码损失参考值。
44.示例一，请参阅图2，第二编码单元203的目标限制条件为第二编码单元203周围一定范围内的所有编码单元204，即为目标限制条件204，目标限制条件204中有多个编码单元，确定目标限制条件204中的所有编码单元中，最大率失真差值和最小率失真差值；计算每个编码单元的编码率失真差值与目标限制条件下的所有编码单元中的最小率失真差值的第一差值；计算目标限制条件下的所有编码单元中的最大率失真差值与目标限制条件下的所有编码单元中的最小率失真差值的第二差值；将第一差值与第二差值的比值，确定为每个编码单元的编码损失参考值。
45.示例二，在对训练图片进行帧内预测时，目标限制条件可以为与每个编码单元在相同亮度区间的编码单元，确定目标限制条件中的所有编码单元中，最大率失真差值和最小率失真差值；计算每个编码单元的编码率失真差值与目标限制条件下的所有编码单元中的最小率失真差值的第一差值；计算目标限制条件下的所有编码单元中的最大率失真差值与目标限制条件下的所有编码单元中的最小率失真差值的第二差值；将第一差值与第二差值的比值，确定为每个编码单元的编码损失参考值。
46.这样，就确定出每个编码单元与目标限制条件内的编码单元相比，编码单元的率失真差值在目标限制条件内的率失真损失的大小程度。
47.具体的，可以通过以下公式计算每个编码单元的率失真损失参考值：，其中，表示第i个编码单元在第j种决策模式在目标限制条件s下的率失真损失参考值，表示第i个编码单元在第j种决策模式的编码率失真差值，表示目标限制条件s下的所有编码单元中的最大率失真差值，表示目标限制条件s下的所有编码单元中的最小率失真差值。
48.s104、根据每个编码单元的率失真损失参考值，计算初始编码决策模型的损失函数值。
49.其中，根据每个编码单元的率失真损失参考值，计算初始编码决策模型的损失函数值的步骤包括：确定初始编码决策模型的原始损失函数值以及损失函数参数值；根据原始损失函数值、损失函数参数值和每个编码单元的率失真损失参考值，计算初始编码决策模型的损失函数值。
50.这样，本技术计算的初始编码决策模型的损失函数值，就在原始损失函数值的基础上，在初始编码决策模型选择错误的决策时，计算了错误的决策对编码损失的影响程度，并根据错误决策对编码损失的影响程度添加至损失函数值的计算中，以避免对初始编码决策模型的训练只针对准确率进行训练，未考虑到对率失真损失进行降低的问题。
51.具体的，通过以下公式计算初始编码决策模型的损失函数值：，或，其中，表示初始编码决策模型的损失函数值，表示损失函数参数值，表示每个编码单元在目标限制条件s下的率失真损失参考值，表示原始损失函数值。
52.s105、根据所得到的损失函数值，对初始编码决策模型进行训练，以获得训练完成的目标编码决策模型。
53.示例性的，以视频压缩的编码单元划分模式决策问题为例。在视频压缩的编码单元划分决策中，一共存在两候选模式，分别是划分模式（qt）和不划分模式(non-split)。由于仅存在两种候选模式，错误选择划分模式的可能只有一种。因此的计算便可退化为：其中，为编码单元使用qt模式编码时的率失真损失，为使用non-split模式编码时的率失真损失。
54.此外，在编码单元划分是不同尺寸编码单元的编码性能通常存在较大差异。因此，若仅在相同尺寸的编码单元中考虑错误决策所造成的损失程度，那么指定范围即为与当前编码单元尺寸的所有编码单元。为训练数据中所有与编码单元尺寸相同的所有编码单元中rdcg的最大值，为训练数据中所有与编码单元尺寸相同的编码单元中rdcg的最小值。此时的和分别为：或，。
55.本技术实施例提供的面向学习模型的编码决策处理方法，能够通过每个编码单元的训练决策模式下的训练率失真损失值和最佳率失真损失值，计算出每个编码单元的编码率失真差值，根据编码率失真差值，计算率失真损失参考值，并根据率失真损失参考值，计算编码决策模型的损失数，解决现有技术中存在的并未在提升候选模式选择的准确性的同时真正使编码器对图片的编码代价减少的问题，达到在对学习模型训练的过程中，将图片编码的率失真代价值添加至学习模型的损失函数中，对初始编码决策模型进行训练，保证了训练得到的目标编码决策模型可以在提升编码决策准确率的同时，降低对图片进行编码的率失真代价，达到优化视频编码的效果。
56.基于同一发明构思，本技术实施例中还提供了与面向学习模型的编码决策处理方法对应的面向学习模型的编码决策处理装置，由于本技术实施例中的装置解决问题的原理与本技术实施例上述面向学习模型的编码决策处理方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
57.请参阅图3，图3为本技术实施例所提供的一种面向学习模型的编码决策处理装置的结构示意图。如图3中所示，所述面向学习模型的编码决策处理装置300包括：训练图片确定模块301，用于将训练图片划分为多个编码单元，并确定每个编码单元对应的最佳决策模式。
58.编码单元计算模块302，用于针对每个编码单元，执行以下处理：将该编码单元输入至初始编码决策模型中，得到编码决策模型的训练决策模式，确定该编码单元在训练决策模式下的训练率失真损失值，根据该编码单元对应的最佳率失真损失值和训练率失真损失值，计算该编码单元的编码率失真差值。
59.率失真损失参考值计算模块303，用于根据每个编码单元的编码率失真差值，确定每个编码单元的率失真损失参考值。
60.损失函数值计算模块304，用于根据每个编码单元的率失真损失参考值，计算初始编码决策模型的损失函数值。
61.目标编码决策模型训练模块305，用于根据所得到的损失函数值，对初始编码决策模型进行训练，以获得训练完成的目标编码决策模型。
62.本技术实施例提供的面向学习模型的编码决策处理装置，能够通过每个编码单元的训练决策模式下的训练率失真损失值和最佳率失真损失值，计算出每个编码单元的编码率失真差值，根据编码率失真差值，计算率失真损失参考值，并根据率失真损失参考值，计算编码决策模型的损失数，解决现有技术中存在的并未在提升候选模式选择的准确性的同时真正使编码器对图片的编码代价减少的问题，达到在对学习模型训练的过程中，将图片编码的率失真代价值添加至学习模型的损失函数中，对初始编码决策模型进行训练，保证了训练得到的目标编码决策模型可以在提升编码决策准确率的同时，降低对图片进行编码的率失真代价，达到优化视频编码的效果。
63.请参阅图4，图4为本技术实施例所提供的一种电子设备的结构示意图。如图4中所示，所述电子设备400包括处理器410、存储器420和总线430。
64.所述存储器420存储有所述处理器410可执行的机器可读指令，当电子设备400运行时，所述处理器410与所述存储器420之间通过总线430通信，所述机器可读指令被所述处理器410执行时，可以执行如上述图1所示方法实施例中的面向学习模型的编码决策处理方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。
65.本技术实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时可以执行如上述图1所示方法实施例中的面向学习模型的编码决策处理方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。
66.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
67.在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，
仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
68.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
69.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
70.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（read-only memory，rom）、随机存取存储器（random access memory，ram）、磁碟或者光盘等各种可以存储程序代码的介质。
71.最后应说明的是：以上所述实施例，仅为本技术的具体实施方式，用以说明本技术的技术方案，而非对其限制，本技术的保护范围并不局限于此，尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本技术实施例技术方案的精神和范围，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。