数据处理方法、装置、电子设备及存储介质与流程

1.本公开涉及计算机技术领域，具体涉及一种数据处理方法、装置、电子设备及存储介质。


背景技术：

2.在一些视频播放场景例如直播场景下，由于受用户设备(主要指硬件编解码设备)或者网络带宽的影响，无法使用高分辨率的视频进行播放。比如常见的720p高清视频(分辨率为1280*720)受用户设备或者网络的影响，可能无法正常播放。为了解决这一问题，通常会对视频中图像的分辨率进行下采样，传统的下采样方式中质量较好的插值方法为双三次线性插值(bi)，比如对720p高清视频下采样两倍可以得到360p标清视频(分辨率640*360)，经过上述下采样可以减少数据量，并且可以将带宽传输需求降低为原来的1/4倍。但是会伴随着数据量的减少，会导致数据信息的丢失，进而导致经过编解码设备编解码后恢复后图像质量不高，即使再对360p标清视频解码后进行上采样也无法恢复回原来视频的质量。因此，如何在降低视频传输宽带需求的同时保证视频质量成为了当前需要解决的技术问题之一。


技术实现要素：

3.本公开实施例提供一种数据处理方法、装置、电子设备及计算机可读存储介质。
4.第一方面，本公开实施例中提供了一种数据处理方法，包括：
5.获取训练数据集；所述训练数据集包括多个图像；
6.利用训练数据集对图像下采样模型和图像上采样模型进行训练；
7.其中，在训练过程中，对所述图像下采样模型处理得到的结果进行编码和解码处理后，由所述图像上采样模型进行处理。
8.进一步地，利用训练数据集对图像下采样模型和图像上采样模型进行训练，包括：
9.利用第一训练数据集对图像下采样模型和图像上采样模型进行初始训练；其中，在初始训练过程中，将所述图像下采样模型处理得到的结果输出至所述图像上采样模型进行处理；
10.利用第二训练数据集对初始训练后的所述图像下采样模型和所述图像上采样模型进行进一步训练；其中，在进一步训练过程中，将所述图像下采样模型处理得到的结果进行编码和解码处理后，输出至所述图像上采样模型进行处理。
11.进一步地，利用第一训练数据集对图像下采样模型和图像上采样模型进行初始训练，包括：
12.利用所述图像下采样模型对所述第一训练数据集中的图像进行下采样处理，获得第一处理结果；
13.利用所述图像上采样模型对所述第一处理结果进行上采样处理，获得第二处理结果；
14.利用所述第一训练数据集中的所述图像、所述第一处理结果以及所述第二处理结果对所述图像上采样模型和所述图像下采样模型的模型参数进行调整。
15.进一步地，利用第二训练数据集对初始训练后的所述图像下采样模型和所述图像上采样模型进行进一步训练，包括：
16.利用初始训练后的所述图像下采样模型对所述第二训练数据集中的图像进行下采样处理，获得第三处理结果；
17.获取所述第三处理结果的编码结果以及对所述编码结果进行解码后得到解码结果；
18.利用所述图像上采样模型对所述解码结果进行上采样处理，获得第四处理结果；
19.利用所述第二训练数据集中的所述图像、所述第三处理结果以及所述第四处理结果对所述图像上采样模型的模型参数进行调整。
20.进一步地，利用所述第二训练数据集对初始训练后的所述图像下采样模型和图像上采样模型进行进一步训练，包括：
21.利用初始训练后的所述图像下采样模型对所述第二训练数据集进行下采样处理，获得第三处理结果；
22.获取所述第三处理结果的编码结果以及对所述编码结果进行解码后得到解码结果；
23.利用所述图像上采样模型对所述解码结果进行上采样处理，获得第四处理结果；
24.利用所述第二训练数据集、所述第三处理结果以及所述第四处理结果对所述图像下采样模型和所述图像上采样模型的模型参数进行调整。
25.进一步地，利用所述第二训练数据集、所述第三处理结果以及所述第四处理结果对所述图像下采样模型和所述图像上采样模型的模型参数进行调整，包括：
26.在模型参数的调整过程中，利用梯度停止的方式跨过编码和解码的反向传播过程。
27.进一步地，获取所述第三处理结果的编码结果以及对所述编码结果进行解码后得到解码结果，包括：
28.获取预设图像分组对应的编码结果；其中，所述预设图像分组包括所述第二训练数据集中按照播放顺序划分得到的多个连续图像；
29.获取所述编码结果的所述解码结果。
30.第二方面，本公开实施例中提供了一种数据处理方法，包括：
31.获取待处理的视频数据；
32.利用图像下采样模型对所述视频数据进行处理，获得下采样处理结果；其中，所述图像下采样模型利用第一方面所述的方法训练得到。
33.获取所述下采样处理结果的编码数据。
34.第三方面，本公开实施例中提供了一种数据处理方法，包括：
35.接收视频编码数据；
36.获取所述视频编码数据的解码数据；
37.利用图像上采样模型对所述解码数据进行处理，获得视频数据；其中，所述图像上采样模型利用第一方面所述的方法训练得到。
38.第四方面，本公开实施例中提供了一种数据处理方法，包括：
39.获取训练数据集；所述训练数据集包括多个图像；
40.调用预设服务接口，以便由所述预设服务接口利用所述训练数据集对图像下采样模型和图像上采样模型进行训练；其中，训练过程中，对所述图像下采样模型处理得到的结果进行编码和解码处理后，由所述图像上采样模型进行处理；
41.输出训练完成的所述图像上采样模型和所述图像下采样模型。
42.第五方面，本公开实施例中提供了一种数据处理装置，包括：
43.第一获取模块，被配置为获取训练数据集；所述训练数据集包括多个图像；
44.训练模块，被配置为利用训练数据集对图像下采样模型和图像上采样模型进行训练；
45.其中，在训练过程中，对所述图像下采样模型处理得到的结果进行编码和解码处理后，由所述图像上采样模型进行处理。
46.第六方面，本公开实施例中提供了一种数据处理装置，包括：
47.第二获取模块，被配置为获取待处理的视频数据；
48.第一处理模块，被配置为利用图像下采样模型对所述视频数据进行处理，获得下采样处理结果；其中，所述图像下采样模型利用第五方面所述的方法训练得到；
49.第三获取模块，被配置为获取所述下采样处理结果的编码数据。
50.第七方面，本公开实施例中提供了一种数据处理装置，包括：
51.接收模块，被配置为接收视频编码数据；
52.第四获取模块，被配置为获取所述视频编码数据的解码数据；
53.第二处理模块，被配置为利用图像上采样模型对所述解码数据进行处理，获得视频数据；其中，所述图像上采样模型利用第五方面所述的方法训练得到。
54.第八方面，本公开实施例中提供了一种数据处理装置，包括：
55.第五获取模块，被配置为获取训练数据集；所述训练数据集包括多个图像；
56.调用模块，被配置为调用预设服务接口，以便由所述预设服务接口利用所述训练数据集对图像下采样模型和图像上采样模型进行训练；其中，训练过程中，对所述图像下采样模型处理得到的结果进行编码和解码处理后，由所述图像上采样模型进行处理；
57.输出模块，被配置为输出训练完成的所述图像上采样模型和所述图像下采样模型。
58.所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
59.在一个可能的设计中，上述装置的结构中包括存储器和处理器，所述存储器用于存储一条或多条支持上述装置执行上述对应方法的计算机指令，所述处理器被配置为用于执行所述存储器中存储的计算机指令。上述装置还可以包括通信接口，用于上述装置与其他设备或通信网络通信。
60.第九方面，本公开实施例提供了一种电子设备，包括存储器和处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现上述任一方面所述的方法。
61.第十方面，本公开实施例提供了一种计算机可读存储介质，用于存储上述任一装
置所用的计算机指令，其包含用于执行上述任一方面所述方法所涉及的计算机指令。
62.本公开实施例提供的技术方案可以包括以下有益效果：
63.本公开实施例通过训练数据对图像下采样模型和图像上采样模型进行联合训练，能够减少下采样的信息丢失，同时能够增强图片的恢复质量；并且在训练过程中图像下采样模型和图像上采样模型的处理过程中加入了编解码处理流程，能够减少编码和解码过程导致的信息丢失，最终能够得到使得图像质量恢复效果较高的图像下采样模型和图像上采样模型。
64.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
65.结合附图，通过以下非限制性实施方式的详细描述，本公开的其它特征、目的和优点将变得更加明显。在附图中：
66.图1示出根据本公开一实施方式的数据处理方法的流程图；
67.图2示出根据本公开一实施方式的图像下采样模型和图像上采样模型联合训练的实现流程示意图；
68.图3示出根据本公开另一实施方式的数据处理方法的流程图；
69.图4示出根据本公开另一实施方式的数据处理方法的流程图；
70.图5示出根据本公开一实施方式的视频分享场的实现流程示意图；
71.图6示出根据本公开另一实施方式的数据处理方法的流程图；
72.图7是适于用来实现根据本公开一实施方式的数据处理方法的电子设备的结构示意图。
具体实施方式
73.下文中，将参考附图详细描述本公开的示例性实施方式，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施方式无关的部分。
74.在本公开中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
75.另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
76.下面通过具体实施例详细介绍本公开实施例的细节。
77.图1示出根据本公开一实施方式的数据处理方法的流程图。如图1所示，该数据处理方法包括以下步骤：
78.在步骤s101中，获取训练数据集；所述训练数据集包括多个图像；
79.在步骤s102中，利用训练数据集对图像下采样模型和图像上采样模型进行训练；
80.其中，在训练过程中，对所述图像下采样模型处理得到的结果进行编码和解码处理后，由所述图像上采样模型进行处理。
81.本实施例中，该数据处理方法可以在服务器上执行。训练数据集可以包括多个图像，该多个图像可以是一段或多段视频中的连续视频帧序列，该训练数据集中的多个图像可以具有显示顺序，该显示顺序与图像对应的视频播放顺序一致。需要说明的是，由于yuv视频数据无法直接输入至图像上采样模型和图像下采样模型进行训练，可以先将yuv视频数据划分成y、u、v三个通道中的三个图像。
82.图像下采样模型和图像上采样模型可以是机器学习模型，在一些实施例中，图像下采样模型和图像上采样模型可以由神经网络比如卷积神经网络构建而成，且该图像下采样模型和图像上采样模型可以利用基于深度学习的方法训练。
83.例如，图像下采样模型中可以使用步幅为2(2倍上下采样时使用步幅为2的卷积神经网络，而4倍上下采样时可以使用步幅为4的卷积神经网络，或者使用两个步幅为2的卷积神经网络)的卷积神经网络或者space2depth的方式来实现下采样，图像上采样模型中可以使用步幅为2的反卷积神经网络或者depth2space的操作来实现上采样，整体网络长度可以根据实际需求进行设置，比如可以将图像上采样模型或图像下采样模型设计成10层卷积神经网络或者10层反卷积神经网络，在此不做具体限制。
84.图像下采样模型用于对输入的图像进行下采样处理，也即将图像的原分辨率从大到小缩小n倍(n大于等于2)，图像上采样模型用于对输入的图片进行上采样处理，也即将图像的原分辨率从小到大放大n倍(n大于等于2)。在一些视频传输场景，例如直播场景中，局限于硬件设备的硬件资源以及网络带宽等影响，无法将本地产生的高清视频直接分享给接收端，因此可以在本地利用图像下采样模型将高清视频进行下采样，将分辨率缩小之后再进行编码，编码后的视频数据发送至接收端，由接收端的解码器解码之后再由图像上采样模型放大解码后的视频数据的分辨率，以恢复成原图像的分辨率。该过程中，视频数据由于经过图像下采样模型的下采样处理后进行编码，因此视频数据得到了一定程度的压缩，而在接收端对编码数据进行解码后，又经过了图像上采样模型的上采样恢复处理，因此视频数据可以得到一定程度的恢复，而视频数据的恢复质量则受图像下采样模型和图像上采样模型的处理影响。
85.本公开实施例中的图像下采样模型和图像上采样模型采用了机器学习模型，并且通过训练数据对图像下采样模型和图像上采样模型进行联合训练。在训练过程中，图像下采样模型对输入图像进行处理之后，经过编码处理以及解码处理后，由图像上采样模型再进行处理，之后通过图像上采样模型处理后得到的图像与原图像构建损失函数，对图像下采样模型和图像上采样模型的模型参数进行调整，最终在模型参数收敛之后能够获得高质量的图像下采样模型和图像上采样模型。
86.本公开实施例通过训练数据对图像下采样模型和图像上采样模型进行联合训练，能够减少下采样的信息丢失，同时能够增强图片的恢复质量；并且在训练过程中图像下采样模型和图像上采样模型的处理过程中加入了编解码处理流程，能够减少编码和解码过程导致的信息丢失，最终能够得到使得图像质量恢复效果较高的图像下采样模型和图像上采样模型。
87.在本实施例的一个可选实现方式中，步骤s102，即利用训练数据集对图像下采样模型和图像上采样模型进行训练的步骤，进一步包括以下步骤：
88.利用第一训练数据集对图像下采样模型和图像上采样模型进行初始训练；其中，
在初始训练过程中，将所述图像下采样模型处理得到的结果输出至所述图像上采样模型进行处理；
89.利用第二训练数据集对初始训练后的所述图像下采样模型和所述图像上采样模型进行进一步训练；其中，在进一步训练过程中，将所述图像下采样模型处理得到的结果进行编码和解码处理后，输出至所述图像上采样模型进行处理。
90.该可选的实现方式中，第一训练数据集和第二训练数据集可以相同也可以不同，或者可以部分相同部分不相同。在对图像下采样模型和图像上采样模型进行联合训练的过程中，可以先利用第一训练数据集先对图像下采样模型和图像上采样模型进行初始训练，该初始训练过程中，可以先不加入编码和解码流程，也即图像下采样模型对图像进行处理得到的下采样结果直接输入至图像上采样模型，由图像上采样模型进行处理。初始训练过程可以理解为对图像上采样模型和图像下采样模型的模型参数的初始调整过程，因此初始训练过程可以在图像下采样模型和图像上采样模型的模型参数收敛之后停止，也可以在图像下采样模型和图像上采样模型的模型参数未收敛之前就停止。
91.在初始训练过程结束之后，可以利用第二训练数据集对图像下采样模型和图像上采样模型进行进一步训练，该进一步训练过程中，加入了编码和解码流程，也即图像下采样模型对图像进行处理得到的下采样结果经过编码处理和解码处理之后再输入至图像上采样模型，由图像上采样模型进行处理。进一步训练过程可以理解为对图像下采样模型和图像上采样模型的模型参数的优化调整过程，因此该进一步训练过程可以在图像下采样模型和图像上采样模型的模型参数收敛或者训练次数达到预设阈值之后再停止。该技术方案在不加入编码和解码流程的情况下通过端到端的学习方式对图像下采样模型和图像上采样模型进行初始训练，以减少下采样的信息丢失，提高上采样的图像恢复质量；同时在初始训练的基础上，再加入编码和解码流程后，对图像下采样模型和图像上采样模型进行端到端的优化训练，以减少编码器和解码器导致的信息丢失，最终得到图像质量恢复较高的图像下采样模型和图像上采样模型。
92.在本实施例的一个可选实现方式中，利用第一训练数据集对图像下采样模型和图像上采样模型进行初始训练的步骤，进一步包括以下步骤：
93.利用所述图像下采样模型对所述第一训练数据集中的图像进行下采样处理，获得第一处理结果；
94.利用所述图像上采样模型对所述第一处理结果进行上采样处理，获得第二处理结果；
95.利用所述第一训练数据集中的所述图像、所述第一处理结果以及所述第二处理结果对所述图像上采样模型和所述图像下采样模型的模型参数进行调整。
96.该可选的实现方式中，在利用第一训练数据集对图像下采样模型和图像上采样模型进行初始训练的过程中，将第一训练数据集中的图像输入至图像下采样模型进行处理，得到第一处理结果，该第一处理结果为对图像进行下采样缩小了分辨率的下采样图像；该第一处理结果输入至图像上采样模型进行上采样处理，得到第二处理结果，该第二处理结果为对下采样图像进行分辨率恢复而得到的恢复后的图像，通过将该经过图像下采样模型和图像上采样模型处理后恢复后的图像与原输入图像进行对比来调整图像下采样模型和图像上采样模型的模型参数，也即通过构造损失函数对模型参数进行调整。
97.在本实施例的一个可选实现方式中，利用第二训练数据集对初始训练后的所述图像下采样模型和所述图像上采样模型进行进一步训练的步骤，进一步包括以下步骤：
98.利用初始训练后的所述图像下采样模型对所述第二训练数据集中的图像进行下采样处理，获得第三处理结果；
99.获取所述第三处理结果的编码结果以及对所述编码结果进行解码后得到解码结果；
100.利用所述图像上采样模型对所述解码结果进行上采样处理，获得第四处理结果；
101.利用所述第二训练数据集中的所述图像、所述第三处理结果以及所述第四处理结果对所述图像上采样模型的模型参数进行调整。
102.该可选的实现方式中，在利用第二训练数据集对初始训练得到的图像下采样模型和图像上采样模型进行进一步训练的过程中，将第二训练数据集中的图像输入至图像下采样模型进行处理，得到第三处理结果，该第三处理结果为对图像进行下采样缩小了分辨率的下采样结果；该第三处理结果输入至编码器后进行编码，得到编码结果；该编码结果再输入至解码器进行解码处理，得到解码结果，该解码结果输入至图像上采样模型进行上采样处理，得到第四处理结果，该第四处理结果为对解码图像进行分辨率恢复而得到的恢复后的图像。通过将该经过图像下采样模型和图像上采样模型处理后得到的恢复后的图像与原输入图像进行对比来调整图像上采样模型的模型参数，也即通过构造损失函数对图像上采样模型的模型参数进行调整。由于对图像上采样模型的模型参数进行调整时，反向传播过程中不涉及编码和解码，因此按照正常的模型参数调整流程即可。
103.在本实施例的一个可选实现方式中，利用第二训练数据集对初始训练后的所述图像下采样模型和所述图像上采样模型进行进一步训练的步骤，进一步包括以下步骤：
104.利用初始训练后的所述图像下采样模型对所述第二训练数据集进行下采样处理，获得第三处理结果；
105.获取所述第三处理结果的编码结果以及对所述编码结果进行解码后得到解码结果；
106.利用所述图像上采样模型对所述解码结果进行上采样处理，获得第四处理结果；
107.利用所述第二训练数据集、所述第三处理结果以及所述第四处理结果对所述图像下采样模型和所述图像上采样模型的模型参数进行调整。
108.该可选的实现方式中，在利用第二训练数据集对初始训练得到的图像下采样模型和图像上采样模型进行进一步训练的过程中，将第二训练数据集中的图像输入至图像下采样模型进行处理，得到第三处理结果，该第三处理结果为对图像进行下采样缩小了分辨率的下采样结果。该第三处理结果输入至编码器后进行编码，得到编码结果；该编码结果再输入至解码器进行解码处理，得到解码结果，该解码结果输入至图像上采样模型进行上采样处理，得到第四处理结果，该第四处理结果为对解码图像进行分辨率恢复而得到的恢复后的图像。通过将该经过图像下采样模型和图像上采样模型处理后得到的恢复后的图像与原输入图像进行对比来调整图像上采样模型的模型参数，也即通过构造损失函数对图像上采样模型的模型参数进行调整。
109.由于对图像上采样模型的模型参数进行调整时，反向传播过程中不涉及编码和解码，因此按照正常的模型参数调整流程即可。而对于图像下采样模型的模型参数进行调整
时，反向传播过程中会涉及到编码和解码，而由于编码和解码过程是不可导的，因此可以通过梯度停止的方式跨过编码和解码过程，这样即可实现对图像下采样模型的模型参数的调整。
110.在本实施例的一个可选实现方式中，利用所述第二训练数据集、所述第三处理结果以及所述第四处理结果对所述图像下采样模型和所述图像上采样模型的模型参数进行调整的步骤，进一步包括以下步骤：
111.在模型参数的调整过程中，利用梯度停止的方式跨过编码和解码的反向传播过程。
112.该可选的实现方式中，利用第二训练数据集、第三处理结果和第四处理结果对图像下采样模型的模型参数进行调整时，由于反向传播过程会涉及到编码和解码，而编码和解码过程又是不可导的，因此可以通过梯度停止的方式跨过编码和解码过程，这样即可实现对图像下采样模型的模型参数的调整。
113.在一些实施例中，梯度停止方式可以如下表示：
114.y_dec＝stop_gradient(y_dec-y_hat) y_hat
115.其中，y_dec表示解码结果，y_hat表示图像下采样模型输出的第三处理结果，stop_gradient表示梯度停止。
116.在本实施例的一个可选实现方式中，获取所述第三处理结果的编码结果以及对所述编码结果进行解码后得到解码结果的步骤，进一步包括以下步骤：
117.获取预设图像分组对应的编码结果；其中，所述预设图像分组包括所述第二训练数据集中按照播放顺序划分得到的多个连续图像；
118.获取所述编码结果的所述解码结果。
119.该可选的实现方式中，在第二训练数据集中包括的图像是连续视频帧时，可以将第二训练数据集划分成一个或多个预设图像分组，每个预设图像分组可以对应一小段视频，并以该预设图像分组为单位进行编码和解码，也即可以利用图像下采样模型获取预设图像分组中各图像对应的下采样结果，之后可以将预设图像分组中各图像对应的下采样结果进行编码得到该预设图像分组对应的编码结果，之后再利用解码器获取该编码结果对应的解码结果。通过这种方式，可以在图像下采样模型和图像上采样模型的训练过程中加入编码和解码处理流程后，对下采样结果进行正常编码和解码处理。
120.需要说明的是，对于yuv视频数据，由于无法直接使用yuv视频数据进行训练，因此可以将yuv视频数据分解成不同帧的y/u/v三个通道的图像后，作为模型训练的输入图像。
121.图2示出根据本公开一实施方式的图像下采样模型和图像上采样模型联合训练的实现流程示意图。如图2所示，图像下采样模型和图像上采样模型的联合训练过程包括两部分：初步训练过程和优化训练过程。在初步训练过程中，可以将第一训练数据集中的连续图像按照对应的视频播放顺序(该连续图像对应的视频序列帧的视频播放顺序)输入至图像下采样模型(初步训练过程中图像下采样模型的模型参数初始值可以是随机初始化值或者预先设定的初始化值)中进行处理，由图像下采样模型获得下采样结果，下采样结果直接输入至图像上采样模型(初步训练过程中图像上采样模型的模型参数初始值可以是随机初始化值或者预先设定的初始化值)中进行处理，由图像上采样模型获得上采样结果，上采样结果为对第一训练数据集中的图像进行下采样后再经过上采样恢复得到的图像，通过构造损
失函数将该上采样结果与原图像进行对比，进而对图像上采样模型和图像下采样模型的模型参数进行调整。经过第一训练数据集中所有图像或者部分图像的训练，可以得到图像上采样模型和图像下采样模型的初始模型参数，之后可以对初始模型参数进行优化训练。
122.在优化训练过程中，可以利用第二训练数据集进行训练。而该第二训练数据集可以与第一训练数据集不同、相同或者部分相同。将第二训练数据集中的图像输入至具有初始模型参数的图像下采样模型中进行下采样处理，得到的下采样处理结果输入至编码器中进行编码，该编码器可以是h264、h265等视频编码器；该编码器得到的编码结果输入至解码器进行解码，解码器可以是与编码器的解码器，例如h264、h265等视频编码器。该解码器得到的解码结果可以输入至具有初始模型参数的图像上采样模型进行上采样处理，上采样处理结果即为第二训练数据集中的图像经过下采样、编码和解码处理后，进一步经过上采样处理而恢复的图像。通过构造损失函数将该恢复的图像与原图像进行比对，进而对图像上采样模型的模型参数进行调整，或者对图像上采样模型和图像下采样模型的模型参数共同进行调整；最终经过第二训练数据集中全部或者部分图像的训练，可以得到收敛后的图像下采样模型和图像上采样模型的模型参数。
123.图3示出根据本公开另一实施方式的数据处理方法的流程图。如图3所示，该数据处理方法包括以下步骤：
124.在步骤s301中，获取待处理的视频数据；
125.在步骤s302中，利用图像下采样模型对所述视频数据进行处理，获得下采样处理结果；其中，所述图像下采样模型利用上述图1所示实施例及相关实施例中的数据处理方法训练得到。
126.在步骤s303中，获取所述下采样处理结果的编码数据。
127.本实施例中，该数据处理方法可以在视频数据发送端执行。待处理的视频数据可以是待分享到接收端的视频数据，例如可以是直播场景下在本地产生的视频数据。为了能够通过减少编码数据量和/或传输宽带的占用率等，节省资源，并提高视频数据的分享效率，可以利用图像下采样模型对视频数据中的视频帧图像进行下采样处理后，再进行编码得到编码数据；该编码数据可以通过网络发送至接收端。图像下采样模型可以利用图1所示实施例及相关实施例中的数据处理方法训练得到，具体细节可以参见上述对图1所示实施例及相关实施例的描述，在此不再赘述。
128.在接收端可以利用解码器对编码数据进行解码之后，再由图像上采样模型进行上采样处理后，恢复成原图像的分辨率后输出。由于视频发送端使用的图像下采样模型和视频接收端使用的图像上采样模型均可以利用本公开实施例中提出的数据处理方法训练得到，因此在对视频数据中的视频序列帧进行下采样处理以及上采样处理之后，能够得到质量与原图质量接近的视频数据，在节省了视频分享资源的前提下，减少了信息的丢失，并且恢复出了质量较好的视频数据。
129.图4示出根据本公开另一实施方式的数据处理方法的流程图。如图4所示，该数据处理方法包括以下步骤：
130.在步骤s401中，接收视频编码数据；
131.在步骤s402中，获取所述视频编码数据的解码数据；
132.在步骤s403中，利用图像上采样模型对所述解码数据进行处理，获得视频数据；其
中，所述图像上采样模型利用上述图1所示实施例及相关实施例中的数据处理方法训练得到。
133.本实施例中，该数据处理方法可以在视频数据接收端执行。为了能够减少编码数据量和/或传输宽带的占用率等，以节省资源，并提高视频数据的分享效率，视频发送端将待分享的视频数据经过下采样处理和编码器编码之后，通过网络发送给视频接收端。
134.在视频接收端可以利用解码器对编码数据进行解码之后，再由图像上采样模型进行上采样处理后，恢复成原图像的分辨率后输出。该图像上采样模型可以利用图1所示实施例及相关实施例中的数据处理方法训练得到，具体细节可以参见上述对图1所示实施例及相关实施例的描述，在此不再赘述。由于视频发送端使用的图像下采样模型和视频接收端使用的图像上采样模型均可以利用本公开实施例中提出的数据处理方法训练得到，因此在对视频数据中的视频序列帧进行下采样处理以及上采样处理之后，能够得到质量与原图像质量接近的视频数据，在节省了视频分享资源的前提下，减少了信息的丢失，并且恢复出了质量较好的视频数据。
135.图5示出根据本公开一实施方式的视频分享场的实现流程示意图。如图5所示，x_in为视频发送端待分享的yuv720p视频数据；在视频分享过程中，该视频数据x_in经过图像下采样模型的下采样处理后，获得yuv360p下采样视频数据y_hat，下采样视频数据y_hat经过h265编码器编码后，经过云发送至视频接收端；视频接收端对于接收到的编码数据利用h265解码器进行解码，得到yuv360p视频数据y_dec；该视频数据y_dec被输入至图像上采样模型进行上采样处理，获得恢复后的视频数据x_hat，视频数据x_hat为与原视频数据x_in的分辨率相同的yuv720p视频数据。通过这种方式，在受设备硬件编码器限制而不能对720p视频进行编解码时，在视频发送端和接收端可以通过软编码的方式来实现对低分辨率视频的编码以及解码。
136.图6示出根据本公开另一实施方式的数据处理方法的流程图。如图6所示，该数据处理方法包括以下步骤：
137.在步骤s601中，获取训练数据集；所述训练数据集包括多个图像；
138.在步骤s602中，调用预设服务接口，以便由所述预设服务接口利用所述训练数据集对图像下采样模型和图像上采样模型进行训练；其中，训练过程中，对所述图像下采样模型处理得到的结果进行编码和解码处理后，由所述图像上采样模型进行处理；
139.在步骤s603中，输出训练完成的所述图像上采样模型和所述图像下采样模型。
140.本实施例中，该数据处理方法可以云端执行。预设服务接口可以预先部署在云端，该预设服务接口可以是saas(software-as-a-service，软件即服务)接口，需求方可以预先获得该预设服务接口的使用权，在需要时可以通过调用该预设服务接口训练得到图像下采样模型和图像上采样模型。
141.训练数据集可以包括多个图像，该多个图像可以是一段或多段视频中的连续视频帧序列，该训练数据集中的多个图像可以具有显示顺序，该显示顺序与图像对应的视频播放顺序一致。需要说明的是，由于yuv视频数据无法直接输入至图像上采样模型和图像下采样模型进行训练，可以先将yuv视频数据划分成y、u、v三个通道中的三个图像。
142.图像下采样模型和图像上采样模型可以是机器学习模型，在一些实施例中，图像下采样模型和图像上采样模型可以由神经网络比如卷积神经网络构建而成，且该图像下采
样模型和图像上采样模型可以利用基于深度学习的方法训练。
143.例如，图像下采样模型中可以使用步幅为2(2倍上下采样时使用步幅为2的卷积神经网络，而4倍上下采样时可以使用步幅为4的卷积神经网络，或者使用两个步幅为2的卷积神经网络)的卷积神经网络或者space2depth的方式来实现下采样，图像上采样模型中可以使用步幅为2的反卷积神经网络或者depth2space的操作来实现上采样，整体网络长度可以根据实际需求进行设置，比如可以将图像上采样模型或图像下采样模型设计成10层卷积神经网络或者10层反卷积神经网络，在此不做具体限制。
144.图像下采样模型用于对输入的图像进行下采样处理，也即将图像的原分辨率从大到小缩小n倍(n大于等于2)，图像上采样模型用于对输入的图片进行上采样处理，也即将图像的原分辨率从小到大放大n倍(n大于等于2)。在一些视频传输场景，例如直播场景中，局限于硬件设备的硬件资源以及网络带宽等影响，无法将本地产生的高清视频直接分享给接收端，因此可以在本地利用图像下采样模型将高清视频进行下采样，将分辨率缩小之后再进行编码，编码后的视频数据发送至接收端，由接收端的解码器解码之后再由图像上采样模型放大解码后的视频数据的分辨率，以恢复成原图像的分辨率。该过程中，视频数据由于经过图像下采样模型的下采样处理后进行编码，因此视频数据得到了一定程度的压缩，而在接收端对编码数据进行解码后，又经过了图像上采样模型的上采样恢复处理，因此视频数据可以得到一定程度的恢复，而视频数据的恢复质量则受图像下采样模型和图像上采样模型的处理影响。
145.本公开实施例中的图像下采样模型和图像上采样模型采用了机器学习模型，预设服务接口在接收到调用请求之后，且通过训练数据对图像下采样模型和图像上采样模型进行联合训练。在训练过程中，图像下采样模型对输入图像进行处理之后，经过编码处理以及解码处理后，由图像上采样模型再进行处理，之后通过图像上采样模型处理后得到的图像与原图像构建损失函数，对图像下采样模型和图像上采样模型的模型参数进行调整，最终在模型参数收敛之后能够获得高质量的图像下采样模型和图像上采样模型。
146.本公开实施例通过预先部署服务接口，在需要的情况下通过调用该服务器接口对图像下采样模型和图像上采样模型进行联合训练，能够减少下采样的信息丢失，同时能够增强图片的恢复质量；并且在训练过程中图像下采样模型和图像上采样模型的处理过程中加入了编解码处理流程，能够减少编码和解码过程导致的信息丢失，最终能够得到使得图像质量恢复效果较高的图像下采样模型和图像上采样模型。
147.在本实施例的一个可选实现方式中，步骤s602中利用训练数据集对图像下采样模型和图像上采样模型进行训练的步骤，进一步包括以下步骤：
148.利用第一训练数据集对图像下采样模型和图像上采样模型进行初始训练；其中，在初始训练过程中，将所述图像下采样模型处理得到的结果输出至所述图像上采样模型进行处理；
149.利用第二训练数据集对初始训练后的所述图像下采样模型和所述图像上采样模型进行进一步训练；其中，在进一步训练过程中，将所述图像下采样模型处理得到的结果进行编码和解码处理后，输出至所述图像上采样模型进行处理。
150.在本实施例的一个可选实现方式中，利用第一训练数据集对图像下采样模型和图像上采样模型进行初始训练的步骤，进一步包括以下步骤：
151.利用所述图像下采样模型对所述第一训练数据集中的图像进行下采样处理，获得第一处理结果；
152.利用所述图像上采样模型对所述第一处理结果进行上采样处理，获得第二处理结果；
153.利用所述第一训练数据集中的所述图像、所述第一处理结果以及所述第二处理结果对所述图像上采样模型和所述图像下采样模型的模型参数进行调整。
154.在本实施例的一个可选实现方式中，利用第二训练数据集对初始训练后的所述图像下采样模型和所述图像上采样模型进行进一步训练的步骤，进一步包括以下步骤：
155.利用初始训练后的所述图像下采样模型对所述第二训练数据集中的图像进行下采样处理，获得第三处理结果；
156.获取所述第三处理结果的编码结果以及对所述编码结果进行解码后得到解码结果；
157.利用所述图像上采样模型对所述解码结果进行上采样处理，获得第四处理结果；
158.利用所述第二训练数据集中的所述图像、所述第三处理结果以及所述第四处理结果对所述图像上采样模型的模型参数进行调整。
159.在本实施例的一个可选实现方式中，利用第二训练数据集对初始训练后的所述图像下采样模型和所述图像上采样模型进行进一步训练的步骤，进一步包括以下步骤：
160.利用初始训练后的所述图像下采样模型对所述第二训练数据集进行下采样处理，获得第三处理结果；
161.获取所述第三处理结果的编码结果以及对所述编码结果进行解码后得到解码结果；
162.利用所述图像上采样模型对所述解码结果进行上采样处理，获得第四处理结果；
163.利用所述第二训练数据集、所述第三处理结果以及所述第四处理结果对所述图像下采样模型和所述图像上采样模型的模型参数进行调整。
164.在本实施例的一个可选实现方式中，利用所述第二训练数据集、所述第三处理结果以及所述第四处理结果对所述图像下采样模型和所述图像上采样模型的模型参数进行调整的步骤，进一步包括以下步骤：
165.在模型参数的调整过程中，利用梯度停止的方式跨过编码和解码的反向传播过程。
166.在本实施例的一个可选实现方式中，获取所述第三处理结果的编码结果以及对所述编码结果进行解码后得到解码结果的步骤，进一步包括以下步骤：
167.获取预设图像分组对应的编码结果；其中，所述预设图像分组包括所述第二训练数据集中按照播放顺序划分得到的多个连续图像；
168.获取所述编码结果的所述解码结果。
169.上述可选实现方式中的具体细节可以参见上述对图1所示实施例及相关实施例中的描述，在此不再赘述。
170.下述为本公开装置实施例，可以用于执行本公开方法实施例。
171.根据本公开一实施方式的数据处理装置，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。该数据处理装置包括：
172.第一获取模块，被配置为获取训练数据集；所述训练数据集包括多个图像；
173.训练模块，被配置为利用训练数据集对图像下采样模型和图像上采样模型进行训练；
174.其中，在训练过程中，对所述图像下采样模型处理得到的结果进行编码和解码处理后，由所述图像上采样模型进行处理。
175.在本实施例的一个可选实现方式中，所述训练模块，包括：
176.第一训练子模块，被配置为利用第一训练数据集对图像下采样模型和图像上采样模型进行初始训练；其中，在初始训练过程中，将所述图像下采样模型处理得到的结果输出至所述图像上采样模型进行处理；
177.第二训练子模块，被配置为利用第二训练数据集对初始训练后的所述图像下采样模型和所述图像上采样模型进行进一步训练；其中，在进一步训练过程中，将所述图像下采样模型处理得到的结果进行编码和解码处理后，输出至所述图像上采样模型进行处理。
178.在本实施例的一个可选实现方式中，所述第一训练子模块，包括：
179.第一处理子模块，被配置为利用所述图像下采样模型对所述第一训练数据集中的图像进行下采样处理，获得第一处理结果；
180.第二处理子模块，被配置为利用所述图像上采样模型对所述第一处理结果进行上采样处理，获得第二处理结果；
181.第一调整子模块，被配置为利用所述第一训练数据集中的所述图像、所述第一处理结果以及所述第二处理结果对所述图像上采样模型和所述图像下采样模型的模型参数进行调整。
182.在本实施例的一个可选实现方式中，所述第二训练子模块，包括：
183.第三处理子模块，被配置为利用初始训练后的所述图像下采样模型对所述第二训练数据集中的图像进行下采样处理，获得第三处理结果；
184.第一编解码子模块，被配置为获取所述第三处理结果的编码结果以及对所述编码结果进行解码后得到解码结果；
185.第四处理子模块，被配置为利用所述图像上采样模型对所述解码结果进行上采样处理，获得第四处理结果；
186.第二调整子模块，被配置为利用所述第二训练数据集中的所述图像、所述第三处理结果以及所述第四处理结果对所述图像上采样模型的模型参数进行调整。
187.在本实施例的一个可选实现方式中，所述第二训练子模块，包括：
188.第五处理子模块，被配置为利用初始训练后的所述图像下采样模型对所述第二训练数据集进行下采样处理，获得第三处理结果；
189.第二编解码子模块，被配置为获取所述第三处理结果的编码结果以及对所述编码结果进行解码后得到解码结果；
190.第六处理子模块，被配置为利用所述图像上采样模型对所述解码结果进行上采样处理，获得第四处理结果；
191.第三调整子模块，被配置为利用所述第二训练数据集、所述第三处理结果以及所述第四处理结果对所述图像下采样模型和所述图像上采样模型的模型参数进行调整。
192.在本实施例的一个可选实现方式中，所述第三调整子模块，包括：
193.反向传播子模块，被配置为在模型参数的调整过程中，利用梯度停止的方式跨过编码和解码的反向传播过程。
194.在本实施例的一个可选实现方式中，所述第二调整子模块或所述第三调整子模块，包括：
195.第一获取子模块，被配置为获取预设图像分组对应的编码结果；其中，所述预设图像分组包括所述第二训练数据集中按照播放顺序划分得到的多个连续图像；
196.第二获取子模块，被配置为获取所述编码结果的所述解码结果。
197.本实施例中的数据处理装置与图1所示实施例及相关实施例中的数据处理方法对应一致，具体细节可以参见图1所示实施例及相关实施例中的描述，在此不再赘述。
198.根据本公开另一实施方式的数据处理装置，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。该数据处理装置包括：
199.第二获取模块，被配置为获取待处理的视频数据；
200.第一处理模块，被配置为利用图像下采样模型对所述视频数据进行处理，获得下采样处理结果；其中，所述图像下采样模型利用上述数据处理装置训练得到；
201.第三获取模块，被配置为获取所述下采样处理结果的编码数据。
202.本实施例中的数据处理装置与图3所示实施例及相关实施例中的数据处理方法对应一致，具体细节可以参见图3所示实施例及相关实施例中的描述，在此不再赘述。
203.根据本公开另一实施方式的数据处理装置，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。该数据处理装置包括：
204.接收模块，被配置为接收视频编码数据；
205.第四获取模块，被配置为获取所述视频编码数据的解码数据；
206.第二处理模块，被配置为利用图像上采样模型对所述解码数据进行处理，获得视频数据；其中，所述图像上采样模型利用上述数据处理装置训练得到。
207.本实施例中的数据处理装置与图4所示实施例及相关实施例中的数据处理方法对应一致，具体细节可以参见图4所示实施例及相关实施例中的描述，在此不再赘述。
208.根据本公开另一实施方式的数据处理装置，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。该数据处理装置包括：
209.第五获取模块，被配置为获取训练数据集；所述训练数据集包括多个图像；
210.调用模块，被配置为调用预设服务接口，以便由所述预设服务接口利用所述训练数据集对图像下采样模型和图像上采样模型进行训练；其中，训练过程中，对所述图像下采样模型处理得到的结果进行编码和解码处理后，由所述图像上采样模型进行处理；
211.输出模块，被配置为输出训练完成的所述图像上采样模型和所述图像下采样模型。
212.本实施例中的数据处理装置与图6所示实施例及相关实施例中的数据处理方法对应一致，具体细节可以参见图6所示实施例及相关实施例中的描述，在此不再赘述。
213.图7是适于用来实现根据本公开实施方式的数据处理方法的电子设备的结构示意图。
214.如图7所示，电子设备700包括处理单元701，其可实现为cpu、gpu、fpga、npu等处理单元。处理单元701可以根据存储在只读存储器(rom)702中的程序或者从存储部分708加载
到随机访问存储器(ram)703中的程序而执行本公开上述任一方法的实施方式中的各种处理。在ram703中，还存储有电子设备700操作所需的各种程序和数据。处理单元701、rom702以及ram703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。
215.以下部件连接至i/o接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至i/o接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
216.特别地，根据本公开的实施方式，上文参考本公开实施方式中的任一方法可以被实现为计算机软件程序。例如，本公开的实施方式包括一种计算机程序产品，其包括有形地包含在及其可读介质上的计算机程序，所述计算机程序包含用于执行本公开实施方式中任一方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。
217.附图中的流程图和框图，图示了按照本公开各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
218.描述于本公开实施方式中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
219.作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施方式中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法。
220.以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。