视频图像的处理方法、处理设备、电子设备以及存储介质与流程

1.本技术涉及视频编码技术领域，特别是涉及一种视频图像的处理方法、处理设备、电子设备以及存储介质。


背景技术：

2.通常，视频图像数据量比较大，通常需要对视频像素数据(rgb、yuv等)其进行压缩，压缩后的数据称之为视频码流，视频码流通过有线或者无线网络传输至用户端，再进行解码观看。
3.目前，整个视频编码流程包括块划分、预测、变换、量化、编码等过程，后续还可加入各种滤波过程让图像看起来更加自然。在对视频图像进行处理时，往往将视频图像的所有图像分量进行下采样，导致图像分量会有较大损失，并且对下采样图像进行超采样的方式不够灵活，对超采样后的图像质量造成较大影响。


技术实现要素：

4.解决上述技术问题，本技术第一方面采用的技术方案是提供一种视频图像的处理方法，该处理方法包括：利用参考图像重采样技术对视频图像的亮度分量、第一色度分量以及第二色度分量中的至少一者进行下采样，得到下采样分量；对下采样分量进行编码解码重建，得到下采样的重建分量；将下采样的重建分量输入超采样网络中进行超采样，以恢复得到视频图像。
5.为解决上述技术问题，本技术第二方面采用的技术方案是提供一种处理设备，该处理设备用于对视频图像进行处理，包括：
6.下采样模块，用于利用参考图像重采样技术对视频图像的亮度分量、第一色度分量以及第二色度分量中的至少一者进行下采样，得到下采样分量；
7.编解码重建模块，用于对下采样图像进行编码解码重建，得到下采样的重建分量；
8.超采样模块，用于将下采样的重建分量输入超采样网络中进行超采样，以使恢复模块用于恢复得到视频图像。
9.为解决上述技术问题，本技术第三方面采用的技术方案是提供一种电子设备，该电子设备包括：处理器和存储器，存储器中存储有计算机程序，处理器用于执行计算机程序以实现如本技术第一方面的处理方法。
10.为解决上述技术问题，本技术第四方面采用的技术方案是提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，计算机程序能够被处理器执行时实现本技术第一方面的处理方法。
11.本技术的有益效果是：本技术通过利用参考图像重采样技术对视频图像的亮度分量、第一色度分量以及第二色度分量中的至少一者进行下采样，将图像分量进行了适度选择处理，降低了比特消耗程度，使得图像分量保持较高的图像质量，并且处理图像分量的程度呈现多样性，使得恢复的视频图像表现更为自然灵活。
附图说明
12.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
13.图1是本技术视频图像的处理方法一实施例流程示意图；
14.图2是本技术选择方案b对视频图像的图像分量进行选择性下采样的流程示意图；
15.图3是图1中包含步骤s13的一具体实施流程示意图；
16.图4是图1中步骤s13的一具体实施流程示意图；
17.图5是图1中步骤s13的另一具体实施流程示意图；
18.图6是图1中步骤s13的再一具体实施流程示意图；
19.图7是图1中步骤s13的又一具体实施流程示意图；
20.图8是图1中步骤s13的还一具体实施流程示意图；
21.图9是本技术处理设备实施例的结构示意框图；
22.图10是本技术电子设备实施例的结构示意框图；
23.图11是本技术计算机可读存储介质实施例的电路示意框图。
具体实施方式
24.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
25.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
26.还应当理解，在此本技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本技术。如在本技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
27.还应当进一步理解，在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
28.如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0029]
下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0030]
为了说明本技术的技术方案，下面通过具体实施例来进行说明本技术提供一种视
频图像的处理方法，请参阅图1，图1是本技术视频图像的处理方法一实施例流程示意图，该处理方法具体包括以下步骤：
[0031]
s11：利用参考图像重采样技术对视频图像的亮度分量、第一色度分量以及第二色度分量中的至少一者进行下采样，得到下采样分量；
[0032]
在视频编码中，最常用颜色编码方法有yuv、rgb等，本发明中所采用的颜色编码方法为yuv。y表示明亮度；u和v(即cb和cr)表示色度，作用是描述图像色彩及饱和度(或描述蓝色通道cb和红色通道cr)，这里为了将色度包含的两种含义进行区分，分别定义为第一色度和第二色度，以此分别对应下文的第一色度分量和第二色度分量，其中第一色度分量可以是色相分量，第二色度分量可以是色饱和度分量。每个y亮度块都对应一个cb和一个cr色度块，每个色度块只对应一个亮度块。以4:2:0的采样格式为例，一个n*m的块对应亮度块大小为n*m，对应的两个色度块的大小都为(n/2)*(m/2)，色度块为亮度块的1/4大小。
[0033]
整个视频编码流程包括块划分、预测、变换、量化、编码等过程，其中块划分：视频编码时，输入的是一个个图像帧，但对一帧图像进行编码时，需要将一帧分割成若干lcu(最大编码单元)，然后再对每个编码单元进行不同尺寸的递归的cu(编码单元)分割，视频编码就是以cu为单元进行的。
[0034]
编码就是把数据转换成计算机看的懂的数字。编码方式有算术编码、边长编码等多种，这里不展开阐述。本技术可以采用参考图像重采样(reference picture resampling，rpr)技术。rpr技术是为了在传输条件不好的情况下，为了节省编码的比特消耗，将原始尺寸的图像下采样成小图像以后再进行编码传输。
[0035]
因此，可以在编码之前利用参考图像重采样技术对视频图像的亮度分量、第一色度分量以及第二色度分量中的至少一者进行下采样，得到下采样分量，通过将图像分量进行了适度选择处理，可以降低传输过程中比特消耗程度，使得图像分量保持较高的图像质量。
[0036]
s12：对下采样分量进行编码解码重建，得到下采样的重建分量；
[0037]
考虑到后续在对视频图像的亮度分量、第一色度分量以及第二色度分量中的至少一者进行下采样的延续处理，超采样网络可以有两种输出方式，一种是输入超采样网络的图像分量与输出一致，另一种是输出超采样网络的图像分量只有经过下采样的图像分量，基于此，对图像分量的编码解码对象也有所不同。
[0038]
一方面，若是对亮度分量、第一色度分量以及第二色度分量全部进行下采样处理，输入超采样网络的图像分量与输出一致，则对下采样分量进行编码解码重建，可以得到较为全面的下采样的重建分量。
[0039]
另一方面，此步骤还可以包括：若是对亮度分量、第一色度分量以及第二色度分量中的一者或两者进行下采样处理，和/或输出超采样网络的图像分量只有经过下采样的图像分量，则通过对未经下采样的图像分量和下采样分量均进行编码解码重建，分别得到未经下采样的重建分量和下采样的重建分量。
[0040]
也即，更进一步地，在利用参考图像重采样技术对视频图像的亮度分量、第一色度分量以及第二色度分量中的一个或两个分量进行下采样时，则该处理方法还包括：将未下采样的分量进行编码解码重建，得到未下采样的重建分量。
[0041]
在此步骤中，由于对视频图像的亮度分量、第一色度分量以及第二色度分量的下
采样处理多样化，以及超采样网络可以有两种输出方式，所以此步骤并不限定只对下采样分量进行编码解码重建，还可以对未下采样的图像分量进行编码解码重建，具体此处不做限定。
[0042]
s13：将下采样的重建分量输入超采样网络中进行超采样，以恢复得到视频图像。
[0043]
超采样(super resolution)也称为上采样，也即把小尺寸的图像通过插值滤波或别的计算方式变成大尺寸的图像，其中别的计算方式包括卷积神经网络。具体可以在解码端对小图像解码重建完成后再用上采样滤波器将小图像恢复成原始尺寸图像。
[0044]
具体地，对于视频图像的亮度分量、第一色度分量以及第二色度分量的下采样可以有多种组合方式，则得到的重建分量也有多种组合方式，然后可以将多种组合方式的下采样的重建分量输入超采样网络中进行超采样，以恢复得到视频图像。
[0045]
因此，本技术通过利用参考图像重采样技术对视频图像的亮度分量、第一色度分量以及第二色度分量中的至少一者进行下采样，将图像分量进行了适度选择处理，降低了比特消耗程度，使得图像分量保持较高的图像质量，并且处理图像分量的程度呈现多样性，使得恢复的视频图像表现更为自然灵活。
[0046]
通过rpr下采样的图像经过编码，解码重建后，再输入超采样网络。在应用策略上，分为rpr下采样策略，以及超采样网络的图像输入输出策略两步。
[0047]
其中，rpr下采样策略，也即利用参考图像重采样技术对视频图像的亮度分量、第一色度分量以及第二色度分量中的至少一者进行下采样，得到下采样分量的步骤具体地包括：
[0048]
方案a：利用参考图像重采样技术对视频图像的亮度分量、第一色度分量以及第二色度分量均进行下采样，得到下采样的亮度分量、下采样的第一色度分量和下采样的第二色度分量。
[0049]
或者，
[0050]
方案b：利用参考图像重采样技术对视频图像的亮度分量、第一色度分量以及第二色度分量中的一个或两个分量进行下采样，得到下采样的亮度分量、下采样的第一色度分量以及下采样的第二色度分量中的一个或两个。
[0051]
具体地，请参阅图2，图2是本技术选择方案b对视频图像的图像分量进行选择性下采样的流程示意图，该图中，只对y分量进行宽和高都1/2的下采样，u和v分量不变，从而可以得到经过下采样的y分量、未下采样的u分量和未下采样的v分量可以用于编码。
[0052]
其中，只用一种超采样网络，输入同一超采样网络的所有分量，其图像尺寸必须处理成相同的尺寸。该网络只输入经过rpr下采样后解码重建的图像分量，输出同样的图像分量，最后将输出的超采样分量和未输入网络的解码重建后的图像分量进行合并，则可以得到视频图像。
[0053]
此外，请参阅图3，图3是图1中包含步骤s13的一具体实施流程示意图，步骤s21与图1中的步骤s11相类似，此处不再赘述。此实例中只用一种超采样网络，超采样网络中除了输入所有经过rpr下采样后重建的图像分量，还要输入另外1个或2个解码重建的图像分量。将下采样的重建分量输入超采样网络中进行超采样，以恢复得到视频图像的步骤具体还包括以下步骤：
[0054]
s22：对下采样分量进行编码解码重建，得到下采样的重建分量；
[0055]
具体地，在利用参考图像重采样技术对视频图像的亮度分量、第一色度分量以及第二色度分量中的一个或两个分量进行下采样时，得到下采样的亮度分量、下采样的第一色度分量以及下采样的第二色度分量中的一个或两个。
[0056]
则可以对下采样的亮度分量、下采样的第一色度分量以及下采样的第二色度分量中的一个或两个进行编码解码重建，得到下采样的重建分量。
[0057]
s23：对未下采样分量进行编码解码重建，得到未下采样的重建分量；
[0058]
具体地，在利用参考图像重采样技术对视频图像的亮度分量、第一色度分量以及第二色度分量中的一个或两个分量进行下采样时，则至少有一份图像分量并未经过下采样，如此，可以得到一个或两个未下采样分量。
[0059]
对未下采样分量进行编码解码重建，则可以得到未下采样的重建分量。其中，步骤s22与步骤s23可以同时进行，也可以先执行步骤s22，后执行步骤s23，此处不做限定。
[0060]
s24：基于未下采样的重建分量，将下采样的重建分量输入超采样网络中进行联合超采样；
[0061]
其中，超采样网络的图像输入输出策略两步，从网络图像整体的输入输出方式上，可以只用一种网络模型进行超采样，也可以用不同的网络模型针对不同的分量进行超采样。该部分只讨论图像的输入输出，其余辅助信息(如qp信息)可输入也可不输入。
[0062]
基于未下采样的重建分量，将下采样的重建分量输入超采样网络中进行联合超采样，具体地，只用一种网络，比如卷积神经网络，网络中除了输入所有经过rpr下采样后重建的图像分量，还要输入另外1个或2个解码重建的图像分量，对其进行联合超采样。
[0063]
值得注意的是，这里的联合超采样指的是在超采样的过程中，下采样的重建分量可以利用未下采样的重建分量所代表的信息，但是未下采样的重建分量并不进行实质的超采样。
[0064]
s25：将超采样后的图像分量和未输入超采样网络的重建分量进行合并，得到视频图像。
[0065]
由于此时输入经过超采样网络的处理，使得输出超采样网络的未下采样的重建分量实际上与未输入超采样网络的重建分量并不一致，这里需要进行实质性区分。
[0066]
具体地，只用一种超采样网络，超采样网络中除了输入所有经过rpr下采样后重建的图像分量，还要输入另外1个或2个解码重建的图像分量，网络输出的分量和输入保持一致，再将网络输出的超采样后的图像分量和未输入超采样网络的解码重建后的图像分量合并，得到视频图像。
[0067]
另外，请参阅图4，图4是图1中步骤s13的另一具体实施流程示意图，将下采样的重建分量输入超采样网络中进行超采样，以恢复得到视频图像的步骤具体还包括以下步骤：
[0068]
s31：基于未下采样的重建分量，将下采样的重建分量输入超采样网络中进行联合超采样；
[0069]
此步骤与图3中的步骤s24相类似，此处不再赘述。
[0070]
s32：将超采样后的图像分量进行合并得到第一合并图像；
[0071]
具体地，若超采样网络只输出经过下采样的图像分量，最后将网络输出的超采样后的图像分量进行合并，形成第一合并图像。不过此时图像分量的部分特征可能有所损失，无法复原成视频图像，还需进一步操作执行。
[0072]
s33：判断第一合并图像是否是视频图像；
[0073]
通常，该处理方法的系统中预设有完整图像，用于判断第一合并图像是否是视频图像。
[0074]
若第一合并图像是视频图像，则进入步骤s34，也即将第一合并图像确定为视频图像；若不是，也即在判断到第一合并图像不是视频图像时，还无法合成yuv完整图像，则进入步骤s35，也即将第一合并图像与未下采样的重建分量进行合并，得到视频图像，形成完整图像。
[0075]
比如，在一该实施例中，rpr下采样策略选方案b，且只对u分量进行下采样。网络只输出经过下采样的图像分量，且除了输入下采样的u分量，还要输入解码重建的y分量和v分量，因此在网络中对u分量进行超采样时可以利用y分量和v分量的信息。最终输出超采样后的u分量，和解码重建的y分量和v分量合并后生成完整图像。
[0076]
另外，超采样网络至少包括第一卷积神经网络和第二卷积神经网络；在第一卷积神经网络和第二卷积神经网络的输入与输出保持一致时，请参阅图5，图5是图1中步骤s13的另一具体实施流程示意图，将下采样的重建分量输入超采样网络中进行超采样，以恢复得到视频图像的步骤包括：
[0077]
s41：将下采样的重建分量输入第一卷积神经网络进行超采样，输出第一超采样分量；
[0078]
具体地，每个下采样分量都有各自的网络，在下采样分量的当前网络中，可以只输入当前下采样分量，或还要输入另外1个或2个解码重建图像分量。其中，下采样分量包括y分量、u分量和v分量。解码重建图像分量也包括重建y分量、重建u分量和重建v分量。也即输出下采样的重建分量，或还有输出1个或2个未下采样的重建分量。
[0079]
比如对u分量和v分量各建一个网络，对u分量网络，除了输入u分量，还要输入解码重建的y分量，输出原尺寸的u分量u1和y分量y1。
[0080]
值得注意的是，在还要输入另外1个或2个解码重建图像分量第一卷积神经网络进行联合超采样时，这里的联合超采样指的是在超采样的过程中，输入超采样网络的下采样的重建分量可以利用未下采样的重建分量和/或其他下采样的重建分量所代表的信息，但是未下采样的重建分量和/或其他下采样的重建分量并不进行实质的超采样。
[0081]
s42：将下采样的重建分量输入第二卷积神经网络进行超采样，输出第二超采样分量；
[0082]
比如对v分量，网络除了输入v分量，还要输入解码重建的y分量，输出原尺寸的y分量y2，v分量v1。
[0083]
s43：将第一超采样分量和第二超采样分量中重复的图像分量进行加权平均，得到未下采样的重建分量对应的第三超采样分量或下采样的重建分量对应的第四超采样分量；
[0084]
若此时，网络输出的分量和输入保持一致，若某一个分量同时作为多个网络的输入，那么该分量的最终结果是多个网络输出的加权平均值。比如上文提到的y分量y1和y分量y2，为第一超采样分量和第二超采样分量中重复的图像分量，将y1和y2进行加权平均，则可以得到y分量的加权平均值。
[0085]
具体地，若对于同一分量输入不同的网络，则得到该分量可能是未下采样的重建分量需要进行加权平均，也可能得到下采样的重加分量需要进行加权平均，则将第一超采
样分量和第二超采样分量重复的图像分量进行加权平均，可以得到未下采样的重建分量对应的第三超采样分量或下采样的重建分量对应的第四超采样分量。
[0086]
s44：基于第三超采样分量或第四超采样分量，将剔除重复的图像分量的第一超采样分量和剔除重复的图像分量的第二超采样分量，与未输入超采样网络的重建分量进行合并，得到视频图像。
[0087]
具体地，可以将第三超采样分量或第四超采样分量、剔除重复的图像分量的第一超采样分量和剔除重复的图像分量的第二超采样分量，与未输入超采样网络的重建分量进行合并，得到视频图像，形成完整图像。
[0088]
在一实施例中，rpr下采样策略选方案b，且对u分量和v分量都进行下采样。网络输出的分量和输入保持一致，对u分量和v分量各建一个网络，对u分量网络，除了输入u分量，还要输入解码重建的y分量，输出原尺寸的u分量u1和y分量y1；对v分量，网络除了输入v分量，还要输入解码重建的y分量，输出原尺寸的y分量y2，v分量v1。最终y1和y2要进行加权平均得到最终的y分量，和v1、u1一起合并后生成完整图像。
[0089]
另外，超采样网络至少包括第一卷积神经网络和第二卷积神经网络；在第一卷积神经网络和第二卷积神经网络只输出经过下采样的图像分量时，请参阅图6，图6是图1中步骤s13的再一具体实施流程示意图，将下采样的重建分量输入超采样网络中进行超采样，以恢复得到视频图像的步骤包括：
[0090]
s51：将下采样的重建分量输入第一卷积神经网络进行超采样，输出第一超采样分量；
[0091]
具体地，此步骤与图5中的步骤s41相类似，此处不再赘述。
[0092]
s52：将下采样的重建分量输入第二卷积神经网络进行超采样，输出第二超采样分量；
[0093]
具体地，此步骤与图5中的步骤s42相类似，此处不再赘述。
[0094]
s53：将第一超采样分量和第二超采样分量进行合并，得到第二合并图像；
[0095]
由于网络只输出经过下采样的图像分量，可以将第一超采样分量和第二超采样分量进行合并，得到第二合并图像。不过此时图像分量的部分特征可能有所损失，无法复原成视频图像，还需进一步操作执行。
[0096]
s54：判断第二合并图像是否是视频图像；
[0097]
若是，则进入步骤s55，也即将第二合并图像确定为视频图像；若不是，也即在判断到第二合并图像不是视频图像时，表示还无法合成yuv完整图像，则进入步骤s56，也即将第二合并图像与未下采样的重建分量进行合并，得到视频图像。
[0098]
另外，超采样网络包括第一卷积神经网络和第二卷积神经网络，其中，第一卷积神经网络为针对亮度分量的超采样网络，第二卷积神经网络为针对色度分量的超采样网络，色度分量包括第一色度分量以及第二色度分量。
[0099]
在第一卷积神经网络和第二卷积神经网络的输入与输出保持一致时，请参阅图7，图7是图1中步骤s13的又一具体实施流程示意图，将下采样的重建分量输入超采样网络中进行超采样，以恢复得到视频图像的步骤包括：
[0100]
s61：将下采样的亮度分量输入第一卷积神经网络进行超采样，输出第一超采样分量；
[0101]
在此实施例中，针对亮度和色度分别构建网络。具体地，若亮度进行了下采样，则需要构建亮度的超采样网络，则可以只将下采样的亮度分量输入第一卷积神经网络进行超采样，输出第一超采样分量。
[0102]
s62：将色度分量中的至少一个分量输入第二卷积神经网络进行超采样，输出第二超采样分量；
[0103]
若色度中至少一个分量进行了下采样，则构建色度的采样网络，可以只输入下采样的色度分量，或还要输入另外1个或2个解码重建图像分量。
[0104]
具体地，可以将色度分量中的至少一个分量输入第二卷积神经网络进行超采样，输出第二超采样分量。还可以将将色度分量中的至少一个分量和1个或2个重建分量输入第二卷积神经网络进行超采样，输出第二超采样分量。
[0105]
值得注意的是，在还要输入另外1个或2个解码重建图像分量第一卷积神经网络进行联合超采样时，这里的联合超采样指的是在超采样的过程中，输入第二卷积神经网络的下采样的重建分量可以利用未下采样的重建分量和/或其他下采样的重建分量所代表的信息，但是未下采样的重建分量和/或其他下采样的重建分量并不进行实质的超采样。
[0106]
s63：将第一超采样分量和第二超采样分量中重复的图像分量进行加权平均，得到未下采样的重建分量对应的第三超采样分量或下采样的重建分量对应的第四超采样分量；
[0107]
具体地，此步骤与图5中的步骤s43相类似，此处不再赘述。
[0108]
s64：基于第三超采样分量或第四超采样分量，将剔除重复的图像分量的第一超采样分量和第二超采样分量与未输入超采样网络的重建分量进行合并，得到视频图像。
[0109]
具体地，此步骤与图5中的步骤s44相类似，此处不再赘述。
[0110]
另外，超采样网络包括第一卷积神经网络和第二卷积神经网络，其中，在对亮度分量进行下采样时，则构建亮度分量的第一卷积神经网络，在对色度分量进行下采样时，则构建色度分量的第二卷积神经网络，而色度分量包括第一色度分量以及第二色度分量，其中第一色度分量可以是色相分量或色饱和度分量中其一，第二色度分量可以是色相分量或色饱和度分量中另一；
[0111]
在第一卷积神经网络和第二卷积神经网络只输出经过下采样的图像分量时，请参阅图8，图8是图1中步骤s13的还一具体实施流程示意图，将下采样的重建分量输入超采样网络中进行超采样，以恢复得到视频图像的步骤包括：
[0112]
s71：将下采样的亮度分量输入第一卷积神经网络进行超采样，输出第一超采样分量；
[0113]
具体地，此步骤与图7中的步骤s61相类似，此处不再赘述。
[0114]
s72：将色度分量中的至少一个分量输入第二卷积神经网络进行超采样，输出第二超采样分量；
[0115]
具体地，此步骤与图7中的步骤s62相类似，此处不再赘述。
[0116]
s73：基于第一超采样分量和第二超采样分量进行合并，得到第三合并图像；
[0117]
具体地，此步骤与图6中的步骤s53相类似，此处不再赘述。
[0118]
s74：判断第三合并图像是否是视频图像；
[0119]
若是，则进入步骤s75，也即将第三合并图像确定为视频图像；若不是，也即在判断到第三合并图像不是视频图像时，表示还无法合成yuv完整图像，则进入步骤s76，也即在判
断到第三合并图像不是视频图像时，则将第三合并图像与未下采样的重建分量进行合并，得到视频图像。
[0120]
具体地，在一实施例中，rpr下采样策略选方案a，即对yuv都下采样。超采样网络只输出经过下采样的图像分量，对y分量构建网络，只输入y分量的下采样重建图像，输出原尺寸的y分量；对uv分量构建网络，除了输入下采样的u和v分量，还要输入下采样重建的y分量，因此在网络中对u和v分量进行超采样时可以利用y分量的信息，网络输出u和v分量的原始尺寸图像。最终网络输出的y分量，和网络输出的uv分量合并生成完整图像。
[0121]
因此，本技术可以灵活地对各个分量进行不同策略的下采样，可以在比特消耗和图像质量之间做平衡和取舍，更为灵活。另外，不管是对当前亮度分量还是对色度分量进行超采样，都可利用另外的1个或2个分量信息，有利于提升超采样的质量。
[0122]
为了说明本技术的技术方案，本技术还提供一种处理设备，请参阅图9，图9是本技术处理设备实施例的结构示意框图，该处理设备7用于对视频图像进行处理，具体可以包括：下采样模块71、编解码重建模块72和超采样模块73。
[0123]
其中，下采样模块71，用于利用参考图像重采样技术对视频图像的亮度分量、第一色度分量以及第二色度分量中的至少一者进行下采样，得到下采样分量；编解码重建模块72，用于对下采样图像进行编码解码重建，得到下采样的重建分量；超采样模块73，用于将下采样的重建分量输入超采样网络中进行超采样，以使恢复得到视频图像。
[0124]
因此，本技术通过下采样模块71利用参考图像重采样技术对视频图像的亮度分量、第一色度分量以及第二色度分量中的至少一者进行下采样，将图像分量进行了适度选择处理，降低了比特消耗程度，使得图像分量保持较高的图像质量，并且处理图像分量的程度呈现多样性，使得恢复的视频图像表现更为自然灵活。
[0125]
为了说明本技术的技术方案，本技术还提供一种电子设备，请参阅图10，图10是本技术电子设备实施例的结构示意框图，该电子设备8包括：处理器81和存储器82，存储器82中存储有计算机程序821，处理器81用于执行计算机程序821以实现如本技术实施例第一方面的方法，在此不再赘述。
[0126]
此外，本技术还提供一种计算机可读存储介质，请参阅图11，图11是本技术计算机可读存储介质实施例的电路示意框图，该计算机可读存储介质9存储有计算机程序91，计算机程序91能够被处理器执行时实现如本技术实施例第一方面的方法，在此不再赘述。
[0127]
如果以软件功能单元的形式实现并作为独立的产品销售或使用时，还可以存储在具有存储功能的装置中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储装置中，包括若干指令(程序数据)用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储装置包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种介质以及具有上述存储介质的电脑、手机、笔记本电脑、平板电脑、相机等电子设备。
[0128]
关于具有存储功能的装置中的程序数据的执行过程的阐述可以参照上述本技术视频图像的处理方法实施例中阐述，在此不再赘述。
[0129]
以上所述仅为本技术的实施例，并非因此限制本技术的专利范围，凡是利用本申
请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。