一种视频图像的处理方法和装置与流程

1.本技术涉及计算机领域，尤其涉及一种视频图像的处理方法和装置。


背景技术：

2.随着深度学习技术的发展，基于深度学习的图像处理技术越来越多的被应用到实际任务当中。相比于单帧图像处理技术的视频处理方法，基于连续多帧处理的视频处理方法，不仅可以获取当前帧空间上的信息，还能够获取参考帧的信息，这些参考帧多是时序上的相邻帧。
3.现有技术无论在模型训练，还是在模型推理时，在选取参考帧时，通常是选取当前帧前后紧邻的多帧，包括但不限于：选取后向连续多帧作为参考帧；选取前向多帧作为参考帧；同时选取后向和前向多帧作为参考帧。其中，后向指时序上已经出现的，前向指时序上还未出现的。
4.视频是由时序上连续多张图片组成的动画场景，通常情况下，相邻帧之间的内容差异性较小，相似性非常高。但是，如若视频存在场景切换的情况，或者内容运动较为剧烈，相邻帧之间的内容或者完全不同，或者差异性非常大。因此，在这种情况下的模型推理过程会选用到内容差异很大的相邻帧作为参考帧，同时由于模型训练时的样本都是相同场景下的序列，模型并不能处理不同场景下的情况，结果会导致预测帧出现伪影的情况，影响视频图像的处理效率。
5.针对上述的问题，目前尚未提出有效的解决方案。


技术实现要素：

6.本技术提供了一种视频图像的处理方法和装置，以至少解决相关技术中视频图像的处理效率较低的技术问题。
7.根据本技术实施例的一个方面，提供了一种视频图像的处理方法，包括：
8.获取待处理的当前视频帧对应的初始帧序列，其中，所述初始帧序列中包括前序帧集合，当前视频帧和后序帧集合，所述前序帧集合中包括所述当前视频帧之前的第一数量的前序视频帧，所述后序帧集合中包括所述当前视频帧之后的第二数量的后序视频帧；
9.计算所述当前视频帧与所述前序帧集合之间的第一相似性系数，以及所述当前视频帧与所述后序帧集合之间的第二相似性系数，其中，所述第一相似性系数用于指示所述当前视频帧与所述前序帧集合之间的相似度，所述第二相似性系数用于指示所述当前视频帧与所述后序帧集合之间的相似度；
10.根据所述第一相似性系数和所述第二相似性系数将所述初始帧序列转换为目标帧序列，其中，所述目标帧序列与所述当前视频帧之间的相似度高于相似度阈值；
11.将所述目标帧序列输入视频图像处理模型，得到所述当前视频帧对应的处理结果，其中，所述视频图像处理模型用于根据所述目标帧序列对所述当前视频帧进行视频图像处理。
12.可选地，根据所述第一相似性系数和所述第二相似性系数将所述初始帧序列转换为目标帧序列包括：
13.分别比较所述第一相似性系数和所述第二相似性系数与相似性系数阈值之间的关系；
14.根据所述第一相似性系数与相似性系数阈值之间的关系和所述第二相似性系数与相似性系数阈值之间的关系，确定所述目标帧序列。
15.可选地，根据所述第一相似性系数与相似性系数阈值之间的关系和所述第二相似性系数与相似性系数阈值之间的关系，确定所述目标帧序列包括：
16.在所述第一相似性系数和所述第二相似性系数均大于所述相似性系数阈值的情况下，将所述初始帧序列确定为目标帧序列；
17.在所述第一相似性系数和所述第二相似性系数中至少一个小于所述相似性系数阈值的情况下，使用所述第一相似性系数和所述第二相似性系数中较大的相似性系数对应的帧集合替换所述初始帧序列中较小的相似性系数对应的帧集合，得到所述目标帧序列。
18.可选地，计算所述当前视频帧与所述前序帧集合之间的第一相似性系数，以及所述当前视频帧与所述后序帧集合之间的第二相似性系数包括：
19.计算所述当前视频帧与所述前序帧集合中每个前序视频帧的相似度；
20.将所述当前视频帧与所述前序帧集合中全部前序视频帧的相似度的平均值确定为所述第一相似性系数；
21.计算所述当前视频帧与所述后序帧集合中每个后序视频帧的相似度；
22.将所述当前视频帧与所述后序帧集合中全部后序视频帧的相似度的平均值确定为所述第二相似性系数。
23.可选地，在将所述目标帧序列输入视频图像处理模型，得到所述当前视频帧对应的处理结果之前，所述方法还包括：
24.确定多个相似性系数范围；
25.获取相似性系数落入所述多个相似性系数范围中每个相似性系数范围的多个帧序列样本和每个帧序列样本对应的原始图，其中，所述帧序列样本包括前序帧集合样本，当前帧样本和后序帧集合样本，所述前序帧集合样本中包括所述当前帧样本之前的所述第一数量的前序帧样本，所述后序帧集合样本中包括所述当前帧样本之后的所述第二数量的后序帧样本，所述原始图是所述当前帧样本所对应的原始图；
26.使用具有对应关系的帧序列样本和原始图训练初始视频图像处理模型，得到所述视频图像处理模型。
27.可选地，获取相似性系数落入所述多个相似性系数范围中每个相似性系数范围的多个帧序列样本包括：
28.确定所述多个相似性系数范围中每个相似性系数范围对应的样本比重，其中，所述样本比重与每个相似性系数范围的数值大小成正比；
29.根据每个相似性系数范围对应的样本比重获取落入所述每个相似性系数范围的多个帧序列样本。
30.可选地，根据每个相似性系数范围对应的样本比重获取落入所述每个相似性系数范围的多个帧序列样本包括：
31.确定帧序列样本的总数量；
32.将所述每个相似性系数范围对应的样本比重与所述总数量的乘积确定为所述每个相似性系数范围对应的样本数量；
33.获取落入所述每个相似性系数范围的所述样本数量个帧序列样本。
34.根据本技术实施例的另一方面，还提供了一种视频图像的处理装置，包括：
35.第一获取模块，用于获取待处理的当前视频帧对应的初始帧序列，其中，所述初始帧序列中包括前序帧集合，当前视频帧和后序帧集合，所述前序帧集合中包括所述当前视频帧之前的第一数量的前序视频帧，所述后序帧集合中包括所述当前视频帧之后的第二数量的后序视频帧；
36.计算模块，用于计算所述当前视频帧与所述前序帧集合之间的第一相似性系数，以及所述当前视频帧与所述后序帧集合之间的第二相似性系数，其中，所述第一相似性系数用于指示所述当前视频帧与所述前序帧集合之间的相似度，所述第二相似性系数用于指示所述当前视频帧与所述后序帧集合之间的相似度；
37.转换模块，用于根据所述第一相似性系数和所述第二相似性系数将所述初始帧序列转换为目标帧序列，其中，所述目标帧序列与所述当前视频帧之间的相似度高于相似度阈值；
38.输入模块，用于将所述目标帧序列输入视频图像处理模型，得到所述当前视频帧对应的处理结果，其中，所述视频图像处理模型用于根据所述目标帧序列对所述当前视频帧进行视频图像处理。
39.根据本技术实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，程序运行时执行上述的方法。
40.根据本技术实施例的另一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器通过计算机程序执行上述的方法。
41.在本技术实施例中，采用获取待处理的当前视频帧对应的初始帧序列，其中，初始帧序列中包括前序帧集合，当前视频帧和后序帧集合，前序帧集合中包括当前视频帧之前的第一数量的前序视频帧，后序帧集合中包括当前视频帧之后的第二数量的后序视频帧；计算当前视频帧与前序帧集合之间的第一相似性系数，以及当前视频帧与后序帧集合之间的第二相似性系数，其中，第一相似性系数用于指示当前视频帧与前序帧集合之间的相似度，第二相似性系数用于指示当前视频帧与后序帧集合之间的相似度；根据第一相似性系数和第二相似性系数将初始帧序列转换为目标帧序列，其中，目标帧序列与当前视频帧之间的相似度高于相似度阈值；将目标帧序列输入视频图像处理模型，得到当前视频帧对应的处理结果，其中，视频图像处理模型用于根据目标帧序列对当前视频帧进行视频图像处理的方式，获取当前视频帧的前序帧集合和后序帧集合作为当前视频帧的初始参考帧，分别计算当前视频帧与前序帧集合之间的第一相似性系数，以及当前视频帧与后序帧集合之间的第二相似性系数，根据第一相似性系数和第二相似性系数将初始帧序列转换为目标帧序列，使得目标帧序列与当前视频帧之间的相似度高于相似度阈值，并使用目标帧序列进行视频图像处理，目标帧序列中的各个视频帧之间的相似度达到了一定的要求，因此保证了目标帧序列中的参考帧与当前视频帧之间的相似性，使得利用参考帧对当前视频帧进行
的处理更加符合当前视频帧的情况，达到了消除参考帧与当前视频帧之间差异的目的，从而实现了提高视频图像的处理效率的技术效果，进而解决了相关技术中视频图像的处理效率较低的技术问题。
附图说明
42.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
43.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
44.图1是根据本技术实施例的视频图像的处理方法的硬件环境的示意图；
45.图2是根据本技术实施例的一种可选的视频图像的处理方法的流程图；
46.图3是根据本技术实施例的一种可选的视频图像的处理装置的示意图；
47.图4是根据本技术实施例的一种电子装置的结构框图。
具体实施方式
48.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
49.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
50.根据本技术实施例的一方面，提供了一种视频图像的处理的方法实施例。
51.可选地，在本实施例中，上述视频图像的处理方法可以应用于如图1所示的由终端101和服务器103所构成的硬件环境中。如图1所示，服务器103通过网络与终端101进行连接，可用于为终端或终端上安装的客户端提供服务(如游戏服务、应用服务等)，可在服务器上或独立于服务器设置数据库，用于为服务器103提供数据存储服务，上述网络包括但不限于：广域网、城域网或局域网，终端101并不限定于pc、手机、平板电脑等。本技术实施例的视频图像的处理方法可以由服务器103来执行，也可以由终端101来执行，还可以是由服务器103和终端101共同执行。其中，终端101执行本技术实施例的视频图像的处理方法也可以是由安装在其上的客户端来执行。
52.图2是根据本技术实施例的一种可选的视频图像的处理方法的流程图，如图2所示，该方法可以包括以下步骤：
53.步骤s202，获取待处理的当前视频帧对应的初始帧序列，其中，所述初始帧序列中包括前序帧集合，当前视频帧和后序帧集合，所述前序帧集合中包括所述当前视频帧之前的第一数量的前序视频帧，所述后序帧集合中包括所述当前视频帧之后的第二数量的后序视频帧；
54.步骤s204，计算所述当前视频帧与所述前序帧集合之间的第一相似性系数，以及所述当前视频帧与所述后序帧集合之间的第二相似性系数，其中，所述第一相似性系数用于指示所述当前视频帧与所述前序帧集合之间的相似度，所述第二相似性系数用于指示所述当前视频帧与所述后序帧集合之间的相似度；
55.步骤s206，根据所述第一相似性系数和所述第二相似性系数将所述初始帧序列转换为目标帧序列，其中，所述目标帧序列与所述当前视频帧之间的相似度高于相似度阈值；
56.步骤s208，将所述目标帧序列输入视频图像处理模型，得到所述当前视频帧对应的处理结果，其中，所述视频图像处理模型用于根据所述目标帧序列对所述当前视频帧进行视频图像处理。
57.通过上述步骤s202至步骤s208，获取当前视频帧的前序帧集合和后序帧集合作为当前视频帧的初始参考帧，分别计算当前视频帧与前序帧集合之间的第一相似性系数，以及当前视频帧与后序帧集合之间的第二相似性系数，根据第一相似性系数和第二相似性系数将初始帧序列转换为目标帧序列，使得目标帧序列与当前视频帧之间的相似度高于相似度阈值，并使用目标帧序列进行视频图像处理，目标帧序列中的各个视频帧之间的相似度达到了一定的要求，因此保证了目标帧序列中的参考帧与当前视频帧之间的相似性，使得利用参考帧对当前视频帧进行的处理更加符合当前视频帧的情况，达到了消除参考帧与当前视频帧之间差异的目的，从而实现了提高视频图像的处理效率的技术效果，进而解决了相关技术中视频图像的处理效率较低的技术问题。
58.在步骤s202提供的技术方案中，第一数量和第二数量可以相同也可以不同，比如：可以取当前视频帧的前序视频帧15个作为前序帧集合，取当前视频帧的后序视频帧10个作为后序帧集合。或者，也可以前序视频帧和后序视频帧各取10个。
59.可选地，在本实施例中，以下均以分别选取时序前后各n帧作为参考帧为例。也即，视频图像处理模型输入的通道数为2n 1。
60.可选地，在本实施例中，前序帧集合和后序帧集合均可以称为当前视频帧的参考帧集合。使用参考帧集合中的信息能够对当前视频帧进行处理。
61.在步骤s204提供的技术方案中，对于相似性计算方法得到的相似性系数，可以是其值越大，表示两张图片的相似性越高，内容越相似，差异性也就越小。
62.可选地，在本实施例中，相似性系数的计算算法可以但不限于包括psnr(peak signal-to-noise ratio，峰值信噪比)，ssim(structural similarity，结构相似性)等等。
63.在上述步骤s204中，可以但不限于采用以下方式计算第一相似性系数和第二相似性系数：
64.s11，计算所述当前视频帧与所述前序帧集合中每个前序视频帧的相似度；
65.s12，将所述当前视频帧与所述前序帧集合中全部前序视频帧的相似度的平均值确定为所述第一相似性系数；
66.s13，计算所述当前视频帧与所述后序帧集合中每个后序视频帧的相似度；
67.s14，将所述当前视频帧与所述后序帧集合中全部后序视频帧的相似度的平均值确定为所述第二相似性系数。
68.可选地，在本实施例中，对于当前视频帧和每个参考帧集合之间的相似性系数的计算，可以首先计算当前视频帧与参考帧集合中的每个帧之间的相似度，在统计当前视频帧与参考帧集合中的所有帧之间的相似度的平均值作为当前视频帧和每个参考帧集合之间的相似性系数。
69.可选地，在本实施例中，上述相似度的平均值可以但不限于包括：算术平均值，几何平均值，平方平均值(均方根平均值，rms)，调和平均值，加权平均值等等。
70.在步骤s206提供的技术方案中，根据当前视频帧与前序帧集合之间的第一相似性系数，以及当前视频帧与后序帧集合之间的第二相似性系数可以将初始帧序列转换为目标帧序列，使得目标帧序列与当前视频帧之间的相似度高于相似度阈值。
71.在上述步骤s206中，可以但不限于通过以下方式将初始帧序列转换为目标帧序列：
72.s21，分别比较所述第一相似性系数和所述第二相似性系数与相似性系数阈值之间的关系；
73.s22，根据所述第一相似性系数与相似性系数阈值之间的关系和所述第二相似性系数与相似性系数阈值之间的关系，确定所述目标帧序列。
74.可选地，在本实施例中，上述相似度阈值thresh的设定可以根据不同的应用场景动态调整。在一个示例中，可以认为该参数可以说明序列中是否出现内容切换或者运动剧烈的场景。如果当前预测帧(即当前视频帧)与参考帧序列的平均相似性系数大于thresh，表示所对应的序列在内容上相似性高度相关；反之，如果相似性系数小于thresh，表示所对应的序列在内容上相似性较低，差异性很大。
75.作为一种可选的实施例，可以但不限于通过以下方式确定目标帧序列：
76.s31，在所述第一相似性系数和所述第二相似性系数均大于所述相似性系数阈值的情况下，将所述初始帧序列确定为目标帧序列；
77.s32，在所述第一相似性系数和所述第二相似性系数中至少一个小于所述相似性系数阈值的情况下，使用所述第一相似性系数和所述第二相似性系数中较大的相似性系数对应的帧集合替换所述初始帧序列中较小的相似性系数对应的帧集合，得到所述目标帧序列。
78.可选地，在本实施例中，如果第一相似性系数和第二相似性系数均大于相似性系数阈值，则说明前序帧集合和后序帧集合在内容上与当前视频帧高度相关，则不对初始帧序列进行调整，直接将初始帧序列确定为目标帧序列。
79.可选地，在本实施例中，如果第一相似性系数和第二相似性系数中至少一个小于相似性系数阈值，则说明前序帧集合和后序帧集合中有一个帧集合在内容上与当前视频帧相关性较低，或者两个帧集合在内容上与当前视频帧相关性都比较低，则使用第一相似性系数和第二相似性系数中较大的相似性系数对应的帧集合替换初始帧序列中较小的相似性系数对应的帧集合，得到目标帧序列。
80.在一个可选的实施方式中，提供了一种确定目标帧序列过程，在该过程中，设置相似度阈值为thresh，对于视频序列，视频中的每一帧，按照以下步骤进行推理：
81.步骤11：对当前帧，分别选择时序前后各n帧，组成长度为2n 1的初始帧序列；
82.步骤12：分别计算当前帧(预测帧)与时序前的n帧的相似性系数c1和当前帧(预测帧)与时序后的n帧的相似性系数c2，分别比较c1和c2与相似度阈值thresh的关系：
83.步骤121：如果c1和c2均大于thresh，表明该2n 1长度的初始帧序列内容相似性较大，差异性较小，帧序列中不存在内容切换或者运动剧烈的场景，则将该初始帧序列直接作为目标帧序列。
84.步骤122：如果c1和c2至少存在一个值小于thresh，包括两边参考帧的相似性系数均小于thresh和只有一边的参考帧的相似性系数小于thresh。这种情况表明该2n 1长度的序列存在内容切换或者运动剧烈的场景。则比较c1和c2的大小，选择较大的相似性系数对应的参考帧，用于替换初始帧序列中的相似性系数较小的参考帧，组成新的帧序列，使得新帧序列中的参考帧，其内容与预测帧相似性较大，差异性较小。
85.比如，初始帧序列按时序方式表示为[t-n,t-(n-1),
…
,t-1,t,t 1,
…
,t (n-1),t n]，其中，t为当前预测帧。如果两侧参考帧的相似性系数存在小于阈值thresh的情况，比较两侧相似性系数，如果左侧参考帧相似性系数大于右侧参考帧相似性系数，则用左侧参考帧替换右侧参考帧，新的帧序列按时序方式表示为[t-n,t-(n-1),
…
,t-1,t,t-1,
…
,t-(n-1),t-n]。
[0086]
步骤13：重复进行步骤11和步骤12，直至视频所有帧都处理完毕。
[0087]
在步骤s208提供的技术方案中，上述视频图像处理模型可以使用不同的模型结构，在选取参考帧时利用上述方案，均能实现同样的目的。
[0088]
可选地，在本实施例中，视频图像处理模型同时，本发明所提出的模型训练过程和模型输入改进方法，不仅能用于去噪，也能用于视频增强、视频超分领域。只需修改对应任务需要的模型，如果输入一样，也能达到对应任务所需的目的。
[0089]
可选地，在本实施例中，上述视频图像处理模型可以但不限于用于视频图像的去噪、增强、超分等等处理。视频图像处理不仅能够直接一帧一帧地对视频进行处理，还能在处理当前帧时参考时序上的帧进行分析，这种情况下视频处理的输入通常是多帧图片组成的序列，包括当前待处理帧和时序上的多帧参考帧。因此，视频图像处理模型不仅能够利用空间像素上的关系进行分析，也能利用时序上的信息进行分析。
[0090]
作为一种可选的实施例，在上述步骤s208之前，还可以但不限于通过以下过程对视频图像处理模型进行训练：
[0091]
s41，确定多个相似性系数范围；
[0092]
s42，获取相似性系数落入所述多个相似性系数范围中每个相似性系数范围的多个帧序列样本和每个帧序列样本对应的原始图，其中，所述帧序列样本包括前序帧集合样本，当前帧样本和后序帧集合样本，所述前序帧集合样本中包括所述当前帧样本之前的所述第一数量的前序帧样本，所述后序帧集合样本中包括所述当前帧样本之后的所述第二数量的后序帧样本，所述原始图是所述当前帧样本所对应的原始图；
[0093]
s43，使用具有对应关系的帧序列样本和原始图训练初始视频图像处理模型，得到所述视频图像处理模型。
[0094]
可选地，在本实施例中，多个相似性系数范围能够丰富训练样本中相似性系数的多样性，使得训练样本不会出现相似性普遍较高或者普遍较低的现象。比如：多个相似性系
数范围可以但不限于包括：[0.95，1]，[0.8,0.95]和[0.6,0.8]，从而保证训练样本能够较为均匀地分布在相似性系数为0.6至1之间。其中，多个相似性系数范围可以是连续的，不连续的，有重叠的等等。
[0095]
可选地，在本实施例中，按照相似性系数范围获取帧序列样本和帧序列样本对应的原始图，可以将帧序列样本对应的原始图作为帧序列样本的标注，得到标注了原始图的帧序列样本作为训练样本对初始视频图像处理模型进行训练，得到视频图像处理模型。
[0096]
在上述步骤s42中，可以但不限于采用以下方式获取每个相似性系数范围对应的多个帧序列样本：
[0097]
s51，确定所述多个相似性系数范围中每个相似性系数范围对应的样本比重，其中，所述样本比重与每个相似性系数范围的数值大小成正比；
[0098]
s52，根据每个相似性系数范围对应的样本比重获取落入所述每个相似性系数范围的多个帧序列样本。
[0099]
可选地，在本实施例中，为每个相似性系数范围确定样本比重，该样本比重与每个相似性系数范围的数值大小成正比。也就是说，相似性系数范围的数值越大，其对应的样本比重越大，获取的落入该相似性系数范围的帧序列样本越多，从而避免训练集中出现过多的差异。比如：上述多个相似性系数范围[0.95，1]，[0.8,0.95]和[0.6,0.8]，分配的样本比重可以但不限于分别为45％，30％和25％。
[0100]
在上述步骤s52中，可以但不限于采用以下方式获取落入每个相似性系数范围的多个帧序列样本包括：
[0101]
s61，确定帧序列样本的总数量；
[0102]
s62，将所述每个相似性系数范围对应的样本比重与所述总数量的乘积确定为所述每个相似性系数范围对应的样本数量；
[0103]
s63，获取落入所述每个相似性系数范围的所述样本数量个帧序列样本。
[0104]
可选地，在本实施例中，模型训练的每个训练样本包括2n 1个图片构成的输入样本(即帧序列样本)和中间帧(即当前帧样本)对应的原始真实图片(即原始图)，输入样本的中间一帧为预测帧，预测帧左右各n帧均为参考帧。模型训练的目的是调整模型参数，使得模型通过左右各n帧参考帧，对中间的预测帧进行推理，使得推理的结果尽可能地接近真实图片。在构造2n 1通道数目的输入样本时，可以选择不同相似性差异的序列进行考量。比如：不失一般性地，选择3组相似性系数a1、a2、a3，其大小均在[0,1]之间，大小满足a1》＝a2》＝a3。相似性系数越大，表示该样本内的2n 1张图片相似性越大，内容差异越小。每个样本的相似性是该样本内当前帧与2n个参考帧的相似性的平均值。对应不同的相似性系数的样本，可以选择不同比例加入到训练集中，比重分别为b1、b2、b3，其总和为1，大小可以满足b1》＝b2》＝b3。训练步骤可以如下：
[0105]
步骤21：根据3组相似性系数，通过计算每2n 1长度的子序列的平均相似性系数构造相应的样本，包括2n 1个帧样本组成的输入样本和预测帧对应的真实原始图；
[0106]
步骤22：通过相似性系数对应的比重b1、b2、b3，分别选取对应的样本集。也就是说，如若训练集的样本总数为m，则相似性系数a1对应的样本集数量为b1*m，相似性系数a2对应的样本集数量为b2*m，相似性系数a3对应的样本集数量为b3*m。
[0107]
步骤23：设定模型初始参数和损失函数，开始模型训练。每轮训练完毕调整模型参
数，使得模型训练的损失最小化。最后得到训练好的模型。
[0108]
可选地，在本实施例中，选择多组相似性系数构造训练样本，目的是增大训练集的多样性，使得模型尽可能的适应预测帧与参考帧的差异性，而较小相似性系数对应的样本，其比重较小的目的，是避免训练集中出现过多的差异，使得模型训练出现适得其反的结果。
[0109]
通过上述过程，一是在选择模型训练数据集时，对模型训练样本，尽量构造出样本多样性，选择多种不同相似性系数的样本，这样使得训练得到的模型能够尽可能的适应差异；二是在模型推理时，根据预测帧左右相邻帧的相似性，动态调整参考帧，使得参考帧与预测帧尽可能在同一或相似场景下(其表现可以用相似性系数表示，相似性系数越大，表示在同一场景下的可能性越高)，从而保证参考帧的有用性，避免出现运动伪影现象。
[0110]
在本实施例中，通过判断预测帧与参考帧在内容上的差异性选择模型训练的数据集；通过内容的差异性判断左右两侧是否出现场景变换的情况，同时用内容差异小的参考帧替换内容差异大的参考帧，再进行模型推理。
[0111]
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本技术所必须的。
[0112]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台电子设备(可以是手机，计算机，服务器，或者网络设备等)执行本技术各个实施例所述的方法。
[0113]
根据本技术实施例的另一个方面，还提供了一种用于实施上述视频图像的处理方法的视频图像的处理装置。图3是根据本技术实施例的一种可选的视频图像的处理装置的示意图，如图3所示，该装置可以包括：
[0114]
第一获取模块32，用于获取待处理的当前视频帧对应的初始帧序列，其中，所述初始帧序列中包括前序帧集合，当前视频帧和后序帧集合，所述前序帧集合中包括所述当前视频帧之前的第一数量的前序视频帧，所述后序帧集合中包括所述当前视频帧之后的第二数量的后序视频帧；
[0115]
计算模块34，用于计算所述当前视频帧与所述前序帧集合之间的第一相似性系数，以及所述当前视频帧与所述后序帧集合之间的第二相似性系数，其中，所述第一相似性系数用于指示所述当前视频帧与所述前序帧集合之间的相似度，所述第二相似性系数用于指示所述当前视频帧与所述后序帧集合之间的相似度；
[0116]
转换模块36，用于根据所述第一相似性系数和所述第二相似性系数将所述初始帧序列转换为目标帧序列，其中，所述目标帧序列与所述当前视频帧之间的相似度高于相似度阈值；
[0117]
输入模块38，用于将所述目标帧序列输入视频图像处理模型，得到所述当前视频帧对应的处理结果，其中，所述视频图像处理模型用于根据所述目标帧序列对所述当前视
频帧进行视频图像处理。
[0118]
需要说明的是，该实施例中的第一获取模块32可以用于执行本技术实施例中的步骤s202，该实施例中的计算模块34可以用于执行本技术实施例中的步骤s204，该实施例中的转换模块36可以用于执行本技术实施例中的步骤s206，该实施例中的输入模块38可以用于执行本技术实施例中的步骤s208。
[0119]
此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图1所示的硬件环境中，可以通过软件实现，也可以通过硬件实现。
[0120]
通过上述模块，获取当前视频帧的前序帧集合和后序帧集合作为当前视频帧的初始参考帧，分别计算当前视频帧与前序帧集合之间的第一相似性系数，以及当前视频帧与后序帧集合之间的第二相似性系数，根据第一相似性系数和第二相似性系数将初始帧序列转换为目标帧序列，使得目标帧序列与当前视频帧之间的相似度高于相似度阈值，并使用目标帧序列进行视频图像处理，目标帧序列中的各个视频帧之间的相似度达到了一定的要求，因此保证了目标帧序列中的参考帧与当前视频帧之间的相似性，使得利用参考帧对当前视频帧进行的处理更加符合当前视频帧的情况，达到了消除参考帧与当前视频帧之间差异的目的，从而实现了提高视频图像的处理效率的技术效果，进而解决了相关技术中视频图像的处理效率较低的技术问题。
[0121]
作为一种可选的实施例，所述转换模块包括：
[0122]
比较单元，用于分别比较所述第一相似性系数和所述第二相似性系数与相似性系数阈值之间的关系；
[0123]
第一确定单元，用于根据所述第一相似性系数与相似性系数阈值之间的关系和所述第二相似性系数与相似性系数阈值之间的关系，确定所述目标帧序列。
[0124]
作为一种可选的实施例，所述第一确定单元用于：
[0125]
在所述第一相似性系数和所述第二相似性系数均大于所述相似性系数阈值的情况下，将所述初始帧序列确定为目标帧序列；
[0126]
在所述第一相似性系数和所述第二相似性系数中至少一个小于所述相似性系数阈值的情况下，使用所述第一相似性系数和所述第二相似性系数中较大的相似性系数对应的帧集合替换所述初始帧序列中较小的相似性系数对应的帧集合，得到所述目标帧序列。
[0127]
作为一种可选的实施例，所述计算模块包括：
[0128]
第一计算单元，用于计算所述当前视频帧与所述前序帧集合中每个前序视频帧的相似度；
[0129]
第二确定单元，用于将所述当前视频帧与所述前序帧集合中全部前序视频帧的相似度的平均值确定为所述第一相似性系数；
[0130]
第二计算单元，用于计算所述当前视频帧与所述后序帧集合中每个后序视频帧的相似度；
[0131]
第三确定单元，用于将所述当前视频帧与所述后序帧集合中全部后序视频帧的相似度的平均值确定为所述第二相似性系数。
[0132]
作为一种可选的实施例，所述装置还包括：
[0133]
确定模块，用于在将所述目标帧序列输入视频图像处理模型，得到所述当前视频
帧对应的处理结果之前，确定多个相似性系数范围；
[0134]
第二获取模块，用于获取相似性系数落入所述多个相似性系数范围中每个相似性系数范围的多个帧序列样本和每个帧序列样本对应的原始图，其中，所述帧序列样本包括前序帧集合样本，当前帧样本和后序帧集合样本，所述前序帧集合样本中包括所述当前帧样本之前的所述第一数量的前序帧样本，所述后序帧集合样本中包括所述当前帧样本之后的所述第二数量的后序帧样本，所述原始图是所述当前帧样本所对应的原始图；
[0135]
训练模块，用于使用具有对应关系的帧序列样本和原始图训练初始视频图像处理模型，得到所述视频图像处理模型。
[0136]
作为一种可选的实施例，所述第二获取模块包括：
[0137]
第四确定单元，用于确定所述多个相似性系数范围中每个相似性系数范围对应的样本比重，其中，所述样本比重与每个相似性系数范围的数值大小成正比；
[0138]
获取单元，用于根据每个相似性系数范围对应的样本比重获取落入所述每个相似性系数范围的多个帧序列样本。
[0139]
作为一种可选的实施例，所述获取单元用于：
[0140]
确定帧序列样本的总数量；
[0141]
将所述每个相似性系数范围对应的样本比重与所述总数量的乘积确定为所述每个相似性系数范围对应的样本数量；
[0142]
获取落入所述每个相似性系数范围的所述样本数量个帧序列样本。
[0143]
此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图1所示的硬件环境中，可以通过软件实现，也可以通过硬件实现，其中，硬件环境包括网络环境。
[0144]
根据本发明实施例的又一个方面，还提供了一种用于实施上述视频图像的处理方法的电子装置，如图4所示，该电子装置包括存储器402和处理器404，该存储器402中存储有计算机程序，该处理器404被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
[0145]
可选地，在本实施例中，上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。
[0146]
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
[0147]
获取待处理的当前视频帧对应的初始帧序列，其中，所述初始帧序列中包括前序帧集合，当前视频帧和后序帧集合，所述前序帧集合中包括所述当前视频帧之前的第一数量的前序视频帧，所述后序帧集合中包括所述当前视频帧之后的第二数量的后序视频帧；
[0148]
计算所述当前视频帧与所述前序帧集合之间的第一相似性系数，以及所述当前视频帧与所述后序帧集合之间的第二相似性系数，其中，所述第一相似性系数用于指示所述当前视频帧与所述前序帧集合之间的相似度，所述第二相似性系数用于指示所述当前视频帧与所述后序帧集合之间的相似度；
[0149]
根据所述第一相似性系数和所述第二相似性系数将所述初始帧序列转换为目标帧序列，其中，所述目标帧序列与所述当前视频帧之间的相似度高于相似度阈值；
[0150]
将所述目标帧序列输入视频图像处理模型，得到所述当前视频帧对应的处理结果，其中，所述视频图像处理模型用于根据所述目标帧序列对所述当前视频帧进行视频图
像处理。
[0151]
可选地，本领域普通技术人员可以理解，图4所示的结构仅为示意，电子装置也可以是智能手机(如android手机、ios手机等)、平板电脑、掌上电脑以及移动互联网设备(mobileinternetdevices，mid)、pad等终端设备。图4其并不对上述电子装置的结构造成限定。例如，电子装置还可包括比图4中所示更多或者更少的组件(如网络接口等)，或者具有与图4所示不同的配置。
[0152]
其中，存储器402可用于存储软件程序以及模块，如本发明实施例中的数据表单的展示方法和装置对应的程序指令/模块，处理器404通过运行存储在存储器402内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的数据表单的展示方法。存储器402可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器402可进一步包括相对于处理器404远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器402具体可以但不限于用于存储待处理的帐号的特征信息和概率结果等信息。作为一种示例，如图4所示，上述存储器402中可以但不限于包括上述视频图像的处理装置中的第一获取模块4022、计算模块4024、转换模块4026及输入模块4028。此外，还可以包括但不限于上述数据表单的展示装置中的其他模块单元，本示例中不再赘述。
[0153]
可选地，上述的传输装置406用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置406包括一个网络适配器(networkinterfacecontroller，nic)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置406为射频(radiofrequency，rf)模块，其用于通过无线方式与互联网进行通讯。
[0154]
此外，上述电子装置还包括：显示器408，用于显示上述待处理的帐号的特征信息和概率结果；和连接总线410，用于连接上述电子装置中的各个模块部件。
[0155]
本技术的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于执行视频图像的处理方法的程序代码。
[0156]
可选地，在本实施例中，上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。
[0157]
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：
[0158]
获取待处理的当前视频帧对应的初始帧序列，其中，所述初始帧序列中包括前序帧集合，当前视频帧和后序帧集合，所述前序帧集合中包括所述当前视频帧之前的第一数量的前序视频帧，所述后序帧集合中包括所述当前视频帧之后的第二数量的后序视频帧；
[0159]
计算所述当前视频帧与所述前序帧集合之间的第一相似性系数，以及所述当前视频帧与所述后序帧集合之间的第二相似性系数，其中，所述第一相似性系数用于指示所述当前视频帧与所述前序帧集合之间的相似度，所述第二相似性系数用于指示所述当前视频帧与所述后序帧集合之间的相似度；
[0160]
根据所述第一相似性系数和所述第二相似性系数将所述初始帧序列转换为目标帧序列，其中，所述目标帧序列与所述当前视频帧之间的相似度高于相似度阈值；
[0161]
将所述目标帧序列输入视频图像处理模型，得到所述当前视频帧对应的处理结
果，其中，所述视频图像处理模型用于根据所述目标帧序列对所述当前视频帧进行视频图像处理。
[0162]
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
[0163]
可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0164]
上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
[0165]
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。
[0166]
在本技术的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0167]
在本技术所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
[0168]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0169]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0170]
以上所述仅是本技术的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。