滤波器训练方法、装置、电子设备及存储介质与流程

1.本公开涉及视频处理技术领域，尤其涉及滤波器训练方法、装置、电子设备及存储介质。


背景技术：

2.在视频编码处理的过程中，alf（adaptive loop filter，自适应环路滤波）模块是多功能视频编码器的后处理模块，通常采用基于维纳滤波的自适应滤波器实现。
3.多功能视频编码器对视频中包含的各视频帧，逐帧进行编码重建，在当前视频帧中包含的全部ctu（coding tree unit，编码树单元）编码重建和初始滤波处理完成后，alf模块根据全部ctu编码重建和初始滤波处理完成后的像素与原始视频帧的原始视频像素对滤波器进行训练，得到训练完成的滤波器。然后，基于训练完成的滤波器，对当前视频帧中包含的编码重建和初始滤波处理完后的全部ctu编码重建像素进行alf滤波处理，得到当前视频帧最终的重建视频帧。
4.然而，上述视频编码处理过程中滤波器的训练方法，alf模块需要等待当前视频帧中全部的ctu编码重建和初始滤波处理完成之后，再进行滤波器的训练，降低了整体视频帧编码处理的效率。


技术实现要素：

5.本公开提供一种滤波器训练方法、装置、电子设备及存储介质，以至少解决相关技术中需要等待当前视频帧中全部的ctu编码重建完成，再进行滤波器的训练的问题。本公开的技术方案如下：根据本公开实施例的第一方面，提供一种滤波器训练方法，所述方法包括：对当前视频帧中第一预设数目的编码树单元进行编码重建，得到所述第一预设数目的第一重建编码树单元；在存在所述当前视频帧的上一关联视频帧的情况下，获取所述上一关联视频帧对应的第二预设数目的第二重建编码树单元；所述第一重建编码树单元与所述第二重建编码树单元所处的视频帧编码位置不同；根据所述第一重建编码树单元、所述第二重建编码树单元和所述当前视频帧，对预设的滤波器进行滤波训练，并在所述滤波器的输出结果满足预设滤波条件的情况下，确定所述滤波器训练完成。
6.在其中一个实施例中，所述根据预设的编码重建策略，对当前视频帧中第一预设数目的编码树单元进行编码重建，得到所述第一预设数目的第一重建编码树单元之后，所述方法还包括：对所述当前视频帧进行特征提取，得到所述当前视频帧的目标位置特征；根据所述目标位置特征，在已完成编码重建的各视频帧对应的位置特征中确定是否存在与所述目标位置特征相匹配的匹配位置特征；
若存在所述匹配位置特征，则将所述匹配位置特征对应的视频帧确定为所述当前视频帧的上一关联视频帧。
7.在其中一个实施例中，所述根据预设的编码重建策略，对当前视频帧中第一预设数目的编码树单元进行编码重建，得到所述第一预设数目的第一重建编码树单元之后，所述方法还包括：在不存在所述当前视频帧的上一关联视频帧的情况下，则根据所述第一预设数目的第一重建编码树单元和所述当前视频帧对预设的滤波器进行滤波训练，并在所述滤波器的输出结果满足预设滤波条件的情况下，确定所述滤波器训练完成。
8.在其中一个实施例中，所述根据预设的编码重建策略，对当前视频帧中第一预设数目的编码树单元进行编码重建，得到所述第一预设数目的第一重建编码树单元之后，所述方法还包括：根据预设的编码重建策略，对所述当前视频帧中除所述第一预设数目之外的其他编码树单元进行编码重建，得到所述当前视频帧对应的全部的所述第一重建编码树单元；在所述滤波器训练完成之后，根据所述训练完成的滤波器对所述全部的第一重建编码树单元进行滤波处理，得到所述当前视频帧对应的滤波后的重建像素区域。
9.在其中一个实施例中，所述根据所述训练完成的滤波器对所述全部的第一重建编码树单元进行滤波处理，包括：根据训练完成的所述滤波器以及预设的滤波处理顺序，依序对所述当前视频帧对应的各所述第一重建编码树单元进行滤波处理；所述根据所述训练完成的滤波器对所述全部的第一重建编码树单元进行滤波处理之后，所述方法还包括：为所述第一重建编码树单元添加已处理标识，所述已处理标识用于触发对所述当前视频帧对应的下一待处理视频帧中目标编码单元进行编码重建，所述目标编码单元为所述下一待处理视频帧中，与添加所述已处理标识的第一重建编码树单元相同视频帧编码位置的编码单元；所述下一待处理视频帧为依赖于所述当前视频帧的重建视频帧进行编码重建的视频帧。
10.在其中一个实施例中，所述在存在所述当前视频帧的上一关联视频帧的情况下，获取所述上一关联视频帧对应的第二预设数目的第二重建编码树单元，包括：根据所述当前视频帧中包含的全部编码树单元的数目与所述第一预设数目进行差值计算，确定第二预设数目；在存在所述当前视频帧的上一关联视频帧的情况下，根据所述第二预设数目，获取所述上一关联视频帧中的第二重建编码树单元。
11.在其中一个实施例中，所述根据所述第一重建编码树单元、所述第二重建编码树单元和所述当前视频帧，对预设的滤波器进行滤波训练，包括：在所述第一重建编码树单元中提取第一重建像素特征，在所述第二重建编码树单元中提取第二重建像素特征，以及在所述当前视频帧中提取原始像素特征，并对所述第一重建像素特征和所述第二重建像素特征进行特征融合，得到融合重建像素特征；根据所述融合重建像素特征以及所述原始像素特征，对所述滤波器进行滤波训练。
12.根据本公开实施例的第二方面，提供一种滤波器训练装置，所述装置包括：编码重建单元，被配置为执行对当前视频帧中第一预设数目的编码树单元进行编码重建，得到所述第一预设数目的第一重建编码树单元；获取单元，被配置为执行在存在所述当前视频帧的上一关联视频帧的情况下，获取所述上一关联视频帧对应的第二预设数目的第二重建编码树单元；所述第一重建编码树单元与所述第二重建编码树单元所处的视频帧编码位置不同；训练单元，被配置为执行根据所述第一重建编码树单元、所述第二重建编码树单元和所述当前视频帧，对预设的滤波器进行滤波训练，并在所述滤波器的输出结果满足预设滤波条件的情况下，确定所述滤波器训练完成。
13.在其中一个实施例中，所述装置还包括：特征提取单元，被配置为执行对所述当前视频帧进行特征提取，得到所述当前视频帧的目标位置特征；第一确定单元，被配置为执行根据所述目标位置特征，在已完成编码重建的各视频帧对应的位置特征中确定是否存在与所述目标位置特征相匹配的匹配位置特征；第二确定单元，被配置为执行若存在所述匹配位置特征，则将所述匹配位置特征对应的视频帧确定为所述当前视频帧的上一关联视频帧。
14.在其中一个实施例中，所述装置还包括：所述训练单元，被配置为执行在不存在所述当前视频帧的上一关联视频帧的情况下，则根据所述第一预设数目的第一重建编码树单元和所述当前视频帧对预设的滤波器进行滤波训练，并在所述滤波器的输出结果满足预设滤波条件的情况下，确定所述滤波器训练完成。
15.在其中一个实施例中，所述装置还包括：所述编码重建单元，被配置为执行根据预设的编码重建策略，对所述当前视频帧中除所述第一预设数目之外的其他编码树单元进行编码重建，得到所述当前视频帧对应的全部的所述第一重建编码树单元；滤波处理单元，被配置为执行在所述滤波器训练完成之后，根据所述训练完成的滤波器对所述全部的第一重建编码树单元进行滤波处理，得到所述当前视频帧对应的滤波后的重建像素区域。
16.在其中一个实施例中，所述滤波处理单元还包括：滤波处理子单元，被配置为执行根据训练完成的所述滤波器以及预设的滤波处理顺序，依序对所述当前视频帧对应的各所述第一重建编码树单元进行滤波处理；所述装置还包括：标识子单元，被配置为执行为所述第一重建编码树单元添加已处理标识，所述已处理标识用于触发对所述当前视频帧对应的下一待处理视频帧中目标编码单元进行编码重建，所述目标编码单元为所述下一待处理视频帧中，与添加所述已处理标识的第一重建编码树单元相同视频帧编码位置的编码单元；所述下一待处理视频帧为依赖于所述当前视频帧的重建视频帧进行编码重建的视频帧。
17.在其中一个实施例中，所述获取单元还包括：确定子单元，被配置为执行根据所述当前视频帧中包含的全部编码树单元的数目与所述第一预设数目进行差值计算，确定第二预设数目；
获取子单元，被配合为执行在存在所述当前视频帧的上一关联视频帧的情况下，根据所述第二预设数目，获取所述上一关联视频帧中的第二重建编码树单元。
18.在其中一个实施例中，所述训练单元还包括：特征提取子单元，被配置为执行在所述第一重建编码树单元中提取第一重建像素特征，在所述第二重建编码树单元中提取第二重建像素特征，以及在所述当前视频帧中提取原始像素特征，并对所述第一重建像素特征和所述第二重建像素特征进行特征融合，得到融合重建像素特征；训练子单元，被配置为执行根据所述融合重建像素特征以及所述原始像素特征，对所述滤波器进行滤波训练。
19.根据本公开实施例的第三方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如上述第一方面中任一项所述的展示滤波器训练的方法。
20.根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如上述第一方面中任一项所述的滤波器训练方法。
21.根据本公开实施例的第五方面，提供一种计算机程序产品，所述指令被电子设备的处理器执行时，使得所述电子设备能够执行上述第一方面中任一项所述的滤波器训练的方法。
22.本公开的实施例提供的技术方案至少带来以下有益效果：根据预设的编码重建策略，对当前视频帧中第一预设数目的编码树单元进行编码重建，得到所述第一预设数目的第一重建编码树单元；在存在所述当前视频帧的上一关联视频帧的情况下，获取所述上一关联视频帧对应的第二预设数目的第二重建编码树单元；所述第一重建编码树单元与所述第二重建编码树单元所处的视频帧编码位置不同；根据所述第一重建编码树单元、所述第二重建编码树单元和所述当前视频帧，对预设的滤波器进行滤波训练，并在所述滤波器的输出结果满足预设滤波条件的情况下，确定所述滤波器训练完成。采用本方法，通过当前视频帧中的第一预设数目的重建编码树单元以及关联视频帧中已经重建好的第二预设数目的重建编码单元和当前视频帧，对滤波器进行训练，减少由于等待当前视频帧中全部的编码树单元编码重建完成而产生的时间，提高视频帧编码处理效率。
23.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
24.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
25.图1是根据一示例性实施例示出的一种滤波器训练方法的流程图。
26.图2是根据一示例性实施例示出的确定关联视频帧步骤的流程图。
27.图3是根据一示例性实施例示出的一种滤波处理得到滤波后的重建视频帧的流程图。
28.图4是根据一示例性实施例示出的在滤波处理过程中添加已处理标识步骤的流程图。
29.图5是根据一示例性实施例示出的具备关联关系的视频帧间的编码处理示意图。
30.图6是根据一示例性实施例示出的一种视频帧序列中各视频帧间关联关系示意图。
31.图7是根据一示例性实施例示出的获取第二重建编码树单元步骤的流程图。
32.图8是根据一示例性实施例示出的滤波器训练步骤的流程图。
33.图9是根据一示例性实施例示出的一种滤波器训练方法的流程图。
34.图10是根据一示例性实施例示出的一种滤波器训练装置的框图。
35.图11是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
36.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
37.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或 描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
38.还需要说明的是，本公开所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于展示的数据、分析的数据等），均为经用户授权或者经过各方充分授权的信息和数据。
39.图1是根据一示例性实施例示出的一种滤波器训练方法的流程图，如图1所示，滤波器训练方法用于电子设备中，包括以下步骤。
40.在步骤s110中，对当前视频帧中第一预设数目的编码树单元进行编码重建，得到第一预设数目的第一重建编码树单元。
41.在实施中，一段视频数据可以看作基于时序的视频帧序列。因此，在对一段视频数据进行编码处理的过程中，多功能视频编码器（例如，视频编码器以下一代视频编码标准vvc， versatile video coding）根据预设的编码重建策略，对视频帧序列中包含的各视频帧逐帧进行编码处理，具体的，针对当前视频帧，多功能视频编码器将当前视频帧划分为m行
×
l列的编码树单元，然后，根据光栅扫描顺序（即从左到右，从上到下的顺序），对当前视频帧中第一预设数目的编码树单元进行编码重建（其中，该编码重建过程不仅包含alf模块编码重建过程，还包括前述过程，如deblock（去块效应）、sao（sample adaptive offset，采样点自适应补偿）滤波等，本公开实施例对于alf模块的前述处理过程不做赘述），得到第一预设数目个编码重建后的编码树单元，也称为第一重建编码树单元。例如，第一预设数目为当前视频帧的前n（其中，n＜m）行（默认为前n行
×
l列）的编码树单元数目，则多功能视频编
码器对前n行编码树单元进行编码重建，得到前n行编码树单元对应的第一重建编码树单元。
42.可选的，多功能视频编码器依据的编码标准除了vvc编码标准之外，还可以是avs3等其他使用alf模块的编码标准，本公开实施例不做限定。
43.在步骤s120中，在存在当前视频帧的上一关联视频帧存在的情况下，获取上一关联视频帧的重建视频帧中第二预设数目的第二重建编码树单元。
44.其中，第一重建编码树单元与第二重建编码树单元所处的视频帧编码位置不同。
45.在实施中，在视频序列中，各视频帧间存在关联关系或非关联关系，视频帧间存在关联关系表征两个视频帧间处理同一编码时域层级，且两个视频帧时域距离最近。并且具备关联关系的两个视频帧中，在当前视频帧的编码重建过程中，上一关联视频帧必然是已经完成了所有的编码单元重建。例如，以数字标号代表视频序列中的各视频帧编号，则视频序列中以8个视频帧作为一个视频处理周期，将视频序列分为多个子序列在，即视频序列包含a：{0、1、2、3、4、5、7、8}，b:{0、1、2、3、4、5、6、7、8}、c:{0、1、2、3、4、5、6、7、8}，其中，各相同视频帧编号且距离最近的视频帧间具有关联关系，例如，子序列a中的视频帧4、子序列b中的视频帧4间具有关联关系，子序列a中的视频帧4即为子序列b中的视频帧4的上一关联视频帧。在子序列b中的视频帧4的编码重建过程中，子序列a中的视频帧4所有的编码单元已编码重建完成。
46.因此，在针对当前视频帧进行编码处理的过程中，需要查询该当前视频帧是否存在上一关联视频帧，在存在上一关联视频帧的情况下，由于具备关联关系的两个视频帧间的编码顺序，说明当前视频帧的上一关联视频帧已经完成编码重建，因此，获取当前视频帧的上一关联视频帧对应的已完成编码重建的第二预设数目的第二重建编码单元。
47.为了避免第一重建编码树单元与第二重建编码树单元间表征的编码重建信息重复，因此，在选取第二重建编码单元时，选取的第二重建编码树单元与第一重建编码树单元在视频帧中所处的视频帧编码位置可以是不同的，也可以是有重叠部分的。其中视频帧编码位置即是对当前视频帧进行划分，确定出n行l列的编码树单元后，每一编码树单元在当前视频帧中的位置。例如，针对第二重建编码树单元与第一重建编码树单元在视频帧中所处的视频帧编码位置不同的情况，第一重建编码树单元对应当前视频帧中的位置为前n行l列的视频编码位置，选取的第二重建编码树单元，可以对应为在上一关联视频帧中m-n行l列的位置，本公开实施例不做限定。
48.在步骤s130中，根据第一重建编码树单元、第二重建编码树单元和当前视频帧，对预设的滤波器进行滤波训练，并在滤波器的输出结果满足预设滤波条件的情况下，确定滤波器训练完成。
49.在实施中，电子设备根据当前视频帧编码重建的第一预设数目的第一重建编码树单元、获取到的上一关联视频帧对应的第二预设数目的第二重建编码树单元、以及当前视频帧，对预设的滤波器进行滤波训练。具体的，滤波器的训练方法有多种：方法一，由滤波器对第一重建编码树单元和第二重建编码树单元进行滤波处理，得到输出结果，该输出结果即为经过滤波处理后的重建编码树单元（也称为滤波处理后的重建像素），然后，电子设备计算输出结果中滤波处理后的重建像素与当前视频帧的原始像素间的均方误差，以此，作为滤波器参数调整的条件，在滤波器的输出结果未满足预设滤波条件的情况下，根据该滤
波器自身算法特性（alf，自适应环路滤波），自适应调整滤波参数，然后，基于调参后的滤波器再次对第一重建编码树单元和第二重建编码树单元进行滤波处理；在滤波器的输出结果满足预设滤波条件的情况下，确定滤波器训练完成。方法二，根据预设的sse（the sum of squares due to error）矩阵运算方法，预估滤波器的输出结果与当前视频帧的原始像素间的均方误差，即不需要对第一重建编码书单元和第二重建编码书单元进行实际的滤波处理，即可得到估算的均方误差，然后，以该均方误差作为滤波器参数调整的条件，在滤波器的输出结果未满足预设滤波条件的情况下，根据该滤波器自身算法特性（alf，自适应环路滤波），自适应调整滤波参数，直至均方误差满足预设滤波条件的情况下（例如，均方误差小于预设均方误差阈值），确定滤波器训练完成。
50.上述滤波器训练方法中，电子设备对预设的滤波器进行滤波训练，并在滤波器的输出结果满足预设滤波条件的情况下，确定滤波器训练完成。采用本方法，通过当前视频帧中的第一预设数目的重建编码树单元以及关联视频帧中已经重建好的第二预设数目的重建编码单元和当前视频帧，对滤波器进行训练，减少由于等待当前视频帧中全部的编码树单元编码重建完成而产生的时间，提高视频帧编码处理效率。
51.在一示例性实施例中，在针对当前视频帧进行编码处理的过程中，需要查询该当前视频帧是否存在上一关联视频帧，如图2所示，在步骤s110之后，该方法还包括以下步骤：步骤s210，对当前视频帧进行特征提取，得到当前视频帧的目标位置特征。
52.在实施中，电子设备根据预设的特征提取算法（例如，local binary pattern，局部二值模式特征提取算法），对当前视频帧进行特征提取，得到当前视频帧的目标位置特征。
53.步骤s220，根据目标位置特征，在已完成编码重建的各视频帧的位置特征中确定是否存在与目标位置特征相匹配的匹配位置特征。
54.在实施中，电子设备对已完成编码重建的各视频帧进行特征提取，得到各视频帧对应的位置特征，然后，将当前视频帧的目标位置特征，分别在各视频帧对应的位置特征中进行匹配，得到各视频帧对应的位置特征的匹配度，进而判断各位置特征的匹配度是否满足预设相似度条件。若满足预设的相似度条件，则确定存在与当前视频帧的目标位置特征相匹配的匹配位置特征。例如，预设的相似度条件可以为预设的相似度阈值，则判断过程即为：若存在与当前视频帧的目标位置特征间的相似度小于预设相似度阈值的位置特征，则表征当前视频帧的目标位置特征与该位置特征间的相似度满足预设相似度条件，即该位置特征为匹配位置特征。若各视频帧对应的位置特征与当前视频帧的目标位置特征间的相似度均不满足预设的相似度条件，则确定不存在与当前视频帧的目标位置特征相匹配的匹配位置特征。
55.步骤s230，若存在匹配位置特征，则将匹配位置特征对应的重建视频帧确定为当前视频帧的上一关联视频帧。
56.在实施中，若存在与当前视频帧位置特征相匹配的匹配位置特征，则电子设备将该匹配位置特征对应的视频帧确定为当前视频帧的关联视频帧，并且由于是在各已完成编码重建的视频帧中进行的查询匹配，基于视频帧的编码处理顺序，电子设备确定出该关联视频帧为当前视频帧的上一关联视频帧。
57.本实施例中，通过提取当前视频帧的目标位置特征，与已完成编码重建的各视频
帧的位置特征进行匹配，确定是否存在与当前视频帧的目标位置特征相匹配的匹配位置特征，进而实现了对是否存在当前视频帧的上一关联视频帧的判别，以使根据是否存在当前视频帧的上一关联视频帧的判别结果，确定滤波器的训练数据。
58.在一示例性实施例中，在步骤s110之后，该滤波器训练方法还包括以下步骤实现：在不存在当前视频帧的上一关联视频帧的情况下，则根据第一预设数目的第一重建编码树单元和当前视频帧对预设的滤波器进行滤波训练，并在滤波器的输出结果满足预设滤波条件的情况下，确定滤波器训练完成。
59.在实施中，若不存在当前视频帧的上一关联视频帧，则表征在当前视频帧之前，没有可以参考的已完成编码重建的视频帧的编码信息，此时，电子设备则可以只根据当前视频帧以及当前视频帧中的已完成编码重建的部分（例如，第一预设数目）的第一重建编码树单元，对预设的滤波器进行滤波训练，然后，在滤波器的输出结果满足预设滤波条件的情况下，确定滤波器训练完成。具体的滤波器训练过程与上述步骤s130中的滤波器训练过程相似，区别在于输出结果与上述步骤s130中不同，因为仅输入第一预设数目的第一重建编码单元，所以滤波器的输出结果为滤波后的第一预设数目的第一重建编码树单元，然后，根据该输出结果与当前视频帧中对应的第一预设数目的原始编码树单元进行均方误差计算，作为输出结果是否满足预设滤波条件的判别条件，因此，本公开实施例对于滤波器训练过程不再赘述。
60.可选的，已编码重建的第一预设数目的重建编码树单元可以确定为当前视频帧中前n行
×
l列的重建编码树单元，也可以确定为n 1行至n h行（
×
l列）的重建编码树单元，其中n h小于m，或者，还确定为前n行
×
(l-1)列的重建编码树单元，即在当前视频帧已完成编码重建的重建编码树单元中，电子设备可以选择部分区域的重建编码树单元作为第一预设数目的第一重建编码树单元，实现对预设的滤波器的训练。
61.本实施例中，在不存在当前视频帧的上一关联视频帧的情况下，根据当前视频帧中的部分（第一预设数目）已完成编码重建的第一重建编码树单元和当前视频帧，实现对预设滤波器的训练，使得不必等待当前视频帧中全部的编码树单元完成编码重建，再对滤波器进行训练，减少训练之前的等待时长，提高视频帧编码处理效率。
62.可选的，在不存在当前视频帧的上一关联视频帧的情况下，还可以针对当前视频帧，采用对当前视频帧的全部编码树单元进行编码重建，得到全部的第一重建编码树单元，再根据全部的第一重建编码树单元和当前视频帧，对预设的滤波器进行训练的训练方法，并且，在当前视频帧的滤波器训练完成的情况下，再根据训练完成的滤波器对当前视频帧的全部的第一重建编码树单元（全部的第一重建编码树单元也构成当前视频帧的重建视频帧）进行滤波，而当前视频帧之后的下一待处理视频帧，则执行上述步骤s110至步骤s130中的滤波器训练方法。其中，下一待处理视频帧为依赖于当前视频帧的重建视频帧中进行编码重建的视频帧。
63.在一示例性实施例中，电子设备在对滤波器进行训练的过程中，还可以同步完成对当前视频帧中未编码重建的编码树单元进行编码重建的过程，如图3所示，在步骤s110之后，该滤波器训练方法还包括以下步骤实现：在步骤s310中，根据预设的编码重建策略，对当前视频帧中除第一预设数目之外的其他编码树单元进行编码重建，得到当前视频帧对应的全部第一重建编码树单元。
64.在实施中，电子设备在执行对滤波器的训练过程的同时，还可以根据预设的编码重建策略，继续完成对当前视频帧中除第一预设数目之外的其他编码树单元的编码重建处理，进而，得到当前视频帧中全部编码树单元对应的第一重建编码树单元。
65.在步骤s320中，在滤波器训练完成之后，根据训练完成的滤波器对全部的第一重建编码树单元进行滤波处理，得到当前视频帧对应的滤波后的重建像素区域。
66.在实施中，在滤波器训练完成之后，电子设备可以根据训练完成的滤波器对当前视频帧已完成编码重建的全部的第一重建编码树单元进行滤波处理，降低第一重建编码树单元与当前视频帧中原始像素的编码树单元间的均方误差，得到滤波处理后的滤波编码树单元，当全部的第一重建编码树单元滤波完成之后，得到的全部的滤波编码树单元就构成了当前视频帧对应的重建像素区域。其中，若全部的滤波编码树单元的数目等于视频帧中包含的编码树单元的总数目，则重建像素区域可以表征为重建视频帧；若全部的滤波编码树单元的数目小于视频帧中包含的编码树单元的总数目，则重建像素区域是重建视频帧中的部分区域。
67.本实施例中，在对滤波器进行训练的过程中，同步完成对当前视频帧中剩余编码树单元的编码重建处理，并且在滤波器训练完成后，应用该训练完成的滤波器对当前视频帧全部的第一重建编码树单元进行滤波处理，得到滤波后的重建像素区域，降低编码处理迟延，提高了对视频帧编码处理的效率。
68.在一示例性实施例中，由于各视频帧需要按照其在视频序列中所处位置的先后顺序，依次进行编码处理，因此，基于训练完成的滤波器对当前视频帧的重建编码树单元进行滤波处理时，当前视频帧，以及当前视频帧的下一待处理视频帧间可以进一步设定编码处理策略，如图4所示，在步骤s320中，根据训练完成的滤波器对全部的第一重建编码树单元进行滤波处理具体包括以下步骤：步骤s321，根据训练完成的滤波器以及预设的滤波处理顺序，依序对当前视频帧对应的各第一重建编码树单元进行滤波处理。
69.在实施中，电子设备根据训练完成的滤波器以及预设的滤波处理顺序（例如，滤波处理顺序为视频帧中从左到右，从上到下的顺序），依序对当前视频帧对应的各第一重建编码树单元进行滤波处理，得到每一重建编码树单元滤波处理后的滤波编码树单元。
70.则步骤s320之后，该方法还包括：步骤s322，为所述第一重建编码树单元添加已处理标识。
71.其中，已处理标识用于触发对当前视频帧对应的下一待处理视频帧中目标编码单元进行编码重建，所述目标编码单元为所述下一待处理视频帧中，与添加所述已处理标识的第一重建编码树单元相同视频帧编码位置的编码单元。下一待处理视频帧为依赖于当前视频帧的重建视频帧进行编码重建的视频帧。也即当前视频帧与下一待处理视频帧在视频帧编码处理间存在依赖关系，下一待处理视频帧的视频编码处理要在当前视频帧的编码处理结果的基础上进行，因此，当前视频帧与当前视频帧对应的下一待处理视频帧按照其在视频序列中所处位置，进行编码处理。
72.在实施中，滤波器每完成一个第一重建编码树单元的滤波处理，就可以为该第一重建编码树单元添加上已处理标识。如图5所示，在对当前视频帧第1行的第一重建编码树单元进行滤波处理后，可以将第1行的第一重建编码树单元添加已处理标识。并且，基于该
已处理标识的触发，多功能视频编码器则对当前视频帧的下一待处理视频帧中第1行的编码树模块进行编码重建处理，这样，当前视频帧中的下一行第一重建编码树单元（即第2行的第一重建编码树单元）进行滤波处理后，电子设备则可以对下一待处理视频帧中第1行的编码树单元进行编码重建处理，进而，当下一待处理视频帧中已完成编码重建的编码树单元的数目满足第一预设数目时，则可以继续对下一待处理视频帧执行步骤s110至步骤s130的滤波器训练方法，本公开实施例对下一待处理视频帧进行滤波器训练的过程不再赘述。
73.可选的，不具备关联关系（即非关联关系）的两个视频帧可以采用并行编码处理的方式，如图6所示，在一个视频帧序列中，视频帧1和视频帧3不具有关联关系，视频帧2和视频帧6不具有关联关系，因此，视频帧1和视频帧3、视频帧2和视频帧6可以并行执行视频帧编码处理的过程，即上述步骤s110至步骤s130，以及上述步骤s310至步骤s320的处理过程，以提高整体视频帧处理效率。
74.在一示例性实施例中，如图7所示，在步骤s120中，在存在当前视频帧的上一关联视频帧的情况下，获取上一关联视频帧对应的第二预设数目的第二重建编码树单元具体处理过程包括：步骤s710，根据当前视频帧中包含的全部编码树单元的数目与第一预设数目进行差值计算，确定第二预设数目。
75.在实施中，电子设备根据当前视频帧中包含的全部编码树单元的数目与第一预设数目进行差值计算，确定第二预设数目，该第二预设数目即为需要获取当前视频帧的上一关联视频帧中第二重建编码树单元的数目。具体的，当前视频帧中包含的全部编码树单元的数目为（m
×
l）个，电子设备计算（m
×
l）-（n
×
l），得到第二预设数目（m-n）
×
l。
76.步骤s720，在存在当前视频帧的上一关联视频帧的情况下，根据第二预设数目，获取所述上一关联视频帧中的第二重建编码树单元。
77.在实施中，经过判别确定当前视频帧存在上一关联视频帧的情况下，电子设备根据计算出的第二预设数目，在当前视频帧的上一关联视频帧中获取该第二预设数目的第二重建编码树单元，并且第一重建编码树单元与第二重建编码树单元所处的视频帧编码位置不同。
78.本实施例中，由于第一预设数目和第二预设数目的总和等于当前视频帧中全部编码树单元的数目，因此，在将第一重建编码树单元和第二重建编码树单元作为滤波器的训练数据时，包含了当前视频帧中全部编码树单元对应的重建编码信息，提高了滤波器的训练准确性。
79.在一示例性实施例中，如图8所示，在步骤s130中，根据第一重建编码树单元、第二重建编码树单元和当前视频帧，对预设的滤波器进行滤波训练的具体处理过程包括：步骤s810，在第一重建编码树单元中提取第一重建像素特征，在第二重建编码树单元中提取第二重建像素特征，以及在当前视频帧中提取原始像素特征，并对第一重建像素特征和第二重建像素特征进行特征融合，得到融合重建像素特征。
80.在实施中，电子设备根据预设的特征提取算法，提取第一重建编码树单元中包含的第一重建像素特征，提取第二重建编码树中包含的第二重建像素特征以及在当前视频帧中提取原始像素特征，然后，电子设备对第一重建像素特征和第二重建像素特征进行融合处理，得到融合重建像素特征。
81.步骤s820，根据融合重建像素特征以及当前视频帧的原始像素特征，对滤波器进行滤波训练。
82.在实施中，电子设备还可以根据预设的特征提取算法，对当前视频帧进行特征提取，得到当前视频帧对应的原始像素特征，然后，电子设备根据预设的sse（the sum of squares due to error）矩阵运算方法以及融合重建像素特征，预估滤波器的输出结果与当前视频帧的原始像素间的均方误差，即不需要对融合重建像素特征进行实际的滤波处理，即可得到估算的均方误差。然后，电子设备根据均方误差的大小与均方误差阈值（或称为均方误差最小值）间的关系，确实是否对滤波器中的参数进行自适应调整，实现对滤波器的训练过程。
83.本实施例中，通过第一重建编码树单元和第二重建编码树单元间的融合重建像素特征以及当前视频帧的原始像素特征，对滤波器进行训练，使得不必等待当前视频帧中全部的编码树单元完成编码重建，再对滤波器进行训练，减少训练之前的等待时长，提高视频帧编码处理效率。
84.可选的，除了在特征域对第一重建像素特征和第二重建像素特征进行特征融合之外，还可以在像素域进行融合处理，具体的，先对第一预设数目的第一重建编码树单元和第二预设数目的第二重建编码树单元进行拼接处理，得到拼接后的拼接重建视频帧，然后，对拼接重建视频帧进行特征提取，可以得到融合重建像素特征，本公开实施例对于滤波器训练数据的处理方法不做限定。
85.在一个实施例中，如图9所示，提供一种滤波器训练方法，该滤波器训练方法包括：步骤s910，根据预设的编码重建策略，对当前视频帧中第一预设数目的编码树单元进行编码重建，得到第一预设数目的第一重建编码树单元。
86.步骤s920，根据第一预设数目的第一重建编码树单元和当前视频帧，对预设的滤波器进行滤波训练，并在滤波器的输出结果满足预设滤波条件的情况下，确定滤波器训练完成。
87.应该理解的是，虽然图1至图4，图7至图9的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图图1至图4，图7至图9中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
88.可以理解的是，本说明书中上述方法的各个实施例之间相同/相似的部分可互相参见，每个实施例重点说明的是与其他实施例的不同之处，相关之处参见其他方法实施例的说明即可。
89.图10是根据一示例性实施例示出的一种滤波器训练装置框图。参照图8，该装置800包括编码重建单元1010，获取单元1020和训练单元1030。
90.该编码重建单元1010，被配置为执行根据预设的编码重建策略，对当前视频帧中第一预设数目的编码树单元进行编码重建，得到所述第一预设数目的第一重建编码树单元。
91.该获取单元1020，被配置为执行在存在所述当前视频帧的上一关联视频帧的情况下，获取所述上一关联视频帧对应的第二预设数目的第二重建编码树单元；所述第一重建编码树单元与所述第二重建编码树单元所处的视频帧编码位置不同。
92.该训练单元1030，被配置为执行根据所述第一重建编码树单元、所述第二重建编码树单元和所述当前视频帧，对预设的滤波器进行滤波训练，并在所述滤波器的输出结果满足预设滤波条件的情况下，确定所述滤波器训练完成。
93.在其中一个实施例中，所述装置1000还包括：特征提取单元，被配置为执行对所述当前视频帧进行特征提取，得到所述当前视频帧的目标位置特征；第一确定单元，被配置为执行根据所述目标位置特征，在已完成编码重建的各视频帧对应的位置特征中确定是否存在与所述目标位置特征相匹配的匹配位置特征；第二确定单元，被配置为执行若存在所述匹配位置特征，则将所述匹配位置特征对应的视频帧确定为所述当前视频帧的上一关联视频帧。
94.在其中一个实施例中，该装置1000还包括：所述训练单元，被配置为执行在不存在所述当前视频帧的上一关联视频帧的情况下，则根据所述第一预设数目的第一重建编码树单元和所述当前视频帧对预设的滤波器进行滤波训练，并在所述滤波器的输出结果满足预设滤波条件的情况下，确定所述滤波器训练完成。
95.在其中一个实施例中，该装置1000还包括：所述编码重建单元，被配置为执行根据预设的编码重建策略，对所述当前视频帧中除所述第一预设数目之外的其他编码树单元进行编码重建，得到所述当前视频帧对应的全部的所述第一重建编码树单元；滤波处理单元，被配置为执行在所述滤波器训练完成之后，根据所述训练完成的滤波器对所述全部的第一重建编码树单元进行滤波处理，得到所述当前视频帧对应的滤波后的重建像素区域。
96.在其中一个实施例中，滤波处理单元还包括：滤波处理子单元，被配置为执行根据训练完成的所述滤波器以及预设的滤波处理顺序，依序对所述当前视频帧对应的各所述第一重建编码树单元进行滤波处理；标识子单元，被配置为执行在得到所述第一重建编码树单元滤波处理的滤波编码树单元之后，为所述第一重建编码树单元添加已处理标识，所述已处理标识，用于触发对所述当前视频帧对应的下一待处理视频帧在相同视频帧编码位置进行编码重建；所述下一待处理视频帧为依赖于所述当前视频帧的重建视频帧进行编码重建的视频帧。
97.在其中一个实施例中，获取单元1020还包括：确定子单元，被配置为执行根据所述当前视频帧中包含的全部编码树单元的数目与所述第一预设数目进行差值计算，确定第二预设数目；获取子单元，被配合为执行在存在所述当前视频帧的上一关联视频帧的情况下，根据所述第二预设数目，获取所述上一关联视频帧中的第二重建编码树单元。
98.在其中一个实施例中，训练单元1030还包括：特征提取子单元，被配置为执行在所述第一重建编码树单元中提取第一重建像素
特征，在所述第二重建编码树单元中提取第二重建像素特征，以及在所述当前视频帧中提取原始像素特征，并对所述第一重建像素特征和所述第二重建像素特征进行特征融合，得到融合重建像素特征；训练子单元，被配置为执行根据所述融合重建像素特征以及所述原始像素特征，对所述滤波器进行滤波训练。
99.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
100.图11是根据一示例性实施例示出的一种用于滤波器训练方法的电子设备1100的框图。例如，电子设备1100可以是移动电话、计算机、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理等。
101.参照图11，电子设备1100可以包括以下一个或多个组件：处理组件1102、存储器1104、电源组件1106、多媒体组件1108、音频组件1110、输入/输出（i/o）的接口1112、传感器组件1114以及通信组件1116。
102.处理组件1102通常控制电子设备1100的整体操作，诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件1102可以包括一个或多个处理器1120来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1102可以包括一个或多个模块，便于处理组件1102和其他组件之间的交互。例如，处理组件1102可以包括多媒体模块，以方便多媒体组件1108和处理组件1102之间的交互。
103.存储器1104被配置为存储各种类型的数据以支持在电子设备1100的操作。这些数据的示例包括用于在电子设备1100上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器1104可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（sram）、电可擦除可编程只读存储器（eeprom）、可擦除可编程只读存储器（eprom）、可编程只读存储器（prom）、只读存储器（rom）、磁存储器、快闪存储器、磁盘、光盘或石墨烯存储器。
104.电源组件1106为电子设备1100的各种组件提供电力。电源组件1106可以包括电源管理系统，一个或多个电源，及其他与为电子设备1100生成、管理和分配电力相关联的组件。
105.多媒体组件1108包括在所述电子设备1100和用户之间的提供输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器（lcd）和触摸面板（tp）。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1108包括前置摄像头和/或后置摄像头。当电子设备1100处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是固定的光学透镜系统或具有焦距和光学变焦能力。
106.音频组件1110被配置为输出和/或输入音频信号。例如，音频组件1110包括麦克风（mic），当电子设备1100处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1104或经由通信组件1116发送。在一些实施例中，音频组件1110还包括扬声器，用于输出音频信号。
107.i/o接口1112为处理组件1102和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
108.传感器组件1114包括一个或多个传感器，用于为电子设备1100提供各个方面的状态评估。例如，传感器组件1114可以检测到电子设备1100的打开/关闭状态，组件的相对定位，例如所述组件为电子设备1100的显示器和小键盘，传感器组件1114还可以检测电子设备1100或电子设备1100组件的位置改变，用户与电子设备1100接触的存在或不存在，设备1100方位或加速/减速和电子设备1100的温度变化。传感器组件1114可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1114还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1114还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。
109.通信组件1116被配置为便于电子设备1100和其他设备之间有线或无线方式的通信。电子设备1100可以接入基于通信标准的无线网络，如wifi，运营商网络（如2g、3g、4g或5g），或它们的组合。在一个示例性实施例中，通信组件1116经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1116还包括近场通信（nfc）模块，以促进短程通信。例如，在nfc模块可基于射频识别（rfid）技术，红外数据协会（irda）技术，超宽带（uwb）技术，蓝牙（bt）技术和其他技术来实现。
110.在示例性实施例中，电子设备1100可以被一个或多个应用专用集成电路（asic）、数字信号处理器（dsp）、数字信号处理设备（dspd）、可编程逻辑器件（pld）、现场可编程门阵列（fpga）、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
111.在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器1104，上述指令可由电子设备1100的处理器1120执行以完成上述方法。例如，计算机可读存储介质可以是rom、随机存取存储器（ram）、cd-rom、磁带、软盘和光数据存储设备等。
112.在示例性实施例中，还提供一种计算机程序产品，所述计算机程序产品中包括指令，上述指令可由电子设备1100的处理器1120执行以完成上述方法。
113.需要说明的，上述的装置、电子设备、计算机可读存储介质、计算机程序产品等根据方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。
114.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
115.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。