环路滤波实现方法、装置及计算机存储介质与流程

环路滤波实现方法、装置及计算机存储介质
1.本技术是申请日为2019年3月7日，申请号为201980090702.4，发明名称为“环路滤波实现方法、装置及计算机存储介质”的申请的分案申请。
技术领域
2.本技术实施例涉及图像处理技术领域，尤其涉及一种环路滤波实现方法、装置及计算机存储介质。


背景技术：

3.在视频编解码系统中，大多数视频编码采用的是基于块形编码单元(coding unit，cu)的混合编码框架，由于相邻的cu采用不同的编码参数，比如：不同的变换过程、不同的量化参数(quantization parameter，qp)、不同的预测方式、不同的参考图像帧等，而且各个cu引入的误差大小及其分布特性的相互独立，相邻cu边界的不连续性而产生块效应，从而影响了重建图像的主客观质量，甚至影响后续编解码的预测准确性。
4.这样，在编解码过程中，环路滤波器被使用来提升重建图像的主客观质量。传统的环路滤波器通常是人为地去归纳失真图像的特征，人为地设计滤波器结构及配置滤波器系数，例如去方块滤波、样点自适应补偿和自适应环路滤波等，这些依赖于人工设计的滤波器对最优滤波器的拟合并不到位，自适应能力和滤波效果较差，且编码端需要将依赖于局部统计信息的滤波器相关参数写入码流中以保证编解码端的一致性，这增加了编码比特数。
5.随着深度学习理论的迅速发展，业界内提出了卷积神经网络(convolutional neural network，cnn)对重建图像进行滤波处理以去除图像失真，相对传统的环路滤波器获得了明显的主客观质量提升。然而，目前的cnn滤波器未充分综合利用相关信息，使得重建图像的主客观质量提升有限。


技术实现要素：

6.本技术实施例提供一种环路滤波实现方法、装置及计算机存储介质，通过采用级联处理结构以及将块划分信息和/或qp信息等编码参数作为辅助信息与输入的多个图像分量进行融合处理，不仅充分利用了多个图像分量之间的关系，而且还降低了计算复杂度，节省了编码码率；同时还进一步提升了编解码过程中视频重建图像的主客观质量。
7.本技术实施例的技术方案可以如下实现：
8.第一方面，本技术实施例提供了一种环路滤波实现方法，所述方法包括：
9.获取待滤波图像；其中，所述待滤波图像是待编码视频中的原始图像在视频编码过程中所生成的，所述待编码视频包括原始图像帧，所述原始图像帧包括所述原始图像；
10.基于所述待滤波图像，分别获得所述待滤波图像的至少两个图像分量；
11.确定所述待滤波图像的融合信息；其中，所述融合信息至少包括对所述至少两个图像分量进行融合得到的信息；
12.基于所述融合信息对所述待滤波图像进行环路滤波处理，得到所述待滤波图像滤
波后的至少一个图像分量。
13.第二方面，本技术实施例提供了一种环路滤波实现装置，所述环路滤波实现装置包括：获取单元、分路单元、确定单元和滤波单元，其中，
14.所述获取单元，配置为获取待滤波图像；其中，所述待滤波图像是待编码视频中的原始图像在视频编码过程中所生成的，所述待编码视频包括原始图像帧，所述原始图像帧包括所述原始图像；
15.所述分路单元，配置为基于所述待滤波图像，分别获得所述待滤波图像的至少两个图像分量；
16.所述确定单元，配置为确定所述待滤波图像的融合信息；其中，所述融合信息至少包括对所述至少两个图像分量进行融合得到的信息；
17.所述滤波单元，配置为基于所述融合信息对所述待滤波图像进行环路滤波处理，得到所述待滤波图像滤波后的至少一个图像分量。
18.第三方面，本技术实施例提供了一种环路滤波实现装置，所述环路滤波实现装置包括：存储器和处理器，其中，
19.所述存储器，用于存储能够在所述处理器上运行的计算机程序；
20.所述处理器，用于在运行所述计算机程序时，执行如第一方面所述方法的步骤。
21.第四方面，本技术实施例提供了一种计算机存储介质，所述计算机存储介质存储有环路滤波实现程序，所述环路滤波实现程序被至少一个处理器执行时实现如第一方面所述方法的步骤。
22.本技术实施例提供了一种环路滤波实现方法、装置及计算机存储介质，首先获取待滤波图像，所述待滤波图像是待编码视频中的原始图像在视频编码过程中所生成的；然后基于所述待滤波图像，分别获得所述待滤波图像的至少两个图像分量；该处理过程可以看作分路阶段；再确定所述待滤波图像的融合信息；其中，所述融合信息至少包括对所述至少两个图像分量进行融合得到的；该处理过程可以看作合并阶段；这样，通过采用级联处理结构以及对输入的多个图像分量进行融合处理，不仅充分利用了多个图像分量之间的关系，而且还有效避免了对这多个图像分量需要进行多次完整的网络前向计算的问题，进而降低了计算复杂度，节省了编码码率；最后基于所述融合信息对所述待滤波图像进行环路滤波处理，得到所述待滤波图像滤波后的至少一个图像分量；这样，通过融合信息还可以进一步辅助滤波，提升了编解码过程中视频重建图像的主客观质量。
附图说明
23.图1为相关技术方案提供的一种传统编码框图的组成结构示意图；
24.图2为本技术实施例提供的一种改进型编码框图的组成结构示意图；
25.图3为本技术实施例提供的一种环路滤波实现方法的流程示意图；
26.图4为本技术实施例提供的一种块划分矩阵的结构示意图；
27.图5为本技术实施例提供的一种传统cnn滤波器的组成结构示意图；
28.图6a和图6b为本技术实施例提供的另一种传统cnn滤波器的组成结构示意图；
29.图7为本技术实施例提供的一种环路滤波框架的组成结构示意图；
30.图8为本技术实施例提供的另一种环路滤波框架的组成结构示意图；
31.图9为本技术实施例提供的一种环路滤波实现装置的组成结构示意图；
32.图10为本技术实施例提供的一种环路滤波实现装置的具体硬件结构示意图。
具体实施方式
33.为了能够更加详尽地了解本技术实施例的特点与技术内容，下面结合附图对本技术实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本技术实施例。
34.在视频编解码系统中，待编码视频包括原始图像帧，而原始图像帧中包括原始图像，对该原始图像进行多种处理，诸如预测、变换、量化、重建和滤波等，在这些处理过程中，已处理的视频图像相对原始图像可能已经发生像素值偏移，导致视觉障碍或假象。此外，在大多数视频编解码系统采用的基于块形cu的混合编码框架下，由于相邻的编码块采用不同的编码参数(比如不同的变换过程、不同的qp、不同的预测方式、不同的参考图像帧等)，各个编码块引入的误差大小及其分布特性的相互独立，相邻编码块边界的不连续性，产生块效应。这些失真不但影响了重建图像的主客观质量，若重建图像作为后续编码像素的参考图像，甚至还会影响后续编解码的预测准确性，进而影响了视频码流中比特的大小。因此，在视频编解码系统中，往往会加入环路滤波器(in
‑
loop filter)来提升重建图像的主客观质量。
35.参见图1，其示出了相关技术方案提供的一种传统编码框图10的组成结构示意图。如图1所示，该传统编码框图10可以包括变换及量化单元101、反变换及反量化单元102、预测单元103、滤波单元104和熵编码单元105等部件；其中，预测单元103还包括帧内预测单元1031和帧间预测单元1032。针对输入的原始图像，通过初步划分可以得到编码树单元(coding tree unit，ctu)，而对一个ctu继续进行内容自适应划分，可以得到cu，cu一般包含一个或多个编码块(coding block，cb)。对编码块进行帧内预测单元1031的帧内预测或者帧间预测单元1032的帧间预测，可以得到残差信息；将该残差信息通过变换及量化单元101对该编码块进行变换，包括将残差信息从像素域变换到变换域，以及对所得到的变换系数进行量化，用以进一步减少比特率；在确定出预测模式之后，预测单元103还用于将所选择的帧内预测数据或者帧间预测数据提供给熵编码单元105；此外，反变换与反量化单元102是用于该编码块的重构建，在像素域中重构建残差块，该重构建残差块通过滤波单元104去除方块效应伪影，然后将该重构残差块添加到解码图像缓存单元中，用以产生经重构建的参考图像；熵编码单元105是用于编码各种编码参数及量化后的变换系数，比如熵编码单元105采用头信息编码及基于上下文的自适应二进制算术编码(context
‑
based adaptive binary arithmatic coding，cabac)算法，可以用于编码指示所确定的预测模式的编码信息，输出对应的码流。
36.针对图1所述的传统编码框图10，滤波单元104为环路滤波器，也称之为环内滤波器(in
‑
loop filter)，它可以包括去方块滤波器(de
‑
blocking filter，dbf)1041、样点自适应补偿(sample adaptive offset，sao)滤波器1042和自适应环路滤波器(adaptive loop filter，alf)1043等。其中，去方块滤波器1041用于实现去方块滤波，在下一代视频编码标准h.266/多功能视频编码(versatile video coding，vvc)中，对于原始图像中所有的编码块边界，首先根据边界两边的编码参数进行边界强度的判定，以及根据计算得到的块边界纹理度值来判断是否进行去方块的滤波决策，最后再根据边界强度、滤波决策对编码
块边界两侧的像素信息进行修正处理。在vvc中，当去方块滤波执行之后，为了减轻高频交流系数的量化失真，还引入了sao技术，即样点自适应补偿滤波器1042；进一步地，从像素域入手，对波峰处的像素添加负值、波谷处的像素添加正值进行补偿处理。在vvc中，当去方块滤波和样点自适应补偿滤波执行之后，还需要进一步使用自适应环路滤波器1043进行滤波处理；对于自适应环路滤波，它是根据原始图像的像素值和失真图像的像素值来计算得到均方意义下的最优滤波器。然而，这些滤波器(比如去方块滤波器1041、样点自适应补偿滤波器1042和自适应环路滤波器1043等)不仅需要进行精细的手工设计、大量的判断决策；而且在编码端还需要将依赖于局部统计信息的滤波器相关参数(比如滤波系数和是否选用该滤波器的标识(flag)值等)写入码流中以保证编码端和解码端的一致性，增加了编码比特数；同时人工设计的滤波器对真实的优化目标的复杂函数的拟合程度不高，滤波效果有待增强。
37.本技术实施例提供了一种环路滤波实现方法，该方法应用于改进型编码框图中；与图1所示的传统编码框图10相比，主要区别是采用一种改进型环路滤波器来代替相关技术方案中的去方块滤波器1041、样点自适应补偿滤波器1042和自适应环路滤波器1043等。在本技术实施例中，该改进型环路滤波器可以是卷积神经网络(convolutional neural networks，cnn)滤波器，也可以是其他深度学习所建立的滤波器，本技术实施例不作具体限定。
38.以卷积神经网络滤波器为例，参见图2，其示出了本技术实施例提供的一种改进型编码框图20的组成结构示意图。如图2所示，与传统编码框图10相比，改进型编码框图20中的滤波单元104包括卷积神经网络滤波器201。该卷积神经网络滤波器201不仅可以全部代替图1中的去方块滤波器1041、样点自适应补偿滤波器1042和自适应环路滤波器1043，而且也可以部分替代图1中的去方块滤波器1041、样点自适应补偿滤波器1042和自适应环路滤波器1043中的任意一个或者两个，甚至也可以和图1中的去方块滤波器1041、样点自适应补偿滤波器1042和自适应环路滤波器1043中的任意一个或者多个组合使用。还需要注意的是，针对图1或者图2中所示的每一个部件，比如变换及量化单元101、反变换及反量化单元102、预测单元103、滤波单元104、熵编码单元105或者卷积神经网络滤波器201，这些部件可以是虚拟模块，也可以是硬件模块。另外，本领域技术人员可以理解，这些单元并不构成对编码框图的限定，编码框图可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
39.本技术实施例中，卷积神经网络滤波器201进行滤波网络训练之后可以直接部署在编码端和解码端，这样就无需传输任何滤波器相关参数；而且该卷积神经网络滤波器201还可以将块划分信息和/或qp信息等辅助信息与输入的多个图像分量进行融合处理；这样，不仅充分利用了多个图像分量之间的关系，而且还降低了计算复杂度，节省了编码码率；同时还进一步提升了编解码过程中视频重建图像的主客观质量。
40.需要说明的是，本技术实施例的环路滤波实现方法不仅可以应用于编码系统，也可以应用于解码系统。一般来说，为了节省编码码率，同时保证解码系统可以进行正确的解码处理，在编码系统和解码系统必须同步部署本技术实施例的环路滤波器。下面将以在编码系统中的应用为例进行详细描述。
41.参见图3，其示出本技术实施例提供的一种环路滤波实现方法的流程示意图，该方
法可以包括：
42.s301：获取待滤波图像；其中，所述待滤波图像是待编码视频中的原始图像在视频编码过程中所生成的，所述待编码视频包括原始图像帧，所述原始图像帧包括所述原始图像；
43.s302：基于所述待滤波图像，分别获得所述待滤波图像的至少两个图像分量；
44.s303：确定所述待滤波图像的融合信息；其中，所述融合信息至少包括对所述至少两个图像分量进行融合得到的；
45.s304：基于所述融合信息对所述待滤波图像进行环路滤波处理，得到所述待滤波图像滤波后的至少一个图像分量。
46.需要说明的是，由于原始图像可以划分为ctu，或者由ctu划分为cu；也就是说，本技术实施例中的块划分信息可以是指ctu划分信息，也可以是指cu划分信息；这样，本技术实施例的环路滤波实现方法不仅可以应用于cu级别的环路滤波，也可以应用于ctu级别的环路滤波，本技术实施例不作具体限定。
47.在本技术实施例中，在获取到待滤波图像之后，基于所述待滤波图像，分别获得所述待滤波图像的至少两个图像分量；该处理过程可以看作分路阶段，用于分别得到至少两个图像分量；然后确定所述待滤波图像的融合信息；其中，所述融合信息至少包括对所述至少两个图像分量进行融合得到的；该处理过程可以看作合并阶段，用于将至少两个图像分量进行融合；这样，本技术实施例采用了级联处理结构，通过将输入的多个图像分量进行融合处理，不仅充分利用了多个图像分量之间的关系，而且还有效避免了对这多个图像分量需要进行多次完整的网络前向计算的问题，进而降低了计算复杂度，节省了编码码率；最后基于所述融合信息对所述待滤波图像进行环路滤波处理，得到所述待滤波图像滤波后的至少一个图像分量；这样，通过融合信息还可以进一步辅助滤波，提升了编解码过程中视频重建图像的主客观质量。
48.在一些实施例中，图像分量包括第一图像分量、第二图像分量和第三图像分量；其中，所述第一图像分量表示亮度分量，所述第二图像分量表示第一色度分量，所述第三图像分量表示第二色度分量。
49.需要说明的是，在视频图像中，一般采用第一图像分量、第二图像分量和第三图像分量来表征原始图像或者待滤波图像。其中，在亮
‑
色度分量表示方法下，这三个图像分量分别为一个亮度分量、一个蓝色色度(色差)分量和一个红色色度(色差)分量；具体地，亮度分量通常使用符号y表示，蓝色色度分量通常使用符号cb表示，也可以用u表示；红色色度分量通常使用符号cr表示，也可以用v表示。在本技术实施例中，第一图像分量可以为亮度分量y，第二图像分量可以为蓝色色度分量u，第三图像分量可以为红色色度分量v，但是本技术实施例不作具体限定。其中，至少一个图像分量表示第一图像分量、第二图像分量和第三图像分量中的一个或者多个，而至少两个图像分量可以是第一图像分量、第二图像分量以及第三图像分量，还可以是第一图像分量和第二图像分量，也可以是第一图像分量和第三图像分量，甚至也可以是第二图像分量和第三图像分量，本技术实施例均不作具体限定。
50.在下一代视频编码标准vvc中，其相应的测试模型为vvc测试模型(vvc test model，vtm)。在vtm实施测试时，目前标准测试序列采用的是yuv为4:2:0格式，该格式的待编码视频中每一帧图像都可以由三个图像分量组成：一个亮度分量(用y表示)和两个色度
分量(用u和v表示)。假定待编码视频中原始图像的高为h，宽为w，那么第一图像分量对应的尺寸信息为h
×
w，第二图像分量或者第三图像分量对应的尺寸信息均为需要注意的是，本技术实施例将以yuv为4:2:0格式为例进行描述，但是本技术实施例的环路滤波实现方法同样适用于其他采样格式。
51.以yuv为4:2:0格式为例，由于第一图像分量与第二图像分量或者第三图像分量的尺寸信息是不同的，为了将第一图像分量和/或第二图像分量和/或第三图像分量一次性输入到环路滤波器模型中，这时候需要对这三个图像分量进行采样或重组处理，以使得三个图像分量的空域尺寸信息是相同的。
52.在一些实施例中，可以对高分辨率的图像分量进行像素重排处理(也可以称为下采样处理)，以使得三个图像分量的空域尺寸信息是相同的。具体地，在所述基于所述待滤波图像，分别获得所述待滤波图像的至少两个图像分量之前，所述方法还包括：
53.针对所述待滤波图像的至少两个原始图像分量，选取高分辨率的图像分量；
54.对所述高分辨率的图像分量进行像素重排处理。
55.需要说明的是，原始图像中所包含的三个图像分量(比如第一图像分量、第二图像分量和第三图像分量)在进行其他处理之前，这三个图像分量为原始图像分量。如果第一图像分量为亮度分量，第二图像分量为第一色度分量，第三图像分量为第二色度分量；那么高分辨率的图像分量为第一图像分量，此时需要对第一图像分量进行像素重排处理。示例性地，以2
×
2尺寸大小的原始图像为例，将其转换为4个通道，即将2
×2×
1的张量排列成1
×1×
4的张量；那么当原始图像的第一图像分量的尺寸信息为h
×
w时，在进行环路滤波之前可以通过像素重排处理将其转换为的形式；由于第二图像分量和第三图像分量的尺寸信息均为这样就可以使得三个图像分量的空域尺寸信息是相同的；后续将像素重排处理后的第一图像分量、第二图像分量和第三图像分量等这三个图像分量合并后即变换为的形式输入改进型环路滤波器。
56.在一些实施例中，还可以对低分辨率的图像分量进行上采样处理，以使得三个图像分量的空域尺寸信息是相同的。具体地，在所述基于所述待滤波图像，分别获得所述待滤波图像的至少两个图像分量之前，所述方法还包括：
57.针对所述待滤波图像的至少两个原始图像分量，选取低分辨率的图像分量；
58.对所述低分辨率的图像分量进行上采样处理。
59.需要说明的是，除了可以对高分辨率的图像分量进行尺寸信息的像素重排处理(即向下调整)之外，在本技术实施例中，还可以对低分辨率的图像分量进行上采样处理(即向上调整)。另外，针对低分辨率的图像分量，不仅可以进行上采样处理，还可以进行反卷积处理，甚至还可以进行超分辨率处理等，这三种处理的效果相同，本技术实施例不作具体限定。
60.还需要说明的是，原始图像中所包含的三个图像分量(比如第一图像分量、第二图像分量和第三图像分量)在进行其他处理之前，这三个图像分量为原始图像分量。如果第一
图像分量为亮度分量，第二图像分量为第一色度分量，第三图像分量为第二色度分量；那么低分辨率的图像分量为第二图像分量或者第三图像分量，此时需要对第二图像分量或者第三图像分量进行上采样处理。示例性地，当原始图像的第二图像分量和第三图像分量的尺寸信息均为时，在进行环路滤波之前可以通过上采样处理将其转换为h
×
w的形式；由于第一图像分量的尺寸信息为h
×
w，这样也可以使得三个图像分量的空域尺寸信息是相同的，而且上采样处理后的第二图像分量和上采样处理后的第三图像分量将与第一图像分量的分辨率保持一致。
61.在一些实施例中，所述获取待滤波图像，包括：
62.对待编码视频中的原始图像进行视频编码处理，将所生成的重建图像作为所述待滤波图像；或者，
63.对待编码视频中的原始图像进行视频编码处理，生成重建图像；对所述重建图像进行预设滤波处理，将预设滤波后的图像作为所述待滤波图像。
64.需要说明的是，基于改进型编码框图20，对待编码视频中的原始图像进行视频编码的过程中，针对原始图像进行视频编码处理时，将其进行cu划分、预测、变换及量化等处理，并且为了得到用于对后续的待编码图像进行视频编码的参考图像，还可以进行反变换及反量化、重建和滤波等处理。这样，本技术实施例中的待滤波图像，可以是视频编码过程中经过重建处理之后所生成的重建图像，也可以是对重建图像采用其他预设滤波方法(比如可以是去方块滤波方法)进行预设滤波后所得到的预设滤波后的图像，本技术实施例不作具体限定。
65.在一些实施例中，在所述分别获得所述待滤波图像的至少两个图像分量之前，所述方法还包括：
66.基于所述待滤波图像的至少两个原始图像分量，分别确定每个原始图像分量对应的第一辅助信息；其中，所述第一辅助信息至少包括块划分信息和/或量化参数信息。
67.可以理解地，第一辅助信息可以用于辅助滤波，提升滤波质量。在本技术实施例中，第一辅助信息不仅可以是块划分信息(比如cu划分信息和/或ctu划分信息)，还可以是量化参数信息，甚至也可以是运动矢量(motion vector，mv)信息、预测方向信息等；这些信息可以单独作为第一辅助信息，也可以任意组合作为第一辅助信息，比如将块划分信息单独作为第一辅助信息，或者将块划分信息和量化参数信息共同作为第一辅助信息，或者将块划分信息和mv信息共同作为第一辅助信息等，本技术实施例不作具体限定。
68.可选地，在一些实施例中，所述基于所述待滤波图像，分别获得所述待滤波图像的至少两个图像分量，包括：
69.基于所述待滤波图像的至少两个原始图像分量，分别对所述至少两个原始图像分量中每一个原始图像分量进行分量处理，处理后得到所述待滤波图像的至少两个图像分量。
70.可选地，在一些实施例中，所述基于所述待滤波图像，分别获得所述待滤波图像的至少两个图像分量，包括：
71.基于所述待滤波图像的至少两个原始图像分量，分别将所述至少两个原始图像分量中每个原始图像分量与每个原始图像分量对应的第一辅助信息进行添加处理，处理后得
到所述待滤波图像的至少两个图像分量。
72.需要说明的是，“分别获得所述待滤波图像的至少两个图像分量”可以看作是第一分路阶段。这样，针对待滤波图像的至少两个原始图像分量，可以对其分别进行分量处理(比如深度学习)，从而可以得到至少两个图像分量；另外，还可以将每个原始图像分量对应的第一辅助信息添加到对应的图像分量中，从而得到至少两个图像分量；也就是说，针对第一分路阶段，可以添加第一辅助信息，也可以不添加第一辅助信息，本技术实施例不作具体限定。
73.可选地，在一些实施例中，所述确定所述待滤波图像的融合信息，包括：
74.对所述待滤波图像的至少两个图像分量进行融合处理，得到所述待滤波图像的融合信息。
75.可选地，在一些实施例中，所述确定所述待滤波图像的融合信息，包括：
76.对所述待滤波图像的至少两个图像分量以及每个原始图像分量对应的第一辅助信息进行融合处理，得到所述待滤波图像的融合信息。
77.需要说明的是，“确定所述待滤波图像的融合信息”可以看作是合并阶段。这样，针对待滤波图像的融合信息，可以是由至少两个图像分量直接进行融合得到的，也可以是至少两个图像分量以及对应的第一辅助信息共同融合得到的；也就是说，针对合并阶段，可以添加第一辅助信息，也可以不添加第一辅助信息，本技术实施例不作具体限定。
78.在相关技术方案中，如图1所示的滤波单元104中的滤波器对三个图像分量则是独立处理，需要进行共三次完整的网络前向计算；而本技术实施例的环路滤波实现方法，通过融合信息可以将这三个图像分量一次性输入，也可以将这三个图像分量中的任意两个图像分量同时输入，本技术实施例不作具体限定；这样有效避免了对多个图像分量需要进行多次完整的网络前向计算的问题，降低了计算复杂度。
79.还可以理解，由于原始图像可以划分为ctu，或者由ctu划分为cu；因此，本技术实施例的环路滤波实现方法不仅可以应用于cu级别的环路滤波(这时候的块划分信息为cu划分信息)，也可以应用于ctu级别的环路滤波(这时候的块划分信息为ctu划分信息)，本技术实施例不作具体限定。下面将以cu划分信息作为块划分信息为例进行描述。
80.在一些实施例中，所述分别确定每个图像分量对应的第一辅助信息，包括：
81.基于待编码视频中的原始图像，分别对所述原始图像的至少两个图像分量中每个图像分量进行编码单元cu划分，得到cu划分信息，将所述cu划分信息作为所述待滤波图像的每个图像分量所对应的块划分信息。
82.进一步地，在一些实施例中，所述将所述cu划分信息作为所述待滤波图像的每个图像分量所对应的块划分信息，包括：
83.针对所述cu划分信息，在cu边界对应的各个像素点位置填充第一值，在其他像素点位置填充第二值，得到与所述cu划分信息对应的第一矩阵；其中，所述第一值与所述第二值不同；
84.将所述第一矩阵作为所述待滤波图像的每个图像分量所对应的块划分信息。
85.需要说明的是，第一值可以是预先设定的数值、字母等，第二值也可以是预先设定的数值、字母等，第一值与第二值不同；比如第一值可以设置为2，第二值可以设置为1，但是本技术实施例不作具体限定。
86.在本技术实施例中，可以将cu划分信息作为第一辅助信息来辅助待滤波图像进行滤波处理。也就是说，在对待编码视频中的原始图像进行视频编码的过程中，可以充分利用cu划分信息，将其与待滤波图像的至少两个图像分量进行融合后来指导滤波。
87.具体地，将cu划分信息转换成一个编码单元图(coding unit map，cumap)，并以二维矩阵表示，即cumap矩阵，也即本技术实施例中的第一矩阵；也就是说，以原始图像的第一图像分量为例，可以将其划分为多个cu；在每个cu边界对应的各个像素点位置用第一值进行填充，而在其他像素点位置用第二值进行填充，这样就可以构造出一张反映cu划分信息的第一矩阵。示例性地，参见图4，其示出了本技术实施例提供的一种块划分矩阵的结构示意图。如图4所示，如果该图表示一个ctu，那么可以将该ctu划分为9个cu；假定第一值设置为2，第二值设置为1；这样，在每个cu边界对应的各个像素点位置用2进行填充，而在其他像素点位置用1进行填充，也就是说，利用2所填充的像素点位置表示了cu的边界，从而可以确定出cu划分信息，即待滤波图像的第一图像分量所对应的第一辅助信息。
88.还需要说明的是，如果第一图像分量为亮度分量，第二图像分量和第三图像分量均为色度分量，那么第一图像分量的cu划分信息与第二图像分量或者第三图像分量的cu划分信息是有可能不相同的。因此，当第一图像分量的cu划分信息与第二图像分量或者第三图像分量的cu划分信息不同时，需要分别确定待滤波图像的第一图像分量所对应的cu划分信息和待滤波图像的第二图像分量或者第三图像分量所对应的cu划分信息；然后将其作为第一辅助信息添加到相对应的第一图像分量或者第二图像分量或者第三图像分量中；当第一图像分量的cu划分信息与第二图像分量或者第三图像分量的cu划分信息相同时，此时可以只确定第一图像分量或者第二图像分量或者第三图像分量的cu划分信息，然后将确定的cu划分信息作为第一辅助信息添加到相对应的第一图像分量或者第二图像分量或者第三图像分量中；这样，可以方便后续将所得到的至少两个新的图像分量进行融合，以对待滤波图像进行环路滤波处理。
89.在一些实施例中，所述分别确定每个图像分量对应的第一辅助信息，包括：
90.基于待编码视频中的原始图像，分别获取所述原始图像的至少两个图像分量中每个图像分量对应的量化参数，将所述量化参数作为所述待滤波图像的每个图像分量所对应的量化参数信息。
91.进一步地，在一些实施例中，所述将所述量化参数作为所述待滤波图像的每个图像分量所对应的量化参数信息，包括：
92.分别建立与所述原始图像的每个图像分量尺寸相同的第二矩阵；其中，所述第二矩阵中各个像素点位置均填充所述原始图像的每个图像分量对应的量化参数的归一化值；
93.将所述第二矩阵作为所述待滤波图像的每个图像分量所对应的量化参数信息。
94.需要说明的是，不同的量化参数对应的待滤波图像，其失真程度不尽相同。如果融入量化参数信息，那么能够使得滤波网络在训练过程中自适应地拥有对任意量化参数进行处理的能力。
95.在本技术实施例中，还可以将量化参数信息作为第一辅助信息来辅助待滤波图像进行滤波处理。也就是说，在对待编码视频中的原始图像进行视频编码的过程中，可以充分利用量化参数信息，将其与待滤波图像的至少两个图像分量进行融合后来指导滤波。其中，量化参数信息可以进行归一化处理，量化参数信息也可以进行非归一化处理(比如分类处
理、区间划分处理等)；下面将以对量化参数归一化处理为例进行详细描述。
96.具体地，将量化参数信息转换成一个反映量化参数信息的第二矩阵；也就是说，以原始图像的第一图像分量为例，建立一个与原始图像的第一图像分量尺寸相同的矩阵，该矩阵中各个像素点位置均用原始图像的第一图像分量所对应的量化参数的归一化值进行填充；其中，量化参数的归一化值用qp
max
(x,y)表示，即：
[0097][0098]
在式(1)中，qp表示原始图像的第一图像分量所对应的量化参数值，x表示原始图像的第一图像分量中各像素点位置的横坐标值，y表示原始图像的第一图像分量中各像素点位置的纵坐标值；qp
max
表示量化参数的最大值，一般来说，qp
max
的取值为51，但是qp
max
也可以为其他值，比如29、31等，本技术实施例不作具体限定。
[0099]
在一些实施例中，在所述分别获得所述待滤波图像的至少两个图像分量之前，所述方法还包括：
[0100]
基于所述待滤波图像的至少两个原始图像分量，分别确定每个原始图像分量对应的第二辅助信息；其中，所述第二辅助信息与所述第一辅助信息不同。
[0101]
可选地，在一些实施例中，所述确定所述待滤波图像的融合信息，包括：
[0102]
对所述待滤波图像的至少两个图像分量以及每个原始图像分量对应的第二辅助信息进行融合处理，得到所述待滤波图像的融合信息。
[0103]
可选地，在一些实施例中，所述基于所述待滤波图像，分别获得所述待滤波图像的至少两个图像分量，包括：
[0104]
基于所述待滤波图像的至少两个原始图像分量，分别将所述至少两个原始图像分量中每个原始图像分量与每个原始图像分量对应的第二辅助信息进行添加处理，处理后得到所述待滤波图像的至少两个图像分量。
[0105]
需要说明的是，第一辅助信息和第二辅助信息是不同的。无论是第一辅助信息、还是第二辅助信息，都可以用于辅助滤波，提升滤波质量。在本技术实施例中，第一辅助信息可以是块划分信息、量化参数信息、mv信息以及预测方向信息等中的一种或者多种，而第二辅助信息也可以是块划分信息、量化参数信息、mv信息以及预测方向信息等中的一种或者多种；也就是说，当第一辅助信息是块划分信息时，第二辅助信息可以是量化参数信息；或者，当第一辅助信息是量化参数信息时，第二辅助信息可以是块划分信息；或者，当第一辅助信息是块划分信息和量化参数信息时，第二辅助信息可以是mv信息；或者，当第一辅助信息是块划分信息时，第二辅助信息可以是量化参数信息和mv信息；本技术实施例不作具体限定。
[0106]
还需要说明的是，第一辅助信息和第二辅助信息的融合阶段可以是相同的，也可以是不同的。在本技术实施例中，假定第一分路阶段用于表示分别获得待滤波图像的至少两个图像分量所对应的处理阶段，合并阶段用于表示确定所述待滤波图像的融合信息所对应的处理阶段，第二分路阶段用于表示在融合处理之后分别确定每一个图像分量的残差信息所对应的处理阶段。这样，第一辅助信息的融合阶段可以是第一分路阶段、合并阶段或者第二分路阶段中的任意一个，第二辅助信息的融合阶段也可以是第一分路阶段、合并阶段或者第二分路阶段中的任意一个；也就是说，第一辅助信息的融合阶段可以是第一分路阶
段，第二辅助信息的融合阶段可以是合并阶段；或者，第一辅助信息的融合阶段可以是合并阶段，第二辅助信息的融合阶段可以是第一分路阶段；或者，第一辅助信息的融合阶段可以是第二分路阶段，第二辅助信息的融合阶段可以是合并阶段；或者，第一辅助信息的融合阶段可以是第一分路阶段，第二辅助信息的融合阶段可以是第二分路阶段；或者，第一辅助信息的融合阶段可以是第一分路阶段，第二辅助信息的融合阶段也可以是第一分路阶段；或者，第一辅助信息的融合阶段可以是合并阶段，第二辅助信息的融合阶段也可以是合并阶段；本技术实施例不作具体限定。
[0107]
在一些实施例中，所述基于所述融合信息对所述待滤波图像进行环路滤波处理，得到所述待滤波图像滤波后的至少一个图像分量，包括：
[0108]
基于所述融合信息，分别获取所述至少两个原始图像分量中的至少一个原始图像分量所对应的残差信息；
[0109]
将所述至少两个原始图像分量中的至少一个原始图像分量与所述至少一个原始图像分量所对应的残差信息进行求和运算，得到所述待滤波图像滤波后的至少一个图像分量。
[0110]
需要说明的是，本技术实施例的环路滤波实现方法采用的是多阶段的级联处理结构，例如分路
‑
合并
‑
分路处理结构、分路
‑
合并处理结构、或者合并
‑
分路处理结构等，本技术实施例不作具体限定。
[0111]
具体地，如果首先需要分别获得待滤波图像的至少两个图像分量，即第一分路阶段，然后再将至少两个图像分量进行融合，即合并阶段；这样，在所有信息融合处理之后，当需要同时输出多个图像分量时，比如第一图像分量、第二图像分量和第三图像分量；这时候通过对融合信息进行联合处理，分别获取第一图像分量所对应的残差信息、第二图像分量所对应的残差信息和第三图像分量所对应的残差信息，然后将第一图像分量与第一图像分量所对应的残差信息进行求和运算、第二图像分量与第二图像分量所对应的残差信息进行求和运算、第三图像分量与第三图像分量所对应的残差信息进行求和运算，分别得到待滤波图像滤波后的第一图像分量、待滤波图像滤波后的第二图像分量和待滤波图像滤波后的第三图像分量，该处理过程即为第二分路阶段；那么这整个环路滤波过程采用了分路
‑
合并
‑
分路处理结构；
[0112]
如果首先需要分别获得待滤波图像的至少两个图像分量，即第一分路阶段，然后再将至少两个图像分量进行融合，即合并阶段；这样，在所有信息融合处理之后，当只需要输出一个图像分量时，比如第一图像分量；这时候通过对融合信息进行联合处理，获取第一图像分量所对应的残差信息，然后将第一图像分量与第一图像分量所对应的残差信息进行求和运算，得到待滤波图像滤波后的第一图像分量，该处理过程不存在第二分路阶段；那么这整个环路滤波过程采用了分路
‑
合并处理结构；
[0113]
另外，如果不需要分别获得待滤波图像的至少两个图像分量，即无需第一分路阶段，可以直接将待滤波图像的至少两个图像分量进行融合处理，即直接进入合并阶段；而在所有信息融合处理之后，由于需要同时输出多个图像分量，此时还需要存在第二分路阶段；那么这整个环路滤波过程采用了合并
‑
分路处理结构。
[0114]
还需要说明的是，本技术实施例的环路滤波实现方法还可以采用更多的级联处理结构，例如分路
‑
合并
‑
分路
‑
合并
‑
分路处理结构等。针对这些级联处理结构，本技术实施例
可以采用典型的级联结构，比如分路
‑
合并
‑
分路处理结构，还可以采用比典型的级联结构更少的级联处理结构，比如分路
‑
合并处理结构或者合并
‑
分路处理结构等；甚至也可以采用比典型的级联结构更多的级联处理结构，比如分路
‑
合并
‑
分路
‑
合并
‑
分路处理结构等，本技术实施例不作具体限定。
[0115]
在一些实施例中，改进型环路滤波器包括卷积神经网络滤波器。
[0116]
需要说明的是，改进型环路滤波器用于实现对待滤波图像的环路滤波处理。其中，改进型环路滤波器可以是卷积神经网络滤波器，也可以是其他深度学习所建立的滤波器，本技术实施例不作具体限定。这里，卷积神经网络滤波器，也称为cnn滤波器，它是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。cnn滤波器的输入层可以处理多维数据，比如待编码视频中原始图像的三个图像分量(y/u/v)通道。
[0117]
参见图5，其示出了本技术实施例提供的一种传统cnn滤波器50的组成结构示意图。如图5所示，该传统cnn滤波器50是在上一代视频编码标准h.265/高效视频编码(high efficiency video coding，hevc)的基础上进行改进的，它包含有2层卷积网络结构，可以替代去方块滤波器和样点自适应补偿滤波器。将待滤波图像(用f
in
表示)输入到传统cnn滤波器50的输入层之后，顺序经过第一层卷积网络f1(假定卷积核的大小为3
×
3，包含有64张特征图)和第二层卷积网络f2(假定卷积核的大小为5
×
5，包含有32张特征图)之后，得到一个残差信息f3；然后将待滤波图像f
in
和残差信息f3进行求和运算，最终得到该传统cnn滤波器50输出的滤波后图像(用f
out
表示)。其中，该卷积网络结构也称之为残差神经网络，用于输出待滤波图像所对应的残差信息。在该传统cnn滤波器50中，分别对待滤波图像的三个图像分量(y/u/v)进行独立处理，但是共享同一个滤波网络以及滤波网络的相关参数。
[0118]
参见图6a和图6b，其示出了本技术实施例提供的另一种传统cnn滤波器60的组成结构示意图；该传统cnn滤波器60使用了两个滤波网络，如图6a所示的滤波网络专用于输出第一图像分量，如图6b所示的滤波网络专用于输出第二图像分量或者第三图像分量。假定待编码视频中原始图像的高为h，宽为w，那么第一图像分量对应的尺寸信息为h
×
w，可以对第一图像分量进行像素重排处理，将其转换为的形式；由于第二图像分量或者第三图像分量对应的尺寸信息均为那么将这三个图像分量合并后即变换为的形式输入到传统cnn滤波器60。基于如图6a所示的滤波网络，输入层网络接收到待滤波图像f
in
(假定卷积核的大小为n
×
n，通道数为6)之后，经过第一层卷积网络f1‑
y
(假定卷积核的大小为l1
×
l1，卷积核的数量为m，通道数为6)和第二层卷积网络f2‑
y
(假定卷积核的大小为l2
×
l2，卷积核的数量为4，通道数为m)之后，得到一个残差信息f3‑
y
(假定卷积核的大小为n
×
n，通道数为4)；然后将输入的待滤波图像f
in
和残差信息f3‑
y
进行求和运算，最终得到传统cnn滤波器60所输出的滤波后的第一图像分量(用f
out
‑
y
表示)。基于如图6b所示的滤波网络，输入层网络接收到待滤波图像f
in
(假定卷积核的大小为n
×
n，通道数为6)之后，经过第一层卷积网络f1‑
u
(假定卷积核的大小为l1
×
l1，卷积核的数量为m，通道数为6)和第二层卷积网络f2‑
u
(假定卷积核的大小为l2
×
l2，卷积核的数量为2，通道数为m)之后，得到一个残差信息f3‑
u
(假定卷积核的大小为n
×
n，通道数为2)；然后将输入的待滤波图像
f
in
和残差信息f3‑
u
进行求和运算，最终得到传统cnn滤波器60所输出的滤波后的第二图像分量或滤波后的第三图像分量(用f
out
‑
u
表示)。
[0119]
针对图5所示的传统cnn滤波器50、或者图6a和图6b所示的传统cnn滤波器60，由于没有考虑到不同图像分量之间的关系，而将各图像分量进行独立处理不够合理；另外，在输入端也没有充分利用块划分信息、qp信息等编码参数，然而重建图像的失真主要来自于块效应，而块效应的边界信息是由cu划分信息所决定的；也就是说，cnn滤波器中的滤波网络应该着重关注边界区域；除此外，将量化参数信息融入到滤波网络还有助于提升其泛化能力，使其能够对任意质量的失真图像进行滤波。因此，本技术实施例所提供的环路滤波实现方法，不仅cnn滤波结构设置合理，同一个滤波网络能够同时接收多个图像分量，而且充分考虑了这多个图像分量之间的关系，在滤波处理后还可以同时输出这些图像分量的增强图像；另外，该环路滤波实现方法还可以通过融入块划分信息和/或qp信息等编码参数来作为辅助信息进行辅助滤波，从而提升了滤波质量。
[0120]
需要说明的是，本技术实施例中的“得到所述待滤波图像的至少两个图像分量”，具体来说，可以是针对待滤波图像的第一图像分量、第二图像分量以及第三图像分量分别确定每个图像分量对应的辅助信息(比如第一辅助信息或第二辅助信息)，经过添加处理后可以得到三个图像分量；还可以是针对待滤波图像的第一图像分量和第二图像分量分别确定每个图像分量对应的辅助信息，经过添加处理后可以得到二个图像分量；也可以是针对待滤波图像的第一图像分量和第三图像分量分别确定每个图像分量对应的辅助信息，经过添加处理后可以得到二个图像分量；甚至也可以是针对待滤波图像的第二图像分量和第三图像分量分别确定每个图像分量对应的辅助信息，经过添加处理后可以得到二个新的图像分量；本技术实施例不作具体限定。
[0121]
还需要说明的是，针对待滤波图像的融合信息，可以是由至少两个图像分量直接进行融合得到的，也可以是至少两个图像分量以及对应的辅助信息(比如第一辅助信息或第二辅助信息)共同融合得到的；本技术实施例不作具体限定。
[0122]
如果融合信息是由至少两个图像分量直接进行融合得到的，那么可以是将待滤波图像的第一图像分量、第二图像分量以及第三图像分量进行融合，以得到融合信息；还可以是将待滤波图像的第一图像分量和第二图像分量进行融合，以得到融合信息；也可以是将待滤波图像的第一图像分量和第三图像分量进行融合，以得到融合信息；甚至也可以是将待滤波图像的第二图像分量和第三图像分量进行融合，以得到融合信息。
[0123]
如果融合信息是由至少两个图像分量以及对应的辅助信息(比如第一辅助信息或第二辅助信息)共同融合得到的，那么可以是将待滤波图像的第一图像分量、第二图像分量以及第三图像分量和辅助信息进行融合，以得到融合信息；还可以是将待滤波图像的第一图像分量、第二图像分量和辅助信息进行融合，以得到融合信息；也可以是将待滤波图像的第一图像分量、第三图像分量和辅助信息进行融合，以得到融合信息；甚至也可以是将待滤波图像的第二图像分量、第三图像分量和辅助信息进行融合，以得到融合信息。具体地，针对“有至少两个图像分量以及对应的辅助信息(比如第一辅助信息或第二辅助信息)共同融合得到”，可以是先将待滤波图像的至少两个图像分量进行融合，然后再融入辅助信息；还可以是先分别将待滤波图像的至少两个图像分量中每个图像分量与对应的辅助信息进行融入处理，然后再将处理后的至少两个图像分量进行融合；也就是说，针对融合处理的具体
方式，本技术实施例也不作具体限定。
[0124]
另外，本技术实施例中的“基于所述融合信息对所述待滤波图像进行环路滤波处理，得到所述待滤波图像滤波后的至少一个图像分量”，具体来说，针对待滤波图像的多个图像分量(比如第一图像分量、第二图像分量以及第三图像分量)和辅助信息(比如第一辅助信息或第二辅助信息)融合输入到滤波网络之后，可以是只输出待滤波图像滤波后的第一图像分量、或者滤波后的第二图像分量、或者滤波后的第三图像分量，也可以是输出待滤波图像滤波后的第一图像分量和滤波后的第二图像分量、或者滤波后的第二图像分量和滤波后的第三图像分量、或者滤波后的第一图像分量和滤波后的第三图像分量，甚至也可以是待滤波图像滤波后的第一图像分量、滤波后的第二图像分量和滤波后的第三图像分量；本技术实施例不作具体限定。
[0125]
以待滤波图像的三个图像分量同时输入滤波网络且采用分路
‑
合并
‑
分路的级联处理结构为例，参见图7，其示出了本技术实施例提供的一种环路滤波框架70的组成结构示意图。如图7所示，该环路滤波框架70可以包括待滤波图像的三个图像分量(分别用y、u、v表示)701、第一分路单元702、第一辅助信息703、y图像分量第一处理单元704、u图像分量第一处理单元705、v图像分量第一处理单元706、第二辅助信息707、输入融合单元708、联合处理单元709、第二分路单元710、y图像分量第二处理单元711、u图像分量第二处理单元712、v图像分量第二处理单元713、第一加法器714、第二加法器715、第三加法器716和滤波后的三个图像分量(分别用out_y、out_u、out_v表示)717。具体地，针对待滤波图像的三个图像分量701经过第一分路单元702之后，会将其分为三路信号：y图像分量、u图像分量和v图像分量，第一路的y图像分量以及与之对应的第一辅助信息703进入y图像分量第一处理单元704，第二路的u图像分量以及与之对应的第一辅助信息703进入u图像分量第一处理单元705，第三路的v图像分量以及与之对应的第一辅助信息703进入v图像分量第一处理单元706，这样会输出三路新的图像分量；输入融合单元708用于将这三路新的图像分量和第二辅助信息707进行融合，然后输入到联合处理单元709；联合处理单元709包括有多层卷积滤波网络，用于对输入的信息进行卷积计算，由于具体的卷积计算过程与相关技术方案相似，因此针对联合处理单元709的具体执行步骤不再进行描述。经过联合处理单元709之后，将会进入第二分路单元710以将其重新分为三路信号，然后将这三路信号再分别输入y图像分量第二处理单元711、u图像分量第二处理单元712和v图像分量第二处理单元713，可以依次得到y图像分量的残差信息、u图像分量的残差信息和v图像分量的残差信息；将待滤波图像的三个图像分量701中的y图像分量与所得到的y图像分量的残差信息共同输入第一加法器714，第一加法器714的输出就是滤波后的y图像分量(用out_y表示)；将待滤波图像的三个图像分量701中的u图像分量与所得到的u图像分量的残差信息共同输入第二加法器715，第二加法器715的输出就是滤波后的u图像分量(用out_u表示)；将待滤波图像的三个图像分量701中的v图像分量与所得到的v图像分量的残差信息共同输入第三加法器716，第三加法器716的输出就是滤波后的v图像分量(用out_v表示)。这里，针对输出分量，如果只需要输出滤波后的y图像分量时，环路滤波框架70可以不包括第二分路单元710、第二加法器715和第三加法器716；如果只需要输出滤波后的u图像分量时，环路滤波框架70可以不包括第二分路单元710、第一加法器714和第三加法器716；如果需要输出滤波后的y图像分量和滤波后的u图像分量时，环路滤波框架70可以不包括第三加法器716；本技术实施例不作具体限定。
[0126]
以待滤波图像的二个图像分量同时输入滤波网络且采用分路
‑
合并的级联处理结构为例，参见图8，其示出了本技术实施例提供的另一种环路滤波框架80的组成结构示意图。如图8所示，该环路滤波框架80可以包括待滤波图像的二个图像分量(分别用y和u表示)801、第一分路单元702、第一辅助信息703、y图像分量第一处理单元704、u图像分量第一处理单元705、输入融合单元708、联合处理单元709、y图像分量第二处理单元711、第一加法器714和滤波后的一个图像分量(用out_y表示)802。具体地，针对待滤波图像的二个图像分量801经过第一分路单元702之后，会将其分为二路信号：y图像分量和u图像分量，第一路的y图像分量以及与之对应的第一辅助信息703进入y图像分量第一处理单元704，第二路的u图像分量以及与之对应的第一辅助信息703进入u图像分量第一处理单元705，这样会输出二路新的图像分量；输入融合单元708用于将这二路新的图像分量进行融合，然后输入到联合处理单元709；经过联合处理单元709之后，由于只需要输出单个图像分量(即滤波后的y图像分量)，此时无需进入第二分路单元710，可以直接输入y图像分量第二处理单元711，然后得到y图像分量的残差信息；将待滤波图像的二个图像分量801中的y图像分量与所得到的y图像分量的残差信息共同输入第一加法器714，第一加法器714的输出就是滤波后的y图像分量(用out_y表示)。
[0127]
需要说明的是，由于y图像分量与u图像分量或者v图像分量的尺寸信息可以是不同的，在图7所示的环路滤波框架70或者图8所示的环路滤波框架80中，还可以在u图像分量第一处理单元705和v图像分量第一处理单元706之前，增加上采样单元(或者反卷积单元或者超分辨单元)以进行上采样处理，使得上采样处理后的u图像分量或者上采样处理后的v图像分量与y图像分量的分辨率是保持一致的，便于后续进行环路滤波处理。另外，以图7所示的环路滤波框架70为例，本技术实施例中的改进型环路滤波器至少可以包括输入融合单元708、联合处理单元709、以及第一加法器714、第二加法器715和第三加法器716，但是也可以包括第一分路单元702、y图像分量第一处理单元704、u图像分量第一处理单元705、v图像分量第一处理单元706等，甚至还可以包括第二分路单元710、y图像分量第二处理单元711、u图像分量第二处理单元712、v图像分量第二处理单元713等，本技术实施例不作具体限定。
[0128]
另外，在本技术实施例中，环路滤波实现方法既可以采用分路
‑
合并
‑
分路处理结构，例如图7所示的环路滤波框架70；还可以采用较少的分路
‑
合并处理结构，例如图8所示的环路滤波框架80；也可以采用较少的合并
‑
分路处理结构，甚至也可以采用较少的合并
‑
分路处理结构或者较多的分路
‑
合并
‑
分路
‑
合并
‑
分路处理结构，本技术实施例不作具体限定。
[0129]
还需要说明的是，第一辅助信息和第二辅助信息可以全部参与到环路滤波处理中，例如图7所示的环路滤波框架70；第一辅助信息和第二辅助信息也可以选择性地参与到环路滤波处理中，例如图8所示的环路滤波框架80，其中，第二辅助信息不参与环路滤波处理。在本技术实施例中，可以是第一辅助信息和第二辅助信息全部参与环路滤波处理，还可以是第一辅助信息不参与环路滤波处理，也可以是第二辅助信息不参与环路滤波处理，甚至也可以是第一辅助信息和第二辅助信息均不参与环路滤波处理，本技术实施例不作具体限定。
[0130]
还需要说明的是，第一辅助信息和第二辅助信息的融合阶段可以是相同的，也可以是不同的；也就是说，第一辅助信息和第二辅助信息可以在同一阶段参与到环路滤波处
理中，也可以在不同阶段参与到环路滤波处理中，本技术实施例不作具体限定。例如，仍以图7所示的环路滤波框架70为例，第一辅助信息703和第二辅助信息707都可以在第一分路单元702对应的阶段内参与到环路滤波处理中，或者，第一辅助信息703和第二辅助信息707都可以在输入融合单元708对应的阶段内参与到环路滤波处理中，或者，第一辅助信息703和第二辅助信息707都可以在第二分路单元710对应的阶段内参与到环路滤波处理中；或者，第一辅助信息703在第一分路单元702对应的阶段内参与到环路滤波处理中，第二辅助信息707在输入融合单元708对应的阶段内参与到环路滤波处理中；或者，第一辅助信息703在第一分路单元702对应的阶段之前参与到环路滤波处理中，第二辅助信息707在输入融合单元708对应的阶段内参与到环路滤波处理中；或者，第一辅助信息703在第一分路单元702对应的阶段之前参与到环路滤波处理中，第二辅助信息707在第二分路单元710对应的阶段内参与到环路滤波处理中；或者，第一辅助信息703在输入融合单元708对应的阶段内参与到环路滤波处理中，第二辅助信息707在第二分路单元710对应的阶段内参与到环路滤波处理中；也就是说，第一辅助信息703和第二辅助信息707可以在级联处理结构中灵活选择融合阶段，本技术实施例不作具体限定。
[0131]
以图7所示的环路滤波框架70为例，它采用了深度学习网络(如cnn)来进行环路滤波，与传统cnn滤波器的区别在于，本技术实施例中的改进型环路滤波器采用了级联处理结构，可以将待滤波图像的三个图像分量同时输入到滤波网络中，而且还融入了其他编码相关的辅助信息(比如块划分信息、量化参数信息、mv信息等编码参数)，且这些辅助信息可以在同一阶段或者不同阶段来融入到滤波网络中；这样，不仅充分利用了三个图像分量之间的关系，而且还使用其他编码相关的辅助信息来辅助滤波，提升了滤波质量；另外，针对三个图像分量进行同时处理，还有效避免了对这三个图像分量需要进行三次完整的网络前向计算的问题，进而降低了计算复杂度，节省了编码码率。例如，以vtm3.0为基准，在某实验测试中发现，与相关技术方案相比，本技术实施例的环路滤波实现方法能够在相同恢复视频质量的前提下，可以同时实现对于y图像分量6.4％的比特率下降、对于u图像分量9.8％的比特率下降、以及对于v图像分量11.6％的比特率下降，从而节省了编码码率。
[0132]
上述实施例提供了一种环路滤波实现方法，通过获取待滤波图像，所述待滤波图像是待编码视频中的原始图像在视频编码过程中所生成的，所述待编码视频包括原始图像帧，所述原始图像帧包括所述原始图像；基于所述待滤波图像，分别获得所述待滤波图像的至少两个图像分量；确定所述待滤波图像的融合信息，所述融合信息至少包括对所述至少两个图像分量进行融合得到的；基于所述融合信息对所述待滤波图像进行环路滤波处理，得到所述待滤波图像滤波后的至少一个图像分量；这样，通过采用级联处理结构以及将块划分信息和/或qp信息等编码参数作为辅助信息与输入的多个图像分量进行融合处理，不仅充分利用了多个图像分量之间的关系，而且还降低了计算复杂度，节省了编码码率；同时还进一步提升了编解码过程中视频重建图像的主客观质量。
[0133]
基于前述实施例相同的发明构思，参见图9，其示出了本技术实施例提供的一种环路滤波实现装置90的组成结构示意图。该环路滤波实现装置90可以包括：获取单元901、分路单元902、确定单元903和滤波单元904，其中，
[0134]
所述获取单元901，配置为获取待滤波图像；其中，所述待滤波图像是待编码视频中的原始图像在视频编码过程中所生成的，所述待编码视频包括原始图像帧，所述原始图
像帧包括所述原始图像；
[0135]
所述分路单元902，配置为基于所述待滤波图像，分别获得所述待滤波图像的至少两个图像分量；
[0136]
所述确定单元903，配置为确定所述待滤波图像的融合信息；其中，所述融合信息至少包括对所述至少两个图像分量进行融合得到的；
[0137]
所述滤波单元904，配置为基于所述融合信息对所述待滤波图像进行环路滤波处理，得到所述待滤波图像滤波后的至少一个图像分量。
[0138]
在上述方案中，所述分路单元902，具体配置为基于所述待滤波图像的至少两个原始图像分量，分别对所述至少两个原始图像分量中每一个原始图像分量进行分量处理，处理后得到所述待滤波图像的至少两个图像分量。
[0139]
在上述方案中，所述环路滤波实现装置90还包括融合单元905，配置为对所述待滤波图像的至少两个图像分量进行融合处理，得到所述待滤波图像的融合信息。
[0140]
在上述方案中，所述确定单元903，还配置为基于所述待滤波图像的至少两个原始图像分量，分别确定每个原始图像分量对应的第一辅助信息；其中，所述第一辅助信息至少包括块划分信息和/或量化参数信息。
[0141]
在上述方案中，所述分路单元902，还配置为基于所述待滤波图像的至少两个原始图像分量，分别将所述至少两个原始图像分量中每个原始图像分量与每个原始图像分量对应的第一辅助信息进行添加处理，处理后得到所述待滤波图像的至少两个图像分量。
[0142]
在上述方案中，所述融合单元905，还配置为对所述待滤波图像的至少两个图像分量以及每个原始图像分量对应的第一辅助信息进行融合处理，得到所述待滤波图像的融合信息。
[0143]
在上述方案中，所述分路单元902，还配置为基于所述融合信息，分别获取所述至少两个原始图像分量中的至少一个原始图像分量所对应的残差信息；
[0144]
所述滤波单元904，具体配置为将所述至少两个原始图像分量中的至少一个原始图像分量与所述至少一个原始图像分量所对应的残差信息进行求和运算，得到所述待滤波图像滤波后的至少一个图像分量。
[0145]
在上述方案中，所述确定单元903，还配置为基于所述待滤波图像的至少两个原始图像分量，分别确定每个原始图像分量对应的第二辅助信息；其中，所述第二辅助信息与所述第一辅助信息不同。
[0146]
在上述方案中，所述融合单元905，还配置为对所述待滤波图像的至少两个图像分量以及每个原始图像分量对应的第二辅助信息进行融合处理，得到所述待滤波图像的融合信息。
[0147]
在上述方案中，所述分路单元902，还配置为基于所述待滤波图像的至少两个原始图像分量，分别将所述至少两个原始图像分量中每个原始图像分量与每个原始图像分量对应的第二辅助信息进行添加处理，处理后得到所述待滤波图像的至少两个图像分量。
[0148]
在上述方案中，所述获取单元901，具体配置为对待编码视频中的原始图像进行视频编码处理，将所生成的重建图像作为所述待滤波图像；或者，
[0149]
所述获取单元901，具体配置为对待编码视频中的原始图像进行视频编码处理，生成重建图像；对所述重建图像进行预设滤波处理，将预设滤波后的图像作为所述待滤波图
像。
[0150]
在上述方案中，参见图9，所述环路滤波实现装置90还包括采样单元906，配置为针对所述待滤波图像的至少两个原始图像分量，选取低分辨率的图像分量；以及对所述低分辨率的图像分量进行上采样处理。
[0151]
可以理解地，在本实施例中，“单元”可以是部分电路、部分处理器、部分程序或软件等等，当然也可以是模块，还可以是非模块化的。而且在本实施例中的各组成部分可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
[0152]
所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0153]
因此，本实施例提供了一种计算机存储介质，该计算机存储介质存储有环路滤波实现程序，所述环路滤波实现程序被至少一个处理器执行时实现前述实施例中所述方法的步骤。
[0154]
基于上述环路滤波实现装置90的组成以及计算机存储介质，参见图10，其示出了本技术实施例提供的环路滤波实现装置90的具体硬件结构示例，可以包括：网络接口1001、存储器1002和处理器1003；各个组件通过总线系统1004耦合在一起。可理解，总线系统1004用于实现这些组件之间的连接通信。总线系统1004除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图10中将各种总线都标为总线系统1004。其中，网络接口1001，用于在与其他外部网元之间进行收发信息过程中，信号的接收和发送；
[0155]
存储器1002，用于存储能够在处理器1003上运行的计算机程序；
[0156]
处理器1003，用于在运行所述计算机程序时，执行：
[0157]
获取待滤波图像；其中，所述待滤波图像是待编码视频中的原始图像在视频编码过程中所生成的，所述待编码视频包括原始图像帧，所述原始图像帧包括所述原始图像；
[0158]
基于所述待滤波图像，分别获得所述待滤波图像的至少两个图像分量；
[0159]
确定所述待滤波图像的融合信息；其中，所述融合信息至少包括对所述至少两个图像分量进行融合得到的；
[0160]
基于所述融合信息对所述待滤波图像进行环路滤波处理，得到所述待滤波图像滤波后的至少一个图像分量。
[0161]
可以理解，本技术实施例中的存储器1002可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read
‑
only memory，rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只
读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory，ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(static ram，sram)、动态随机存取存储器(dynamic ram，dram)、同步动态随机存取存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram，ddrsdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synchlink dram，sldram)和直接内存总线随机存取存储器(direct rambus ram，drram)。本文描述的系统和方法的存储器1002旨在包括但不限于这些和任意其它适合类型的存储器。
[0162]
而处理器1003可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1003中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1003可以是通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1002，处理器1003读取存储器1002中的信息，结合其硬件完成上述方法的步骤。
[0163]
可以理解，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(application specific integrated circuits，asic)、数字信号处理器(digital signal processing，dsp)、数字信号处理设备(dsp device，dspd)、可编程逻辑设备(programmable logic device，pld)、现场可编程门阵列(field
‑
programmable gate array，fpga)、通用处理器、控制器、微控制器、用于执行本技术所述功能的其它电子单元或其组合中。
[0164]
对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
[0165]
可选地，作为另一个实施例，处理器1003还配置为在运行所述计算机程序时，执行前述实施例中所述方法的步骤。
[0166]
需要说明的是：本技术实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
[0167]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。
[0168]
工业实用性
[0169]
本技术实施例中，首先获取待滤波图像，所述待滤波图像是待编码视频中的原始
图像在视频编码过程中所生成的；然后基于所述待滤波图像，分别获得所述待滤波图像的至少两个图像分量；该处理过程可以看作分路阶段；再确定所述待滤波图像的融合信息；其中，所述融合信息至少包括对所述至少两个图像分量进行融合得到的；该处理过程可以看作合并阶段；这样，通过采用级联处理结构以及将输入的多个图像分量进行融合处理，不仅充分利用了多个图像分量之间的关系，而且还有效避免了对这多个图像分量需要进行多次完整的网络前向计算的问题，进而降低了计算复杂度，节省了编码码率；最后基于所述融合信息对所述待滤波图像进行环路滤波处理，得到所述待滤波图像滤波后的至少一个图像分量；这样，通过融合信息还可以进一步辅助滤波，提升了编解码过程中视频重建图像的主客观质量。