图像处理方法、装置、设备及存储介质与流程

1.本公开涉及视频技术领域，更具体地说，涉及一种图像处理方法、装置、设备及存储介质。


背景技术：

2.在现行视频编解码框架中，大多数编码器都会将拍摄端采集到的rgb图像信息转化至yuv色域进行编码。在yuv色域，相对于亮度分量y，色度分量uv携带信息冗余程度较高，因此为了节省带宽，大多数编码器会将uv分量下采样后再送至编码器进行编码。随后在解码端，解码后的yuv图像则需要对色度分量进行上采样，以确保yuv三个分量拥有相同的尺寸维度，以便进行rgb转换后在终端显示。
3.通常终端的色度上采样往往由简单的最近邻插值算法或者双线性插值算法完成。这两种算法成熟简单，且能够应对大多数自然场景，是性价比较高的一种解决方案。然而，采用最近邻插值算法或者双线性插值算法等低通滤波上采样方式获得的图像将产生各种颜色渗透、缺失等问题，影响最终画质，不能满足对色彩处理要求较高的场景。


技术实现要素：

4.本公开提供一种图像处理方法、装置、设备及存储介质，以至少解决上述相关技术中的问题，也可不解决任何上述问题。
5.根据本公开实施例的第一方面，提供一种图像处理方法，包括：获取第一色度分量值，其中，所述第一色度分量值是指对视频帧中的像素点的色度分量进行上采样后得到的值；对所述第一色度分量值执行预定优化处理，得到第二色度分量值；对所述像素点执行边缘强度检测，得到所述像素点的亮度分量的边缘强度值和色度分量的边缘强度值；在所述亮度分量的边缘强度值满足第一预定条件或者所述色度分量的边缘强度值与所述亮度分量的边缘强度值的比较结果满足第二预定条件的情况下，将所述像素点的色度分量的值确定为所述第二色度分量值。
6.可选地，图像处理方法还可包括：在所述亮度分量的边缘强度值未满足所述第一预定条件，且所述色度分量的边缘强度值与所述亮度分量的边缘强度值的比较结果未满足所述第二预定条件的情况下，将所述像素点的色度分量的值确定为所述第一色度分量值可选地，所述第一预定条件可为所述亮度分量的边缘强度值等于或大于第一预定阈值；所述第二预定条件可为所述色度分量的边缘强度值未高于所述亮度分量的边缘强度值第二预定阈值。
7.可选地，所述预定优化处理可包括线性预测处理和导向滤波处理。
8.可选地，所述对所述第一色度分量执行预定优化处理，得到第二色度分量值，可包括：对所述第一色度分量执行线性预测处理，得到经线性预测处理后的第一色度分量；利用所述亮度分量的值，对所述经线性预测处理后的第一色度分量进行导向滤波处理，得到所述第二色度分量。
9.可选地，所述对所述第一色度分量执行线性预测处理，得到经线性预测处理后的第一色度分量，可包括：获取所述视频帧中在所述像素点的预定邻域内的邻近像素点的亮度分量的值和色度分量的经上采样后的值；基于所述邻近像素点的亮度分量的值和色度分量的经上采样后的值，建立线性模型，其中，所述线性模型用于表征亮度分量的值与色度分量的值之间的线性关系；利用所述线性模型和所述像素点的亮度分量的值，得到所述经线性预测处理后的第一色度分量。
10.可选地，所述色度分量可包括u分量和v分量；其中，所述在所述亮度分量的边缘强度值满足第一预定条件或者所述色度分量的边缘强度值与所述亮度分量的边缘强度值的比较结果满足第二预定条件的情况下，将所述像素点的色度分量的值确定为所述第二色度分量值，可包括：在所述亮度分量的边缘强度值满足所述第一预定条件或者所述u分量的边缘强度值与所述亮度分量的边缘强度值的比较结果满足所述第二预定条件的情况下，将所述像素点的u分量的值确定为u分量的所述第二色度分量值；在所述亮度分量的边缘强度值满足所述第一预定条件或者所述v分量的边缘强度值与所述亮度分量的边缘强度值的比较结果满足所述第二预定条件的情况下，将所述像素点的v分量的值确定为v分量的所述第二色度分量值。
11.根据本公开实施例的第二方面，提供一种图像处理装置，包括：获取单元，被配置为：获取第一色度分量值，其中，所述第一色度分量值是指对视频帧中的像素点的色度分量进行上采样后得到的值；优化处理单元，被配置为：对所述第一色度分量值执行预定优化处理，得到第二色度分量值；边缘强度检测单元，被配置为：对所述像素点执行边缘强度检测，得到所述像素点的亮度分量的边缘强度值和色度分量的边缘强度值；确定单元，被配置为：在所述亮度分量的边缘强度值满足第一预定条件或者所述色度分量的边缘强度值与所述亮度分量的边缘强度值的比较结果满足第二预定条件的情况下，将所述像素点的色度分量的值确定为所述第二色度分量值。
12.可选地，确定单元可被配置为：在所述亮度分量的边缘强度值未满足所述第一预定条件，且所述色度分量的边缘强度值与所述亮度分量的边缘强度值的比较结果未满足所述第二预定条件的情况下，将所述像素点的色度分量的值确定为所述第一色度分量值。
13.可选地，所述第一预定条件可为所述亮度分量的边缘强度值等于或大于第一预定阈值；所述第二预定条件可为所述色度分量的边缘强度值未高于所述亮度分量的边缘强度值第二预定阈值。
14.可选地，所述预定优化处理可包括线性预测处理和导向滤波处理。
15.可选地，优化处理单元可被配置为：对所述第一色度分量执行线性预测处理，得到经线性预测处理后的第一色度分量；利用所述亮度分量的值，对所述经线性预测处理后的第一色度分量进行导向滤波处理，得到所述第二色度分量。
16.可选地，优化处理单元可被配置为：获取所述像素点的预定邻域内的邻近像素点的亮度分量的值和色度分量的经上采样后的值；基于所述邻近像素点的亮度分量的值和色度分量的经上采样后的值，建立线性模型，其中，所述线性模型用于表征亮度分量的值与色度分量的值之间的线性关系；利用所述线性模型和所述像素点的亮度分量的值，得到所述经线性预测处理后的第一色度分量。
17.可选地，所述色度分量可包括u分量和v分量；其中，确定单元被配置为：在所述亮
度分量的边缘强度值满足所述第一预定条件或者所述u分量的边缘强度值与所述亮度分量的边缘强度值的比较结果满足所述第二预定条件的情况下，将所述像素点的u分量的值确定为u分量的所述第二色度分量值；在所述亮度分量的边缘强度值满足所述第一预定条件或者所述v分量的边缘强度值与所述亮度分量的边缘强度值的比较结果满足所述第二预定条件的情况下，将所述像素点的v分量的值确定为v分量的所述第二色度分量值。
18.根据本公开实施例的第三方面，提供一种电子设备，包括：至少一个处理器；至少一个存储计算机可执行指令的存储器，其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行根据本公开的图像处理方法。
19.根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令被至少一个处理器运行时，促使所述至少一个处理器执行根据本公开的图像处理方法。
20.根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机指令，所述计算机指令被至少一个处理器执行时实现根据本公开的图像处理方法。
21.本公开的实施例提供的技术方案至少带来以下有益效果：
22.根据本公开的图像处理方法和图像处理装置，可基于视频图像中像素点的亮度分量和色度分量的边缘强度信息，自适性地调整色度上采样方式，从而可根据边缘强度信息来选择保留原有色度分量值或对原有色度分量值进行优化处理(例如，线性预测处理、导向滤波处理等)，从而提升色度分量值优化的效果，有效地解决了现有问题中存在的色块间颜色浸润和处理后画面噪声增加等问题，能够达到色彩区域缺失情况更加明显改善且颜色浸润现象更加减少(例如，文字效果更为饱满，色块交界区域颜色边界更清晰，文字锯齿感降低等)的有益效果，能够满足视频会议、游戏直播等对色彩处理要求较高的场景。
23.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
24.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
25.图1是示出rgb与yuv 4：2：0之间的转换过程的示意图。
26.图2是示出各种采样方式的示意图。
27.图3是示出根据本公开的示例性实施例的图像处理方法的流程图。
28.图4是示出线性预测处理的示意图。
29.图5是示出根据本公开地示例性实施例的基于边缘强度的自适应上采样的流程图。
30.图6是示出根据本公开的示例性实施例的色度上采样方法过程的示意图。
31.图7是根据本公开的示例性实施例的图像处理装置的框图。
32.图8是根据本公开的示例性实施例的电子设备800的框图。
具体实施方式
33.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公
开实施例中的技术方案进行清楚、完整地描述。
34.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
35.在此需要说明的是，在本公开中出现的“若干项之中的至少一项”均表示包含“该若干项中的任意一项”、“该若干项中的任意多项的组合”、“该若干项的全体”这三类并列的情况。例如“包括a和b之中的至少一个”即包括如下三种并列的情况：(1)包括a；(2)包括b；(3)包括a和b。又例如“执行步骤一和步骤二之中的至少一个”，即表示如下三种并列的情况：(1)执行步骤一；(2)执行步骤二；(3)执行步骤一和步骤二。
36.在现有视频编解码框架中，大多数编码器都会将拍摄端采集到的rgb图像信息转化至yuv色域进行编码。为了节省带宽，大多数编码器会将uv分量下采样后再送至编码器进行编码。例如，根据下采样的方式比例不同，主流编码器通常支持yuv4：2：0和yuv4：2：2两种方式的色度下采样。随后在消费端，解码后的yuv图像则需要对色度分量进行上采样，以确保yuv三个分量拥有相同的尺寸维度，以便进行rgb转换后在终端显示。
37.相较于yuv4：2：2，yuv4：2：0可以更好地在码率和质量之间取得平衡，因此，在生产端，yuv4：2：0的下采样方式被更为广泛地采纳。图1是示出rgb与yuv 4：2：0之间的转换过程的示意图。参照图1，首先，在编码端将全rgb色度格式的图像数据进行色度空间转换，得到全ycbcr 4：4：4色度格式的图像数据。随后，可将全ycbcr 4：4：4色度格式的图像数据执行色度下采样，得到ycbcr 4：2：0色度格式的图像数据。随后，在消费端，对解码后得到的ycbcr 4：2：0色度格式的图像数据执行色度上采样，得到全ycbcr 4：4：4色度格式的图像数据，然后再执行色度空间转换得到重建后的全rgb色度格式的图像数据。
38.图2是示出各种采样方式的示意图。参照图2，黑点表示亮度分量，圆圈表示色度分量。在yuv4：4：4色度格式下，yuv三个分量的尺寸相同。在yuv4：2：2色度格式下，假设y分量的图像尺寸为w
×
h，则色度分量u和v的尺寸则分别为w/2
×
h。在yuv4：2：0色度格式下，色度分量u和v的尺寸降为亮度分量y的一半，即w/2
×
h/2。
39.通常终端的色度上采样往往由简单的最近邻插值算法或者双线性插值算法完成。这两种算法成熟简单，且能够应对大多数自然场景，是性价比较高的一种解决方案。然而，随着视频会议的日渐普及，以及游戏直播场景的出现，采用最近邻上采样或双线性上采样方式获得完整的色度分量的方式渐渐不再能满足场景的需求。在视频会议场景以及游戏场景，颜色分量更为丰富，内容的颜色边缘的展现更加锐利，高频分量更为丰富。采用最邻近或者双线性等低通滤波上采样方式获得的图像将产生各种颜色渗透、缺失等问题，影响最终画质。
40.由于编码后的亮度分量的边缘信息通常会远优于色度分量，且色度分量与亮度分量之间往往存在较高的相关性。目前一种常用的方案为利用亮度分量的梯度信息对色度分量进行导向滤波，提升色度分量边缘清晰度。但该方法的处理结果处理的结果在文字边缘容易出现虚影，大色块交界处的颜色侵蚀问题不能较好解决。且受亮度分量本身清晰度的
影响，若该区域亮度分量本身边缘信息被破坏的较为严重，则该区域的色度分量将会被进一步弱化容易被弱化。
41.此外，另一种利用亮度分量与色度分量之间相关性的方法思路为：假设局部亮度分量与色度分量之间的取值为线性关系，例如，u＝a1
×
y b1，v＝a2
×
y b2。则可以利用局部区域内的yuv像素值，拟合相关线性参数a1、a2、b1和b2，利用参数a1、a2、b1和b2以及y分量将预测相应位置色度分量的色度分量u和v，以达到提升色度边缘清晰度以及区分度的目的。虽然该方法能够有效地解决大色块之间相互侵蚀问题。但是由于参数a1、a2、b1和b2为局部估计值，容易引入噪声误差，产生噪点，因此往往给人以画面较“脏”的感觉。
42.为了解决上述技术问题，本公开提出了一种图像处理方法和图像处理装置，具体地说，可基于视频图像中像素点的亮度分量和色度分量的边缘强度信息，自适性地调整色度上采样方式，从而可根据边缘强度信息来选择保留原有色度分量值或对原有色度分量值进行优化处理(例如，线性预测处理、导向滤波处理等)，从而提升色度分量值优化的效果，有效地解决了现有问题中存在的色块间颜色浸润和处理后画面噪声增加等问题，能够达到色彩区域缺失情况更加明显改善且颜色浸润现象更加减少(例如，文字效果更为饱满，色块交界区域颜色边界更清晰，文字锯齿感降低等)的有益效果，能够满足视频会议、游戏直播等对色彩处理要求较高的场景。下面将参照图3至图8来详细描述根据本公开的图像处理方法和图像处理装置。
43.图3是示出根据本公开的示例性实施例的图像处理方法的流程图。
44.参照图3，在步骤301，可获取第一色度分量值，其中，第一色度分量值是指对视频帧中的像素点的色度分量进行上采样后得到的值。这里，视频帧可以是解码端对从编码端接收到的编码视频数据进行解码后得到的视频数据。由于编码时对色度分量进行了下采样，因此，解码时需要对色度分量进行上采样以确保色度分量与亮度分量具有相同的尺寸维度。例如，可采用最近邻插值算法或双线性插值算法等现有的上采样算法来对色度分量进行上采样。因此，第一色度分量值就是指视频帧中的像素点的色度分量经过上采样后得到的值。
45.在步骤302，可对第一色度分量值执行预定优化处理，得到第二色度分量值。
46.根据本公开的示例性实施例，预定优化处理可包括线性预测处理、导向滤波处理、边缘自适性插值处理等中的至少一个处理。当然，本公开的预定优化处理不限于上述处理，还可以是任何可提升重建画质的色度优化处理，且当预定优化处理包括多项处理时，本公开也不限制多项处理的顺序。
47.根据本公开的示例性实施例，预定优化处理可包括先执行线性预测处理，再执行导向滤波处理。具体地说，可对第一色度分量执行线性预测处理，得到经线性预测处理后的第一色度分量，再利用亮度分量的值，对经线性预测处理后的第一色度分量进行导向滤波处理，得到第二色度分量。这里，线性预测处理可较好地解决色度侵蚀问题。导向滤波处理可去除线性预测处理的结果中出现的一些噪声点，在保证色度分量锐利度的基础上使得画面更为干净整洁。因此，先执行线性预测处理再执行导向滤波处理能够达到较好的优化效果。当然，本公开不限于上述处理顺序，也可先执行导向滤波处理，再执行线性预测处理。此外，线性预测处理在初始上采样得到的yuv444的视频帧的像素点的色度分量进行，且仅进行一轮参数预测，提高了算法的并行度。
48.关于线性预测处理，可针对每个像素点，利用亮度分量与色度分量之间隐藏的线性关系，基于每个色度分量邻域内的亮度-色度分量对，对每个色度分量与其对应的亮度分量的线性关系参数进行估计。利用估计出来的线性关系参数，预测每个色度分量的相应值，作为色度上采样结果。例如，色度分量与亮度分量之间的线性参数如下所示：
49.u＝a1
×
y b1
50.v＝a2
×
y b2
51.其中，y表示亮度分量y，u表示色度分量u，v表示色度分量v，a1、a2、b1和b2表示线性参数。
52.根据本公开的示例性实施例，可获取视频帧中在像素点的预定邻域内的邻近像素点的亮度分量的值和色度分量的经上采样后的值；基于邻近像素点的亮度分量的值和色度分量的经上采样后的值，建立线性模型，其中，线性模型用于表征亮度分量的值与色度分量的值之间的线性关系；利用线性模型和像素点的亮度分量的值，得到经线性预测处理后的第一色度分量。下面，将参照图4来具体描述线性预测处理的流程。
53.图4是示出线性预测处理的示意图。虽然图4中仅示出对色度分量u(x,y)的线性预测处理过程，但该过程同样适用于色度分量v(x,y)，其中，(x,y)表示像素坐标值。
54.参照图4，在步骤401，可获取n
×
n邻域内y、u分量对。这里，n可为3、5、7等。例如，n为3时，对于像素点(x,y)，可获取以其为中心点的3
×
3邻域内的8个邻近像素点的亮度分量的值和色度分量的值(此时，色度分量的值是经过上采样后的色度分量的值)。
55.在步骤402，可基于获取的y、u分量对，求解u＝a
×
y b中的参数a和b的值。也就是说，可将获取到的邻近像素点的亮度分量的值和色度分量的值代入上述公式，估计出参数a和b的值。
56.在步骤403，可基于u1(x,y)＝a
×
y(x,y) b来更新色度分量u的值。也就是说，可基于估计出的参数a和b的值，得到此线性模型，并将像素点(x,y)的亮度分量的值y(x,y)代入此线性模型，得到色度分量u的更新后的值u1(x,y)。
57.返回参照图3，在步骤303，对像素点执行边缘强度检测，得到像素点的亮度分量的边缘强度值和色度分量的边缘强度值。这里，本公开不限定边缘强度检测的方法，可利用任何可行的边缘强度检测方法来执行步骤303。
58.在得到像素点的亮度分量的边缘强度值和色度分量的边缘强度值，可基于亮度分量的边缘强度值以及亮度分量的边缘强度值与色度分量的边缘强度值的比较结果，将像素点的色度分量的值确定为第一色度分量值或第二色度分量值。这里，为了解决上述预定优化处理中部分亮度分量本身边缘信息弱于色度分量的情况，可对视频帧中每个像素点的梯度强度进行检测(即，步骤303中的边缘强度检测)，根据亮度分量与色度分量的边缘强度值比较，来确定是否保留原有色度分量值(即，经过上采样得到的值，即，第一色度分量值)。
59.具体地说，在步骤304，可在亮度分量的边缘强度值满足第一预定条件或者色度分量的边缘强度值与亮度分量的边缘强度值的比较结果满足第二预定条件的情况下，将像素点的色度分量的值确定为第二色度分量值。另一方面，可在亮度分量的边缘强度值未满足所述第一预定条件，且色度分量的边缘强度值与亮度分量的边缘强度值的比较结果未满足第二预定条件的情况下，将像素点的色度分量的值确定为第一色度分量值。
60.根据本公开的示例性实施例，第一预定条件可以为亮度分量的边缘强度值等于或
大于第一预定阈值。第二预定条件可以为色度分量的边缘强度值未高于亮度分量的边缘强度值第二预定阈值。。这里，第一预定阈值和第二预定阈值可预先根据需要、经验或实验来设置。此外，本公开不限于上述比较方式，也可以是在亮度分量的边缘强度值低于第一预定阈值，且色度分量的边缘强度值高于亮度分量的边缘强度值的情况下，将像素点的色度分量的值确定为第一色度分量值；等等。下面，将参照图5详细描述基于边缘强度的自适应上采样的处理方式。
61.此外，需要说明的是，本公开不限制步骤303与步骤301和302的执行顺序。例如，可先执行步骤301和302，再执行步骤303，或者可先执行步骤301，再执行步骤303，再执行步骤302，或者可先执行步骤303，再执行步骤301和302，或者步骤303可与步骤301和302并行执行等。例如，可先执行像素点执行边缘强度检测的步骤，在亮度分量的边缘强度值满足第一预定条件或者色度分量的边缘强度值与亮度分量的边缘强度值的比较结果满足第二预定条件的情况下，再执行对第一色度分量值执行预定优化处理，从而将像素点的色度分量的值确定为第二色度分量值。
62.图5是示出根据本公开地示例性实施例的基于边缘强度的自适应上采样的流程图。虽然图5中仅示出对色度分量u的基于边缘强度的自适应上采样过程，但该过程同样适用于色度分量v。
63.参照图5，在步骤501，可对像素点的亮度分量y和色度分量u进行边缘强度检测，得到亮度分量y的边缘强度值gy和色度分量u的边缘强度值gu。
64.在步骤502，可确定亮度分量y的边缘强度值gy是否低于第一预定阈值c，且色度分量u的边缘强度值gu是否高于亮度分量y的边缘强度值gy第二预定阈值d。
65.在步骤503，在确定亮度分量y的边缘强度值gy低于第一预定阈值c，且色度分量u的边缘强度值gu高于亮度分量y的边缘强度值gy第二预定阈值d的情况下，输出最近邻上采样得到的u值，即，色度分量u的第一色度分量值。当然，上采样方式除了最近邻上采样之外，也可采用其它可行的上采样，例如，双线性插值上采样等。
66.在步骤504，否则，输出经过线性预测和导向滤波得到的u值，即，色度分量u的第二色度分量值。当然，预定优化处理除了线性预测和导向滤波之外，也可采用其它可行的优化处理方案。
67.返回参照图1，根据本公开的示例性实施例，色度分量可包括u分量和v分量，可对u分量和v分量分别采用相同的上述处理方式，最终确定像素点的u分量的值和v分量的值。例如，可分别获得u分量的第一色度分量值和v分量的第一色度分量值；分别对u分量的第一色度分量值和v分量的第一色度分量值执行预定优化处理，得到u分量的第二色度分量值和v分量的第二色度分量值；对像素点执行三通道边缘强度检测，得到像素点的y分量的边缘强度值、u分量的边缘强度值和v分量的边缘强度值；在y分量的边缘强度值满足第一预定条件或者u分量的边缘强度值与y分量的边缘强度值的比较结果满足第二预定条件的情况下，将像素点的u分量的值确定为u分量的第二色度分量值，此外，在y分量的边缘强度值未满足第一预定条件，且u分量的边缘强度值与y分量的边缘强度值的比较结果未满足第二预定条件的情况下，将像素点的u分量的值确定为u分量的第一色度分量值；在y分量的边缘强度值满足第一预定条件或者v分量的边缘强度值与y分量的边缘强度值的比较结果满足第二预定条件的情况下，将像素点的v分量的值确定为v分量的第二色度分量值，此外，在y分量的边
缘强度值未满足第一预定条件，且v分量的边缘强度值与y分量的边缘强度值的比较结果未满足第二预定条件的情况下，将像素点的v分量的值确定为v分量的第一色度分量值。
68.下面，将参照图6详细描述根据本公开的图像处理方法的具体实施例。
69.图6是示出根据本公开的示例性实施例的色度上采样方法过程的示意图。
70.参照图6，在步骤601，可对yuv420p格式的输入视频帧中的像素点的色度分量进行最近邻上采样，得到yuv444格式的视频帧。这里，输入视频帧的格式不限于yuv420p，还可以是yuv420i、yuv422p或yuv422i等。此外，上采样方法也不限于最近邻上采样，还可以是双线性上采样等。
71.在步骤602，可对yuv444格式的视频帧中的像素点的色度分量执行线性预测。
72.在步骤603，可对经线性预测得到的色度分量执行导向滤波。
73.在步骤604，可对yuv444格式的视频帧中的像素点执行三通道边缘强度检测。这里，步骤604可与步骤602和603并行执行。
74.在步骤605，可根据亮度分量和色度分量的边缘强度的比较结果，适应性地确定色度分量的u值和v值。具体地说，当y分量的边缘强度值低于第一预定阈值，且u分量的边缘强度值高于y分量的边缘强度值第二预定阈值的情况下，将u分量的值确定为步骤601输出的u分量值；否则，将所述u分量的值确定为步骤603输出的u分量值。当y分量的边缘强度值低于第一预定阈值，且v分量的边缘强度值高于y分量的边缘强度值第二预定阈值的情况下，将v分量的值确定为步骤601输出的v分量值；否则，将所述v分量的值确定为步骤603输出的v分量值。
75.图7是根据本公开的示例性实施例的图像处理装置的框图。
76.参照图7，根据本公开的示例性实施例的图像处理装置700可包括获取单元701、优化处理单元702、边缘强度检测单元703和确定单元704。
77.获取单元701可获取第一色度分量值，其中，第一色度分量值是指对视频帧中的像素点的色度分量进行上采样后得到的值。这里，视频帧可以是解码端对从编码端接收到的编码视频数据进行解码后得到的视频数据。由于编码时对色度分量进行了下采样，因此，解码时需要对色度分量进行上采样以确保色度分量与亮度分量具有相同的尺寸维度。例如，可采用最近邻插值算法或双线性插值算法等现有的上采样算法来对色度分量进行上采样。因此，第一色度分量值就是指视频帧中的像素点的色度分量经过上采样后得到的值。
78.优化处理单元702可对第一色度分量值执行预定优化处理，得到第二色度分量值。
79.根据本公开的示例性实施例，预定优化处理可包括线性预测处理、导向滤波处理、边缘自适性插值处理等中的至少一个处理。当然，本公开的预定优化处理不限于上述处理，还可以是任何可提升重建画质的色度优化处理，且当预定优化处理包括多项处理时，本公开也不限制多项处理的顺序。
80.根据本公开的示例性实施例，预定优化处理可包括先执行线性预测处理，再执行导向滤波处理。具体地说，优化处理单元702可对第一色度分量执行线性预测处理，得到经线性预测处理后的第一色度分量，再利用亮度分量的值，对经线性预测处理后的第一色度分量进行导向滤波处理，得到第二色度分量。这里，线性预测处理可较好地解决色度侵蚀问题。导向滤波处理可去除线性预测处理的结果中出现的一些噪声点，在保证色度分量锐利度的基础上使得画面更为干净整洁。因此，先执行线性预测处理再执行导向滤波处理能够
达到较好的优化效果。当然，本公开不限于上述处理顺序，也可先执行导向滤波处理，再执行线性预测处理。此外，线性预测处理在初始上采样得到的yuv444的视频帧的像素点的色度分量进行，且仅进行一轮参数预测，提高了算法的并行度。
81.根据本公开的示例性实施例，优化处理单元702可获取视频帧中在像素点的预定邻域内的邻近像素点的亮度分量的值和色度分量的经上采样后的值；基于邻近像素点的亮度分量的值和色度分量的经上采样后的值，建立线性模型，其中，线性模型用于表征亮度分量的值与色度分量的值之间的线性关系；利用线性模型和像素点的亮度分量的值，得到经线性预测处理后的第一色度分量。
82.边缘强度检测单元703可对像素点执行边缘强度检测，得到像素点的亮度分量的边缘强度值和色度分量的边缘强度值。这里，本公开不限定边缘强度检测的方法，边缘强度检测单元703可利用任何可行的边缘强度检测方法。
83.在边缘强度检测单元703得到像素点的亮度分量的边缘强度值和色度分量的边缘强度值，确定单元704可基于亮度分量的边缘强度值以及亮度分量的边缘强度值与色度分量的边缘强度值的比较结果，将像素点的色度分量的值确定为第一色度分量值或第二色度分量值。这里，为了解决上述预定优化处理中部分亮度分量本身边缘信息弱于色度分量的情况，可对视频帧中每个像素点的梯度强度进行检测，根据亮度分量与色度分量的边缘强度值比较，来确定是否保留原有色度分量值(即，经过上采样得到的值，即，第一色度分量值)。
84.具体地说，确定单元704可在亮度分量的边缘强度值满足第一预定条件或者色度分量的边缘强度值与亮度分量的边缘强度值的比较结果满足第二预定条件的情况下，将像素点的色度分量的值确定为第二色度分量值。另一方面，确定单元704可在亮度分量的边缘强度值未满足所述第一预定条件，且色度分量的边缘强度值与亮度分量的边缘强度值的比较结果未满足第二预定条件的情况下，将像素点的色度分量的值确定为第一色度分量值。
85.根据本公开的示例性实施例，第一预定条件可以为亮度分量的边缘强度值等于或大于第一预定阈值。第二预定条件可以为色度分量的边缘强度值未高于亮度分量的边缘强度值第二预定阈值。这里，第一预定阈值和第二预定阈值可预先根据需要、经验或实验来设置。此外，本公开不限于上述比较方式，也可以是在亮度分量的边缘强度值低于第一预定阈值，且色度分量的边缘强度值高于亮度分量的边缘强度值的情况下，将像素点的色度分量的值确定为第一色度分量值；等等。
86.此外，需要说明的是，本公开不限制边缘强度检测单元703与获取单元701和优化处理单元702的执行顺序。例如，获取单元701和优化处理单元702可先执行操作，边缘强度检测单元703再执行操作，或者获取单元701可先执行操作，边缘强度检测单元703再执行操作，优化处理单元702再执行操作，或者边缘强度检测单元703可先执行操作，获取单元701和优化处理单元702再执行操作，或者边缘强度检测单元703可与获取单元701和优化处理单元702并行执行等。例如，边缘强度检测单元703可先执行像素点执行边缘强度检测的步骤，在亮度分量的边缘强度值满足第一预定条件或者色度分量的边缘强度值与亮度分量的边缘强度值的比较结果满足第二预定条件的情况下，优化处理单元702再执行对第一色度分量值执行预定优化处理，从而确定单元704将像素点的色度分量的值确定为第二色度分量值。
87.根据本公开的示例性实施例，色度分量可包括u分量和v分量，可对u分量和v分量分别采用相同的上述处理方式，最终确定像素点的u分量的值和v分量的值。例如，获取单元701可分别获得u分量的第一色度分量值和v分量的第一色度分量值；优化处理单元702分别对u分量的第一色度分量值和v分量的第一色度分量值执行预定优化处理，得到u分量的第二色度分量值和v分量的第二色度分量值；边缘强度检测单元703对像素点执行三通道边缘强度检测，得到像素点的y分量的边缘强度值、u分量的边缘强度值和v分量的边缘强度值；确定单元704在y分量的边缘强度值满足第一预定条件或者u分量的边缘强度值与y分量的边缘强度值的比较结果满足第二预定条件的情况下，将像素点的u分量的值确定为u分量的第二色度分量值，此外，在y分量的边缘强度值未满足第一预定条件，且u分量的边缘强度值与y分量的边缘强度值的比较结果未满足第二预定条件的情况下，将像素点的u分量的值确定为u分量的第一色度分量值；确定单元704在y分量的边缘强度值满足第一预定条件或者v分量的边缘强度值与y分量的边缘强度值的比较结果满足第二预定条件的情况下，将像素点的v分量的值确定为v分量的第二色度分量值，此外，在y分量的边缘强度值未满足第一预定条件，且v分量的边缘强度值与y分量的边缘强度值的比较结果未满足第二预定条件的情况下，将像素点的v分量的值确定为v分量的第一色度分量值。
88.图8是根据本公开的示例性实施例的电子设备800的框图。
89.参照图8，电子设备800包括至少一个存储器801和至少一个处理器802，所述至少一个存储器801中存储有计算机可执行指令集合，当计算机可执行指令集合被至少一个处理器802执行时，执行根据本公开的示例性实施例的图像处理方法。
90.作为示例，电子设备800可以是pc计算机、平板装置、个人数字助理、智能手机、或其他能够执行上述指令集合的装置。这里，电子设备800并非必须是单个的电子设备，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。电子设备800还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子设备。
91.在电子设备800中，处理器802可包括中央处理器(cpu)、图形处理器(gpu)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。
92.处理器802可运行存储在存储器801中的指令或代码，其中，存储器801还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，网络接口装置可采用任何已知的传输协议。
93.存储器801可与处理器802集成为一体，例如，将ram或闪存布置在集成电路微处理器等之内。此外，存储器801可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储器801和处理器802可在操作上进行耦合，或者可例如通过i/o端口、网络连接等互相通信，使得处理器802能够读取存储在存储器中的文件。
94.此外，电子设备800还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。电子设备800的所有组件可经由总线和/或网络而彼此连接。
95.根据本公开的示例性实施例，还可提供一种计算机可读存储介质，其中，当计算机可读存储介质中的指令被至少一个处理器运行时，促使至少一个处理器执行根据本公开的
图像处理方法。这里的计算机可读存储介质的示例包括：只读存储器(rom)、随机存取可编程只读存储器(prom)、电可擦除可编程只读存储器(eeprom)、随机存取存储器(ram)、动态随机存取存储器(dram)、静态随机存取存储器(sram)、闪存、非易失性存储器、cd-rom、cd-r、cd r、cd-rw、cd rw、dvd-rom、dvd-r、dvd r、dvd-rw、dvd rw、dvd-ram、bd-rom、bd-r、bd-r lth、bd-re、蓝光或光盘存储器、硬盘驱动器(hdd)、固态硬盘(ssd)、卡式存储器(诸如，多媒体卡、安全数字(sd)卡或极速数字(xd)卡)、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，所述任何其他装置被配置为以非暂时性方式存储计算机程序以及任何相关联的数据、数据文件和数据结构并将所述计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行所述计算机程序。上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，此外，在一个示例中，计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。
96.根据本公开的示例性实施例，还可提供一种计算机程序产品，包括计算机指令，该计算机指令可由至少一个处理器执行以完成根据本公开的示例性实施例的图像处理方法。
97.根据本公开的图像处理方法和图像处理装置，可基于视频图像中像素点的亮度分量和色度分量的边缘强度信息，自适性地调整色度上采样方式，从而可根据边缘强度信息来选择保留原有色度分量值或对原有色度分量值进行优化处理(例如，线性预测处理、导向滤波处理等)，从而提升色度分量值优化的效果，有效地解决了现有问题中存在的色块间颜色浸润和处理后画面噪声增加等问题，能够达到色彩区域缺失情况更加明显改善且颜色浸润现象更加减少(例如，文字效果更为饱满，色块交界区域颜色边界更清晰，文字锯齿感降低等)的有益效果，能够满足视频会议、游戏直播等对色彩处理要求较高的场景。
98.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
99.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。