图像处理方法及装置、设备以及存储介质与流程

1.本发明实施例涉及图像处理技术领域，尤其涉及一种图像处理方法及装置、设备以及存储介质。


背景技术：

2.电视的视频处理单元(video processing unit，vpu)包含了色彩调节、锐化、降噪等模块。vpu对提升电视显示画面质量、提升画面细节和色彩方面有重要作用。常规的电视画质调节需要有一组vpu控制参数，适配所有画面，很难做到所有场景的画质最优。一些电视厂商采用人工智能算法对图像进行分类，对不同类别的图像采用不同的画质参数，希望获得最佳的画质效果。
3.aipq(artificial intelligent picture quality)的策略是通过卷积神经网络学习到图像的分类，对不同的分类采取最优的vpu参数，使得画质最优。对卷积神经网络进行训练时，依据画质调节经验创建图像分类训练集，训练完成后得到分类模型。在实际的画质调节过程中，分类模型对画面的场景进行预测，得到topn(一般是top1，top3或者top5)的分类结果。根据分类结果调节vpu的参数。最常见的是对色彩饱和度、对比度和dnlp等参数进行调整。
4.但是，目前画质调节容易出现画质抖动的问题。


技术实现要素：

5.本发明实施例解决的问题是提供一种图像处理方法及装置、设备以及存储介质，减小由于分类模型精度导致场景误切换的概率，改善由于场景误切换导致的画质抖动的问题。
6.为解决上述问题，本发明实施例提供一种图像处理方法，包括：提供视频帧序列，包括视频帧序列的第一帧、和所述第一帧之后的当前帧；对当前帧进行场景预测处理，获得当前帧对应的标签集，所述标签集包括预测结果最符合当前帧场景的前数个初始标签，其中准确率最高的一个初始标签为第一初始标签；与当前帧相邻的前一帧具有已确定的分类标签；执行场景切换判断步骤，包括第一判断、第二判断和第三判断中的任意一个或多个判断步骤；其中，所述第一判断包括：判断前一帧的分类标签是否包含于当前帧的标签集中且与对应初始标签的置信度是否大于预设阈值，得第一判断结果；所述第二判断包括：判断前一帧的色彩统计信息与当前帧的色彩统计信息的差值是否在预设差值范围内，得第二判断结果；所述第三判断包括：判断所述前一帧标签特征对应的色调范围的像素在当前帧图片中的占比，是否大于预设占比阈值，得第三判断结果；在当所述场景切换判断步骤中的至少一个判断结果为是时，设置当前帧的分类标签与所述前一帧的分类标签相同；否则，设置所述第一初始标签为所述当前帧的分类标签；基于当前帧的分类标签，为当前帧配置相应的画质调节参数。
7.相应的，本发明实施例还提供一种图像处理装置，包括：提供单元，用于提供视频
帧序列，包括视频帧序列的第一帧、和第一帧之后的当前帧；场景预测单元，用于获得所述第一帧的分类标签，还用于对当前帧进行场景预测处理，获得当前帧对应的标签集，所述标签集包括预测结果最符合当前帧场景的前数个初始标签，其中准确率最高的一个初始标签为第一初始标签；场景切换判断单元，用于对所述当前帧进行场景切换判断处理，所述场景切换判断单元包括第一判断子单元、第二判断子单元和第三判断子单元中的任意一个或多个判断子单元；其中，所述第一判断子单元用于判断前一帧的分类标签是否包含于当前帧的标签集中且与对应初始标签的置信度是否大于预设阈值，输出第一判断结果；所述第二判断子单元用于判断前一帧的色彩统计信息与当前帧的色彩统计信息的差值是否在预设差值范围内，输出第二判断结果；所述第三判断子单元用于判断前一帧的分类标签的特征对应的色调范围在当前帧图片中的占比，是否大于预设占比阈值，输出第三判断结果；标签设置单元，用于在当所述场景切换判断单元中的至少一个判断子单元的判断结果为是时，设置当前帧的分类标签与前一帧的分类标签相同；否则，所述标签设置单元用于设置所述第一初始标签为当前帧的分类标签；画质调节单元，用于基于当前帧的所述分类标签，为当前帧配置相应的画质调节参数。
8.相应的，本发明实施例还提供一种设备，包括至少一个存储器和至少一个处理器，所述存储器存储有一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现前述的图像处理方法。
9.本发明实施例还提供一种存储介质，所述存储介质存储有一条或多条计算机指令，所述一条或多条计算机指令用于实现前述的图像处理方法。
10.与现有技术相比，本发明实施例的技术方案具有以下优点：
11.本发明实施例提供的图像处理方法，在对当前帧进行场景预测处理后，执行场景切换判断步骤，包括第一判断、第二判断和第三判断中的任意一个或多个判断步骤；其中，所述第一判断用于判断前一帧的分类标签是否包含于当前帧的标签集中且与对应初始标签的置信度是否大于预设阈值，因此，在场景切换时，不仅将当前帧的第一初始标签与前一帧的分类标签进行比较，还同时检查前一帧的分类标签是否包含于当前帧的标签集中以及与对应初始标签的置信度，有利于防止由于分类模型精度导致的场景误切换；所述第二判断用于判断前一帧的色彩统计信息与当前帧的色彩统计信息的差值是否在预设差值范围内，从而通过比较两帧之间色彩面积的差异，对场景切换的风险进行判断，进而提高对场景切换判断的准确度；所述第三判断用于判断前一帧分类标签的特征所对应的色调范围的像素在当前帧图片中的占比，是否大于预设占比阈值，从而能够对当前帧的场景进行进一步的判断，有利于提高对场景切换判断的准确度；综上，本发明实施例通过所述场景切换步骤，能够提高对场景切换判断的准确度，有利于减小由于分类模型精度导致场景误切换的概率，相应在基于当前帧的分类标签配置对应的画质参数时，有利于改善由于场景误切换导致的画质抖动的问题，进而提升画质调节的质量。
附图说明
12.图1是本发明图像处理方法一实施例的流程示意图；
13.图2是图1中的步骤s9一实施例的流程示意图；
14.图3是图1中的步骤s8一实施例的流程示意图；
15.图4是本发明图像处理装置一实施例的功能框图；
16.图5是图4中的场景切换判断单元104一实施例的功能框图；
17.图6是本发明设备一实施例的结构示意图。
具体实施方式
18.由背景技术可知，目前画质调节容易出现画质抖动的问题。
19.具体地，首先，真实场景中包含了大量的语义信息，极为复杂，比如蓝天、白云、人像、建筑物这些画质调节分类模型相应的场景中，语义信息并不是完全互斥的；其次，大部分的vpu参数不支持任意分区的参数调整，可以利用当前像素(pixel)值，通过查找表的方式做色彩、dnlp(动态对比度增强)等模块的调整。
20.以色彩调整为例，假设一个场景有蓝天向草地过渡的过程。分类模型给出的top1蓝天的预测概率会逐渐减小，直到top1由蓝天变成草地，草地的top1概率逐渐增高。一般的画质调节策略为，在top1为蓝天时，根据色彩的数值，拉高蓝色色彩的饱和度，使蓝天看起来更蓝；在top1的值为草地时，拉高绿色色彩的饱和度，增加绿色色彩的值；在top1由蓝天向草地过渡后，标签为草地时仍然由大量区域是蓝天。传统的画质调节算法，直接由蓝天的pq(picture quality，画质)参数切换到草地的pq参数，会导致残余的蓝色区域的蓝色色彩饱和度忽然被拉低，同时导致草地的绿色色彩饱和度忽然被拉高，导致色彩出现闪烁，进而导致画质抖动的问题。
21.简单的使用分类模型的结果进行画质调节，忽视了分类模型的稳定性问题。分类模型容易受到噪声、场景切换、场景内容变化的干扰，导致分类模型的精度和概率会有较大的变化。
22.如果是对分类模型top-n(n＝3or 5，等)做融合处理，或者仅使用top-1的结果做画质调节的输入，容易导致画质抖动的问题。另一种做法是对分类模型的输出结果进行时域滤波，使作用在vpu上的参数更稳定，但是，对分类模型的输出结果进行时域滤波，不能从根本上解决画质抖动的问题。
23.为了解决所述技术问题，本发明实施例提供一种图像处理方法，执行场景切换判断步骤，包括第一判断、第二判断和第三判断中的任意一个或多个判断步骤；其中，所述第一判断用于判断前一帧的分类标签是否包含于当前帧的标签集中且与对应初始标签的置信度是否大于预设阈值，因此，在场景切换时，不仅将当前帧的第一初始标签与前一帧的分类标签进行比较，还同时检查前一帧的分类标签是否包含于当前帧的标签集中以及与对应初始标签的置信度，有利于防止由于分类模型精度导致的场景误切换；所述第二判断用于判断前一帧的色彩统计信息与当前帧的色彩统计信息的差值是否在预设差值范围内，从而通过比较两帧之间色彩面积的差异，对场景切换的风险进行判断，进而提高对场景切换判断的准确度；所述第三判断用于判断前一帧分类标签的特征所对应的色调范围的像素在当前帧图片中的占比，是否大于预设占比阈值，从而能够对当前帧的场景进行进一步的判断，有利于提高对场景切换判断的准确度；综上，本发明实施例能够提高对场景切换判断的准确度，有利于减小由于分类模型精度导致场景误切换的概率，相应在基于当前帧的分类标签配置对应的画质参数时，有利于改善由于场景误切换导致的画质抖动的问题，进而提升画质调节的质量。
24.参考图1，示出了本发明图像处理方法一实施例的流程示意图。作为一种示例，所述图像处理方法包括以下基本步骤：
25.步骤s1：提供视频帧序列，包括视频帧序列的第一帧、和所述第一帧之后的当前帧；
26.步骤s2：对当前帧进行场景预测处理，获得当前帧对应的标签集，所述标签集包括预测结果最符合当前帧场景的前数个初始标签，其中准确率最高的一个初始标签为第一初始标签；
27.步骤s3：获得所述第一帧的分类标签；
28.执行场景切换判断步骤s5，包括第一判断s51、第二判断s52和第三判断s53中的任意一个或多个判断步骤；
29.其中，所述第一判断s51包括：判断与所述当前帧相邻的前一帧的分类标签，是否包含于当前帧的标签集中且与对应初始标签的置信度是否大于预设阈值；所述第二判断s52包括：判断前一帧的色彩统计信息与当前帧的色彩统计信息的差值是否在预设差值范围内；所述第三判断s53包括：判断所述前一帧标签特征对应的色调范围的像素在当前帧图片中的占比，是否大于预设占比阈值；
30.步骤s6：在当所述场景切换判断步骤s5中的至少一个判断结果为是时，设置当前帧的分类标签与前一帧的分类标签相同；
31.否则，步骤s7：设置所述第一初始标签为所述当前帧的分类标签；
32.步骤s8：基于当前帧的所述分类标签，为当前帧配置相应的画质调节参数。
33.为使本发明实施例的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
34.参考图1，步骤s1：提供视频帧序列，包括视频帧序列的第一帧、和所述第一帧之后的当前帧。
35.所述视频帧序列为待进行画质提升处理的帧序列。
36.视频帧序列的第一帧之后的多个帧，作为当前帧。
37.步骤s2：对当前帧进行场景预测处理，获得当前帧对应的标签集，所述标签集包括预测结果最符合当前帧场景的前数个初始标签(top n)，其中准确率最高的一个初始标签为第一初始标签top 1labi。其中，i指的是当前帧在是视频帧序列中的位置，i为大于或等于2的正整数。
38.具体地，利用分类模型，对当前帧进行预测，得到数个分类结果，数个分类结果对应为所述数个初始标签。其中，其中准确率最高的一个初始标签为第一初始标签top 1，即与当前场景符合度最高的初始标签作为所述第一初始标签top 1。
39.作为一种示例，所述标签集包括预测结果最符合当前帧场景的前3个初始标签(即top3)、或前5个初始标签(即top5)。在其他实施例中，所述标签集所包含的初始标签还可以为其他数量。
40.分类模型容易受到噪声、场景切换、场景内容变化的干扰，导致分类模型的精度和概率会有较大的变化。因此，对当前帧进行一个初步的场景预测处理，获得当前帧对应的标签集，以便后续基于标签集对当前帧和相邻前一帧进行比较，以判断当前帧相较于前一帧是否发生场景切换。
41.步骤s3：获得所述第一帧的分类标签。
42.获得所述第一帧的分类标签，从而后续能够基于所述第一帧的分类标签，依次对视频帧序列中第一帧之后的当前帧进行场景切换的判断，以确定当前帧的分类标签。
43.相应地，与当前帧相邻的前一帧具有已确定的分类标签，即label(i-1)。与当前帧相邻的前一帧的分类标签已确定，以便后续基于前一帧的分类标签和当前帧的初始标签，对当前帧的场景是否切换进行判断。
44.具体地，本实施例中，获得所述第一帧的分类标签的步骤包括：对所述第一帧进行场景预测处理，获得一个预测结果，作为所述第一帧的分类标签。
45.所述图像处理方法还包括：步骤s9：基于所述第一帧的分类标签，为所述第一帧配置相应的画质调节参数。为所述第一帧配置相应的画质调节参数，从而对第一帧进行相应的画质提升处理。
46.结合参考图2，示出了步骤s9一实施例的流程示意图。作为一实施例，基于所述第一帧的分类标签，为所述第一帧配置相应的画质调节参数的步骤包括：
47.步骤s91：判断第一帧的分类标签是否为预设画质调节场景。
48.判断第一帧的分类标签是否为预设画质调节场景，以便判断是否需要对第一帧进行与预设画质调节场景相对应的画质调节处理。
49.相应地，所述图像处理方法还包括：配置多个预设的画质调节场景。
50.其中，所述预设的画质调节场景为预先配置的、需要进行画质调节的场景。具体地，可以是基于画质调节的经验，预先配置给出重要的场景的分类类别，以便对重要的场景分类类别做特殊的画质提升处理。
51.作为一种示例，所述预设画质调节场景可以包括但不限于：人脸、绿色、蓝色、建筑物、文档、夜景、水景、海洋、天空、雪景等。
52.步骤s92：如果第一帧的分类标签是预设画质调节场景，基于所述第一帧的分类标签，为所述第一帧配置与所述分类标签对应的画质调节参数。
53.基于第一帧的分类标签，为所述第一帧配置对应的画质调节参数，从而能够对于不同场景的图像配置不同的画质调节参数，相应对当前场景做相应模式的画质提升处理，进而获得最佳的画质提升效果。
54.其中，与分类标签对应的画质(pq)调节参数，可以包括色彩饱和度、锐化(sharpen)、对比度(contrast)、降噪(noise reduction)等参数。具体地，与分类标签对应的画质调节参数，是预先设置的画质调节参数。
55.步骤s93：否则，为所述第一帧配置默认的画质调节参数。
56.默认的画质调节参数指的是，用于适配除所述预设画质调节场景之外的所有画面的画质调节参数。具体地，所述默认的画质调节参数是预先配置好的画质调节参数。所述默认的画质调节参数可以是基于经验设置的参数。
57.本实施例中，所述图像处理方法还包括：获取每一帧的色彩统计信息；获取每一帧的色彩统计信息的步骤包括：分别统计所述多个预设画质调节场景的特征对应的色调范围值的像素在图片中的占比，作为所述色彩统计信息。
58.获取每一帧的色彩统计信息，以便后续能够通过比较前一帧色彩统计信息和当前帧色彩统计信息的差值，来比较两证之间的色彩面积的差异。
59.作为一实施例，利用色彩统计直方图，统计所述多个预设画质调节场景的特征对应的色调范围值的像素在图片中的占比。
60.参考图1，可选方案中，所述图像处理方法还包括：对当前帧进行预判断步骤s4，用于判断当前帧的第一初始标签与前一帧的分类标签是否相同。
61.判断当前帧的第一初始标签与前一帧的分类标签是否相同，从而判断当前帧相比于前一帧是否发生场景切换。
62.具体地，判断当前帧的第一初始标签为labi是否等于前一帧的分类标签label(i-1)。
63.继续参考图1，当所述预判断步骤s4的结果为是时，执行步骤s6：设置当前帧的分类标签labeli与所述前一帧的分类标签label(i-1)相同，即令labeli＝label(i-1)。
64.当所述当前帧的第一初始标签与前一帧的分类标签相同时，则可以初步判断当前帧相比于前一帧未发生场景切换，因此，令当前帧的分类标签与前一帧的分类标签相同。
65.需要说明的是，本实施例中，以所述图像处理方法还包括预判断为示例进行说明。在其他实施例中，所述图像处理方法还可以不进行所述预判断。
66.还需要说明的是，本实施例中，在进行场景切换判断步骤s5之前，进行所述预判断步骤s4。
67.参考图1，执行场景切换判断步骤s5，包括第一判断s51、第二判断s52和第三判断s53中的任意一个或多个判断步骤。
68.为了防止由于分类模型精度和稳定性导致的场景预测错误，因此，进行场景切换判断步骤s5，以减小由于模型的分类精度和稳定性导致的场景误切换，进而有利于改善由于场景误切换而导致画质抖动的问题。
69.本实施例中，在所述预判断步骤s4的结果为否时，执行场景切换判断步骤s5。
70.其中，所述第一判断s51包括：判断前一帧的分类标签是否包含于当前帧的标签集(即top n)中且与对应初始标签的置信度是否大于预设阈值；所述第二判断s52包括：判断前一帧的色彩统计信息与当前帧的色彩统计信息的差值是否在预设差值范围内；所述第三判断包括：判断前一帧的分类标签特征对应的色调范围的像素在当前帧图片中的占比，是否大于预设占比阈值。
71.通过所述第一判断s51，从而在场景切换时，不仅将当前帧的第一初始标签与前一帧的分类标签进行比较，还同时检查前一帧的分类标签是否包含于当前帧的标签集中以及与对应初始标签的置信度，有利于防止由于分类模型精度导致的场景误切换
72.通过所述第二判断s52，对相邻两帧的色彩统计信息的差值进行判断，从而通过比较两帧之间色彩面积的差异，对场景切换的风险进行判断，进而提高对场景切换判断的准确度。
73.通过所述第三判断s53，判断前一帧标签的特征所对应的色调范围的像素在当前帧图片中的占比，是否大于预设占比阈值，从而能够判断前一帧与当前帧的场景关联性及相似性，以对当前帧的场景进行进一步的判断，进一步降低由于分类模型精度和稳定性问题导致的分类错误，有利于提高对场景切换判断的准确度。
74.需要说明的是，当所述场景切换判断步骤s5包括第一判断s51、第二判断s52和第三判断s53中的任意多个判断步骤时，并行执行第一判断s51、第二判断s52和第三判断s53
中的任意多个判断。
75.第一判断s51、第二判断s52和第三判断s53的判断精度与程度不同，与所述场景切换判断步骤s5仅包括第一判断s51、第二判断s52和第三判断s53中的任意一个判断步骤相比，当所述场景切换判断步骤s5包括第一判断s51、第二判断s52和第三判断s53中的任意多个判断步骤时，能够对场景切换判断的更加全面，有利于进一步提高对场景切换判断的准确度，进而使得画质更加稳定。
76.或者，所述第一判断s51、第二判断s52和第三判断s53的判断步骤具有先后顺序，所述第一判断s53的判断顺序先于所述第二判断s52和第三判断s53的判断顺序，且所述第二判断s52的判断顺序先于所述第三判断s53的判断顺序，且在前一个判断步骤的判断结果为否时，执行下一个判断步骤。
77.所述第一判断s51、第二判断s52和第三判断s53判断场景切换的方式、及精度不同：所述第一判断s51将前一帧的分类标签与当前帧的标签集进行比较，判断场景是否发生切换；所述第二判断s52通过比例两帧之间的色彩统计信息，进行场景切换的判断；所述第三判断s53通过比较前一帧分类标签的特征在当前帧图片中的占比，进行场景切换的判断。
78.当所述第一判断s51、第二判断s52和第三判断s53之间具有上述的判断判断顺序时，在前一个判断步骤的判断结果为否时，初步判断是进行了场景切换，此时通过接着进行的下一个判断，能够对是否进行场景切换进行进一步的判断，有利于提高对场景切换判断的准确度。
79.作为一种示例，所述场景切换判断步骤s5包括依次或并行进行的第一判断s51、第二判断s52和第三判断s53。
80.本实施例中，以所述场景切换判断步骤s5包括依次进行的第一判断s51、第二判断s52和第三判断s53为示例进行说明。
81.所述场景切换判断步骤s5包括依次进行的第一判断s51、第二判断s52和第三判断s53，从而能够对场景切换判断的更加全面，有利于进一步提高对场景切换判断的准确度，进而使得画质更加稳定。
82.在其他实施例中，所述场景切换步骤还可以仅包括所述第一判断、第二判断和第三判断中的任意一个或任意两个判断步骤。
83.下面结合附图，对本实施例的所述场景切换判断步骤s5的具体步骤进行详细说明。
84.参考图1，执行第一判断s51，用于判断前一帧的分类标签是否包含于当前帧的标签集中且与对应初始标签的置信度是否大于预设阈值。
85.当所述第一判断s51的判断结果为是时，步骤s6：设置当前帧的分类标签与所述前一帧的分类标签相同。
86.当前一帧的分类标签label(i-1)包含于当前帧的标签集top n中，且与对应初始标签的置信度大于预设阈值时，则由于分类模型精度和稳定性导致对当前帧的分类错误的概率高，进行场景切换的风险过大，因此，设置当前帧的分类标签与前一帧的分类标签相同，即当前帧相较于前一帧未发生场景切换。
87.其中，前一帧的分类标签label(i-1)与对应初始标签的置信度指的是，当所述前一帧的分类标签label(i-1)与所述当前帧的标签集top n中的一个初始标签相同时，所述
前一帧的分类标签label(i-1)与所述初始标签的置信度。
88.当所述第一判断s51的判断结果为否时，执行第二判断s52，用于判断前一帧的色彩统计信息与当前帧的色彩统计信息的差值是否在预设差值范围内。
89.本实施例中，所述第二判断s52包括：判断前一帧的色彩统计信息与当前帧的色彩统计信息的差值是否在预设差值范围内。
90.当所述第二判断s52的判断结果为是时，步骤s6：设置当前帧的分类标签label i与所述前一帧的分类标签label(i-1)相同，即令label i＝label(i-1)。
91.通过对相邻两帧的色彩统计信息的差值进行判断，从而通过比较两帧之间色彩面积的差异，对场景切换的风险进行判断，以提高对场景切换判断的准确度。
92.具体地，相邻两帧之间色彩面积的差异越小，则说明当前帧相较于前一帧发生场景切换的概率越低，切换画质调节参数的风险也就越大，因此，当前一帧的色彩统计信息与当前帧的色彩统计信息的差值在预设差值范围内时，可以判断未发生场景切换，相应无需切换画质调节参数，进而降低由于场景误切换而导致的画质抖动的风险。相应地，设置当前帧的分类标签label i与所述前一帧的分类标签label(i-1)相同。
93.相邻两帧之间色彩面积的差异越大，则说明当前帧相较于前一帧发生场景切换的概率越高，切换画质调节参数的风险越低，因此可以加快切换画质调节参数的速度。
94.在具体实施中，可以预先设置统计信息差值阈值dth，通过判断相邻两帧的色彩统计信息的差值是否小于或等于所述统计信息差值阈值dth，来判断是否发生场景切换。
95.在具体实施中，所述统计信息差值阈值dth的实际设定，需要测试各个视频中场景切换时的色彩统计值的具体差值，统计得到一个经验值作为参考。本实施例在此对所述统计信息差值阈值dth的具体数值进行限定。
96.当所述第二判断s52的判断结果为否时，执行第三判断s53，判断所述前一帧标签的特征对应的色调范围的像素在当前帧图片中的占比，是否大于预设占比阈值。
97.具体地，判断前一帧标签的特征对应的色调范围的像素数量在当前帧图片中的占比，是否大于预设占比阈值。
98.当所述第三判断s53的判断结果为是时，步骤s6：设置当前帧的分类标签label i＝与所述前一帧的分类标签label(i-1)相同，即令label i＝label(i-1)。
99.所述第三判断s53用于判断前一帧分类标签的特征所对应的色调范围的像素在当前帧图片中的占比，是否大于预设占比阈值，从而对当前帧和前一帧的场景相似性及关联性做进一步的判断，进一步降低由于分类模型精度和稳定性问题导致的分类错误，有利于提高对场景切换判断的准确度。
100.相应地，本实施例中，所述图像处理方法还包括：配置与所述预设画质调节场景的特征对应的色调(hue)范围值。具体地，所述色调范围值可以根据客户需求和实际情况进行相应的调整。
101.作为一实施例，以人脸特征为例，色调h范围值可以设置为：0＜h≤12，或者176≤h≤179；以绿色特征为例，色调h范围值可以设置为：35≤h≤62；以蓝色特征为例，色调h范围值可以设置为97≤h≤113。
102.需要说明的是，以上各个特征的色调范围值仅作为一种示例，所述色调范围值可以根据客户需求和实际情况进行相应的调整。
103.其中，所述预设占比阈值用于对当前的场景分类结果进行进一步的判断，所述预设占比阈值可以是预先基于画质调节经验设置的数值。需要说明的是，所述预设占比阈值基于客户需求和实际情况而定，本实施例在此不限定具体地预设占比阈值的数值。
104.作为一实施例，以人脸为示例进行说明，当所述前一帧的分类标签为皮肤(skin)时，此时如果统计肤色对应的色调(hue)范围值在当前帧图片中的占比大于一定阈值(如：5％)，则可以判断当前帧相比于前一帧未发生场景切换，即当前帧的分类标签还是皮肤。相应地，设置当前帧的分类标签label i与所述前一帧的分类标签label(i-1)相同。
105.继续参考图1，在当所述场景切换判断步骤s5中的至少一个判断结果为是时，执行步骤s6，设置当前帧的分类标签与前一帧的分类标签相同，即label i＝label(i-1)。
106.当所述场景切换判断步骤s5中的至少一个判断结果为是时，可以判断当前帧相较于前一帧未发生场景切换，因此，为当前帧分配与前一帧相同的分类标签。
107.具体地，本实施例中，当所述预判断步骤s4的判断结果或所述场景切换判断步骤s5中的至少一个判断结果为是时，设置当前帧的分类标签与所述前一帧的分类标签相同。
108.否则，执行步骤s7：设置所述第一初始标签为所述当前帧的分类标签，即当前帧的分类标签设置为模型推理top1(即第一初始标签)的值，即labeli＝labi。
109.当所述场景切换判断步骤s5中的所有判断结果均为否时，则说明当前帧相较于前一帧发生了场景切换，并且对当前帧发生了场景切换的判断准确性较高，相应可以将当前帧的第一初始标签设置为所述当前帧的分类标签。
110.具体地，当所述预判断s4的判断结果和所述场景切换判断步骤s5中的所有判断结果均为否时，为当前帧分配当前帧的第一初始标签。
111.继续参考图1，执行步骤s8：基于当前帧的所述分类标签，为当前帧配置相应的画质调节参数。
112.基于当前帧的所述分类标签，为当前帧配置相应的画质调节参数，以便对当前帧做相应模式的画质提升处理。
113.本实施例通过所述场景切换步骤s5，提高了对场景切换判断的准确度，有利于减小由于分类模型精度导致场景误切换的概率，相应在基于当前帧的分类标签配置对应的画质参数时，有利于改善由于场景误切换导致的画质抖动的问题，进而提升画质调节的质量。
114.结合参考图3，本实施例中，所述基于当前帧的所述分类标签，为当前帧配置相应的画质参数的步骤包括：步骤s81：判断当前帧的所述分类标签是否为预设画质调节场景。
115.如果是，则执行步骤s82：为所述当前帧配置与所述分类标签对应的画质调节参数。
116.当所述当前帧的分类标签属于预设画质调节场景时，基于当前帧的分类标签，为所述当前帧配置对应的画质调节参数，能够对于不同场景的图像配置不同的画质调节参数，相应对当前场景做相应模式的画质提升处理，进而获得最佳的画质提升效果。
117.例如，以当前帧的分类标签为人脸为例，对图片做相应肤色的画质调节处理，即进入skin pq模式。
118.其中，与分类标签对应的画质(pq)调节参数，可以包括色彩饱和度、锐化(sharpen)、对比度(contrast)、降噪(noise reduction)等参数。具体地，与分类标签对应的画质调节参数，是预先设置的画质调节参数。
119.继续参考图3，否则，执行步骤s83：设置当前帧的所述分类标签为默认标签，并且为当前帧配置默认的画质参数。
120.默认的画质调节参数指的是，用于适配除所述预设画质调节场景之外的所有画面的画质调节参数。
121.具体地，所述默认的画质调节参数是预先配置好的画质调节参数。所述默认的画质调节参数可以是基于经验设置的参数。
122.相应的，本发明还提供一种图像处理装置。图4是本发明图像处理装置一实施例的功能框图。
123.以下结合附图，对本实施例的图像处理装置10进行详细说明。
124.参考图4，所述图像处理装置10包括：提供单元101，用于提供视频帧序列，包括视频帧序列的第一帧、和第一帧之后的当前帧；
125.场景预测单元102，用于获得所述第一帧的分类标签，还用于对当前帧进行场景预测处理，获得当前帧对应的标签集，所述标签集包括预测结果最符合当前帧场景的前数个初始标签，其中准确率最高的一个初始标签为第一初始标签；
126.场景切换判断单元104，用于对所述当前帧进行场景切换判断处理，所述场景切换判断单元包括第一判断子单元1041、第二判断子单元1042和第三判断子单元1043中的任意一个或多个判断子单元；
127.其中，所述第一判断子单元1041用于判断前一帧的分类标签是否包含于当前帧的标签集中且与对应初始标签的置信度是否大于预设阈值，输出第一判断结果；所述第二判断子单元1042用于判断前一帧的色彩统计信息与当前帧的色彩统计信息的差值是否在预设差值范围内，输出第二判断结果；所述第三判断子单元1043用于判断前一帧标签的特征对应的色调范围在当前帧图片中的占比，是否大于预设占比阈值，输出第三判断结果；
128.标签设置单元106，用于在当所述场景切换判断单元104中的至少一个判断子单元的判断结果为是时，设置当前帧的分类标签与前一帧的分类标签相同；否则，所述标签设置单元106用于设置所述第一初始标签为当前帧的分类标签；
129.画质调节单元105，用于基于当前帧的分类标签，为当前帧配置与相应的画质调节参数。
130.本实施例中，所述图像处理装置10还包括场景切换判断单元104，用于对所述当前帧进行场景切换判断处理，所述场景切换判断单元104包括第一判断子单元1041、第二判断子单元1042和第三判断子单元1043中的任意一个或多个判断子单元。
131.其中，所述第一判断子单元1041用于判断前一帧的分类标签是否包含于当前帧的标签集中且与对应初始标签的置信度是否大于预设阈值，因此，在场景切换时，不仅将当前帧的第一初始标签与前一帧的分类标签进行比较，还同时检查前一帧的分类标签是否包含于当前帧的标签集中以及与对应初始标签的置信度，有利于防止由于分类模型精度导致的场景误切换。
132.所述第二判断子单元1042用于判断前一帧的色彩统计信息与当前帧的色彩统计信息的差值是否在预设差值范围内，从而通过比较两帧之间色彩面积的差异，对场景切换的风险进行判断，进而提高对场景切换判断的准确度。
133.所述第三判断子单元1043用于判断前一帧标签的特征所对应的色调范围的像素
在当前帧图片中的占比，是否大于预设占比阈值，从而能够对当前帧的场景进行进一步的判断，有利于提高对场景切换判断的准确度。
134.综上，本实施例能够提高对场景切换判断的准确度，有利于减小由于分类模型精度导致场景误切换的概率，相应在所述画质调节单元105基于当前帧的分类标签配置对应的画质参数时，有利于改善由于场景误切换导致的画质抖动的问题，进而提升画质调节的质量。
135.所述提供单元101，用于提供视频帧序列，包括视频帧序列的第一帧、和所述第一帧之后的当前帧。
136.所述视频帧序列为待进行画质提升处理的帧序列。视频帧序列的第一帧之后的多个帧，作为当前帧。
137.所述场景预测单元102，用于获得所述第一帧的分类标签。
138.述场景预测单元102获得所述第一帧的分类标签，从而场景切换判断单元104能够基于所述第一帧的分类标签，依次对视频帧序列中第一帧之后的当前帧进行场景切换判断，以确定当前帧的分类标签。
139.具体地，本实施例中，所述场景预测单元102用于对所述第一帧进行场景预测处理，获得一个预测结果，作为所述第一帧的分类标签。
140.所述场景预测单元102，还用于对当前帧进行场景预测处理，获得当前帧对应的标签集，所述标签集包括预测结果最符合当前帧场景的前数个初始标签(top n)，其中准确率最高的一个初始标签为第一初始标签top 1labi；与当前帧相邻的前一帧具有已确定的分类标签。
141.具体地，所述场景预测单元102可以利用分类模型，对当前帧进行场景预测，得到数个分类结果，数个分类结果对应为所述数个初始标签。其中，其中准确率最高的一个初始标签为第一初始标签top 1，即与当前场景符合度最高的初始标签作为所述第一初始标签top 1labi。
142.作为一种示例，所述标签集包括预测结果最符合当前帧场景的前3个初始标签(即top3)、或前5个初始标签(即top5)。在其他实施例中，所述标签集所包含的初始标签还可以为其他数量。
143.分类模型容易受到噪声、场景切换、场景内容变化的干扰，导致分类模型的精度和概率会有较大的变化。因此，所述场景预测单元102对当前帧进行一个初步的场景预测处理，获得当前帧对应的标签集，以便场景切换判断单元104基于标签集对当前帧和相邻前一帧进行比较，进而提高对场景切换判断的准确度。
144.与当前帧相邻的前一帧具有已确定的分类标签，即label(i-1)。与当前帧相邻的前一帧的分类标签已确定，以便预判断单元103和场景切换判断单元104基于前一帧的分类标签和当前帧的初始标签，对场景是否切换进行判断。
145.可选方案中，所述图像处理装置10还可以包括：预判断单元103，用于判断当前帧的第一初始标签与前一帧的分类标签是否相同，输出预判断结果；并且用于在当预判断结果为是时，设置当前帧的分类标签与所述前一帧的分类标签相同。
146.所述预判断单元103，用于判断当前帧的第一初始标签与前一帧的分类标签是否相同，从而判断当前帧相比于前一帧是否发生场景切换。
147.具体地，所述预判断单元103判断当前帧的第一初始标签为labi是否等于前一帧的分类标签label(i-1)。
148.当所述预判断结果为是时，所述预判断单元103设置当前帧的分类标签与所述前一帧的分类标签相同，即令labeli＝label(i-1)。
149.当所述当前帧的第一初始标签与前一帧的分类标签相同时，则可以初步判断当前帧相比于前一帧未发生场景切换，因此，令当前帧的分类标签与前一帧的分类标签相同。
150.需要说明的是，本实施例中，以所述图像处理装置10还包括预判断单元103为示例进行说明。在其他实施例中，所述图像处理装置10还可以不包括所述预判断单元。
151.场景切换判断单元104，用于对所述当前帧进行场景切换判断处理，所述场景切换判断单元104包括第一判断子单元1041、第二判断子单元1042和第三判断子单元1043中的任意一个或多个判断子单元。
152.为了防止由于分类模型精度和稳定性问题导致的场景预测错误，因此，场景切换判断单元104对当前帧进行场景切换判断处理，以减小由于模型分类精度和稳定性问题导致的场景误切换，进而有利于改善由于场景误切换而导致画质抖动的问题。
153.本实施例中，所述场景切换判断单元104与所述预判断单元103连接，所述场景切换判断单元104用于在当所述预判断单元103输出的预判断结果为否时，对当前帧进行场景切换判断处理。
154.其中，所述第一判断子单元1041用于判断前一帧的分类标签是否包含于当前帧的标签集(即top n)中且与对应初始标签的置信度是否大于预设阈值，输出第一判断结果；所述第二判断子单元1042用于判断前一帧的色彩统计信息与当前帧的色彩统计信息的差值是否在预设差值范围内，输出第二判断结果；所述第三判断子单元1043用于判断前一帧的分类标签特征对应的色调范围的像素在当前帧图片中的占比，是否大于预设占比阈值，输出第三判断结果。
155.通过设置第一判断子单元1041，从而在场景切换时，不仅将当前帧的第一初始标签与前一帧的分类标签进行比较，还同时检查前一帧的分类标签是否包含于当前帧的标签集中以及与对应初始标签的置信度，有利于防止由于分类模型精度导致的场景误切换。
156.通过设置第二判断子单元1042，用于对相邻两帧的色彩统计信息的差值进行判断，从而通过比较两帧之间色彩面积的差异，对场景切换的风险进行判断，进而提高对场景切换判断的准确度。
157.通过设置第三判断子单元1043，用于判断前一帧标签的特征所对应的色调范围的像素在当前帧图片中的占比，是否大于预设占比阈值，从而能够判断前一帧与当前帧的场景关联性及相似性，以对当前帧的场景进行进一步的判断，进一步降低由于分类模型精度和稳定性问题导致的分类错误，有利于提高对场景切换判断的准确度。
158.当所述场景切换判断单元104包括第一判断子单元1041、第二判断子单元1042和第三判断子单元1043中的任意多个判断子单元时，所述多个判断子单元之间并行连接，或者，所述多个判断子单元之间依次连接。当所述多个判断子单元之间依次连接时，所述第一判断子单元1041的判断顺序先于第二判断子单元1042和第三判断子单元1043的判断顺序，所述第二判断子单元1042的判断顺序先于第三判断子单元1043的判断顺序，且在前一个判断子单元输出的判断结果为否时，连接后一个判断子单元。
159.作为一种示例，所述场景切换判断单元104包括依次或并行连接的第一判断子单元1041、第二判断子单元1042和第三判断子单元1043。
160.本实施例中，以所述场景切换判断步骤s5包括依次连接的第一判断子单元1041、第二判断子单元1042和第三判断子单元1043为示例进行说明。
161.所述场景切换判断单元104包括依次连接的第一判断子单元1041、第二判断子单元1042和第三判断子单元1043，从而场景切换判断单元104能够对场景切换判断的更加全面，有利于进一步提高对场景切换判断的准确度，进而使得画质更加稳定。
162.以下结合图5，对本实施例的所述场景切换判断单元104进行详细说明。
163.参考图5，第一判断子单元1041用于判断前一帧的分类标签是否包含于当前帧的标签集中，且与对应初始标签的置信度是否大于预设阈值，输出第一判断结果。
164.当所述前一帧的分类标签包含于当前帧的标签集中且与对应初始标签的置信度大于预设阈值时，则由于分类模型精度和稳定性导致对当前帧的分类错误的概率高，进行场景切换的风险过大。
165.当所述第一判断结果为否时，连接第二判断子单元1042，用于判断前一帧的色彩统计信息与当前帧的色彩统计信息的差值是否在预设差值范围内，输出第二判断结果。
166.所述第二判断子单元1042通过对相邻两帧的色彩统计信息的差值进行判断，从而通过比较两帧之间色彩面积的差异，对场景切换的风险进行判断，进而提高对场景切换判断的准确度。
167.具体地，相邻两帧之间色彩面积的差异越小，则说明当前帧相较于前一帧发生场景切换的概率越低，相应地，切换画质调节参数的风险也就越大，因此，当前一帧的色彩统计信息与当前帧的色彩统计信息的差值是否在预设差值范围内时，可以判断未发生场景切换，无需切换画质调节参数，进而降低由于场景误切换而导致的画质抖动的风险。相应地，设置当前帧的分类标签与所述前一帧的分类标签相同。
168.相邻两帧之间色彩面积的差异越大，则说明发生场景切换的概率越高，切换画质调节参数的风险越低，因此可以加快切换画质调节参数的速度。
169.在具体实施中，可以预先设置统计信息差值阈值dth，通过判断相邻两帧的色彩统计信息的差值是否小于或等于所述统计信息差值阈值dth，来判断是否发生场景切换。
170.在具体实施中，所述统计信息差值阈值dth的实际设定，需要测试各个视频中场景切换时的色彩统计值具体的差值，统计得到一个经验值作为参考。
171.当所述第二判断结果为否时，连接第三判断子单元1043，用于判断所述前一帧标签特征对应的色调范围的像素在当前帧图片中的占比，是否大于预设占比阈值，输出第三判断结果。
172.当所述第三判断结果为是时，执行第三判断子单元1043设置所述第一初始标签为当前帧的分类标签。
173.所述第三判断子单元1043用于判断前一帧标签的特征所对应的色调范围的像素在当前帧图片中的占比，是否小于预设占比阈值，从而能够对当前帧的场景进行进一步的判断，进一步降低由于分类模型精度和稳定性问题导致的分类错误，有利于提高对场景切换判断的准确度。
174.作为一实施例，以人脸为示例进行说明，当所述当前帧的第一初始标签为皮肤
(skin)时，此时如果统计图片中肤色对应的色调(hue)范围值在图片中占比大于一定阈值(如：5％)，则可以判断对当前帧的场景分类正确，当前帧帧的分类标签设置为模型推理top1(即第一初始标签)的值，即labeli＝labi。
175.所述标签设置单元106，用于在当所述场景切换判断单元104中的至少一个判断子单元的判断结果为是时，设置当前帧的分类标签与前一帧的分类标签相同；否则，所述标签设置单元106用于设置所述第一初始标签为当前帧的分类标签。
176.当所述场景切换判断单元104中的至少一个判断子单元的判断结果为是时，可以判断当前帧相较于前一帧未发生场景切换，因此，为当前帧分配与前一帧相同的分类标签。
177.具体地，本实施例中，当所述预判断单元103的结果或所述场景切换判断单元104中的至少一个判断子单元的判断结果为是时，所述标签设置单元106设置当前帧的分类标签与所述前一帧的分类标签相同。
178.否则，所述标签设置单元106设置所述第一初始标签为所述当前帧的分类标签，即当前帧的分类标签设置为模型推理top1(即第一初始标签)的值，即labeli＝labi。
179.当所述场景切换判断步骤s5中的所有判断子单元的判断结果均为否时，则说明当前帧相较于前一帧发生了场景切换，并且对当前帧发生了场景切换的判断准确性较高，相应可以将当前帧的第一初始标签设置为所述当前帧的分类标签。
180.具体地，当所述预判断单元103的判断结果和所述场景切换判断单元104中的所有判断子单元的判断结果均为否时，为当前帧分配当前帧的第一初始标签。
181.所述画质调节单元105，用于基于当前帧的分类标签，为当前帧配置相应的画质调节参数。
182.基于当前帧的所述分类标签，为当前帧配置相应的画质调节参数，以便对当前帧做相应模式的画质提升处理。
183.本实施例通过所述场景切换判断单元104，提高了对场景切换判断的准确度，有利于减小由于分类模型精度导致场景误切换的概率，相应在基于当前帧的分类标签配置对应的画质参数时，有利于改善由于场景误切换导致的画质抖动的问题，进而提升画质调节的质量。
184.具体地，本实施例中，所述画质调节单元105用于判断当前帧的所述分类标签是否为预设画质调节场景；如果是，所述画质调节单元105为所述当前帧配置与所述分类标签对应的画质调节参数。
185.当所述当前帧的分类标签属于预设画质调节场景时，基于当前帧的分类标签，为所述当前帧配置对应的画质调节参数，能够对于不同场景的图像配置不同的画质调节参数，相应对当前场景做相应模式的画质提升处理，进而获得最佳的画质提升效果。
186.例如，以当前帧的分类标签为人脸为例，画质调节单元105对图片做相应肤色的画质调节处理，即进入skin pq模式。
187.其中，与分类标签对应的画质(pq)调节参数，可以包括色彩饱和度、锐化(sharpen)、对比度(contrast)、降噪(noise reduction)等参数。具体地，与分类标签对应的画质调节参数，是预先设置的画质调节参数。
188.此外，本实施例通过设置所述场景切换判断单元104，提高了对场景切换判断的准确度，有利于减小由于分类模型精度导致场景误切换的概率，相应在基于当前帧的分类标
签配置对应的画质参数时，有利于改善由于场景误切换导致的画质抖动的问题，进而提升画质调节的质量。
189.所述画质调节单元105在当所述当前帧的分类标签不属于预设画质调节场景时，设置当前帧的所述分类标签为默认标签，并且为当前帧配置默认的画质参数。
190.默认的画质调节参数指的是，用于适配除所述预设画质调节场景之外的所有画面的画质调节参数。
191.具体地，所述默认的画质调节参数是预先配置好的画质调节参数。所述默认的画质调节参数可以是基于经验设置的参数。
192.所述画质调节单元105，还用于基于所述第一帧的第一初始标签，为所述第一帧配置相应的画质调节参数。
193.具体地，本实施例中，所述画质调节单元105用于判断第一帧的第一初始标签是否为预设画质调节场景，以便判断是否需要对第一帧进行与预设画质调节场景对应的画质调节处理。
194.如果第一帧的分类标签属于预设画质调节场景，所述画质调节单元105用于基于所述第一帧的分类标签，为所述第一帧配置与所述分类标签对应的画质调节参数。
195.基于第一帧的分类标签，为所述第一帧配置对应的画质调节参数，从而能够对于不同场景的图像配置不同的画质调节参数，相应对当前场景做相应模式的画质提升处理，进而获得最佳的画质提升效果。
196.其中，与分类标签对应的画质(pq)调节参数，可以包括色彩饱和度、锐化(sharpen)、对比度(contrast)、降噪(noise reduction)等参数。具体地，与分类标签对应的画质调节参数，是预先设置的画质调节参数。
197.否则，所述画质调节单元105用于为所述第一帧配置默认的画质调节参数。
198.默认的画质调节参数指的是，用于适配除所述预设画质调节场景之外的所有画面的画质调节参数。具体地，所述默认的画质调节参数是预先配置好的画质调节参数。所述默认的画质调节参数可以是基于经验设置的参数。
199.相应地，本发明实施例还提供一种设备，所述设备可以通过装载程序形式的上述的图像处理方法，以实现本发明实施例提供的图像处理方法。
200.本发明实施例提供的设备的一种可选硬件结构可以如图6所示，包括：至少一个处理器01，至少一个通信接口02，至少一个存储器03和至少一个通信总线04。
201.在本发明实施例中，处理器01、通信接口02、存储器03、通信总线04的数量为至少一个，且处理器01、通信接口02、存储器03通过通信总线04完成相互间的通信；
202.可选的，通信接口02可以为用于进行网络通信的通信模块的接口，如gsm模块的接口。
203.可选的，处理器01可能是中央处理器cpu，或者是特定集成电路asic(application specific integrated circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。
204.可选的，存储器03可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
205.其中，存储器03存储一条或多条计算机指令，所述一条或多条计算机指令被处理
器01执行以实现本发明实施例提供的图像处理方法。
206.需要说明的是，上述的实现终端设备还可以包括与本发明实施例公开内容可能并不是必需的其他器件(未示出)；鉴于这些其他器件对于理解本发明实施例公开内容可能并不是必需，本发明实施例对此不进行逐一介绍。
207.相应地，本发明实施例还提供一种存储介质，所述存储介质存储有一条或多条计算机指令，所述一条或多条计算机指令用于实现本发明实施例所述的图像处理方法。
208.所述存储介质为计算机可读存储介质，存储介质可以为只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、u盘、移动硬盘、磁盘或光盘等各种可以存储程序代码的介质。
209.上述本发明的实施方式是本发明的元件和特征的组合。除非另外提及，否则所述元件或特征可被视为选择性的。各个元件或特征可在不与其它元件或特征组合的情况下实践。另外，本发明的实施方式可通过组合部分元件和/或特征来构造。本发明的实施方式中所描述的操作顺序可重新排列。任一实施方式的一些构造可被包括在另一实施方式中，并且可用另一实施方式的对应构造代替。对于本领域技术人员而言明显的是，所附权利要求中彼此没有明确引用关系的权利要求可组合成本发明的实施方式，或者可在提交本技术之后的修改中作为新的权利要求包括。
210.本发明的实施方式可通过例如硬件、固件、软件或其组合的各种手段来实现。在硬件配置方式中，根据本发明示例性实施方式的方法可通过一个或更多个专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理器件(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、处理器、控制器、微控制器、微处理器等来实现。
211.在固件或软件配置方式中，本发明的实施方式可以模块、过程、功能等形式实现。软件代码可存储在存储器单元中并由处理器执行。存储器单元位于处理器的内部或外部，并可经由各种己知手段向处理器发送数据以及从处理器接收数据。
212.虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。