一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

图像处理方法、视频处理方法及装置、终端及存储介质与流程

2022-10-29 05:22:53 来源:中国专利 TAG:


1.本公开涉及图像处理技术领域,尤其涉及一种图像处理方法、视频处理方法及装置、终端及存储介质。


背景技术:

2.随着移动设备和网络技术的发展,越来越多的用户习惯在手机或平板电脑等设备上浏览视频。用户在观看视频的过程中,通常希望能够看到清晰度较高的视频。
3.相关技术中,为了向用户提供清晰度更高的视频,终端设备会采用视频增强算法对播放的视频进行视频增强。视频增强算法是通过一定手段对原图像附加一些信息或者变换数据,有选择地突出图像中感兴趣的特征或者抑制图像中某些不需要的特征,使图像与视觉响应特性相匹配,从而改善图像质量、加强视觉效果。
4.如何更合理的进行视频增强,给用户提供更好的视觉效果,一直以来备受关注。


技术实现要素:

5.本公开提供一种图像处理方法、视频处理方法及装置、终端及存储介质。
6.根据本公开实施例的第一方面,提供一种图像处理方法,包括:
7.确定待显示图像中显示内容对应的场景信息;
8.获取所述待显示图像的分辨率;
9.根据所述待显示图像的场景信息和分辨率,确定图像调节算法;
10.通过所述图像调节算法对所述待显示图像进行增强处理。
11.在一些实施例中,所述根据所述待显示图像的场景信息和分辨率,确定图像调节算法,包括:
12.根据所述待显示图像的场景信息、分辨率以及预设对应关系,确定所述图像调节算法;其中,所述预设对应关系中包括不同场景和分辨率的组合,与不同图像调节算法之间的映射。
13.在一些实施例中,所述预设对应关系中的分辨率包括分辨率等级,所述方法还包括:
14.将所述待显示图像的分辨率与预设分辨率阈值进行比较,获得比较结果;
15.根据所述比较结果确定所述待显示图像的分辨率等级;
16.所述根据所述待显示图像的场景信息、分辨率以及预设对应关系,确定所述图像调节算法,包括:
17.根据所述待显示图像的场景信息、分辨率等级以及所述预设对应关系,确定所述图像调节算法。
18.在一些实施例中,所述确定待显示图像中显示内容对应的场景信息,包括:
19.将所述待显示图像输入预定的场景识别网络模型,获得所述待显示图像的所述场景信息。
20.在一些实施例中,所述确定待显示图像中显示内容对应的场景信息,包括:
21.确定所述待显示图像中的感兴趣区域;
22.将所述感兴趣区域的场景信息确定为所述待显示图像的场景信息。
23.根据本公开实施例的第二方面,提供一种视频处理方法,包括:
24.获取待显示视频;其中,所述待显示视频中包括多帧待显示图像;
25.对所述多帧待显示图像中的每帧待显示图像,执行上述第一方面中所述的图像处理方法。
26.在一些实施例中,所述方法还包括:
27.从所述待显示视频的各待显示图像中确定出目标帧图像;其中,所述目标帧图像为所述多帧待显示图像中的部分图像;
28.根据所述目标帧图像,确定所述待显示视频中各待显示图像对应的场景信息。
29.在一些实施例中,所述从所述待显示视频的各待显示图像中确定出目标帧图像,包括
30.将所述待显示视频的各待显示图像按预定间隔帧数进行选取,确定出所述目标帧图像;
31.所述根据所述目标帧图像,确定所述待显示视频的各待显示图像对应的场景信息,包括:
32.将所述目标帧图像对应的场景中,识别结果置信度最高的场景或者数量最多的同一场景,作为所述待显示视频的各待显示图像对应的所述场景信息。
33.根据本公开实施例的第三方面,提供一种图像处理装置,包括:
34.第一确定模块,配置为确定待显示图像中显示内容对应的场景信息;
35.第一获取模块,配置为获取所述待显示图像的分辨率;
36.第二确定模块,配置为根据所述待显示图像的场景信息和分辨率,确定图像调节算法;
37.调节模块,配置为通过所述图像调节算法对所述待显示图像进行增强处理。
38.在一些实施例中,所述第二确定模块,还配置为根据所述待显示图像的场景信息、分辨率以及预设对应关系,确定所述图像调节算法;其中,所述预设对应关系中包括不同场景和分辨率的组合,与不同图像调节算法之间的映射。
39.在一些实施例中,所述预设对应关系中的分辨率包括分辨率等级,所述装置还包括:
40.比较模块,配置为将所述待显示图像的分辨率与预设分辨率阈值进行比较,获得比较结果;
41.第三确定模块,配置为根据所述比较结果确定所述待显示图像的分辨率等级;
42.所述第二确定模块,还配置为根据所述待显示图像的场景信息、分辨率等级以及所述预设对应关系,确定所述图像调节算法。
43.在一些实施例中,所述第一确定模块,还配置为将所述待显示图像输入预定的场景识别网络模型,获得所述待显示图像的所述场景信息。
44.在一些实施例中,所述第一确定模块,还配置为确定所述待显示图像中的感兴趣区域;将所述感兴趣区域的场景信息确定为所述待显示图像的场景信息。
45.根据本公开实施例的第四方面,提供一种视频处理装置,包括:
46.第二获取模块,配置为获取待显示视频;其中,所述待显示视频中包括多帧待显示图像;
47.对所述多帧待显示图像中的每帧待显示图像,通过所述权利要求9至13中任一项的图像处理装置执行方法。
48.在一些实施例中,所述装置还包括:
49.第四确定模块,配置为从所述待显示视频的各待显示图像中确定出目标帧图像;其中,所述目标帧图像为所述多帧待显示图像中的部分图像;根据所述目标帧图像,确定所述待显示视频中各待显示图像对应的场景信息。
50.在一些实施例中,所述第四确定模块,还配置为将所述待显示视频的各待显示图像按预定间隔帧数进行选取,确定出所述目标帧图像;将所述目标帧图像对应的场景中,识别结果置信度最高的场景或者数量最多的同一场景,作为所述待显示视频的各待显示图像对应的所述场景信息。
51.根据本公开实施例的第五方面,提供一种终端,包括:
52.处理器;
53.用于存储处理器可执行指令的存储器;
54.其中,所述处理器被配置为执行如上述第一方面中所述的图像处理方法,或第二方面中所述的视频处理方法。
55.根据本公开实施例的第四方面,提供一种存储介质,包括:
56.当所述存储介质中的指令由终端的处理器执行时,使得终端能够执行如上述第一方面中所述的图像处理方法,或第二方面中所述的视频处理方法。
57.本公开的实施例提供的技术方案可以包括以下有益效果:
58.可以理解的是,在本公开的实施例中,结合待显示图像的分辨率和场景信息确定图像调节算法来对图像进行增强处理,相对于针对所有图像均采用同一套增强算法的方式,或者单一根据分辨率或场景进行增强的方式,本公开的处理方式更加灵活且更精细,能减少采用同一算法针对所有图像进行增强,或仅针对如分辨率进行增强而引起画质变差的情况发生。本公开将分辨率和场景相结合确定对应的图像调节算法进行调节的方式,是一种更加精准、细致的调节方式,能获得更理想的增强效果,因而可提升用户使用体验。
59.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
60.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
61.图1是本公开实施例示出的一种图像处理方法流程图。
62.图2是本公开实施例示出的一种视频处理方法流程图。
63.图3为本公开实施例示出的一种视频处理方法流程实例图一。
64.图4为本公开实施例示出的一种视频处理方法流程实例图二。
65.图5为本公开实施例示出的一种视频处理方法流程实例图三。
66.图6是根据一示例性实施例示出的一种图像处理装置图。
67.图7是本公开实施例示出的一种终端的框图。
具体实施方式
68.这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
69.图1是本公开实施例示出的一种图像处理方法流程图,如图1所示,应用于终端中的图像处理方法包括以下步骤:
70.s11、确定待显示图像中显示内容对应的场景信息;
71.s12、获取所述待显示图像的分辨率;
72.s13、根据所述待显示图像的场景信息、分辨率确定图像调节算法;
73.s14、通过所述图像调节算法对所述待显示图像进行增强处理。
74.在本公开的实施例中,终端设备包括:移动设备和固定设备;所述移动设备包括:手机、平板电脑或可穿戴式设备等,所述固定设备包括但不限于车载设备等。
75.待显示图像可以是存储于终端中的图像,也可以是终端接收的其他设备发送的图像,例如,终端设备通过无线通信协议接收其他电子设备发送的图像,所述无线通信协议包括:蓝牙协议、紫蜂(zigbee)协议或者wi-fi协议等。在步骤s11中,终端设备会确定待显示图像中显示内容对应的场景信息,其中,场景信息为以下场景之一:人像、植物或天空等,例如,还可以是动物、雪景或其他场景等。
76.人眼对不同场景的显示画面的视觉关注点会有所不同,例如,对于人像场景,人眼更关注的是人像本身,而忽略人像以外的部分;对于绿色植物或蓝天,人眼可能更关注植物或天空的色彩。
77.本公开在确定待显示图像中显示内容对应的场景信息时,一种方式是对待显示图像进行特征提取,确定提取的特征是否符合预定场景下的规则来确定场景。上述特征提取可以是颜色特征、边缘特征等。
78.例如,对于蓝天场景,主要是蓝色调,可能没有较为明显的边缘特征;而对于绿色植物场景,主要是绿色色调,边缘多是较短的弧线等。
79.在本公开的另一种实施例,步骤s11包括:
80.将所述待显示图像输入预定的场景识别网络模型,获得所述待显示图像的所述场景信息。
81.在本公开实施例中,结合预定的场景识别网络模型来获得待显示图像的场景信息。例如,该预定的场景识别网络模型是基于深度学习网络而训练得到的模型。例如,深度学习网络是alexnet,mobilenet,残差网络resnet等等。
82.具体的,在基于深度学习网络训练获得场景识别网络模型时,可构建不同场景分类对应的图像集,例如包括人像,食物,动物,天空,植物等场景分别对应的图像集。然后将图像集分为训练集和验证集两个部分,其中训练集包含的图像数目远大于验证集的图像数目。利用训练集对所选定的深度学习网络进行训练。在训练完毕后,利用验证集验证模型的
场景识别准确性,如果模型的识别准确性满足预设的准确性要求,则场景识别网络模型训练完毕。需要说明的是,本公开对场景识别网络模型支持场景分类的个数不做限定。
83.基于训练好的场景识别网络模型,终端将待显示图像输入该模型中,通过模型的计算,输出该待显示图像的场景信息。例如,场景识别网络模型的输出是一个字符和数字,字符表示场景标识,数字表示确定为该场景标识对应的场景的概率,概率值的范围是0到1。例如场景识别网络模型的输出为(person,0.92),表示当前待显示视频包含的场景信息是人像的概率是0.92。
84.需要说明的是,在本公开的实施例中,在将待显示图像输入预定的场景识别网络模型之前,还可对该待显示图像进行预处理,例如降低图像噪声、提升对比度等操作,以便提升场景识别的准确性。
85.在本公开的一种实施例中,步骤s11可包括:
86.确定所述待显示图像中的感兴趣区域;
87.将所述感兴趣区域的场景信息确定为所述待显示图像的场景信息。
88.在该实施例中,在确定待显示图像的场景信息时,可以先确定感兴趣区域,感兴趣区域通常是指人眼感兴趣的区域。例如,在本公开实施例中,感兴趣区域可以是以预设的待显示图像的中心为中心而框选的局部区域,此外,感兴趣区域还可以是基于显著性检测算法而确定局部区域。本公开对感兴趣区域的确定方式不做具体限制。
89.本公开在确定出感兴趣区域后,即可根据感兴趣区域部分的图像内容来确定场景信息,如根据前述的特征提取的方式或者模型识别的方式。可以理解的是,通过该种方式,能减少计算量,且能提升场景识别的准确性,从而进一步使得确定的图像调节算法能更适合待显示图像。
90.在步骤s12中,终端设备还会确定待显示图像的分辨率。其中,待显示图像的分辨率,是用于度量图像中数据量多少的一个参数,可以通过宽(w)*高(h)的形式表示,其中,w是指图像在横向上的有效像素,h是指图像在纵向上的有效像素。图像的分辨率表征的是图像的清晰度,分辨率越高,图像越清晰。图像的分辨率可以是图像本身的属性,终端设备在接收到指定的待显示图像之后,即可在显示之前读取该图像的分辨率属性。
91.在步骤s13中,终端设备根据待显示图像的场景信息、分辨率,确定待显示图像对应的图像调节算法。
92.在本公开的一种实施例中,图像调节算法包括以下至少之一:
93.对比度调节算法;
94.饱和度调节算法;
95.锐化度调节算法。
96.其中,对比度调节算法,例如可以是基于直方图均衡化、直方图匹配以及自适应对比增强等相关算法对图像进行处理。
97.饱和度调节算法,例如可以通过将图像的像素rgb值转换到hsl色彩模式得到饱和度s(saturation),通过调整s的值调节饱和度的大小。再将调整后的图像从hsl色彩模式转换到rgb色彩模式用于显示。
98.锐化度调节算法,可以是使用一些边缘平滑算法来降低图像的锐化度,例如低通高斯滤波器,低通巴特沃斯滤波器等频率域图像平滑算法,或者低通卷积滤波器,中值滤波
等空间域图像平滑算法。还可以是使用一些边缘锐化算法来提升图像的锐化度,例如梯度锐化,拉普拉斯算子,sobel算子等等。
99.图像调节算法还可包括噪声调节等其他图像处理算法,本公开实施例不做限制。需要说明的是,在本公开的实施例中,图像调节算法的调节并不限定于对对比度、饱和度或锐化度等的增强,还包括降低对比度、饱和度或锐化度等。且,不同图像调节算法之间,可以有部分相同种类的图像处理算法,也可以是包括完全不同的图像处理算法。
100.在本公开的一种实施例中,步骤s13包括:确定待显示图像的场景识别的置信度是否大于预设置信度阈值;若置信度大于阈值,分配根据待显示图像的场景信息对应的图像调节算法更多的权重,而分辨率的对应的图像调节算法权重更低,从而得到图像调节算法。场景识别的置信度较高,说明确定的待显示图像的场景信息比较可靠。
101.例如,蓝天、白云、绿色植物场景下,人眼更关注于画面的色彩饱和度、对比度等,因而确定的图像调节算法可包括对比度增强和饱和度增强,而若分辨率对应的图像调节算法包括饱和度降低以及锐化度提升,则可以忽略将饱和度降低的图像处理算法。
102.同理,若场景识别的置信度小于预设置信度阈值,说明场景信息的识别可能不太准,此时,分配根据待显示图像的场景信息对应的图像调节算法更低的权重,而分辨率的对应的图像调节算法权重更多。
103.在本公开的另一种实施例中,步骤s13包括:
104.根据所述待显示图像的场景信息、分辨率以及预设对应关系,确定所述图像调节算法;其中,所述预设对应关系中包括不同场景和分辨率的组合,与不同图像调节算法之间的映射。
105.在该实施例中,由于预设对应关系中,存储的是不同场景和分辨率的组合与图像调节算法之间的映射,不同场景和分辨率的组合可能对应不同的图像调节算法,因而本公开根据当前待显示图像的场景特点和分辨率特点,基于预设对应关系可针对性的确定图像调节算法。
106.需要说明的是,在本公开的实施例中,任意二个组合中,只要场景或分辨率中至少之一不同,则就属于不同的组合。此外,图像调节算法,可以是研发人员基于场景和分辨率的特点,预设的适应该场景和分辨率的至少一种图像处理算法。本公开实施例中,不同的图像调节算法,可以封装成相应的程序模块。
107.此外,在本公开的实施例中,预设对应关系中的分辨率例如可以是具体的分辨率值,如1024*768;还可以是分辨率等级。在创建预设对应关系时,例如可针对不同的场景,通过同一分辨率阈值确定对应的分辨率等级,当然,不同的场景也可使用不同的分辨率阈值来确定对应的分辨率等级,分辨率等级至少包括二级。
108.在一种实施例中,所述预设对应关系中的分辨率包括分辨率等级,所述方法还包括:
109.将所述待显示图像的分辨率与预设分辨率阈值进行比较,获得比较结果;
110.根据所述比较结果确定所述待显示图像的分辨率等级;
111.所述根据所述待显示图像的场景信息、分辨率以及预设对应关系,确定所述图像调节算法,包括:
112.根据所述待显示图像的场景信息、分辨率等级以及所述预设对应关系,确定所述
图像调节算法。
113.例如,本公开可先将待显示图像的分辨率与不区分场景的预设分辨率阈值进行比较,确定分辨率等级后,在再预设对应关系中确定场景和分辨率等级对应的图像调节算法。再或者,先根据场景信息对应的预设分辨率阈值,确定分辨率等级后,在再预设对应关系中确定场景和分辨率等级对应的图像调节算法。
114.在本公开的实施例中,预设对应关系例如包括:高分辨率的建筑场景,对应的图像调节算法包括对比度和锐化度增强;高分辨率的人像场景,对应的图像调节算法包括色彩饱和度增强,而对比度和锐化度降低。若对于高分辨率的人像场景,仍增加图像的对比度和锐化度,则可能会将皮肤缺陷体现得更为明显,产生负面的效果。
115.预设对应关系例如还包括:低分辨率的绿色植物场景,对应的图像调节算法包括对比度和锐化度降低,以及提升绿色的饱和度;而高分辨率的绿色植物场景,对应的视频调节算法包括提升对比度和锐化度,且提升绿色的饱和度。对于低分辨率的图像,由于其噪声较大,有效像素较少,因而可以降低对比度和锐化度使噪声情况不会进一步劣化。若采用与高分辨图像同样的方式,则可能将噪声放大。
116.在步骤s14中,基于在步骤s13中针对当前待显示图像对应的场景信息和分辨率确定图像调节算法之后,即可通过图像调节算法对待显示图像进行增强处理。
117.例如,对于高分辨率的建筑场景,通过增加对比度和锐化度来突出建筑物的细节;对于高分辨率的人像场景,可通过增强色彩饱和度并降低对比度和锐化度来弱化皮肤缺陷,进而提升显示效果;对于低分辨率的绿色植物场景,通过噪声去除以及提升绿色的饱和度来提升视觉效果;对于高分辨率的绿色植物场景,通过对比度、锐化度和饱和度的提升以整体提升视觉效果。
118.在对待显示图像进行增强处理之后,即可将增强后的图像存储或者在终端显示。
119.可以理解的是,在本公开的实施例中,结合待显示图像的分辨率和场景信息确定图像调节算法来对图像进行增强处理,相对于针对所有图像均采用同一套增强算法的方式,或者单一根据分辨率或场景进行增强的方式,本公开的处理方式更加灵活且更精细,能减少采用同一算法针对所有图像进行增强,或仅针对如分辨率进行增强而引起画质变差的情况发生。本公开将分辨率和场景相结合确定对应的图像调节算法进行调节的方式,是一种更加精准、细致的调节方式,能获得更理想的增强效果,因而可提升用户使用体验。
120.若本公开的图像处理方法应用于视频中,则可以对显示视频的每帧图像都执行前述的图像处理方法。
121.示例性的,图2是本公开实施例示出的一种视频处理方法流程图,如图2所示,应用于终端中的视频处理方法包括以下步骤:
122.s10、获取待显示视频;其中,所述待显示视频中包括多帧待显示图像;
123.s11a、确定各帧待显示图像中显示内容对应的场景信息;
124.s12a、获取各帧待显示图像的分辨率;
125.s13a、根据各帧待显示图像的场景信息和分辨率,确定各帧待显示图像对应的调节算法;
126.s14a、基于各帧待显示图像对应的调节算法对各帧待显示图像进行增强处理。
127.在本公开的实施例中,待显示视频可以是存储于终端本地的视频,也可以是终端
从云端服务器在线获取的视频,例如,待显示视频可以是终端设备通过安装的视频播放软件下载的视频。待显示视频还可以是终端设备从其他电子设备获取的视频。
128.一般的视频文件都由视频流和音频流两部分组成,播放视频文件需要先从文件流中分离出音频流和视频流,分别对其进行解码,解码后的视频帧可以直接渲染,其中,每个视频帧为视频对应的每一帧图像。音频帧可以送到音频输出设备的缓冲区进行播放。视频播放时,视频渲染和音频播放基于时间戳同步播放。
129.在该实施例中,待显示视频中不同帧的待显示图像根据场景识别结果和分辨率,确定了各自对应的图像调节算法,而不是待显示图像根据场景和分辨率统一使用一个图像调节算法。可以理解的是,通过该种方式,能够提供更加精准、细致的调节。
130.在一种实施例中,所述方法还包括:
131.从所述待显示视频的各待显示图像中确定出目标帧图像;其中,所述目标帧图像为所述多帧待显示图像中的部分图像;
132.根据所述目标帧图像,确定所述待显示视频中各待显示图像对应的场景信息。
133.在该实施例中,从待显示视频的各待显示图像中先确定出部分目标帧图像,例如,该目标帧图像是指定的第20帧图像,由于目标帧图像为待显示图像中的部分图像,因而根据目标帧图像确定各待显示图像对应的场景信息,能减少计算量,提升视频处理速度。
134.在一种实施例中,所述从所述待显示视频的各待显示图像中确定出目标帧图像,包括
135.将所述待显示视频的各待显示图像按预定间隔帧数进行选取,确定出所述目标帧图像;
136.所述根据所述目标帧图像,确定所述待显示视频的各待显示图像对应的场景信息,包括:
137.将所述目标帧图像对应的场景中,识别结果置信度最高的场景或者数量最多的同一场景,作为所述待显示视频的各待显示图像对应的所述场景信息。
138.本公开考虑到相邻的视频帧包含的场景信息可能是相似的,因而可以按预定间隔帧数选取目标帧图像,进而根据目标帧图像确定待显示视频中各待显示图像对应的场景信息。例如选取第1待显示帧,第1 n(n大于1)待显示帧,以此类推,依次输入预定的场景识别网络模型或者基于特征提取的方式识别各目标帧对应的场景。
139.在各目标帧图像对应的场景识别结果中,本公开选取识别结果置信度最高的场景或者数量最多的同一场景,作为待显示视频中所有待显示图像对应的场景信息。因识别结果置信度最高的场景,表征的是待显示视频最可能的场景分类,而数量最多的同一场景,表征的是待显示视频中较为集中的场景。因而本公开选取识别结果置信度最高的场景或者数量最多的同一场景作为待显示视频对应的场景信息,更能体现待显示视频的场景特点,更具有代表性,使得能获得更好的增强处理效果。
140.本公开在对待显示视频进行增强处理之后,即可进入播放流程,从而在终端设备的显示屏播放增强后的视频,获得视频显示的超清视效。
141.可以理解的是,在播放视频之前,不仅考虑待显示视频的分辨率,还考虑待显示视频对应的场景信息,相对于针对所有不同的视频均采用同一套视频增强算法的方式,或者单一根据分辨率或场景进行增强的方式,本公开的处理方式更加灵活且更精细,能减少采
用同一算法针对所有视频进行增强,或仅针对如分辨率进行增强而引起画质变差的情况发生。本公开将分辨率和场景相结合确定对应的目标视频调节算法进行调节的方式,是一种更加精准、细致的调节方式,能获得更理想的增强效果,因而可提升用户使用体验。在本公开的实施例中,还可以是响应于检测到开启视频增强功能的开关的操作,确定所述待显示视频中各待显示图像或目标帧图像对应的场景信息。
142.在该实施例中,终端设备在播放视频前,例如,终端设备检测到支持视频播放功能的应用开启,或者检测到进入到视频浏览的网站,则会在显示屏上显示用于开启或关闭视频增强功能的开关。当终端检测到开启该开关的视频增强功能的操作后,则触发确定待显示视频中待显示图像对应的场景信息。
143.可以理解的是,本公开通过设置视频增强开关的方式,由用户决定是否开启视频增强功能,更具有智能性,能提升用户使用体验。
144.在本公开的实施例中,可以对所述待显示视频进行解码,从待显示视频的解码数据中,获取待显示视频的分辨率,待显示视频中各待显示图像的分辨率相同。
145.由于在解码后的视频数据中,具有对应存储分辨率的数据部分,因此,终端设备可以从待显示视频的解码后的数据中,获取到分辨率对应的数据部分,再从分辨率对应的数据部分获取待显示视频的分辨率。
146.在本公开的另一种实施例中,终端设备还可在视频播放过程中检测分辨率切换的操作,并获得切换后的分辨率,因而可根据切换后的分辨率,调整未播放的帧图像对应的图像调节算法,从而基于调整后的图像调节算法对待显示视频中未播放的帧图像进行增强处理。
147.可以理解的是,本公开在视频播放过程中也可即时确定当前的分辨率,并即时调整图像调节算法,具有灵活性,能即时提升用户使用体验。
148.图3为本公开实施例示出的一种视频处理方法流程实例图一,如图3所示,包括如下步骤:
149.s21、获取待显示视频的场景信息。
150.s22、获取待显示视频的分辨率。
151.s23、根据不同视频场景和分辨率与显示增益效果的对应关系,获取所述待显示视频在该分辨率与场景下所对应的显示增益效果。
152.其中,不同视频场景和分辨率与显示增益效果的对应关系,即本公开中的预设对应关系。显示增益效果即本公开的视频调节算法,待显示视频在该分辨率与场景下所对应的显示增益效果,即待显示视频对应的目标视频调节算法。
153.s24、通过所述显示增益效果对所述待显示视频进行增强优化。
154.图4为本公开实施例示出的一种视频处理方法流程实例图二,如图4所示,包括如下步骤:
155.s31、检测浏览视频的操作。
156.在该实施李中,检测浏览视频的操作,例如是终端设备检测到支持视频播放功能的应用开启,或者检测到进入到视频浏览的网站。
157.s32、检测开启视频增强功能的开关的操作。
158.s33、获取当前所显示视频的视频帧。
159.在该实施例中,获取当前所显示视频的视频帧,即解码获取待显示视频的视频数据。
160.s34、预处理所显示视频的视频帧。
161.在该实施例中,预处理包括去噪处理等,以提升场景识别的识别准确率。
162.s35、利用场景识别模型获取视频场景。
163.在该实施例中,场景识别模型为本公开实施例的场景识别网络模型。
164.s36、获取当前所显示视频的分辨率;
165.s37、根据视频场景和分辨率选择对应的显示增益效果;
166.s38、输出带有显示增益效果的视频。
167.图5为本公开实施例示出的一种视频处理方法流程实例图三,如图5所示,包括如下步骤:
168.s41、获取待显示视频。
169.s42、判断待显示视频的场景分类。
170.s43a、若为分类1,获取待显示视屏的分辨率。
171.例如,分类1是建筑为场景。
172.s43b、若为分类2,获取待显示视频的分辨率。
173.例如,分类2是人像场景。
174.s44a、若为分类1,判断分辨率是否低于第一阈值;若是,执行步骤s45a,若否,执行步骤s45b。
175.s44b、若为分类2,判断分辨率是否低于第二阈值;若是,执行步骤s45c,若否,执行步骤s45d。
176.在该实施例中,第一阈值和第二阈值可相同,也可以不同。
177.s45a、色彩饱和度提升,对比度和锐化度降低。
178.s45b、色彩饱和度提升,锐化度提升。
179.s45c、色彩饱和度提升,锐化度降低。
180.s45d、色彩饱和度提升,锐化度提升,对比度提升。
181.s46、对待显示视频进行增强处理。
182.可以理解的是,在本公开的实施例中,在播放视频之前,不仅考虑待显示视频的分辨率,还考虑待显示视频对应的场景信息,将分辨率和场景相结合确定对应的目标视频调节算法进行调节的方式,是一种更加精准、细致的调节方式,能获得更理想的增强效果,因而可提升用户使用体验。
183.图6是根据一示例性实施例示出的一种图像处理装置图。参照图6,所述装置包括:
184.第一确定模块101,配置为确定待显示图像中显示内容对应的场景信息;
185.第一获取模块102,配置为获取所述待显示图像的分辨率;
186.第二确定模块103,配置为根据所述待显示图像的场景信息和分辨率,确定图像调节算法;
187.调节模块104,配置为通过所述图像调节算法对所述待显示图像进行增强处理。
188.在一些实施例中,所述第二确定模块102,还配置为根据所述待显示图像的场景信息、分辨率以及预设对应关系,确定所述图像调节算法;其中,所述预设对应关系中包括不
同场景和分辨率的组合,与不同图像调节算法之间的映射。
189.在一些实施例中,所述预设对应关系中的分辨率包括分辨率等级,所述装置还包括:
190.比较模块105,配置为将所述待显示图像的分辨率与预设分辨率阈值进行比较,获得比较结果;
191.第三确定模块106,配置为根据所述比较结果确定所述待显示图像的分辨率等级;
192.所述第二确定模块103,还配置为根据所述待显示图像的场景信息、分辨率等级以及所述预设对应关系,确定所述图像调节算法。
193.在一些实施例中,所述第一确定模块101,还配置为将所述待显示图像输入预定的场景识别网络模型,获得所述待显示图像的所述场景信息。
194.在一些实施例中,所述第一确定模块101,还配置为确定所述待显示图像中的感兴趣区域;将所述感兴趣区域的场景信息确定为所述待显示图像的场景信息。
195.本公开还提供一种视频处理装置,包括:
196.第二获取模块201,配置为获取待显示视频;其中,所述待显示视频中包括多帧待显示图像;
197.对所述多帧待显示图像中的每帧待显示图像,通过前述图像处理装置执行方法。
198.在一些实施例中,所述装置还包括:
199.第四确定模块202,配置为从所述待显示视频的各待显示图像中确定出目标帧图像;其中,所述目标帧图像为所述多帧待显示图像中的部分图像;根据所述目标帧图像,确定所述待显示视频中各待显示图像对应的场景信息。
200.在一些实施例中,所述第四确定模块202,还配置为将所述待显示视频的各待显示图像按预定间隔帧数进行选取,确定出所述目标帧图像;将所述目标帧图像对应的场景中,识别结果置信度最高的场景或者数量最多的同一场景,作为所述待显示视频的各待显示图像对应的所述场景信息。关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
201.图7是根据一示例性实施例示出的一种移动终端装置800的框图。例如,装置800可以是移动电话,移动电脑等。
202.参照图7,装置800可以包括以下一个或多个组件:处理组件802,存储器804,电源组件806,多媒体组件808,音频组件810,输入/输出(i/o)的接口812,传感器组件814,以及通信组件816。
203.处理组件802通常控制装置800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
204.存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(sram),电可擦除可编程只读存储器(eeprom),可擦除可编
程只读存储器(eprom),可编程只读存储器(prom),只读存储器(rom),磁存储器,快闪存储器,磁盘或光盘。
205.电源组件806为装置800的各种组件提供电力。电力组件806可以包括电源管理系统,一个或多个电源,及其他与为装置800生成、管理和分配电力相关联的组件。
206.多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
207.音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(mic),当装置800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
208.i/o接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
209.传感器组件814包括一个或多个传感器,用于为装置800提供各个方面的状态评估。例如,传感器组件814可以检测到设备800的打开/关闭状态,组件的相对定位,例如所述组件为装置800的显示器和小键盘,传感器组件814还可以检测装置800或装置800一个组件的位置改变,用户与装置800接触的存在或不存在,装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如cmos或ccd图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
210.通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络,如wi-fi,2g或3g,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(nfc)模块,以促进短程通信。例如,在nfc模块可基于射频识别(rfid)技术,红外数据协会(irda)技术,超宽带(uwb)技术,蓝牙(bt)技术和其他技术来实现。
211.在示例性实施例中,装置800可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
212.在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由装置800的处理器820执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘
和光数据存储设备等。
213.一种非临时性计算机可读存储介质,当所述存储介质中的指令由终端的处理器执行时,使得终端能够执行图像处理方法,所述方法包括:
214.确定待显示图像中显示内容对应的场景信息;
215.获取所述待显示图像的分辨率;
216.根据所述待显示图像的场景信息和分辨率,确定图像调节算法;
217.通过所述图像调节算法对所述待显示图像进行增强处理。
218.或者,使得终端能够执行视频处理方法,所述方法包括:
219.获取待显示视频;其中,所述待显示视频中包括多帧待显示图像;
220.对所述多帧待显示图像中的每帧待显示图像,执行如前述的图像处理方法。
221.本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
222.应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献