一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种图像处理方法、装置、电子设备和存储介质与流程

2022-02-20 14:04:31 来源:中国专利 TAG:


1.本公开涉及计算机技术领域,尤其涉及一种图像处理方法、装置、电子设备和存储介质。


背景技术:

2.车辆行驶过程中,车辆中的摄像设备拍摄的图像极易受到自然光和低光等光照的影响,准确的对图像中的光照进行识别是处理图像光照问题的重要前提。
3.但是,在光照环境下,拍摄设备拍摄的视频内容复杂,例如包括周围环境、道路和光照等内容,场景丰富,无法准确的识别出图像中的光照类型。
4.目前,利用现有技术对图像中的光照进行识别时,容易受到先验信息丰富度的影响,分类的准确度较低,从而导致应用该分类结果的相关功能受到限制。


技术实现要素:

5.为了解决上述技术问题或者至少部分地解决上述技术问题,本公开提供了一种图像处理方法、装置、电子设备和存储介质。
6.第一方面,本公开实施例提供了一种图像处理方法,包括:
7.获取目标图像;
8.通过预先训练的突变模型对目标图像进行处理,得到拍摄目标图像时感应到的光照对应的第一分类结果和目标突变值;
9.通过预先训练的神经网络模型对目标图像进行识别,得到光照对应的第二分类结果和光照为目标光的概率值;
10.根据第一分类结果、目标突变值、第二分类结果和概率值,确定光照的目标分类结果。
11.可选的,通过预先训练完成的突变模型对目标图像进行处理,得到拍摄目标图像时感应到的光照对应的第一分类结果和目标突变值,包括:
12.对目标图像进行灰度处理,并根据灰度处理结果确定拍摄目标图像时感应到的光照对应的第三分类结果;
13.根据第三分类结果,将目标图像划分为光源候选区域和反射候选区域;
14.计算光源候选区域的第一突变值,并根据第一突变值确定光源候选区域中的光源子区域;
15.根据光源子区域和反射候选区域,得到光照对应的第一分类结果和目标突变值。
16.可选的,灰度处理结果包括目标图像的灰度均值;
17.根据灰度处理结果确定拍摄目标图像时感应到的光照对应的第三分类结果,包括:
18.根据目标图像的灰度均值和第一预设阈值,确定拍摄目标图像时感应到的光照对应的第三分类结果。
19.可选的,根据目标图像的灰度均值和第一预设阈值,确定拍摄目标图像时感应到的光照对应的第三分类结果,包括:
20.若目标图像的灰度均值大于第一预设阈值,则确定第三分类结果为自然光;
21.若目标图像的灰度均值小于或等于第一预设阈值,则确定第三分类结果为低光。
22.可选的,计算光源候选区域的第一突变值,并根据第一突变值确定光源候选区域中的光源子区域,包括:
23.将光源候选区域划分为多个第一子区域;
24.计算多个第一子区域中每个第一子区域的灰度均值;
25.根据每个第一子区域的灰度均值和每个第一子区域在目标图像中的位置信息,计算每个第一子区域对应的第一突变值;
26.将多个第一子区域中第一突变值大于第二预设阈值的第一子区域作为光源子区域。
27.可选的,根据光源子区域和反射候选区域,得到光照对应的第一分类结果和目标突变值,包括:
28.将反射候选区域划分为多个第二子区域;
29.根据多个第二子区域和光源子区域,计算第二突变值;
30.根据第二突变值和第三预设阈值,确定光照对应的第一分类结果和目标突变值。
31.可选的,根据多个第二子区域和光源子区域,计算第二突变值,包括:
32.根据光源子区域在目标图像中的位置信息,确定多个第二子区域中每个第二子区域在目标图像中的位置信息;
33.根据每个第二子区域在目标图像中的位置信息,计算每个第二子区域的灰度均值,并基于每个第二子区域的灰度均值,计算第二突变值。
34.可选的,目标突变值为第二突变值;
35.根据第二突变值和第三预设阈值,确定光照对应的第一分类结果,包括:
36.若第三分类结果为自然光,且第二突变值小于或等于第三预设阈值,则确定光照对应的第一分类结果为自然光;
37.若第三分类结果为自然光,且第二突变值大于第三预设阈值,则确定光照对应的第一分类结果为逆光;
38.若第三分类结果为低光,且第二突变值小于或等于第三预设阈值,则确定光照对应的第一分类结果为低光;
39.若第三分类结果为低光,且第二突变值大于第三预设阈值,则确定光照对应的第一分类结果为灯光。
40.可选的,根据第一分类结果、目标突变值、第二分类结果和概率值,确定光照的目标分类结果,包括:
41.计算第一分类结果对应的目标突变值和第一分类结果对应的概率值的和值;
42.若第二分类结果中除第一分类结果之外的其他分类结果对应的概率值大于和值,则将概率值最大的其他分类结果作为光照的目标分类结果;
43.若第二分类结果中除第一分类结果之外的其他分类结果对应的概率值小于和值,则将第一分类结果作为光照的目标分类结果。
44.第二方面,本公开实施例提供了图像处理装置,包括:
45.获取单元,用于获取目标图像;
46.第一识别单元,用于通过预先训练的突变模型对目标图像进行处理,得到拍摄目标图像时感应到的光照对应的第一分类结果和目标突变值;
47.第二识别单元,用于通过预先训练的神经网络模型对目标图像进行识别,得到光照对应的第二分类结果和光照为目标光的概率值;
48.确定单元,用于根据第一分类结果、目标突变值、第二分类结果和概率值,确定光照的分类结果。
49.第三方面,本公开实施例提供了电子设备,包括:
50.存储器;
51.处理器;以及
52.计算机程序;
53.其中,计算机程序存储在存储器中,并被配置为由处理器执行以实现如上述的图像处理方法。
54.第四方面,本公开实施例提供了计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现如上述的图像处理方法的步骤。
55.本公开涉及一种图像处理方法、装置、电子设备和存储介质,图像处理方法包括:获取目标图像,通过预先构建的突变模型对目标图像的光照场景进行处理,得到摄像装置拍摄目标图像时感应到的光照对应的第一分类结果和突变值,同时预先训练完成的神经网络模型也对目标图像的光照进行识别,得到第二分类结果和目标光对应的概率值,随后根据两个模型的输出结果,确定目标图像中光照的分类结果。本公开是基于两个从不同角度构建的模型识别出目标图像中光照的分类结果,根据两个分类结果确定光照的类型,分类准确率比较高,也能准确的识别出复杂度较高的图像中的光照类型,便于后续基于分类结果进行处理。
附图说明
56.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
57.为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
58.图1为本公开实施例提供的一种应用场景的示意图;
59.图2为本公开实施例提供的一种图像处理方法的流程示意图;
60.图3为本公开实施例提供的一种图像处理方法的结构示意图;
61.图4为本公开实施例提供的一种图像处理方法的流程示意图;
62.图5为本公开实施例提供的一种图像处理方法的流程示意图;
63.图6为本公开实施例提供的一种图像处理方法的流程示意图;
64.图7为本公开实施例提供的一种图像处理方法的流程示意图;
65.图8为本公开实施例提供的一种图像处理装置的结构示意图;
66.图9为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
67.为了能够更清楚地理解本公开的上述目的、特征和优点,下面将对本公开的方案进行进一步描述。需要说明的是,在不冲突的情况下,本公开的实施例及实施例中的特征可以相互组合。
68.在下面的描述中阐述了很多具体细节以便于充分理解本公开,但本公开还可以采用其他不同于在此描述的方式来实施;显然,说明书中的实施例只是本公开的一部分实施例,而不是全部的实施例。
69.本公开实施例提供了一种图像处理方法,获取目标图像,基于在灰度突变角度构建的灰度模型对目标图像中的光照进行处理,得到第一分类结果和目标突变值,目标图像中的光照也就是拍摄设备拍摄目标图像时所感应到的光照,同时基于在深度学习角度构建的神经网络模型对目标图像中的光照进行识别,得到第二分类结果和光照为目标光的概率值,随后将两次分类结果相结合,得到光照的最终分类结果,分类准确率比较高,且适用于对复杂度较高的图像进行光照识别,同时便于后续基于光照的分类结果对图像进行处理。
70.具体的,图像处理方法可以由终端或服务器来执行。具体的,终端或服务器可以通过神经网络模型和突变模型分别对目标图像中的光照进行识别,根据两个识别结果确定目标图像中光照的分类结果。神经网络模型以及突变模型的训练方法的执行主体和图像处理方法的执行主体可以相同,也可以不同。
71.例如,在一种应用场景中,如图1所示,服务器12对神经网络模型和突变模型进行训练。终端11从服务器12获取训练完成的神经网络模型和突变模型,终端11通过该训练完成的神经网络模型和突变模型分别对目标图像中的光照类型进行识别,根据两个识别结果确定目标图像中光照的类型。该目标图像可以是终端11拍摄获得的。或者,该目标图像是终端11从其他设备中获取的。再或者,该目标图像是终端11对预设图像进行图像处理后得到的图像,该预设图像可以是终端11拍摄获得的,或者该预设图像可以是终端11从其他设备中获取的。此处,并不对其他设备做具体限定。
72.在另一种应用场景中,服务器12对神经网络模型和突变模型进行训练。进一步,服务器12通过训练完成的神经网络模型和突变模型分别对目标图像中光照的类型进行识别,根据两个识别结果确定目标图像中光照的类型。服务器12获取目标图像的方式可以类似于如上的终端11获取目标图像的方式,此处不再赘述。
73.在又一种应用场景中,终端11对神经网络模型和突变模型进行训练。进一步,终端11通过训练完成的神经网络模型和突变模型分别对目标图像中光照的类型进行识别,根据两个识别结果确定目标图像中光照的类型。可以理解的是,本公开的应用场景不限于上述几种可能。
74.下面以服务器12训练神经网络模型和突变模型,并确定目标图像的光照场景为例,通过下述一个或多个实施例介绍一种图像处理方法。可以理解的是,该图像处理方法同样适用于终端11的应用场景中。
75.图2为本公开实施例提供的一种图像处理方法的流程示意图,应用于服务器,具体包括如图2所示的如下步骤s210至s240:
76.s210、获取目标图像。
77.可理解的,服务器获取目标图像,目标图像可以是车辆上安装的拍摄设备所拍摄的视频生成的,或是其他拍摄设备生成传输至服务器的。可理解的是,拍摄设备是利用光的直线传播性质和光的折射与反射规律,以光子为载体,把某一瞬间的被摄景物的光信息量,以能量的方式经拍摄镜头传递给感光材料,生成可视的影像。车辆上安装的拍摄设备可以理解为是在感应到光照的情况下拍摄的目标图像,生成的目标图像中会存在光照的相关信息。
78.可选的,获取目标图像的步骤具体包括:获取拍摄设备录制的视频数据;按照预设抽帧频率对视频数据进行抽帧处理,以确定目标图像。
79.可理解的,可以直接获取车辆上安装的拍摄设备所录制的视频数据,并按照预设抽帧频率对视频数据进行抽帧处理,将抽帧后的图像作为目标图像,随后可以通过本公开提供的图像处理方法识别抽帧后得到的每帧图像中光照的类型,进而确定该视频数据中光照的类型,也就是该摄像设备感应到的光照的类型,或是该拍摄设备在哪种光照场景下拍摄的视频数据。其中,可以对视频数据以5秒抽取一帧数据,生成目标图像,抽帧频率可以设置为0.2。
80.可理解的,对视频数据进行抽帧的公式如下述公式(1)所示。
81.[i1,i2,...,in]=f(video,fps,resize(weight,height))
ꢀꢀꢀꢀ
(1)
[0082]
其中,[i1,i2,...,in]为抽帧后的目标图像,video表示视频数据,fps为抽帧频率,resize(weight,height)为设置抽帧后的目标图像的大小。
[0083]
s220、通过预先训练的突变模型对目标图像进行处理,得到拍摄目标图像时感应到的光照对应的第一分类结果和目标突变值。
[0084]
可理解的,在上述s210的基础上,通过预先训练完成的突变模型对目标图像进行处理和分类,得到上述拍摄设备在拍摄目标图像时,拍摄设备感应到的光照所对应的第一分类结果和目标突变值,第一分类结果也就是目标图像中光照的类型,可以是低光、自然光、逆光和灯光中的一种,也就是突变模型只输出一种光照类型以及该光照类型对应的目标突变值。
[0085]
可理解的,突变模型的输出可以表示为如下公式(2)。
[0086]
φa(i)=(tag_a,a)
ꢀꢀꢀꢀꢀꢀꢀ
(2)
[0087]
其中,i表示目标图像的数据,φa(i)表示突变模型的输出,tag_a表示第一分类结果,a表示目标突变值。
[0088]
s230、通过预先训练的神经网络模型对目标图像进行识别,得到光照对应的第二分类结果和光照为目标光的概率值。
[0089]
可理解的,在上述s210的基础上,通过预先训练完成的神经网络模型对目标图像进行识别,得到目标图像中光照所对应的第二分类结果和光照为目标光的概率值;神经网络模型可以是基于卷积神经网络构建的,能够自动识别目标图像中光照类型的模型,训练样本图像可以是拍摄设备在不同光照场景下所拍摄的图像,具体的训练过程不作赘述;第二分类结果可以包括自然光、低光、逆光和灯光,光照为目标光的概率值是指光照分别为自然光、低光、逆光和灯光的概率值,也就是识别光照为上述4种类型的概率值,第二分类结果和相关概率值可以由神经网络模型直接输出,也就是神经网络模型会输出四种光照类型以
及每种光照类型对应的概率值。
[0090]
可理解的,神经网络模型的输出可以表示为如下公式(3)。
[0091]
φd(i)=(tag_d,ws)
ꢀꢀꢀꢀ
(3)
[0092]
其中,i表示目标图像的数据,φd(i)表示神经网络模型的输出,tag_d表示第二分类结果,ws表示目标光对应的概率值。
[0093]
s240、根据第一分类结果、目标突变值、第二分类结果和概率值,确定光照的目标分类结果。
[0094]
可理解的,在上述s220和s230的基础上,根据突变模型输出的第一分类结果和目标突变值以及神经网络模型输出的第二分类结果和概率值,确定目标图像中光照的最终分类结果。
[0095]
可选的,确定目标分类结果的具体步骤包括:计算第一分类结果对应的目标突变值和第一分类结果对应的概率值的和值;若第二分类结果中除第一分类结果之外的其他分类结果对应的概率值大于和值,则将概率值最大的其他分类结果作为光照的目标分类结果;若第二分类结果中除第一分类结果之外的其他分类结果对应的概率值小于和值,则将第一分类结果作为光照的目标分类结果。
[0096]
可理解的,首先计算第一分类结果对应的目标突变值和第一分类结果对应的概率值之间的和值,第一分类结果对应的概率值是指第二分类结果中和第一分类结果相同的分类结果所对应的概率值,例如,第一分类结果为低光,计算第二分类结果中低光对应的概率值和低光对应的目标突变值之间的和值。计算完和值后,判断第二分类结果中除了第一分类结果的其他分类结果对应的概率值是否大于和值,也就是判断计算完的和值和其他分类结果对应的概率值的大小,若是,则将概率值最大的其他分类结果作为光照的目标分类结果;若否,则将将第一分类结果作为光照的目标分类结果。
[0097]
可理解的,确定识别结果的公式如下公式(4)所示。
[0098][0099]
其中,g(i)表示识别结果,tag为目标分类结果,w表示和值和概率值之间的最大值,表示求和值以及最大值。
[0100]
示例性的,第一分类结果为低光,目标突变值为0.2,第二分类结果中低光的概率值为0.6、自然光的概率值为0.1、逆光的概率值为0.1、灯光的概率值为0.2,那么低光的和值为0.8,和值0.8要大于其他分类结果的概率值,确定第一分类结果低光为目标图像中光照的最终分类结果。
[0101]
可选的,将视频数据进行抽帧处理,得到多张目标图像;识别每个目标图像中光照的类型,得到目标分类结果和数值(概率值或和值);计算多张目标图像中相同分类结果所对应的数值之和,得到总和;若总和大于目标阈值,则将视频数据对应的光照类型确定为上述总和对应的分类结果。
[0102]
可理解的,确定该视频数据中光照类型的识别结果如下述公式(5)所示。
[0103][0104]
其中,videolight表示视频数据的识别结果,ii表示第i帧目标图像,g(ii)表示第i帧目标图像的识别结果,i的范围为(1,n-z),n为视频数据抽帧得到的目标图像的数量,z为
固定值。
[0105]
可理解的,参见图3,图3为本公开实施例提供的一种图像处理方法的结构示意图,获取拍摄设配拍摄的视频数据,将视频数据进行抽帧得到多个目标图像,将每个目标图像分别输入到突变模型和神经网络模型中,得到突变模型输出的第一分类结果和目标突变值,神经网络模型输出的第二分类结果和概率值,根据两个模型的输出结果确定目标图像的目标分类结果和数值,该数值是指概率值或和值,最后根据多个目标图像的目标分类结果和数值,确定视频数据的分类结果。
[0106]
本公开实施例提供了一种图像处理方法,通过获取目标图像,基于在灰度突变角度构建的灰度模型对目标图像中的光照进行处理,得到第一分类结果和目标突变值,目标图像中的光照也就是拍摄设备拍摄目标图像时所感应到的光照,同时基于在深度学习角度构建的神经网络模型对目标图像中的光照进行分识别,得到第二分类结果和光照为目标光的概率值,随后将两次分类结果相结合,得到光照的分类结果,分类准确率比较高,且适用于对复杂度较高的图像进行光照识别,同时便于后续基于光照的分类结果对图像进行处理。
[0107]
在上述实施例的基础上,图4为本公开实施例提供的一种光照场景分类方法的流程示意图,可选的,通过预先训练的突变模型对目标图像进行处理,得到拍摄目标图像时感应到的光照对应的第一分类结果和目标突变值,具体包括如图4所示的如下步骤s410至s440:
[0108]
s410、对目标图像进行灰度处理,并根据灰度处理结果确定拍摄目标图像时感应到的光照对应的第三分类结果。
[0109]
可选的,灰度处理结果包括目标图像的灰度均值;根据目标图像的灰度均值和第一预设阈值,确定拍摄目标图像时感应到的光照对应的第三分类结果。
[0110]
可选的,根据目标图像的灰度均值和第一预设阈值确定光照对应的第三分类结果,具体包括:若目标图像的灰度均值大于第一预设阈值,则确定第三分类结果为自然光;若目标图像的灰度均值小于或等于第一预设阈值,则确定第三分类结果为低光。
[0111]
可理解的,对目标图像进行灰度化处理,得到灰度图像,随后计算灰度化后的目标图像的灰度均值以及灰度离散度,并根据灰度均值以及第一预设阈值,确定拍摄设备拍摄目标图像时拍摄设备感应到的光照对应的第三分类结果,第三分类结果包括自然光和低光,也就是根据灰度均值和第一预设阈值将光照进行初步分类。若目标图像的灰度均值大于第一预设阈值,则确定第三分类结果为自然光,也就是目标图像中的光照为自然光;若目标图像的灰度均值小于或等于第一预设阈值,则确定第三分类结果为低光,也就是目标图像中的光照为低光。其中,第一预设阈值可以根据实际需求自行确定。灰度离散度可以在后续确定第三分类结果后对分类结果进行辅助验证。
[0112]
可理解的,计算目标图像的灰度均值的公式如下述公式(6)所示。
[0113][0114]
其中,m表示目标图像的灰度均值,i表示灰度值,h(i)表示图像灰度化处理后灰度
值为i的像素数量,s表示目标图像的大小。
[0115]
s420、根据第三分类结果,将目标图像划分为光源候选区域和反射候选区域。
[0116]
可理解的,在上述s410的基础上,根据第三分类结果(自然光或低光),将目标图像划分为光源候选区域和反射候选区域,光源候选区域可以是目标图像的上半部分,也就是目标图像大小的一半,反射候选区域可以是图像的下半部分。
[0117]
s430、计算光源候选区域的第一突变值,并根据第一突变值确定光源候选区域中的光源子区域。
[0118]
可理解的,在上述s420的基础上,计算划分后的光源候选区域的第一突变值,并根据第一突变值确定光源候选区域中的光源子区域,光源子区域在光源候选区域中,也就是在光源候选区域中确定光源的位置,光源是指发出光照的源头,在目标图像中发出光照的源头以及距离光照源头近的区域在目标图像中亮度比较高。
[0119]
s440、根据光源子区域和反射候选区域,得到光照对应的第一分类结果和目标突变值。
[0120]
可理解的,在上述s430的基础上,根据确定的光源子区域和反射候选区域,得到目标图像中光照对应的第一分类结果和目标突变值,也就是确定光源的位置后,再结合光源反射候选区域,判断具体的光照类型。
[0121]
可理解的,在上述s410进行初步分类后,再对初步分类的结果继续分类,确定目标图像中光照的具体类型,例如s410确定的第三分类结果为自然光,后续s420至s440则继续判断第一分类结果是自然光还是逆光;若s410确定的第三分类结果为低光,后续s420至s440则继续判断第一分类结果是低光还是灯光。
[0122]
本公开实施例提供的一种图像处理方法,通过计算得到的目标图像的灰度均值,初步确定目标图像中光照的第三分类结果,随后根据第三分类结果对目标图像进行划分,得到光源候选区域和反射候选区域,随后根据光源候选区域确定光源子区域,根据光源子区域和反射候选区域确定第一分类结果。通过划分区域、确定光源子区域以及反射候选区域的方式,能够准确的确定目标图像中光照的类型,分类准确度比较高,且便于实施,还不需要进行大量的训练。
[0123]
在上述实施例的基础上,图5为本公开实施例提供的一种光照场景分类方法的流程示意图,可选的,计算光源候选区域的第一突变值,并根据第一突变值确定光源候选区域中的光源子区域,确定光源子区域具体包括如图5所示的如下步骤s510至s540:
[0124]
s510、将光源候选区域划分为多个第一子区域。
[0125]
可理解的,确定划分第一子区域的预设数量,也就是预先确定要将光源候选区域划分为多少个第一子区域,随后根据预设数量对光源候选区域进行划分,得到预先数量的第一子区域。
[0126]
s520、计算多个第一子区域中每个第一子区域的灰度均值。
[0127]
可理解的,在上述s510的基础上,计算预设数量的第一子区域中每个第一子区域的灰度均值,灰度均值的计算方式可以参见上述公式(6),在此不作赘述。
[0128]
s530、根据每个第一子区域的灰度均值和每个第一子区域在目标图像中的位置信息,计算每个第一子区域对应的第一突变值。
[0129]
可理解的,在上述s520的基础上,在划分多个第一子区域的同时,还需要记录每个
第一子区域光源候选区域中的位置信息,位置信息可以是该第一子区域在光源候选区域的行列信息。随后根据每个第一子区域的灰度均值和每个第一子区域在目标图像中的位置信息,计算每个第一子区域对应的第一突变值,也就是每个第一子区域均对应一个第一突变值。
[0130]
可理解的,计算第一子区域的第一突变值的具体公式如下述公式(7)所示。
[0131][0132]
其中,a
light
(x,y)表示第一子区域的第一突变值,m(x,y)表示第一子区域的灰度均值,m(i,j)表示与该第一子区域相邻的其他子区域的灰度均值,(x,y)表示第一子区域在光源候选区域中的位置。
[0133]
s540、将多个第一子区域中第一突变值大于第二预设阈值的第一子区域作为光源子区域。
[0134]
可理解的,在上述s530的基础上,将预设数量的第一子区域中第一突变值大于第二预设阈值的第一子区域作为光源子区域,也就是哪个第一子区域的第一突变值大于第二预设阈值,就将该第一子区域确定为光源子区域。第一突变值可以理解为在目标图像中的亮度值,亮度值越大的区域越有可能是光源子区域,光源发出的光可以称为光照;若存在多个第一突变值大于第二预设阈值,则将多个第一突变值中的最大值所对应的第一子区域作为光源子区域。
[0135]
本公开实施例提供的一种图像处理方法,将光源候选区域划分为多个第一子区域,计算每个第一子区域的灰度均值,根据第一子区域的灰度均值和第一子区域在目标图像中的位置信息,确定每个第一子区域对应的第一突变值,随后根据第一突变值和第二预设阈值确定光源子区域,也就是确定目标图像中光源的位置,准确的确定光源的位置,便于后续基于光源的位置确定目标图像中光照的类型。
[0136]
在上述实施例的基础上,图6为本公开实施例提供的一种光照场景分类方法的流程示意图,可选的,根据光源子区域和反射候选区域,得到光照对应的第一分类结果和目标突变值,具体包括如图6所示的如下步骤s610至s630:
[0137]
s610、将反射候选区域划分为多个第二子区域。
[0138]
可理解的,预先确定划分第二子区域的第一预设数量,根据第一预设数量将反射候选区域划分为第一预设数量的第二子区域。
[0139]
s620、根据多个第二子区域和光源子区域,计算第二突变值。
[0140]
可选的,计算第二突变值的具体步骤包括:根据光源子区域在目标图像中的位置信息,确定多个第二子区域中每个第二子区域在目标图像中的位置信息;根据每个第二子区域在目标图像中的位置信息,计算每个第二子区域的灰度均值,并基于每个第二子区域的灰度均值,计算第二突变值。
[0141]
可理解的,在上述s610的基础上,根据光源子区域在目标图像中的位置信息,确定多个第二子区域中每个第二子区域在目标图像中的位置信息,位置信息可以是光源子区域在目标图像的位置坐标,根据光源子区域的纵坐标和第一预设数量,确定每个第二子区域的纵坐标,也就是建立每个第二子区域的纵坐标和光源子区域的纵坐标之间的关联,便于后续确定光源的反射子区域。
[0142]
可理解的,确定每个第二子区域在目标图像中的位置信息后,根据第二子区域的位置信息和第一预设数量,计算每个第二子区域的灰度均值,并基于每个第二子区域的灰度均值,计算每个第二子区域的第二突变值,并将预设数量的第二突变值的最大值作为最终的第二突变值。
[0143]
可理解的,计算每个第二子区域的第二突变值的公式如公式(8)所示。
[0144][0145]
其中,q表示第q个第二子区域,y'为第二子区域的纵坐标,m(q,y')表示第二子区域的灰度均值,a
road
(q,y')表示第二子区域的第二突变值。
[0146]
s630、根据第二突变值和第三预设阈值,确定光照对应的第一分类结果和目标突变值。
[0147]
可选的,目标突变值为第二突变值;确定光照对应的第一分类结果的具体步骤包括:若第三分类结果为自然光,且第二突变值小于或等于第三预设阈值,则确定光照对应的第一分类结果为自然光;若第三分类结果为自然光,且第二突变值大于第三预设阈值,则确定光照对应的第一分类结果为逆光;若第三分类结果为低光,且第二突变值小于或等于第三预设阈值,则确定光照对应的第一分类结果为低光;若第三分类结果为低光,且第二突变值大于第三预设阈值,则确定照对应的第一分类结果为灯光。
[0148]
可理解的,目标突变值为第二突变值,该第二突变值是指与第三预设阈值进行比对时,确定第一分类结果时所对应的突变值。若根据目标图像的均值确定的第三分类结果为自然光,且s620计算的第二突变值小于或等于第三预设阈值,则确定目标图像中光照所对应的第一分类结果为自然光,也就是摄像设备拍摄目标图像时拍摄设备所感应到的光照为自然光;若第三分类结果为自然光,且第二突变值大于第三预设阈值,则确定光照对应的第一分类结果为逆光,此时大于第三预设阈值的第二突变值可以看作目标突变值,突变模型输出的结果就是第一分类结果(自然光)和目标突变值(第二突变值);若第三分类结果为低光,且第二突变值小于或等于第三预设阈值,则确定光照对应的第一分类结果为低光;若第三分类结果为低光,且第二突变值大于第三预设阈值,则确定光照对应的第一分类结果为灯光,此时,突变模型输出的结果就是第一分类结果(灯光)和目标突变值(第二突变值)。
[0149]
本公开实施例提供的一种图像处理方法,根据第一预设数量将反射候选区域划分为多个第二子区域,计算每个第二子区域的第二突变值,随后判断第二突变值和第三预设阈值的关系,确定光照对应的第一分类结果和目标突变值,在上述根据目标图像的灰度均值进行初步分类后,根据光源子区域和反射候选区域确定光照对应的第一分类结果和目标突变值,使得突变模型输出的准确率比较高,与神经网络模型的识别结果相结合时,可参考性也比较高。
[0150]
在上述实施例的基础上,图7为本公开实施例提供的一种图像处理方法,对突变模型进行说明,包括如图7所示的如下步骤s710至s792:
[0151]
s710、对目标图像进行灰度处理。
[0152]
可理解的,对目标图像进行灰度处理是将rgb值统一成一个灰度值,将彩色图像转变成灰度图像。
[0153]
s720、计算灰度处理后的目标图像的灰度均值。
[0154]
可理解的,具体可参见上述公式(6)计算灰度处理后的目标图像的灰度均值。
[0155]
s730、根据灰度均值确定光照对应的第三分类结果。
[0156]
可理解的,确定第三分类结果的方法见上述步骤,在此不作赘述。
[0157]
s740、按照第三分类结果划分光源候选区域和反射候选区域。
[0158]
可理解的,划分光源候选区域和反射候选区域的方法见上述步骤,在此不作赘述。
[0159]
s750、根据光源候选区域确定光源区域。
[0160]
可理解的,确定光源区域的方法见上述步骤,在此不作赘述。
[0161]
s760、根据光源位置和反射候选区域,计算第二突变值。
[0162]
可理解的,计算第二突变值的方法见上述步骤,在此不作赘述。
[0163]
s770、判断第三分类结果是否是自然光。
[0164]
可理解的,在上述s760的基础上,判断s730确定的第三分类结果是否是自然光,若是,则执行s780;若否,则执行s790。
[0165]
s780、判断第二突变值是否大于第三预设阈值。
[0166]
可理解的,在上述s770的基础上,判断第二突变值是否大于第三预设阈值,预设阈值为上述第三预设阈值;若是,则执行s781;若否,则执行s782。
[0167]
s781、确定第一分类结果为逆光。
[0168]
可理解的,在上述s780的基础上,若第二突变值大于第三预设阈值,则确定第一分类结果为逆光。
[0169]
s782、确定第一分类结果为自然光。
[0170]
可理解的,在上述s780的基础上,若第二突变值小于或等于第三预设阈值,则确定第一分类结果为自然光。
[0171]
s790、判断第二突变值是否大于第三预设阈值。
[0172]
可理解的,在上述s770的基础上,判断第二突变值是否大于第三预设阈值,预设阈值为上述第三预设阈值;若是,则执行s791;若否,则执行s792。
[0173]
s791、确定第一分类结果为灯光。
[0174]
可理解的,在上述s790的基础上,若第二突变值大于第三预设阈值,则确定第一分类结果为灯光。
[0175]
s792、确定第一分类结果为低光。
[0176]
可理解的,在上述s790的基础上,若第二突变值小于或等于第三预设阈值,则确定第一分类结果为低光。
[0177]
图8为本公开实施例提供的一种图像处理装置的结构示意图。本公开实施例提供的图像处理装置可以执行图像处理方法实施例提供的处理流程,如图8所示,图像处理装置800包括:
[0178]
获取单元810,用于获取目标图像;
[0179]
第一识别单元820,用于通过预先训练的突变模型对目标图像进行处理,得到拍摄目标图像时感应到的光照对应的第一分类结果和目标突变值;
[0180]
第二识别单元830,用于通过预先训练的神经网络模型对目标图像进行识别,得到光照对应的第二分类结果和光照为目标光的概率值;
[0181]
确定单元840,用于根据第一分类结果、目标突变值、第二分类结果和概率值,确定光照的分类结果。
[0182]
可选的,第一识别单元820中通过预先训练的突变模型对目标图像进行处理,得到拍摄目标图像时感应到的光照对应的第一分类结果和目标突变值,具体用于:
[0183]
对目标图像进行灰度处理,并根据灰度处理结果确定拍摄目标图像时感应到的光照对应的第三分类结果;
[0184]
根据第三分类结果,将目标图像划分为光源候选区域和反射候选区域;
[0185]
计算光源候选区域的第一突变值,并根据第一突变值确定光源候选区域中的光源子区域;
[0186]
根据光源子区域和反射候选区域,得到光照对应的第一分类结果和目标突变值。
[0187]
可选的,第一识别单元820中灰度处理结果包括目标图像的灰度均值。
[0188]
可选的,第一识别单元820中根据灰度处理结果确定拍摄目标图像时感应到的光照对应的第三分类结果,具体用于:
[0189]
根据目标图像的灰度均值和第一预设阈值,确定拍摄目标图像时感应到的光照对应的第三分类结果。
[0190]
可选的,第一识别单元820中根据目标图像的灰度均值和第一预设阈值,确定拍摄目标图像时感应到的光照对应的第三分类结果,具体用于:
[0191]
若目标图像的灰度均值大于第一预设阈值,则确定第三分类结果为自然光;
[0192]
若目标图像的灰度均值小于或等于第一预设阈值,则确定第三分类结果为低光。
[0193]
可选的,第一识别单元820中计算光源候选区域的第一突变值,并根据第一突变值确定光源候选区域中的光源子区域,具体用于:
[0194]
将光源候选区域划分为多个第一子区域;
[0195]
计算多个第一子区域中每个第一子区域的灰度均值;
[0196]
根据每个第一子区域的灰度均值和每个第一子区域在目标图像中的位置信息,计算每个第一子区域对应的第一突变值;
[0197]
将多个第一子区域中第一突变值大于第二预设阈值的第一子区域作为光源子区域。
[0198]
可选的,第一识别单元820中根据光源子区域和反射候选区域,得到光照对应的第一分类结果和目标突变值,具体用于:
[0199]
将反射候选区域划分为多个第二子区域;
[0200]
根据多个第二子区域和光源子区域,计算第二突变值;
[0201]
根据第二突变值和第三预设阈值,确定光照对应的第一分类结果和目标突变值。
[0202]
可选的,第一识别单元820中根据多个第二子区域和光源子区域,计算第二突变值,具体用于:
[0203]
根据光源子区域在目标图像中的位置信息,确定多个第二子区域中每个第二子区域在目标图像中的位置信息;
[0204]
根据每个第二子区域在目标图像中的位置信息,计算每个第二子区域的灰度均值,并基于每个第二子区域的灰度均值,计算第二突变值。
[0205]
可选的,第一识别单元820中的目标突变值为第二突变值。
[0206]
可选的,第一识别单元820中根据第二突变值和第三预设阈值,确定光照对应的第一分类结果,具体用于:
[0207]
若第三分类结果为自然光,且第二突变值小于或等于第三预设阈值,则确定光照对应的第一分类结果为自然光;
[0208]
若第三分类结果为自然光,且第二突变值大于第三预设阈值,则确定光照对应的第一分类结果为逆光;
[0209]
若第三分类结果为低光,且第二突变值小于或等于第三预设阈值,则确定光照对应的第一分类结果为低光;
[0210]
若第三分类结果为低光,且第二突变值大于第三预设阈值,则确定光照对应的第一分类结果为灯光。
[0211]
可选的,确定单元840中根据第一分类结果、目标突变值、第二分类结果和概率值,确定光照的目标分类结果,具体用于:
[0212]
计算第一分类结果对应的目标突变值和第一分类结果对应的概率值的和值;
[0213]
若第二分类结果中除第一分类结果之外的其他分类结果对应的概率值大于和值,则将概率值最大的其他分类结果作为光照的目标分类结果;
[0214]
若第二分类结果中除第一分类结果之外的其他分类结果对应的概率值小于和值,则将第一分类结果作为光照的目标分类结果。
[0215]
图8所示实施例的图像处理装置可用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
[0216]
图9为本公开实施例提供的一种电子设备的结构示意图。该电子设备可以是如上的服务器或终端。本公开实施例提供的电子设备可以执行上述实施例提供的处理流程,如图9所示,电子设备900包括:处理器910、通讯接口920和存储器930;其中,计算机程序存储在存储器930中,并被配置为由处理器910执行如上述的图像处理方法。
[0217]
另外,本公开实施例还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行以实现上述实施例的图像处理方法。
[0218]
此外,本公开实施例还提供了一种计算机程序产品,该计算机程序产品包括计算机程序或指令,该计算机程序或指令被处理器执行时实现如上的图像处理方法。
[0219]
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0220]
以上仅是本公开的具体实施方式,使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下,在其它实施例中实现。因此,本公开将不会被限制于本文的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献