一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

图像处理方法、装置、存储介质及电子设备与流程

2022-05-17 22:19:15 来源:中国专利 TAG:


1.本技术涉及图像处理技术领域,具体涉及一种图像处理方法、装置、存储介质及电子设备。


背景技术:

2.镜头阴影是由于镜头的光学特性导致的图像亮度和色彩不均匀的现象。镜头阴影分为亮度阴影和颜色阴影。其中,亮度阴影是由于镜头的光学特性,摄像头传感器的影像区的边缘区域接收的光强比中心小,所造成的中心和四角亮度不一致的现象。此外,由于各种颜色的波长不同,经过了透镜的折射,折射的角度也不一样,因此会出现颜色阴影。相关技术中的阴影校正算法的校正准确度低。


技术实现要素:

3.本技术实施例提供一种图像处理方法、装置、存储介质及电子设备,能够提高镜头阴影校正的准确度。
4.第一方面,本技术实施例提供一种图像处理方法,包括:
5.获取摄像头输出的图像帧序列中的最新一帧图像,作为当前帧图像;
6.按照阴影校正算法计算所述当前帧图像的第一初始校正参数表;
7.对所述第一初始校正参数表进行处理,得到第一目标校正参数表;
8.根据所述第一目标校正参数表对所述当前帧图像进行校正处理。
9.第二方面,本技术实施例还提供一种图像处理装置,包括:
10.图像获取模块,用于获取摄像头输出的图像帧序列中的最新一帧图像,作为当前帧图像;
11.参数计算模块,用于按照阴影校正算法计算所述当前帧图像的第一初始校正参数表;
12.参数调整模块,用于对所述第一初始校正参数表进行处理,得到第一目标校正参数表;
13.图像校正模块,用于根据所述第一目标校正参数表对所述当前帧图像进行校正处理。
14.第三方面,本技术实施例还提供一种存储介质,其上存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行如本技术任一实施例提供的图像处理方法。
15.第四方面,本技术实施例还提供一种电子设备,包括处理器和存储器,所述存储器有计算机程序,所述处理器通过调用所述计算机程序,用于执行如本技术任一实施例提供的图像处理方法。
16.本技术实施例提供的技术方案,对于摄像头输出的图像帧序列中的最新一帧图像,在按照阴影校正算法计算得到该图像的第一初始校正参数表之后,对该第一初始校正
参数表进行处理,以提高校正参数的精确度,使用处理后的第一目标校正参数表对当前帧图像进行校正处理,提高了图像镜头阴影校正的准确度。
附图说明
17.为了更清楚地说明本技术实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
18.图1a为本技术实施例提供的图像处理方法的第一种流程示意图。
19.图1b为阴影校正算法中的切割方式的一示意图。
20.图1c为阴影校正算法中的切割方式的另一示意图。
21.图2为本技术实施例提供的图像处理方法的第二种流程示意图。
22.图3为本技术实施例提供的图像处理方法的第三种流程示意图。
23.图4为本技术实施例提供的图像处理装置的结构示意图。
24.图5a为本技术实施例提供的电子设备的第一种结构示意图。
25.图5b为本技术实施例提供的电子设备的第二种结构示意图。
具体实施方式
26.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本技术的保护范围。
27.在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
28.本技术实施例提供一种图像处理方法,该图像处理方法的执行主体可以是本技术实施例提供的图像处理装置,或者集成了该图像处理装置的电子设备,其中该图像处理装置可以采用硬件或者软件的方式实现。其中,电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等设备。
29.请参阅图1a,图1a为本技术实施例提供的图像处理方法的第一种流程示意图。本技术实施例提供的图像处理方法的具体流程可以如下:
30.在101中,获取摄像头输出的图像帧序列中的最新一帧图像,作为当前帧图像。
31.本技术的图像处理方案可以应用于拍照或者录像等场景。例如,在拍照场景下,在启动摄像头后,摄像头按照预设的曝光参数和曝光时间间隔进行图像的采集,并将采集的图像处理后在取景框进行显示,连续的图像帧序列构成预览画面,当用户触发拍照指令后,可以将图像帧序列中的最新一帧图像进行相关处理后进行输出。又例如,在录像场景下,摄像头启动后,接收录制指令,摄像头按照预设的曝光参数和帧率进行图像的采集,输出视频,该视频由连续的图像帧序列构成。无论是拍照的预览还是视频的输出,本质上都是图像
帧序列的输出,对于图像帧序列中的每一帧图像都可以按照本技术实施例的方案处理,以消除亮度阴影和颜色阴影。
32.摄像头在启动后,按照预设的曝光参数和曝光时间间隔进行图像的采集,每输出一帧图像,都可以将该最新一帧图像作为当前帧图像。
33.在102中,按照阴影校正算法计算当前帧图像的第一初始校正参数表。
34.在获取到当前帧图像后,按照阴影校正算法计算该帧图像的第一初始校正参数表,其中,校正参数也可以称为lsc(lens shading correction,镜头阴影校正)信息,即用于进行lsc处理的信息。比如采用网格校正法,假设当前帧图像的分辨率为m*n,按照m*n的网格对当前帧图像进行网格划分,以将当前帧图像划分为多个网格区域,根据每个网格区域内的像素数据计算该网格区域对应的校正参数,全部网格对应的校正参数构成一个m行n列的校正参数表,将当前帧图像计算得到的校正参数表记为第一初始校正参数表。将图像帧序列中当前帧图像之前的历史帧图像计算得到的校正参数表记为第二初始校正参数表。此外,下文中,将经过处理后的第一初始校正参数表记为第一目标校正参数表,将经过处理后的第二初始校正参数表记为第二目标校正参数表。当没有表示是“第一”或“第二”时,一般表示泛指。
35.其中,需要说明的是,在计算图像的校正参数表时,分别对每个通道的数据计算得到一个校正参数表。例如,当前帧图像的格式为raw格式,则该图像包括如下四个通道:r(红)通道、gr(绿红)通道、gb(绿蓝)通道、b(蓝)通道。根据每一个通道的像素数据,按照阴影校正算法计算该通道对应的校正参数表,假设m=17,n=13,则经过计算可以得到大小为17*13*4的第一初始校正参数表。
36.其中,raw图像是图像感应器将捕捉到的光源信号转化为数字信号的原始数据,是未经处理、也未经压缩的格式。在其他实施例中,图像帧序列中的图像也可以是其他格式的图像,如yuv格式等。
37.在103中,对第一初始校正参数表进行处理,得到第一目标校正参数表。
38.在获取到第一初始校正参数表之后,对第一初始校正参数表进行处理。例如,步骤对第一初始校正参数表进行处理可以包括:对第一初始校正参数表进行修正处理,以消除第一初始校正参数表中校正参数的误差;或者,对第一初始校正参数进行插值处理,以扩充校正参数包含的信息量;或者,先对第一初始校正参数表进行修正处理,再对修正后的第一初始校正参数表进行插值处理;或者,先对第一初始校正参数表进行插值处理,在对插值后的第一初始校正参数表进行修正处理。
39.在一些实施例中,对该第一初始校正参数表进行插值处理,例如,根据该当前帧图像的多个第一初始校正参数表进行插值处理以对校正参数进行扩充,比如将17*13*4的第一初始校正参数表扩充为34*26*4的第一目标校正参数表;或者,根据当前帧图像的多个历史帧图像的校正参数表对该第一初始校正参数表进行插值处理。经过插值处理后,实现了对lsc信息的扩充,进而提高阴影校正的准确度。
40.例如,在一些实施例中,步骤对第一初始校正参数表进行处理,得到第一目标校正参数表,包括:
41.a1、获取图像帧序列中位于当前帧图像之前的多个历史帧图像对应的第二初始校正参数表,其中,多个第二初始校正参数表和第一初始校正参数表对应不同的切割位置;
42.a2、按照对应的切割位置,使用多个第二初始校正参数表对第一初始校正参数表进行插值处理,得到第一目标校正参数表。
43.在该实施例中,对于图像帧序列中连续的图像,在计算的初始校正参数表时,交替使用多个预设的切割位置对图像进行网格划分。比如,预设四个切割位置分别为图像左上部分、图像右上部分、图像左下部分、图像右下部分。
44.请参照图1b所示,图1b为阴影校正算法中的切割方式的一示意图。假设获取到的图像的分辨率为1920
×
980,图像帧序列中的图像按曝光时间的先后顺序为p1、p2、p3、
……
pn,对于p1,去掉图像右边缘的x列像素点和下边缘的y行像素点(图1b中p1的阴影部分),剩下部分为图像的左上部分,分辨率为(1920-y)
×
(980-x),对剩余的左上部分按照m*n的网格进行划分得到m*n个网格区域,进行第一初始校正参数表的计算,对于p2,去掉图像左边缘的x列像素点和下边缘的y行像素点(图1b中p2的阴影部分),剩下部分为图像的右上部分,分辨率为(1920-y)
×
(980-x),对剩余的左上部分按照m*n的网格进行划分得到m*n个网格区域,进行第一初始校正参数表的计算,以此类推,在计算每一帧图像的初始校正参数表时,按照上述四个切割位置循环进行计算,使得每相邻四个图像的初始校正参数表分别对应不同的切割位置。
45.基于上述不同的切割位置,对于当前帧图像的第一初始校正参数表,使用该帧图像之前的三个历史帧图像的多个第二初始校正参数表进行插值处理,得到第一目标校正参数表,其中,插值处理时,按照四个初始校正参数表对应的切割位置进行插值。假设第一初始校正参数表和第二初始校正参数表的大小均为17*13*4,则经过插值处理后,得到大小为34*26*4的第一目标校正参数表。
46.接下来,为了便于说明插值处理的具体方式,以较少的网格划分方式对图像进行划分以计算校正参数表,假设m=n=4。则请参阅图1c,图1c为阴影校正算法中的切割方式的另一示意图。如图所示,pn-3、pn-2、pn-1、pn这四帧图像对应的四个切割位置,分别为图像左上部分、图像右上部分、图像左下部分、图像右下部分。图像pn-3、pn-2、pn-1、pn对应的初始校正表分别为ln-3、ln-2、ln-1、ln。使用ln-3、ln-2、ln-1对ln进行插值处理得到的ln’,如图所示,ln’的大小为8
×
8,且ln’中任意四个彼此相邻的校正参数分别来自ln-3、ln-2、ln-1、ln。
47.又例如,在另一实施例中,步骤按照阴影校正算法计算所述当前帧图像的第一初始校正参数,包括:基于多个不同的切割位置,分别按照阴影校正算法计算当前帧图像对应的多个第一初始校正参数表。步骤对第一初始校正参数表进行处理,得到第一目标校正参数表,包括:按照对应的切割位置,将多个第一初始校正参数表进行插值处理,得到第一目标校正参数表。
48.该实施例中,不使用历史帧图像的第二初始校正参数表对当前帧图像的第一初始校正参数表进行插值,而是仅对于当前帧图像,按照与上一实施例相同的方式,在多个不同的位置对同一帧图像进行分割,计算得到多个不同的第一初始校正参数表,用这四个第一初始校正参数表进行插值处理,得到第一目标校正参数表,具体切割位置的实现方式和插值方式与上一实施例相同,在此不再朱似乎。
49.上述实施例对插值处理的实现方式进行了举例说明,接下来对修正处理的方案进行说明。
50.其中,在一些实施例中,对该第一初始校正参数进行修正处理,修正处理不改变第一初始校正参数表的大小,而是对其中的参数进行修正,以消除计算误差。例如,使用该当前帧图像的前一帧图像的第二目标校正参数表对该第一初始校正参数表进行修正,比如计算两者的均值,得到第一目标校正参数表;或者,根据多帧历史帧图像的第二目标校正参数表对该第一初始校正参数表进行修正处理,得到第一目标校正参数表。由于摄像头会不断的进行图像采集以输出连续多帧图像构成图像帧序列,并且该图像帧序列中相邻的图像的内容相近,并且体现出一定的变化趋势,故使用当前帧图像之前的历史帧图像的校正参数表对当前帧图像的校正参数表进行修正,不仅能够减小第一初始校正参数表的误差,而且能够丰富第一初始校正参数表包含的信息,提高了使用第一初始校正参数表的准确度,进而提高对图像进行镜头阴影校正的准确度。
51.比如,在一实施例中,步骤对第一初始校正参数表进行处理,得到第一目标校正参数表,包括:
52.b1、获取图像帧序列中位于当前帧图像之前的历史帧图像对应的第二目标校正参数表;
53.b2、根据第二目标校正参数表对第一初始校正参数表进行修正处理,得到第一目标校正参数表。
54.其中,在一次拍摄中,图像帧序列中的每一帧图像的初始校正参数表和经过修正处理后的目标校正参数表都会存储在缓存中。对于当前帧图像来说,在计算得到第一初始校正参数表之后,从缓存中图像帧序列中该当前帧图像之前的一帧历史帧图像的第二目标校正参数表,使用该第二目标校正参数表对第一初始校正参数表进行修正。比如,计算第二目标校正参数表和第一初始校正参数表中各个对应位置处的校正参数的平均值,得到第一目标校正参数表。或者,计算第二目标校正参数表和第一初始校正参数表中各个对应位置处的校正参数的差值,对于差值大于预设差值的校正参数,计算它们的平均值,并使用平均值替代第一初始校正参数表中对应位置的原始校正参数值,得到第一目标校正参数表。
55.又比如,在另一实施例中,步骤对第一初始校正参数表进行处理,得到第一目标校正参数表,包括:获取图像帧序列中位于当前帧图像之前的多个历史帧图像对应的第一预设数量的第二目标校正参数表。
56.根据多个第二目标校正参数表对第一初始校正参数表进行修正处理,得到第一目标校正参数表,包括:
57.c1、根据第一预设数量的第二目标校正参数表和预设的第一时序神经网络模型,计算得到预测校正参数表。
58.c2、根据预测校正参数表对第一初始校正参数表进行修正处理,得到第一目标校正参数表。
59.该实施例中,通过第一时序神经网络模型学习拍摄同一场景时的连续多帧图像的多个连续的校正参数表之间的变化趋势,在通过当前帧图像计算第一初始校正参数表的同时,根据图像帧序列中位于当前帧图像之前的多个历史帧图像对应的第一预设数量的第二目标校正参数表输入到预先训练好的第一时序神经网络模型,得到一个预测校正参数表,例如,假设第一预设数量为m,则获取图像帧序列中位于当前帧图像之前的连续m帧图像各自对应的第二目标校正参数表,则得到m个第二目标校正参数表,将这m个第二目标校正参
数表输入到预先训练好的第一时序神经网络模型,其中,在一些实施例中,m可以为5-10,比如m=8。使用该预测校正参数表对第一初始校正参数表进行修正处理,得到第一目标校正参数表。比如,计算预测校正参数表与第一初始校正参数表的平均值,得到第一目标校正参数表。
60.其中,第一时序神经网络模型可以是循环神经网络模型、长短期记忆神经网络模型等能够学习序列数据之间的变化趋势的神经网络模型。
61.此外,在摄像头启动的初始几帧,没有足够的数据训练第一时序神经网络模型之前,先采用计算上一帧的第二目标校正参数表与当前帧的第一初始校正表的平均值的方式,对第一初始校正表进行修正处理。当有足够多的历史帧数据之后,可以使用历史帧图像对应的第二目标校正参数表构建训练样本,对预先构建好的第一时序神经网络模型进行训练以确定模型参数。并且在完成第一次训练完成后的继续拍摄的过程中,可以持续地或者间隔地对模型参数进行更新。
62.例如,作为一种实施方式,步骤获取摄像头输出的图像帧序列中的最新一帧图像,作为当前帧图像之前,该方法还包括:
63.获取图像帧序列中多个历史帧图像对应的第二预设数量的第二目标校正参数表;根据第二预设数量的第二目标校正参数表构建若干训练样本,并使用若干训练样本训练第一时序神经网络模型以更新模型参数。
64.其中,第二预设数量一般大于或等于第一预设数量。例如,获取图像帧序列中位于当前帧图像之前的连续n帧图像各自对应的第二目标校正参数表,则得到n个第二目标校正参数表,根据这n个第二目标校正参数表构建训练样本,其中,在一些实施例中,n≥20,比如,在一实施例中,n=30。以一应用场景为例,摄像头模组按照每秒60帧的帧率进行录像,在拍摄0.5秒之后,即可获取到30帧图像及其对应的30个第二目标校正参数表。每连续的11个第二目标校正参数表可以作为一个训练样本,其中,前面连续10第二目标校正参数表作为输入数据,最后1个第二目标校正参数表作为输出数据。第1-11个第二目标校正参数表构成第1个训练样本,第2-12个第二目标校正参数表构成第2个训练样本,第3-13个第二目标校正参数表构成第3个训练样本,以此类推,直至第20-30个第二目标校正参数表构成第20个训练样本,使用这20个训练样本训练预先构建好的第一时序神经网络模型进行训练以确定模型参数。
65.可以理解的是,使用经过修正后的校正参数表训练模型,相对于是使用初始校正参数表训练模型,得到模型参数更为准确;此外,使用的训练样本越多,得到的模型参数也越准确。因此,随着拍摄时间越长,历史帧图像也越多,则可以每新获取一帧或者多帧图像,则重新构建训练样本,对模型进行重新训练以更新模型参数。
66.比如,当拍摄3秒视频后,图像帧序列中已经有180帧图像,对应180个第二目标校正参数表,可以使用第121-180个第二目标校正参数表构建50个训练样本,使用这50个训练样本训练预先构建好的第一时序神经网络模型进行训练以更新模型参数。
67.又比如,在得到预测校正参数表之后,判断预测校正参数表与第一初始校正参数表之间的误差是否大于预设的阈值,如果否,则无需更新模型参数,反之,当预测校正参数表与第一初始校正参数表之间的误差大于预设的阈值,则重新构建训练样本,对模型进行重新训练以更新模型参数。
68.其中,除了上述对第一初始校正参数表进行修正处理或插值处理之外,在一些实施例中,还可以对第一初始校正参数表先进行修正处理再进行插值处理,或者,也可以对第一初始校正参数表先进行插值处理再进行修正处理,得到第一目标校正参数表。其中,具体的修正处理和插值处理的方式可以参见上文实施例提供的方案。
69.在104中,根据第一目标校正参数表对当前帧图像进行校正处理。
70.在完成对第一初始校正参数表进行插值处理和/或修正处理,得到第一目标校正参数表之后,使用第一目标校正参数表对当前帧图像进行校正处理,以消除图像中由于镜头的光学特性产生的亮度阴影和颜色阴影。
71.具体实施时,本技术不受所描述的各个步骤的执行顺序的限制,在不产生冲突的情况下,某些步骤还可以采用其它顺序进行或者同时进行。
72.由上可知,本技术实施例提供的图像处理方法,对于摄像头输出的图像帧序列中的最新一帧图像,在按照阴影校正算法计算得到该图像的第一初始校正参数表之后,对该第一初始校正参数表进行修正处理以消除计算误差,和/或对该第一初始校正参数表进行插值处理以扩充校正参数包含的信息量,使用插值处理和/或修正处理得到的第一目标校正参数表对当前帧图像进行校正处理,提高了图像镜头阴影校正的准确度。
73.请参阅图2,图2为本发明实施例提供的图像处理方法的第二流程示意图。方法包括:
74.在201中,获取摄像头输出的图像帧序列中的最新一帧图像,作为当前帧图像。
75.在202中,基于多个不同的切割位置,分别按照阴影校正算法计算当前帧图像对应的多个第一初始校正参数表。
76.摄像头在启动后,按照预设的曝光参数和曝光时间间隔进行图像的采集,每输出一帧图像,都可以将该最新一帧图像作为当前帧图像。在获取到当前帧图像后,按照阴影校正算法计算该帧图像的第一初始校正参数表。其中,对于当前帧图像,分别基于多个切割位置,例如4个预设的切割位置,计算得到四个对应的第一初始校正参数表。
77.比如,预设四个切割位置分别为图像左上部分、图像右上部分、图像左下部分、图像右下部分。对于当前帧图像pn,假设获取到的图像的分辨率为1920
×
980,先按照切割位置为图像左上部分计算得到第一个第一初始校正参数表。具体地,去掉图像右边缘的x列像素点和下边缘的y行像素点,剩下部分为图像的左上部分,分辨率为(1920-y)
×
(980-x),对剩余的左上部分按照m*n的网格进行划分得到m*n个网格区域,进行第一初始校正参数表的计算,然后,按照切割位置为图像右上部分计算得到第二个第一初始校正参数表。具体地,去掉图像左边缘的x列像素点和下边缘的y行像素点,对剩余的左上部分按照m*n的网格进行划分得到m*n个网格区域,进行第一初始校正参数表的计算。基于相似的计算方式,计算得到图像左下部分、图像右下部分对应的第一初始校正参数表。
78.在203中,获取图像帧序列中位于当前帧图像之前的多个历史帧图像对应的多个第二初始校正参数表。
79.在204中,根据多个第二初始校正参数表和预设的第二时序神经网络模型,计算得到预测校正参数表,其中,第二时序神经网络模型由图像帧序列中的历史帧图像对应的第二初始校正参数表训练得到的。
80.在205中,根据预测校正参数表分别对多个第一初始校正参数表进行修正处理。
81.接下来,通过预先训练好的第二时序神经网络模型分别对上述四个第一初始校正参数表进行修正。
82.其中,第二时序神经网络模型可以是循环神经网络模型、长短期记忆神经网络模型等能够学习序列数据之间的变化趋势的神经网络模型。其实现原理与第一时序神经网络模型的实现原理类似,区别在于,第二时序神经网络模型的训练数据和输入数据是初始校正参数表,第一时序神经网络模型的训练数据和输入数据是经过处理得到的目标校正参数表,两个模型的应用原理和参数更新原理是相同的,在此不再赘述。
83.需要说明的是,在一次拍摄中,图像帧序列中的每一帧图像的多个初始校正参数表都会标记对应的切割位置后,存储在缓存中。
84.可以理解的是,在使用第二时序神经网络模型进行初始校正参数表的修正时,分别对于每个切割位置的第一初始校正参数表进行修正,以切割位置为图像左上部分为例,获取当前帧图像之前的连续多个历史帧图像的相同切割位置的多个第二初始校正参数表(或者多个经过修正处理后的第二初始校正参数表),输入到训练好的第二时序神经网络模型,得到该切割位置对应的预测校正参数表,使用该预测校正参数表对该切割位置对应的第一初始校正参数表进行修正。经过四次修正后得到四个经过修正处理的第一初始校正参数表。
85.其中,训练第二时序神经网络模型时,一个训练样本中的多个校正参数表对应同一个切割位置。由于修正处理不会影响校正参数表的的大小,因此,为了提高模型的准确度,可以使用经过修正处理后的初始校正参数表训练模型。
86.在206中,按照对应的切割位置,将经过修正处理后的多个第一初始校正参数表进行插值处理,得到第一目标校正参数表。
87.在完成对四个第一初始校正参数表的修正处理后,将四个经过修正处理后的第一初始校正参数表进行插值处理,得到第一目标校正参数表。具体插值方式请参照图1c所示的方案,再次不再赘述。
88.在207中,根据第一目标校正参数表对当前帧图像进行校正处理。
89.在得到第一目标校正参数表之后,使用第一目标校正参数表对当前帧图像进行校正处理,以消除图像中由于镜头的光学特性产生的亮度阴影和颜色阴影。
90.由上可知,本发明实施例提出的图像处理方法,对于摄像头输出的图像帧序列中的最新一帧图像,在按照阴影校正算法计算得到该图像的多个第一初始校正参数表之后,基于相邻校正参数表之间的变化趋势,分别对多个第一初始校正参数表进行修正处理以消除计算误差,再将修正后的多个第一初始校正参数表进行插值处理以扩充校正参数包含的信息量,使用修正处理和插值处理得到的第一目标校正参数表对当前帧图像进行校正处理,提高了图像镜头阴影校正的准确度。
91.请参阅图3,图3为本发明实施例提供的图像处理方法的第三流程示意图。方法包括:
92.在301中,获取摄像头输出的图像帧序列中的最新一帧图像,作为当前帧图像。
93.在302中,按照阴影校正算法计算当前帧图像的第一初始校正参数表。
94.摄像头在启动后,按照预设的曝光参数和曝光时间间隔进行图像的采集,每输出一帧图像,都可以将该最新一帧图像作为当前帧图像。在获取到当前帧图像后,按照阴影校
正算法计算该帧图像的第一初始校正参数表。
95.在303中,获取图像帧序列中位于当前帧图像之前的多个历史帧图像对应的多个第二初始校正参数表,其中,多个第二初始校正参数表和第一初始校正参数表对应不同的切割位置。
96.在304中,按照对应的切割位置,使用多个第二初始校正参数表对第一初始校正参数表进行插值处理。
97.在该实施例中,对于图像帧序列中连续的图像,在计算的初始校正参数表时,交替使用多个预设的切割位置对图像进行网格划分。比如,预设四个切割位置分别为图像左上部分、图像右上部分、图像左下部分、图像右下部分。在计算每一帧图像的初始校正参数表时,按照上述四个切割位置循环进行计算,使得每相邻四个图像的初始校正参数表分别对应不同的切割位置。具体实现方式请参照图1b所示,在此不再赘述。
98.基于上述不同的切割位置,对于当前帧图像的第一初始校正参数表,使用该帧图像之前的三个历史帧图像的多个第二初始校正参数表进行插值处理。其中,插值处理时,按照四个初始校正参数表对应的切割位置进行插值。假设第一初始校正参数表和第二初始校正参数表的大小均为17*13*4,则经过插值处理后,得到大小为34*26*4的第一目标校正参数表。具体的插值方式请参照上文中图1c对应的方案,在此不再赘述。
99.在305中,获取图像帧序列中位于当前帧图像之前的多个历史帧图像对应的第一预设数量的第二目标校正参数表。
100.在306中,根据第一预设数量的第二目标校正参数表和预设的第一时序神经网络模型,计算得到预测校正参数表。
101.在307中,根据预测校正参数表对经过插值后的第一初始校正参数表进行修正处理,得到第一目标校正参数表。
102.完成第一初始校正参数表的插值处理后,接下来进行修正处理。
103.该实施例中,通过第一时序神经网络模型学习拍摄同一场景时的连续多帧图像的多个连续的校正参数表之间的变化趋势,在通过当前帧图像计算第一初始校正参数表并进行插值处理的同时,根据图像帧序列中位于当前帧图像之前的多个历史帧图像对应的第一预设数量的第二目标校正参数表输入到预先训练好的第一时序神经网络模型,得到一个预测校正参数表。使用该预设校正参数表对经过插值处理后的第一初始校正参数表进行修正处理,得到第一目标校正参数表。
104.其中,需要说明的是,使用历史帧图像的第二目标校正参数表构建训练样本对第一时序神经网络模型进行训练,具体的训练方式以及拍摄过程中模型参数的更新方式与上文中的实施例采用的方式类似,在此不再赘述。
105.可以理解的是,图像帧序列中的每一帧图像都按照该实施例的方案进行了插值处理和修正处理,并将最终得到的第二目标校正参数表存储在缓存中,因此历史帧图像的第二目标校正参数表与经过插值处理后的第一初始校正参数表的大小相同。
106.在308中,根据第一目标校正参数表对当前帧图像进行校正处理。
107.在得到第一目标校正参数表之后,使用第一目标校正参数表对当前帧图像进行校正处理,以消除图像中由于镜头的光学特性产生的亮度阴影和颜色阴影。
108.由上可知,本发明实施例提出的图像处理方法,对于摄像头输出的图像帧序列中
的最新一帧图像,在按照阴影校正算法计算得到该图像的第一初始校正参数表之后,使用该帧图像之前的历史帧图像的初始校正参数表对该第一初始校正参数表进行插值处理以扩充校正参数包含的信息量,然后,基于相邻校正参数表之间的变化趋势,对插值处理后的第一初始校正参数表进行修正处理以消除计算误差,使用插值处理和修正处理得到的第一目标校正参数表对当前帧图像进行校正处理,提高了图像镜头阴影校正的准确度。
109.在一实施例中还提供一种图像处理装置。请参阅图4,图4为本技术实施例提供的图像处理装置400的结构示意图。其中该图像处理装置400应用于电子设备,该图像处理装置400包括图像获取模块401、参数计算模块402、参数调整模块403以及图像校正模块404,如下:
110.图像获取模块401,用于获取摄像头输出的图像帧序列中的最新一帧图像,作为当前帧图像;
111.参数计算模块402,用于按照阴影校正算法计算所述当前帧图像的第一初始校正参数表;
112.参数调整模块403,用于对所述第一初始校正参数表进行处理,得到第一目标校正参数表;
113.图像校正模块404,用于根据所述第一目标校正参数表对所述当前帧图像进行校正处理。
114.应当说明的是,本技术实施例提供的图像处理装置与上文实施例中的图像处理方法属于同一构思,通过该图像处理装置可以实现图像处理方法实施例中提供的任一方法,其具体实现过程详见图像处理方法实施例,此处不再赘述。
115.由上可知,本技术实施例提出的图像处理装置,对于摄像头输出的图像帧序列中的最新一帧图像,在按照阴影校正算法计算得到该图像的第一初始校正参数表之后,对该第一初始校正参数表进行处理,以提高校正参数的精确度,使用处理后的第一目标校正参数表对当前帧图像进行校正处理,提高了图像镜头阴影校正的准确度。
116.本技术实施例还提供一种电子设备。所述电子设备可以是智能手机、平板电脑等设备。请参阅图5a,图5a为本技术实施例提供的电子设备的第一种结构示意图。电子设备500包括处理器501、存储器502和摄像头510。其中,处理器501与存储器502和摄像头510电性连接。
117.处理器501是电子设备500的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或调用存储在存储器502内的计算机程序,以及调用存储在存储器502内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
118.存储器502可用于存储计算机程序和数据。存储器502存储的计算机程序中包含有可在处理器中执行的指令。计算机程序可以组成各种功能模块。处理器501通过调用存储在存储器502的计算机程序,从而执行各种功能应用以及数据处理。
119.在本实施例中,电子设备500中的处理器501会按照如下的步骤,将一个或一个以上的计算机程序的进程对应的指令加载到存储器502中,并由处理器501来运行存储在存储器502中的计算机程序,从而实现各种功能:
120.获取摄像头输出的图像帧序列中的最新一帧图像,作为当前帧图像;
121.按照阴影校正算法计算所述当前帧图像的第一初始校正参数表;
memory)、随机存取存储器(ram,random access memory)、磁盘或光盘等。
141.此外,本技术中的术语“第一”、“第二”和“第三”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块,而是某些实施例还包括没有列出的步骤或模块,或某些实施例还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
142.以上对本技术实施例所提供的图像处理方法、装置、存储介质及电子设备进行了详细介绍。本文中应用了具体个例对本技术的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本技术的方法及其核心思想;同时,对于本领域的技术人员,依据本技术的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本技术的限制。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献