图像的校正方法、装置、程序产品、存储介质及电子设备与流程
本技术涉及图像处理领域,具体而言,涉及一种图像的校正方法、装置、程序产品、存储介质及电子设备。
背景技术:
1、随着红外热成像技术在无人机巡检、安防监控、夜间侦查、工业检测等领域的广泛应用,红外相机所拍摄视频的质量要求日益提高。然而,红外相机在实际使用中常受到平台振动、气流扰动、手持抖动等因素的影响,导致采集的视频存在不同程度的抖动,严重影响了观察体验及后续图像处理任务(如目标检测、跟踪、温度分析等)的准确性。
2、现有的数字视频防抖技术主要面向可见光图像设计,技术实现是建立在图像纹理丰富且几何稳定的假设上的。而红外图像则是存在低对比度、低纹理、高噪声以及热辐射分布不均等特性,若直接将现有的防抖技术应用在红外图像上,则可能会由于角点提取数量不足且分布不均引发热源牵引效应,使得运动估计结果偏离相机位姿变化,导致防抖算法错误地消除目标自身的正常运动,最终造成红外相机的数字防抖效果不佳。
3、针对上述问题,目前尚未存在有效解决方案。
技术实现思路
1、本技术实施例提供了一种图像的校正方法、装置、程序产品、存储介质及电子设备,以至少解决相关技术中红外图像的防抖校正不准确的技术问题。
2、根据本技术实施例的一个方面,提供了一种图像的校正方法,包括:基于第i-1帧红外图像中各个像素点的灰度值确定第i-1帧红外图像的热梯度幅值图,其中,i是大于1的整数;基于热梯度幅值图在第i-1帧红外图像的k个子图像内分别确定目标像素点,得到第i-1帧红外图像的n个目标像素点,其中,k个子图像中的各个子图像内确定的目标像素点的数量是基于热梯度幅值图确定的,k、n是大于0的整数;基于n个目标像素点确定第i帧红外图像的补偿变换矩阵,其中,第i-1帧红外图像和第i帧红外图像是连续多帧红外图像中相邻的两帧红外图像;基于补偿变换矩阵对第i帧红外图像进行校正,得到第i帧目标图像。
3、在一个示例性实施例中,基于热梯度幅值图在第i-1帧红外图像的k个子图像内分别确定目标像素点,得到第i-1帧红外图像的n个目标像素点,包括:基于热梯度幅值图确定k个子图像的k个第一数量,其中,每个第一数量表示对应的一个子图像内需要确定的目标像素点的最大数量;基于热梯度幅值图和k个第一数量依次在各个子图像内确定目标像素点,得到n个目标像素点。
4、在一个示例性实施例中,基于热梯度幅值图确定k个子图像的k个第一数量,包括:获取预先设置的各个子图像内的目标像素点的基础配置数量,得到k个子图像的k个基础配置数量;基于热梯度幅值图、k个基础配置数量和预设总数确定各个子图像内的目标像素点的额外配置数量,得到k个子图像的k个额外配置数量;基于k个基础配置数量和k个额外配置数量与预设总数的大小关系,确定k个第一数量。
5、在一个示例性实施例中,基于热梯度幅值图、k个基础配置数量和预设总数确定各个子图像内的目标像素点的额外配置数量,得到k个子图像的k个额外配置数量,包括:通过以下步骤确定第r个子图像的额外配置数量,其中,第r个子图像是k个子图像中的任一子图像,r是大于0且小于或等于k的整数:基于热梯度幅值图中包括的各个像素点的热梯度幅值确定第一占比;基于k个基础配置数量和预设总数确定额外配置总数量;确定额外配置总数量与第一占比之间的乘积值,得到第一乘积值;在第一乘积值为整数的情况下,将第一乘积值确定为第r个子图像的额外配置数量;在第一乘积值为非整数的情况下,将第一乘积值向下取整数得到的数值确定为第r个子图像的额外配置数量。
6、在一个示例性实施例中,基于热梯度幅值图中包括的各个像素点的热梯度幅值确定第一占比,包括:将第r个子图像内全部像素点的热梯度幅值的总和确定为第一幅值总和;将第i-1帧红外图像中的全部像素点的热梯度幅值的总和确定为第二幅值总和;将第一幅值总和与第二幅值总和之间的比值确定为第一占比。
7、在一个示例性实施例中,基于k个基础配置数量和预设总数确定额外配置总数量,包括:将k个基础配置数量的总和确定为第一数量总和;将预设总数与第一数量总和之间的差值确定为额外配置总数量。
8、在一个示例性实施例中,基于k个基础配置数量和k个额外配置数量与预设总数的大小关系,确定k个第一数量,包括:在k个基础配置数量与k个额外配置数量的总和的取值等于预设总数的情况下,将第r个子图像的基础配置数量与第r个子图像的额外配置数量的和确定为第r个子图像的第一数量,其中,第r个子图像是k个子图像中的任一子图像,r是大于0且小于或等于k的整数;在k个基础配置数量与k个额外配置数量的总和的取值小于预设总数的情况下,将k个基础配置数量与k个额外配置数量的总和确定为第二数量总和;将预设总数与第二数量总和之间的差值确定为目标数量;基于目标数量确定k个第一数量。
9、在一个示例性实施例中,基于目标数量确定k个第一数量,包括:获取各个子图像的第一乘积值,得到k个子图像的k个第一乘积值;确定k个第一乘积值的余数,得到k个子图像的k个余数;基于k个余数确定k个第一数量。
10、在一个示例性实施例中,基于k个余数确定k个第一数量,包括:按照余数的取值由大到小的顺序对k个子图像进行排序,得到子图像序列;将子图像序列中排序靠前的目标数量个子图像确定为目标子图像;将目标子图像的基础配置数量与目标子图像的额外配置数量的总和确定为第三数量总和;对第三数量总和执行加1操作得到目标子图像的第一数量,其中,k个子图像包括目标子图像;将其余子图像的基础配置数量与其余子图像的额外配置数量的总和确定为其余子图像的第一数量,其中,其余子图像是k个子图像中除目标子图像之外的子图像。
11、在一个示例性实施例中,基于热梯度幅值图和k个第一数量依次在各个子图像内确定目标像素点,得到n个目标像素点,包括:在第r个子图像内的全部像素点的热梯度幅值相同的情况下,将第r个子图像内的中心像素点确定为第r个子图像内的目标像素点,其中,第r个子图像是k个子图像中的任一子图像,n个目标像素点包括第r个子图像内的目标像素点,r是大于0且小于或等于k的整数;或者,在第r个子图像内存在部分像素点的热梯度幅值不同的情况下,在第r个子图像内确定热梯度幅值大于热梯度幅值阈值的像素点,得到y个像素点,其中,第r个子图像是k个子图像中的任一子图像,r是大于0且小于或等于k的整数;按照热梯度幅值从大到小的顺序对y个像素点进行排序,得到第一像素点序列;基于第r个子图像的第一数量在第一像素点序列中确定第r个子图像内的目标像素点,其中,n个目标像素点包括第r个子图像内的目标像素点,k个第一数量包括第r个子图像的第一数量。
12、在一个示例性实施例中,基于第r个子图像的第一数量在第一像素点序列中确定第r个子图像内的目标像素点,包括:将第一像素点序列中的第一个像素点确定为第r个子图像内的目标像素点,得到第一个目标像素点;设置s=2,依次对第一像素点序列中除第一个目标像素点之外的像素点执行以下操作,直至s取值为y+1,或者,达到第r个子图像内需要确定的目标像素点的最大数量,停止操作,得到第r个子图像内的目标像素点:确定第s个像素点与在第s个像素点之前已经确定出的各个目标像素点之间的距离,得到至少一个距离值;在至少一个距离值均大于预设距离阈值的情况下,将第s个像素点确定为目标像素点;对s执行加一操作。
13、在一个示例性实施例中,基于n个目标像素点确定第i帧红外图像的补偿变换矩阵,包括:在第i帧红外图像中确定与n个目标像素点相匹配的像素点,得到m个匹配像素点,其中,m是大于0且小于或等于n的整数;基于n个目标像素点和m个匹配像素点确定第i帧红外图像的拍摄状态,其中,拍摄状态用于表示图像采集设备采集第i帧红外图像时的运动状态;基于拍摄状态确定补偿变换矩阵。
14、在一个示例性实施例中,基于n个目标像素点和m个匹配像素点确定第i帧红外图像的拍摄状态,包括:获取图像采集设备在第i帧红外图像之前拍摄的连续q帧红外图像,其中,连续q帧红外图像包括第i-1帧红外图像,q是大于1的整数;确定连续q帧红外图像中连续两帧图像之间的初始变换矩阵,得到q-1个初始变换矩阵;基于n个目标像素点和m个匹配像素点确定第i-1帧红外图像与第i帧红外图像之间的第i个初始变换矩阵;基于q-1个初始变换矩阵和第i个初始变换矩阵确定拍摄状态。
15、在一个示例性实施例中,基于n个目标像素点和m个匹配像素点确定第i-1帧红外图像与第i帧红外图像之间的第i个初始变换矩阵,包括:将n个目标像素点中与m个匹配像素点进行匹配,得到m个像素点对;基于预设像素点数量阈值在m个像素点对中选取p个目标像素点对,其中,p为大于2且小于或等于m的整数;基于p个目标像素点对确定第i个初始变换矩阵。
16、在一个示例性实施例中,基于预设像素点数量阈值在m个像素点对中选取p个目标像素点对,包括:对m个像素点对进行分组,得到t个像素点对组,其中,每个像素点对组包括p个像素点对,t是大于0的整数;基于预设像素点数量阈值确定各个像素点对组的匹配数量,得到t个匹配数量;将取值最大的匹配数量的像素点对组所包括的p个像素点对确定为p个目标像素点对。
17、在一个示例性实施例中,基于预设像素点数量阈值确定各个像素点对组的匹配数量,包括:通过以下步骤确定第f个像素点对组的匹配数量,其中,第f个像素点对组是t个像素点对组中的任一像素点对组,f是大于0且小于或等于t的整数:以预设像素点数量阈值为半径确定第f个像素点对组对中各个像素点对包括的匹配像素点的邻域范围,得到p个邻域范围;将p个邻域范围内存在的匹配像素点的数量的和确定为第f个像素点对组的匹配数量。
18、在一个示例性实施例中,基于q-1个初始变换矩阵和第i个初始变换矩阵确定拍摄状态,包括:基于q-1个初始变换矩阵和第i个初始变换矩阵确定连续q+1帧红外图像中任意连续两帧红外图像之间的平移速率和帧间夹角,得到q个平移速率和q个帧间夹角,其中,连续q+1帧红外图像中包括第i帧红外图像;在q个平移速率均大于预设速率阈值,且q个帧间夹角均小于预设角度阈值的情况下,确定拍摄状态为摇摄状态;在q个平移速率中存在小于或等于预设速率阈值的平均速率,和/或q个帧间夹角中存在大于或等于预设角度阈值的帧间夹角的情况下,确定拍摄状态为静止状态。
19、在一个示例性实施例中,基于拍摄状态确定补偿变换矩阵,包括:获取图像采集设备采集第i帧红外图像时的变焦倍率;基于变焦倍率和拍摄状态确定目标噪声矩阵和目标观测矩阵;基于目标噪声矩阵和目标观测矩阵对第i个初始变换矩阵进行平滑处理,得到补偿变换矩阵,其中,第i个初始变换矩阵是第i-1帧红外图像与第i帧红外图像之间的变换矩阵。
20、在一个示例性实施例中,基于变焦倍率和拍摄状态确定目标噪声矩阵和目标观测矩阵,包括以下之一:在变焦倍率为预设的第一数值,且拍摄状态为静止状态的情况下,将第一噪声矩阵确定为目标噪声矩阵;将第一观测矩阵确定为目标观测矩阵;在变焦倍率为第一数值,且拍摄状态为摇摄状态的情况下,将第二噪声矩阵确定为目标噪声矩阵;将第二观测矩阵确定为目标观测矩阵;在变焦倍率大于第一数值,且拍摄状态为静止状态的情况下,基于变焦倍率确定增益因子;基于增益因子对第一噪声矩阵进行调整,得到目标噪声矩阵;将第一观测矩阵确定为目标观测矩阵;在变焦倍率大于第一数值,且拍摄状态为摇摄状态的情况下,基于变焦倍率确定增益因子;基于增益因子对第二噪声矩阵进行调整,得到目标噪声矩阵;将第二观测矩阵确定为目标观测矩阵;其中,第一噪声矩阵小于第二噪声矩阵,第一观测矩阵大于第二观测矩阵。
21、在一个示例性实施例中,基于补偿变换矩阵对第i帧红外图像进行校正,得到第i帧目标图像,包括:获取图像采集设备采集第i帧红外图像时的变焦倍率;基于补偿变换矩阵对第i帧红外图像进行仿射变形处理,得到第i帧变形图像;基于变焦倍率确定第i帧红外图像对应的显示窗口,其中,显示窗口用于表示第i帧红外图像需要保留的图像内容;基于显示窗口对第i帧变形图像进行裁剪,得到第i帧目标图像,其中,第i帧目标图像的图像内容中包括显示窗口表示的图像内容。
22、在一个示例性实施例中,基于变焦倍率确定第i帧红外图像对应的显示窗口,包括:基于变焦倍率确定第一矩形窗口;使用第一矩形窗口对第i帧红外图像中的中心区域进行框选,得到第一显示窗口;基于第i个初始变换矩阵确定第二矩形窗口,其中,第i个初始变换矩阵是第i-1帧红外图像与第i帧红外图像之间的初始变换矩阵;使用第二矩形窗口对第i帧红外图像中的中心区域进行框选,得到第二显示窗口;将第一显示窗口与第二显示窗口的重合部分确定为显示窗口。
23、在一个示例性实施例中,基于变焦倍率确定第一矩形窗口,包括:获取第i帧红外图像的长度和宽度;将第i帧红外图像的长度与变焦倍率的比值确定为第一矩形窗口的长度;将第i帧红外图像的宽度与变焦倍率的比值确定为第一矩形窗口的宽度。
24、在一个示例性实施例中,基于第i个初始变换矩阵确定第二矩形窗口,包括:获取第i帧红外图像的长度和宽度;基于第i个初始变换矩阵确定第i-1帧红外图像与第i帧红外图像之间的水平平移向量和垂直平移向量;将水平平移向量的绝对值和垂直平移向量的绝对值中的最大值确定为目标收缩量;将第i帧红外图像的长度与两倍目标收缩量的差值确定为第二矩形窗口的长度;将第i帧红外图像的宽度与两倍目标收缩量的差值确定为第二矩形窗口的宽度。
25、在一个示例性实施例中,基于第i-1帧红外图像中各个像素点的灰度值确定第i-1帧红外图像的热梯度幅值图,包括:通过以下步骤确定第i-1帧红外图像的热梯度幅值图中第j个像素点的热梯度幅值,其中,j是大于0的整数:基于第j个像素点的灰度值确定第j个像素点的横向梯度值;基于第j个像素点的灰度值确定第j个像素点的纵向梯度值;将横向梯度值的平方与纵向梯度值的平方之间的和值确定为第一和值;将第一和值的平方根确定为第j个像素点的热梯度幅值。
26、根据本技术实施例的另一个方面,还提供了一种图像的校正装置,包括:第一确定模块,用于基于第i-1帧红外图像中各个像素点的灰度值确定第i-1帧红外图像的热梯度幅值图,其中,i是大于1的整数;第二确定模块,用于基于热梯度幅值图在第i-1帧红外图像的k个子图像内分别确定目标像素点,得到第i-1帧红外图像的n个目标像素点,其中,k个子图像中的各个子图像内确定的目标像素点的数量是基于热梯度幅值图确定的,k、n是大于0的整数;第三确定模块,用于基于n个目标像素点确定第i帧红外图像的补偿变换矩阵,其中,第i-1帧红外图像和第i帧红外图像是连续多帧红外图像中相邻的两帧红外图像;校正模块,用于基于补偿变换矩阵对第i帧红外图像进行校正,得到第i帧目标图像。
27、根据本技术实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,所述计算机程序被设置为被处理器执行时执行上述任一项方法实施例中的步骤。
28、根据本技术实施例的又一个方面,提供一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述任一项方法实施例中的步骤。
29、根据本技术实施例的又一方面,还提供了一种电子设备,包括存储器和处理器,上述存储器中存储有计算机程序,上述处理器被设置为通过所述计算机程序执行上述任一项方法实施例中的步骤。
30、通过本技术,基于第i-1帧红外图像对应的热梯度幅值图,在第i-1帧红外图像划分得到的k个子图像内分别确定目标像素点,以得到第i-1帧红外图像的目标像素点,进而基于这些确定出的目标像素点计算第i帧红外图像的补偿变换矩阵,从而通过补偿变换矩阵对第i帧红外图像进行防抖校正。
31、由于以红外图像的热梯度幅值图作为特征点筛选的依据,并在每个子图像内均进行特征点的选取,使得特征点的选取与红外图像的热源分布特性相匹配,且选取出的特征点均匀分布在整个图像画面中,避免了在低纹理或高噪声区域盲目选取特征点导致的特征点过度局部集中,有效抑制了因热源牵引导致的特征匹配偏差,从而提高了运动估计的准确性,实现了红外图像的高精度校正。因此,可以解决相关技术中红外图像的防抖校正不准确的问题,达到提高红外图像防抖校正的准确性的效果。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com