一种多类型图像畸变校正方法及装置

本发明涉及图像处理和计算机视觉，尤其涉及一种多类型图像畸变校正方法及装置。

背景技术：

1、径向畸变是光学成像系统中普遍存在的几何失真现象，主要由透镜折射特性导致，径向畸变会改变图像中物体的几何形状和空间位置关系，常见形式包括桶形畸变、枕形畸变和鱼眼畸变。对于不同类型的径向畸变，图像中心至边缘的位移规律和局部纹理拉伸方向存在差异。

2、在实际图像采集、广角成像及后续图像处理过程中，径向畸变通常以单一主导类型出现，但其中心区域和边缘区域的位移幅度不同。桶形畸变、枕形畸变和鱼眼畸变虽然均表现为相对于畸变中心的径向坐标变化，三者在边缘区域的伸缩趋势、非线性程度以及纹理采样密度方面并不相同。因而，仅由局部纹理响应确定校正位移时，容易出现边缘校正不足、中心区域过度拉伸或不同类型之间特征相互干扰的情况。

3、现有基于学习的校正方法通常由畸变图像直接预测像素级位移场。当多个类型采用完全相同的特征处理路径时，网络需要在共享特征中同时适应不同类型的径向变化；而为每种类型分别配置独立网络，又会增加模型数量和部署复杂度。因此，需要一种能够在统一校正网络内利用畸变类型信息自适应调整多尺度图像特征、并直接输出完整校正流场的图像畸变校正方法。

4、一类方法在校正前先对畸变类别进行硬判定，再调用对应的校正分支或独立模型。例如，li（li x, zhang b, sander p v, liao j. blind geometric distortioncorrection on images through deep learning[c]//2019 ieee/cvf conference oncomputer vision and pattern recognition (cvpr). long beach, ca, usa: ieee,2019: 4850–4859.）等人通过随机采样几何畸变参数构建训练数据，并利用深度网络预测图像间的像素级几何映射，实现几何畸变校正。该方式对类别判定结果较敏感：当图像的畸变程度处于相邻类型的过渡范围时，硬切换会使后续特征处理路径发生突变；同时，多分支模型需要分别维护参数和推理链路。

5、另一类方法不显式利用类别信息，直接使用完全共享的特征和解码路径预测流场。例如，wang（wang, wendi, hao feng, wengang zhou, zhaokang liao, and houqiangli. model-aware pre-training for radial distortion rectification. ieeetransactions on image processing 32 (2023): 5764–5778.）等人针对径向畸变校正提出模型感知预训练方法。该方法虽可保持部署简洁，但难以使不同尺度的特征针对当前径向变化规律作出差异化响应。

6、因此，需要一种能够在统一校正网络内部，以连续、柔和的方式利用畸变类型信息自适应调整多尺度图像特征，并直接输出完整校正流场的图像畸变校正方法，从而在避免硬切换的前提下，实现多类型径向畸变的高效、准确校正。

技术实现思路

1、本发明提供了一种多类型图像畸变校正方法，可实现多类型径向畸变的高效、准确校正。

2、本发明的技术方案如下：

3、一种多类型图像畸变校正方法，基于训练好的图像畸变校正模型进行，图像畸变校正模型包括共享多尺度编码器、类型概率获取模块、类型引导特征调制模块和粗到细流场解码器；包括以下步骤：

4、（1）将待校正畸变图像输入共享多尺度编码器，获得多个尺度的图像特征；多个尺度的图像特征至少包括一个最深尺度图像特征和多个较浅尺度图像特征；

5、（2）根据最深尺度图像特征，通过类型概率获取模块获得畸变类型概率向量；

6、（3）将畸变类型概率向量输入类型引导特征调制模块，生成各尺度对应的特征调制系数，基于特征调制系数对相应尺度的图像特征进行逐通道调制，获得调制后的多尺度图像特征；所述的特征调制系数包括通道缩放系数和通道偏移系数；所述的类型引导特征调制模块针对每个尺度设置独立可学习映射，接收所述的畸变类型概率向量，输出与当前尺度图像特征通道数相匹配的通道缩放系数和通道偏移系数，将通道缩放系数和通道偏移系数沿空间维度广播后，对相应尺度的图像特征进行逐通道缩放与偏移调制，获得调制后的多尺度图像特征；

7、（4）将调制后的多尺度图像特征输入粗到细流场解码器，融合各尺度特征并逐级细化，预测得到最终稠密变形场；

8、（5）根据最终稠密变形场，对待校正畸变图像进行反向重采样，生成校正图像。

9、所述的共享多尺度编码器对输入的畸变图像进行逐级特征提取，输出多个空间分辨率不同的图像特征，为特征尺度的数量，。

10、按照空间分辨率由高至低排列各尺度图像特征，空间分辨率最低的图像特征为最深尺度图像特征。较浅尺度图像特征用于保留边缘、直线和局部纹理等空间细节，较深尺度特征用于表征较大感受野内的径向拉伸、压缩和弯曲趋势。特征尺度的数量、各尺度的通道数和下采样比例根据图像尺寸和计算资源设置。

11、优选的，步骤（2）包括：所述的类型概率获取模块对最深尺度图像特征进行全局聚合，再经分类头和softmax函数输出畸变类型概率向量。

12、预设的多种径向畸变类型包括桶形畸变、枕形畸变和鱼眼畸变。

13、所述的畸变类型概率向量为连续概率向量，具有三个分别对应桶形畸变、枕形畸变和鱼眼畸变的分量，各分量非负且分量和为1。畸变类型概率向量是连续概率向量而不是硬类别选择结果，用于后续特征调制而不作为校正图像的直接输出。

14、优选的，步骤（4）包括：所述的粗到细流场解码器接收调制后的多尺度图像特征，先处理最深尺度的调制后的图像特征得到该尺度的解码特征和中间变形场，再将解码特征和中间变形场逐级上采样至相邻尺度，其中中间变形场在上采样时按照分辨率的放大比例同步换算位移量；每一解码尺度将上采样后的解码特征、换算后的中间变形场以及对应尺度的调制后图像特征进行融合，直至得到与输入畸变图像尺寸一致的最终稠密变形场。

15、优选的，步骤（5）包括：

16、对于校正图像中的每个目标像素，根据目标像素处的最终稠密变形场计算目标像素在待校正畸变图像中对应的源采样坐标；

17、采用双线性插值从待校正畸变图像中获取源采样坐标处的像素值；

18、将全部目标像素对应的像素值组合为校正图像。

19、优选的，图像畸变校正模型的训练方法包括：

20、（i）根据畸变类型对应的径向坐标映射关系，由无畸变图像生成训练畸变图像，并同步生成最终稠密变形场标签、畸变类型标签和有效区域掩膜，构建训练集；

21、（ii）构建包括共享多尺度编码器、类型概率获取模块、类型引导特征调制模块和粗到细流场解码器的校正网络；

22、（iii）利用所述的训练集对所述的校正网络进行训练，得到所述的图像畸变校正模型。

23、所述的最终稠密变形场是与输入图像尺寸对应的二维向量场，其每个像素位置包含水平方向位移分量和垂直方向位移分量，用于表示校正图像中的目标像素在待校正畸变图像中的源采样位置偏移。

24、无畸变图像、训练畸变图像和校正图像采用相同的像素坐标系。

25、优选的，步骤（i）包括：

26、（i-1）确定预设畸变类型集合t={桶形畸变、枕形畸变、鱼眼畸变}，选定畸变类型，建立对应的径向比例函数，设置对应的畸变参数的采样空间；

27、所述的畸变参数至少包括畸变中心、畸变强度和有效视场参数；

28、（i-2）针对无畸变图像，随机选取一种畸变类型以及该畸变类型的畸变中心、畸变强度和有效视场参数；

29、（i-3）根据选定的畸变类型对应的径向比例函数，计算校正图像中目标像素在训练畸变图像中的源采样坐标：

30、；

31、其中，为目标像素到畸变中心的径向距离；

32、采用双线性插值法依据所述的源采样坐标生成训练畸变图像；

33、（i-4）将目标像素与源采样坐标之差保存为目标像素处的二维位移向量：

34、；

35、的两个分量分别为目标像素在水平方向和垂直方向的源采样位置偏移；

36、训练畸变图像边界内所有像素的二维位移向量组成训练畸变图像的最终稠密变形场标签；

37、（i-5）根据所述的源采样坐标是否位于训练畸变图像边界内生成有效区域掩膜，对于任一目标像素，其掩膜值定义为：

38、；

39、其中，和分别为的水平分量和垂直分量；和分别为图像的宽度和高度；训练畸变图像边界内所有像素的掩膜值组成有效区域掩膜；

40、同步记录畸变类型标签；得到包含、、、和的训练样本；

41、（i-6）重复步骤（i-2）至步骤（i-5），得到训练集。

42、上述训练集的构建方法可使三种类型的样本数量和畸变强度覆盖范围保持相近，以降低类型样本分布不均衡对训练的影响。

43、优选的，步骤（iii）包括：

44、将训练畸变图像输入校正网络，得到畸变类型概率向量、各尺度中间变形场和最终稠密变形场；依据最终稠密变形场对训练畸变图像执行反向重采样，得到预测校正图像；

45、训练损失为流场损失、类型损失、图像损失和尺度一致性损失的加权组合：

46、；

47、其中，、和为非负权重；

48、流场损失在有效区域掩膜内计算为：

49、；

50、其中，为防止分母为零的正数；

51、类型损失计算为：

52、；

53、其中，为三种预设畸变类型的类别索引，为类型标签的第个分量，为畸变类型概率向量的第个分量；

54、图像损失计算为：

55、；

56、尺度一致性损失计算为：

57、；

58、其中，为第个解码尺度的中间变形场预测，为第个解码尺度的中间变形场预测，表示将上采样至相邻较高分辨率尺度并按分辨率比例换算位移量的操作。

59、流场损失在有效区域掩膜内比较与，类型损失比较与，图像损失比较与，尺度一致性损失比较相邻尺度变形场在上采样并进行位移量换算后的结果。通过上述联合监督，使全局的类型引导、各尺度的特征响应和最终稠密流场预测在同一端到端训练过程中协同优化。

60、在应用阶段，畸变类型概率向量仅在网络内部引导特征调制，无需用户人工指定畸变类型，也无需用户输入畸变中心或畸变强度。离线样本构建中采用的径向比例函数和参数不被用于推理阶段的流场计算。

61、本发明还提供一种多类型图像畸变校正装置，用于执行所述的多类型图像畸变校正方法，包括：

62、共享多尺度编码器，获得待校正畸变图像的多个尺度的图像特征；多个尺度的图像特征至少包括一个最深尺度图像特征和多个较浅尺度图像特征；

63、类型概率获取模块，根据最深尺度图像特征获得畸变类型概率向量；

64、类型引导特征调制模块，生成各尺度对应的特征调制系数，基于特征调制系数对相应尺度的图像特征进行逐通道调制，获得调制后的多尺度图像特征；

65、粗到细流场解码器，融合各尺度特征并逐级细化，预测得到最终稠密变形场；

66、反向重采样模块，根据最终稠密变形场，对待校正畸变图像进行反向重采样，生成校正图像。

67、本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述的计算机程序被处理器执行时，实现所述的多类型图像畸变校正方法的步骤。

68、本发明还提供一种电子设备，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，所述处理器执行所述计算机程序时实现多类型图像畸变校正方法的步骤。

69、本发明不以人工指定类型或按类型分别输出流场为前提，而是在统一网络内部得到连续的畸变类型概率，并将该概率映射为各尺度的特征调制系数。由此，类型信息参与特征处理而不改变最终流场输出的统一性，适用于桶形、枕形和鱼眼三类单一径向畸变的自动校正。

70、与现有技术相比，本发明的有益效果为：

71、（1）本发明以畸变类型概率向量作为连续引导信号，而不以硬类别结果切换独立校正分支。畸变类型概率向量在各尺度分别生成通道缩放系数和通道偏移系数，使共享多尺度特征能够根据当前图像的径向畸变倾向进行自适应调整，同时保持统一网络和统一流场输出。

72、（2）本发明在训练阶段针对桶形畸变、枕形畸变和鱼眼畸变分别构建单一类型训练样本，并同步生成与反向重采样方向一致的最终稠密变形场标签、类型标签和有效区域掩膜。由此，类型监督、流场监督和图像监督使用一致的坐标语义，且有效区域掩膜可避免图像边界外无效采样位置参与损失计算。

73、（3）本发明通过同一粗到细流场解码器融合经类型调制后的多尺度特征，直接预测一个完整的最终稠密变形场，而不对不同畸变类型分别输出流场或在推理阶段回归畸变参数并代入公式。该方式使推理过程仅包含网络前向计算和一次反向重采样，无需用户指定畸变类型。

74、（4）本发明利用流场损失、类型损失、图像损失和尺度一致性损失共同训练网络，使最终流场的像素级位移、类型概率、重采样图像内容及相邻尺度的几何趋势在训练过程中协同约束。