有利于观察中心视野的镜头畸变校正方法、系统、存储介质及电子设备与流程

摘要: 本发明涉及图像处理领域中的镜头畸变校正技术,特别涉及一种广角镜头桶形畸变校正技术。背景技术:1、广角镜头因视场角大的优势得到广泛应用,但普遍存在桶形畸变(bar...
有利于观察中心视野的镜头畸变校正方法、系统、存储介质及电子设备与流程

本发明涉及图像处理领域中的镜头畸变校正技术,特别涉及一种广角镜头桶形畸变校正技术。

背景技术:

1、广角镜头因视场角大的优势得到广泛应用,但普遍存在桶形畸变(barreldistortion)问题,导致原本直线的物体在图像中呈现向外弯曲的弧线形状。

2、现有的一些桶形畸变校正方法,可以将图像中的直线恢复,但无法避免图像中心区域的物体在校正后缩小,影响了对中心视野的观察效果;另一些校正方法无法保留完整的视场角,导致图像边缘区域被裁切,丢失原本可见的场景信息;还有一些校正方法的计算复杂度高,难以满足嵌入式系统的实时处理需求。因此,亟需一种新的校正技术来解决上述问题。

技术实现思路

1、本发明的目的在于提供一种有利于观察中心视野的镜头畸变校正方法、系统、存储介质及电子设备,可以消除广角镜头桶形畸变,保留全视场角且不缩小图像中心区域物体的成像尺寸,计算复杂度低,并有良好的实时性、确定性和可重复性。

2、为了达到上述目的,本发明的一个技术方案在于提供一种镜头畸变校正方法,包含:

3、获取畸变图像;

4、构建第一映射表,所述第一映射表用于将待生成的输出图像的像素位置映射为所述畸变图像中的坐标,以消除畸变;输出图像中心区域根据所述第一映射表映射到所述畸变图像中的第一映射坐标范围,并在所述第一映射坐标范围内有第一采样间隔;

5、对穿过所述输出图像中心区域的指定行或指定列,从所述第一映射表中提取对应于所述指定行或指定列的映射坐标序列;

6、对所述映射坐标序列进行逆映射变换,利用逆映射变换的结果对所述第一映射表进行补偿映射,得到第二映射表;所述输出图像中心区域根据所述第二映射表映射到所述畸变图像中的第二映射坐标范围,并在所述第二映射坐标范围内有第二采样间隔;所述补偿映射用于使所述第二映射坐标范围大于所述第一映射坐标范围,且所述第二采样间隔大于所述第一采样间隔;

7、基于所述第二映射表对畸变图像进行重映射,得到校正后的输出图像。

8、可选地,所述第一映射表用于消除广角镜头的桶形畸变,使所述畸变图像中弯曲的直线物体在所述输出图像中恢复直线状态;

9、所述第一映射表还用于使所述输出图像中心区域的物体的成像尺寸小于所述畸变图像中该物体的成像尺寸;所述第二映射表用于使所述输出图像中心区域的物体的成像尺寸等于或接近于所述畸变图像中该物体的成像尺寸。

10、可选地,构建所述第一映射表时,进一步包含:

11、获取镜头的径向畸变映射关系;所述径向畸变映射关系包含理想径向距离与实际畸变径向距离之间的对应关系;

12、基于输出图像尺寸、像素物理尺寸以及所述径向畸变映射关系,计算全视场保留增益;所述全视场保留增益用于使所述输出图像完整保留所述畸变图像的视场角;

13、根据所述径向畸变映射关系和所述全视场保留增益,为所述输出图像的每个像素位置计算在所述畸变图像中对应的坐标,形成所述第一映射表。

14、可选地,计算所述全视场保留增益时,根据输出图像的宽度、高度和像素物理尺寸,计算所述畸变图像的边缘在水平方向和竖直方向的最大实际物理半径;

15、在每一方向,基于所述径向畸变映射关系,将所述最大实际物理半径映射为最大理想物理半径;将所述最大理想物理半径与所述最大实际物理半径的比值,作为该方向的全视场保留增益。

16、可选地,对所述输出图像的每个像素位置,基于所述全视场保留增益计算该像素位置的理想径向距离和方向分量;

17、对该像素位置的理想径向距离根据所述径向畸变映射关系计算得到对应的实际畸变径向距离;

18、根据求得的实际畸变径向距离和方向分量,计算该像素位置在所述畸变图像中的坐标,从而生成所述第一映射表;

19、其中,所述全视场保留增益用于在计算理想径向距离时,使输出图像边缘的像素位置对应的理想径向距离等于所述最大理想物理半径。

20、可选地,所述映射坐标序列包含第一中心坐标集合和第一边缘坐标集合;

21、所述第一中心坐标集合包含所述指定行或指定列中位于所述输出图像中心区域内的像素部分,映射到所述畸变图像中得到的坐标;

22、所述第一边缘坐标集合包含所述指定行或指定列中位于所述输出图像边缘区域内的像素部分,映射到所述畸变图像中得到的坐标;

23、其中,所述第一中心坐标集合中相邻坐标的间隔,小于所述第一边缘坐标集合中相邻坐标的间隔。

24、可选地,对所述映射坐标序列进行逆映射变换得到补偿坐标序列;所述补偿坐标序列包含第二中心坐标集合和第二边缘坐标集合;

25、所述第二中心坐标集合包含所述指定行或指定列中位于所述输出图像中心区域内的像素部分经所述逆映射变换后得到的坐标;

26、所述第二边缘坐标集合包含所述指定行或指定列中位于所述输出图像边缘区域内的像素部分经所述逆映射变换后得到的坐标;

27、其中,所述第二中心坐标集合中相邻坐标之间的间隔大于所述第一中心坐标集合中相邻坐标之间的间隔,使所述第二映射坐标范围大于所述第一映射坐标范围,进而使所述输出图像中心区域对应于所述第二映射坐标范围时的成像尺寸,大于所述输出图像中心区域对应于所述第一映射坐标范围时的成像尺寸。

28、可选地,所述输出图像边缘区域根据所述第一映射表映射到所述畸变图像中的第三映射坐标范围;

29、所述输出图像边缘区域根据所述第二映射表映射到所述畸变图像中的第四映射坐标范围;

30、所述第二边缘坐标集合中相邻坐标之间的间隔小于所述第一边缘坐标集合中相邻坐标之间的间隔,使所述第四映射坐标范围小于所述第三映射坐标范围,进而使所述输出图像边缘区域对应于所述第四映射坐标范围时的成像尺寸,小于所述输出图像边缘区域对应于所述第三映射坐标范围时的成像尺寸。

31、可选地,所述输出图像中与所述第二映射坐标范围对应的像素位置到输出图像中心的距离,大于所述输出图像中与所述第一映射坐标范围对应的像素位置到输出图像中心的距离;

32、所述输出图像中与所述第四映射坐标范围对应的像素位置到输出图像边缘的距离,小于所述输出图像中与所述第三映射坐标范围对应的像素位置到输出图像边缘的距离。

33、可选地,对所述映射坐标序列进行逆映射变换,进一步包含:

34、以所述输出图像中沿所述指定行或指定列所在方向等间隔排列的像素位置,作为均匀像素位置序列;

35、以所述映射坐标序列为自变量,所述均匀像素位置序列为因变量,构建逆插值函数,并通过所述逆插值函数将所述均匀像素位置序列转换为补偿坐标序列,利用所述补偿坐标序列对所述第一映射表进行补偿映射。

36、可选地,对所述第一映射表进行补偿映射,进一步包含:

37、基于所述补偿坐标序列构建补偿映射表,用来对所述第一映射表进行重映射,使所述第一映射表中所述输出图像的每一像素位置,通过查询所述补偿映射表获取对应的补偿坐标;将通过所述补偿坐标查询所述第一映射表得到的坐标,作为所述第二映射表中该像素位置对应的坐标,从而得到所述第二映射表。

38、可选地,对所述第一映射表进行的重映射,用于所述输出图像的像素位置通过所述第一映射表映射到的坐标重新分布,以使所述第一映射表中对应于所述输出图像中心区域的坐标向远离畸变图像中心的方向移动,且对应于所述输出图像边缘区域的坐标向靠近所述畸变图像中心的方向移动。

39、可选地,基于所述补偿坐标序列构建补偿映射表时,将所述补偿坐标序列扩展为与所述第一映射表尺寸相同的补偿映射表;

40、其中,所述补偿映射表包含用于水平方向补偿映射的水平补偿映射表和用于竖直方向补偿映射的竖直补偿映射表中的至少一种;

41、所述水平补偿映射表中,对所述输出图像中的所有行使用对应于所述指定行的水平补偿坐标序列;

42、所述竖直补偿映射表中,对所述输出图像中的所有列使用对应于所述指定列的竖直补偿坐标序列。

43、可选地,所述映射坐标序列包含根据所述指定行从所述第一映射表提取的水平映射坐标序列,和根据所述指定列从所述第一映射表提取的竖直映射坐标序列中的至少一种;

44、对所述水平映射坐标序列构建水平方向逆插值函数,计算得到所述水平补偿坐标序列;对所述竖直映射坐标序列构建竖直方向逆插值函数,计算得到所述竖直补偿坐标序列。

45、可选地,对所述第一映射表进行的补偿映射,包含水平方向补偿映射和/或竖直方向补偿映射;

46、所述水平方向补偿映射通过第一使能信号独立控制启用或禁用;

47、所述竖直方向补偿映射通过第二使能信号独立控制启用或禁用。

48、可选地,仅进行水平方向的补偿映射时,使用可对水平方向上坐标重新分布的水平补偿映射表,和在竖直方向上保持所述第一映射表原有坐标分布的竖直保持映射表,对所述第一映射表进行重映射得到所述第二映射表;

49、仅进行竖直方向补偿映射时,使用可对竖直方向上坐标重新分布的竖直补偿映射表,和在水平方向上保持所述第一映射表原有坐标分布的水平保持映射表,对所述第一映射表进行重映射得到所述第二映射表;

50、水平方向补偿映射和竖直方向补偿映射均进行时,先对第一方向进行补偿映射,使用可对第一方向上坐标重新分布的第一补偿映射表,以及使用可在第二方向保持所述第一映射表原有坐标分布的第一保持映射表,对所述第一映射表进行重映射得到经过水平方向补偿的中间映射表;

51、再对第二方向进行补偿映射,使用可对第二方向上坐标重新分布的第二补偿映射表,以及使用可在第一方向保持所述中间映射表原有坐标分布的第二保持映射表,对所述中间映射表进行重映射,得到所述第二映射表;

52、其中,所述第一方向是水平方向和竖直方向中的一个,所述第二方向是水平方向和竖直方向中的另一个。

53、可选地,将所述第二映射表中的所述畸变图像的坐标,限制在所述输出图像的有效像素范围内,对所述第二映射表进行更新,使用更新后的所述第二映射表对所述畸变图像进行重映射,得到校正后的输出图像。

54、可选地,所述输出图像的中心区域到边缘区域的缩放比例随像素位置到输出图像中心的径向距离连续变化。

55、可选地,将所述输出图像的中心行与中心列,分别作为所述指定行与指定列;或者,将镜头光轴偏移量对应的行与列,分别作为所述指定行或指定列。

56、可选地,所述径向畸变映射关系通过查表法或参数化模型法获得。

57、可选地,采用查表法时,通过镜头标定获取镜头的畸变特性参数,用于形成实际畸变径向距离与理想径向距离的对照表。

58、可选地,采用参数化模型法时,通过径向畸变系数计算实际畸变径向距离与理想径向距离的映射关系。

59、可选地,所述方法在嵌入式系统中部署。

60、可选地,所述方法通过现场可编程门阵列或专用集成电路实现。

61、本发明的另一个技术方案在于提供一种镜头畸变校正系统,用于实现上述任意一项所述的镜头畸变校正方法,所述系统包含:

62、输入单元,用于获取畸变图像;

63、第一映射表构建单元,用于构建第一映射表,所述第一映射表用于将待生成的输出图像的像素位置映射为所述畸变图像中的坐标,以消除畸变;输出图像中心区域根据所述第一映射表映射到所述畸变图像中的第一映射坐标范围,并在所述第一映射坐标范围内有第一采样间隔;

64、坐标提取单元,用于对穿过所述输出图像中心区域的指定行或指定列,从所述第一映射表中提取对应于所述指定行或指定列的映射坐标序列;

65、逆映射补偿单元,用于对所述映射坐标序列进行逆映射变换,利用逆映射变换的结果对所述第一映射表进行补偿映射,得到第二映射表;所述输出图像中心区域根据所述第二映射表映射到所述畸变图像中的第二映射坐标范围,并在所述第二映射坐标范围内有第二采样间隔;所述补偿映射用于使所述第二映射坐标范围大于所述第一映射坐标范围,且所述第二采样间隔大于所述第一采样间隔;

66、重映射校正单元,用于基于所述第二映射表对畸变图像进行重映射,得到校正后的输出图像。

67、本发明的又一个技术方案在于提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,实现上述任意一项所述的镜头畸变校正方法。

68、本发明还有一个技术方案在于提供一种电子设备,包含存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时,实现上述任意一项所述的镜头畸变校正方法。

69、与现有技术相比,本发明的技术效果至少在于:

70、本发明先构建第一映射表消除畸变,再通过补偿映射对第一映射表中对应像素位置的坐标分布进行调整,由此可以在单一校正流程中,在消除畸变,使畸变图像中弯曲的直线物体恢复直线状态的基础上,同时兼顾以下目标的实现:保持图像中心区域物体成像不被缩小,完整保留水平和竖直方向视场角使边缘不被裁切,并使整个校正过程基于固定的几何映射关系实现,计算复杂度低,有良好的实时性、确定性和可重复性。

71、本发明的校正过程不依赖图像内容分析,同一镜头参数始终产生相同的校正结果,具有确定性和可重复性,适合嵌入式批量生产。核心算法仅需插值查找和像素重映射操作,可通过现场可编程门阵列或专用集成电路中的查找表和流水线架构即可实现,无需cpu参与,满足嵌入式场景的实时性要求。

72、本发明通过一次插值和一次重映射,可以实现单一方向的补偿映射;通过两次插值和两次重映射,可以在水平和竖直方向均实现补偿映射,计算量远低于现有内容感知校正方法的迭代优化算法。

73、本发明的水平方向补偿映射和竖直方向补偿映射,可以各自通过独立的使能信号控制,用户可根据应用场景灵活选择仅补偿水平方向、仅补偿竖直方向或同时补偿两个方向,提供灵活的应用适应性。

74、本发明中,中心区域恢复原尺寸的映射空间来自边缘区域的适度压缩。在一些主要关注中心视野目标的场景中,边缘区域的适度压缩不影响使用体验,反而可以使边缘物体在视野中更紧凑,不会过度放大。