用于校准一批次镜头的方法、相关联的图像校正方法和成像系统与流程

摘要: 本发明涉及一种用于校准一批次镜头的计算机实现的方法。本发明还涉及一种计算机程序、一种图像校正方法以及一种实施这种方法的成像系统。本发明应用于光学领域,尤其应用于...
用于校准一批次镜头的方法、相关联的图像校正方法和成像系统与流程

本发明涉及一种用于校准一批次镜头的计算机实现的方法。本发明还涉及一种计算机程序、一种图像校正方法以及一种实施这种方法的成像系统。本发明应用于光学领域,尤其应用于相机模组的镜头。

背景技术:

1、已知将一个或更多个相机模组集成到诸如智能手机之类的电子设备中。每个相机模组通常包括与传感器相关联的镜头。

2、通常,镜头包括一组相位物体,特别是透镜元件,按照预定的堆叠图样堆叠。这种堆叠通常是在制造相位物体并将其组装成镜头之前的设计阶段期间通过模拟来计算的。

3、然而,实际镜头通常会表现出与标称配置的偏差,这些偏差可以类比为缺陷。

4、例如,此类偏差部分归因于相位物体的形状相对于预期理论形状的不完美。这些不完美例如是由于制造相位物体(特别是透镜元件)的塑料材料的收缩、模具的加工准确度、模具导向部件的功能间隙等造成的。其结果是相位物体相对于对应的理论预期位置的失配(倾斜和/或偏移)。

5、此外,用于模制相位物体(特别是透镜元件)的塑料材料的质量及其注入方式(温度、压力、冷却循环时间)可能导致折射率偏离预期折射率。

6、此外,在透镜元件上沉积抗反射涂层是每个透镜元件的实际厚度相对于预期厚度产生偏差的潜在来源。

7、这些结构缺陷导致光学瑕疵,即镜头的光学响应不同于预期光学响应(通常更差),并且包括点扩散缺陷、色差缺陷和/或几何像差缺陷(特别是畸变)。

8、通常,为了补偿这些缺陷,制造商在配备有相机模组的电子设备中集成图像校正模块,实施预定的校正,例如对比度增强。

9、补偿这些缺陷的另一种方式是通过每个镜头对预定的参考图案(例如网格)进行成像,并将获得的图像与参考图案进行比较,以推导出由镜头引入的待校正的光学像差。

10、然而,这种校正并不完全令人满意。

11、这是因为归因于制造过程的缺陷的性质和程度随时间变化,导致光学响应也随时间变化。换言之,按照相同的预定堆叠但在不同日期制造的镜头具有不同的光学响应。因此,对所有制造的镜头使用相同的校正不会产生令人满意的结果。

12、此外,通过参考图案成像确定的光学像差仅仅是镜头的点扩散函数与所述参考图案的复合。然而,有效的校正需要知道点扩散函数本身,而不是其与参考图案复合的结果。

13、本发明的一个目的是克服现有技术的至少一个缺点。

14、本发明的另一个目的是提供一种校准程序,其使得能够获得与镜头相关联的可靠且准确的光学响应,而无需单独测量每个镜头的特性。

技术实现思路

1、为此目的,本发明涉及上述类型的校准方法,其中该批次的每个镜头包括组装元件和以预定堆叠交错并安装在组装元件中的多个相位物体,该批次镜头使得对于所述批次中的任何两个镜头,堆叠的同一层级中的相应相位物体已使用相同的制造过程制造,

2、该校准方法包括以下步骤:

3、- 对于堆叠的每个层级,获得:

4、●几何数据,其指示以下各项的形状:

5、○位于所述层级的相位物体的至少一个屈光面;

6、○所述相位物体在组装元件内表面上的第一抵靠表面;和/或

7、○所述相位物体抵靠相邻的相位物体的第二抵靠表面;

8、●与作为所述相位物体中位置的函数的折射率有关的光学数据;

9、- 基于每个相位物体的几何数据,计算代表每个相位物体在该批次镜头的一个镜头的组装元件中的实际位置的位置数据;

10、- 基于所计算的位置数据和所获得的光学数据,模拟与该批次镜头相关联的至少一个光学响应;以及

11、- 将每个经模拟的光学响应与镜头批次标识符相关联地存储在存储器中。

12、实际上,同一批次镜头中的相位物体的制造过程被假定在短时间内的变化可忽略不计。这样,通过测量该批次中单个镜头的特性,根据本发明的方法为该批次中的所有镜头提供了一个光学响应。因此,可以对所有这些镜头进行可靠的校正。

13、因此,根据本发明的校准方法比已知方法更不繁琐、成本更低且更准确。

14、有利地,根据本发明的校准方法具有以下特征中的一个或更多个,这些特征可单独采用或以任何技术上可能的组合采用:

15、对于堆叠的每个层级,与位于所述层级的相位物体有关的几何数据还指示所述相位物体的角位置;

16、至少一个相位物体是透镜元件,该批次镜头使得对于所述批次中的两个镜头,堆叠的同一层级中的相应透镜元件来自同一模具的同一腔室;

17、堆叠包括至少一个垫片,每个垫片布置在堆叠的两个相应预定层级之间,

18、该方法还包括对于每个垫片,获得相应的几何数据,该几何数据指示垫片的厚度、垫片的抵靠组装元件的内表面的每个抵靠表面的形状和/或垫片的抵靠相邻相位物体的每个辅助抵靠表面的形状,

19、位置数据还取决于与每个垫片有关的几何数据;

20、与该批次镜头相关联的至少一个经模拟的光学响应至少包括:

21、- 由所述批次的一个镜头在预定参考平面中引起的畸变图,该参考平面正交于镜头的目标光轴并且位于距所述镜头预定距离处;和/或

22、- 所述批次的一个镜头在至少一个空间点与参考平面之间的光学传递函数;

23、每个经模拟的光学响应与相应的波长范围相关联;

24、模拟步骤包括将位置数据和光学数据作为输入提供给人工智能模型,该人工智能模型形成光学响应模型,

25、该光学响应模型与堆叠相关联并被配置为输出与所述位置和光学数据相关联的经模拟的光学响应,

26、该光学响应模型已经基于训练数据集被预先训练,该训练数据集包括多个输入数据集,每个输入数据集与对应的光学响应相关联,

27、每个输入数据集包括布置在镜头内所述堆叠中的相位物体的位置数据和光学数据,对应的光学响应形成所述输入数据集的预期输出;

28、该批次镜头中镜头的同一层级的相位物体先前已经在同一预定时间窗口内制造。

29、根据本发明的另一方面,提供了一种计算机程序,其包括可执行指令,当所述可执行指令由计算机执行时,实施如上定义的方法的步骤。

30、该计算机程序可以以任何计算机语言编写,例如机器语言、c、c++、java、python等。

31、根据本发明的另一方面,提出了一种用于校准至少一批次镜头的计算单元,该批次中的每个镜头包括组装元件和以预定堆叠交错并安装在组装元件中的多个相位物体,

32、该批次镜头使得对于所述批次中的任何两个镜头,堆叠的同一层级中的相应相位物体已使用相同的制造过程制造,

33、该计算单元被配置为:

34、-根据每个相位物体的几何数据,计算代表该批次镜头的镜头的组装元件中每个相位物体的实际位置的位置数据,每个相位物体的几何数据指示以下各项的形状:

35、●位于所述层级处的相位物体的至少一个屈光面;

36、●所述相位物体在组装元件的内表面上的第一抵靠表面;和/或

37、●所述相位物体的抵靠相邻相位物体的第二抵靠表面;

38、-根据所计算的位置数据和每个相位物体的光学数据,模拟与该批次镜头相关联的至少一个光学响应,每个相位物体的光学数据与作为所述相位物体中位置的函数的折射率有关;以及

39、-将每个经模拟的光学响应与镜头批次标识符相关联地存储在存储器中。

40、根据本发明的另一方面,提出了一种用于校正借助于包括镜头和传感器的相机模组获取的图像的方法,该传感器被布置为获取通过该镜头观察的场景的图像,

41、该镜头属于与通过实施如上定义的校准方法模拟的光学响应相关联的预定批次,

42、该校正方法包括根据所获取的图像和与相机模组镜头所属批次相关联的经模拟的光学响应生成经校正的图像。

43、有利地,根据本发明的校正方法具有以下特征:

44、经校正的图像的生成包括对所获取的图像通过光学响应进行去卷积。

45、根据本发明的另一方面,提出了一种成像系统,其包括处理单元和至少一个相机模组,每个相机模组包括镜头和传感器,该传感器被布置为获取通过该镜头观察的场景的图像,

46、该处理单元被配置为针对每个相机模组存储与所述相机模组的镜头所属的该批次镜头相对应的经模拟的光学响应,

47、该处理单元还被配置为针对由该成像系统的相机模组获取的每个图像,根据所获取的图像和与相机模组的镜头所属批次相关联的经模拟的光学响应生成经校正的图像。

48、优选地,该成像系统是智能手机。

49、在这种情况下,本发明还涉及根据本发明的校正方法在智能手机中的用途,用于校正借助于智能手机中包括的相机模组获取的图像。

50、替代地,该成像系统是触摸敏感平板电脑。

51、在这种情况下,本发明还涉及根据本发明的校正方法在触摸屏平板电脑中的用途,用于校正借助于触摸屏平板电脑中包括的相机模组获取的图像。

52、替代地,该成像系统是计算机。

53、在这种情况下,本发明还涉及根据本发明的校正方法在计算机中的用途,用于校正借助于计算机中包括的相机模组获取的图像。

54、替代地,该成像系统是电视或显示终端。

55、在这种情况下,本发明还涉及根据本发明的校正方法在电视或显示终端中的用途,用于校正借助于电视或显示终端中包括的相机模组获取的图像。

56、替代地,该成像系统是虚拟现实头戴设备或增强现实头戴设备。

57、在这种情况下,本发明还涉及根据本发明的校正方法在虚拟现实头戴设备或增强现实头戴设备中的用途,用于校正借助于虚拟现实头戴设备或增强现实头戴设备中包括的相机模组获取的图像。

58、替代地,该成像系统是医学成像系统,例如内窥镜。

59、在这种情况下,本发明还涉及根据本发明的校正方法在医学成像系统中的用途,用于校正借助于医学成像系统中包括的相机模组获取的图像。

60、替代地,该成像系统包括在车辆中,无论是否自动驾驶,例如陆地车辆(例如汽车)、飞行器(例如无人机、飞机、直升机等)或海上车辆(例如船、潜艇等)。

61、在这种情况下,本发明还涉及根据本发明的校正方法在车辆中的用途,用于校正借助于车辆中包括的相机模组获取的图像。