一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

畸变校准方法、视觉系统和计算机可读存储介质与流程

2022-10-26 21:17:54 来源:中国专利 TAG:


1.本技术涉及畸变校准技术领域,特别是涉及一种畸变校准方法、视觉系统和计算机可读存储介质。


背景技术:

2.内窥镜是一种具有光学镜头的检测仪器,其一般应用于医疗领域。在医疗领域中,内窥镜可以经人体的天然孔道或经手术切口进入人体内如胃内等,医生可以利用内窥镜观察到x射线不能显示的病变,例如,胃内的溃疡或肿瘤等,然后据此制定出最佳的治疗方案。
3.目前由于内窥镜在物料或生产等上的限制,导致内窥镜的一致性存在一定的差异,例如,内窥镜的畸变效果不一致等。在相关技术中,通常采用畸变校正算法对所有内窥镜拍摄到的图像进行畸变校正,然而,由于内窥镜的畸变效果不一致,如果对所有内窥镜拍摄到的图像均进行畸变校正,显然会存在部分内窥镜的畸变效果仍不满足要求的情况。


技术实现要素:

4.基于此,有必要针对上述技术问题,提供一种能够解决待测试镜体畸变效果不一致问题的畸变校准方法、视觉系统和计算机可读存储介质。
5.第一方面,本技术提供了一种畸变校准方法。所述方法包括:
6.对待测试镜体进行畸变测试,获得所述待测试镜体的畸变测试参数;
7.若所述待测试镜体的畸变测试参数不满足指标要求,获取所述待测试镜体的畸变校正图像;
8.基于所述畸变校正图像,获得所述待测试镜体的畸变校正参数,所述畸变校正参数应用于所述待测试镜体。
9.在其中一个实施例中,所述对待测试镜体进行畸变测试,获得所述待测试镜体的畸变测试参数,包括:
10.获取所述待测试镜体到测试标板零距离时的初始刻度值,其中,所述待测试镜体沿带有刻度的导轨相对所述测试标板移动,所述测试标板上具有同心的内圆、中间圆以及外圆,所述中间圆以及圆心上分别具有标记;
11.获取所述待测试镜体的视场边缘切所述内圆时的第一刻度值;
12.获取所述待测试镜体的视场边缘切所述外圆时的第二刻度值;
13.在所述待测试镜体移动到所述第二刻度值的位置后,获取在所述待测试镜体的视场中多个所述标记的尺寸;
14.对所述初始刻度值、所述第一刻度值、所述第二刻度值以及多个所述标记的尺寸进行运算,获得所述待测试镜体的畸变测试参数。
15.在其中一个实施例中,所述待测试镜体的畸变测试参数包括视场角、相对畸变以及畸变一致性中的一种或多种。
16.在其中一个实施例中,所述获取所述待测试镜体的畸变校正图像,包括:
17.利用所述待测试镜体对含有畸变标定图的待拍摄区域进行拍摄,得到所述畸变校正图像。
18.在其中一个实施例中,所述畸变标定图包括棋盘格,所述畸变校正图像为多个,多个所述畸变校正图像分别在所述棋盘格置于所述待拍摄区域中多个不同位置和/或角度时拍摄得到。
19.在其中一个实施例中,在所述基于所述畸变校正图像,获得所述待测试镜体的畸变校正参数,所述畸变校正参数应用于所述待测试镜体之后,所述方法还包括:
20.若应用所述畸变校正参数后的所述待测试镜体的畸变测试参数不满足指标要求,则对所述畸变校正参数进行调整,得到调整后的所述畸变校正参数,调整后的所述畸变校正参数应用于所述待测试镜体。
21.在其中一个实施例中,所述基于所述畸变校正图像,获得所述待测试镜体的畸变校正参数,包括:
22.获取所述畸变校正图像中在畸变标定图上多个标定点的第一坐标;
23.获取标准图像中在畸变标定图上多个所述标定点的第二坐标,所述标准图像由标准相机对所述畸变标定图拍摄得到;
24.基于多个所述第一坐标以及多个所述第二坐标,获得所述待测试镜体的畸变校正参数,所述畸变校正参数用于表示所述第一坐标与所述第二坐标之间的映射关系。
25.在其中一个实施例中,所述方法还包括:
26.将每一所述待测试镜体与对应的所述畸变校正参数关联存储。
27.在其中一个实施例中,所述方法还包括:
28.获取存储的与镜体对应的畸变校正参数;
29.通过所述畸变校正参数对镜体成像进行校准得到目标图像。
30.第二方面,本技术还提供了一种视觉系统。所述视觉系统包括:
31.测试标板;
32.畸变标定图;
33.内窥镜,用于拍摄图像;
34.显示器,用于显示由所述内窥镜拍摄到的图像;以及
35.图像处理单元,用于执行上述任意一个实施例中所述的畸变校准方法得到畸变校正参数,并将所述畸变校正参数存储于所述内窥镜。
36.第三方面,本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时用于实现上述任意一个实施例中的方法的步骤。
37.上述畸变校准方法、视觉系统和计算机可读存储介质,通过对待测试镜体进行畸变测试,并根据测试结果判断该待测试镜体的畸变效果是否满足指标要求,如果不满足,则对该待测试镜体进行畸变校正,直到该待测试镜体的畸变效果满足指标要求,从而解决了待测试镜体的畸变效果不一致问题。
附图说明
38.图1为一个实施例中畸变校准方法的应用环境图;
39.图2为一个实施例中畸变校准方法的流程示意图;
40.图3为另一个实施例中畸变校准方法的流程示意图;
41.图4为一个实施例中畸变测试装置的结构示意图;
42.图5为一个实施例中测试标板的结构示意图;
43.图6为一个实施例中视场角计算原理的示意图;
44.图7为一个实施例中棋盘格摆放位置或角度的结构示意图;
45.图8为一个实施例中棋盘格的结构示意图;
46.图9为一个实施例中多个畸变校正图像整合到同一坐标系中的坐标示意图;
47.图10为一个实施例中畸变校正参数计算原理的示意图;
48.图11为一个实施例中内窥镜畸变校正前的图像(左图)与畸变校正后的图像(右图)的对比示意图;
49.图12为一个实施例中畸变校准装置的结构框图;
50.图13为一个实施例中视觉系统的结构框图;
51.图14为另一个实施例中视觉系统的结构示意图;
52.图15为另一个实施例中手术机器人的结构框图;
53.图16为一个实施例中计算机设备的内部结构图;
54.图17为另一个实施例中计算机设备的内部结构图。
具体实施方式
55.为了使本技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本技术进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本技术,并不用于限定本技术。
56.本技术人考虑到,因物料或生产上的限制,导致待测试镜体如内窥镜等的畸变效果存在不一致的问题,如果直接采用畸变校正算法对所有内窥镜拍摄到的图像均进行畸变校正,显然会存在部分内窥镜的畸变效果仍不满足要求的情况,从而导致以此为基础制定的医疗方案存在遗漏或错误等,存在医疗安全隐患。因此,本技术人构思通过对待测试镜体如内窥镜等逐一进行畸变测试,并根据测试结果判断该待测试镜体的畸变效果是否满足指标要求,如果不满足,则对该待测试镜体进行畸变校正,直到该待测试镜体的畸变效果满足指标要求,从而解决了待测试镜体的畸变效果不一致问题,提高医疗安全性。
57.本技术实施例提供的畸变校准方法,可以应用于如图1所示的应用环境中。以待测试镜体为内窥镜为例,该畸变校准方法可以应用于手术机器人900,该手术机器人900可以包括操作端910;视觉系统920;以及手术器械930,所述视觉系统920用于显示由内窥镜拍摄到的图像,用以指导用户通过所述操作端910控制所述手术器械930执行相应的操作,如通过内窥镜观察人体胃内情况等。该视觉系统920中包含内窥镜,且用于执行上述畸变校准方法,使得所有内窥镜的畸变效果均满足指标要求,从而解决了内窥镜的畸变效果不一致问题。
58.在一个实施例中,如图2所示,提供了一种畸变校准方法,以该方法应用于图1中的手术机器人为例进行说明,包括以下步骤:
59.s202,对待测试镜体进行畸变测试,获得所述待测试镜体的畸变测试参数。
60.其中,待测试镜体可以为内窥镜,或者其他具有光学镜头的装置等。待测试镜体的畸变测试参数可以包括但不限于视场角、相对畸变以及畸变一致性中的一种或多种,该畸变测试参数用于表示该待测试镜体的畸变效果。例如,若该待测试镜体的畸变测试参数中的任意一个不满足指标要求,则表示该待测试镜体的畸变效果不满足指标要求,则需要利用后续步骤s204至步骤s206对该待测试镜体进行畸变校正,直到该待测试镜体的所有畸变测试参数均满足指标要求,即表示该待测试镜体的畸变效果满足指标要求。
61.具体地,在步骤s202中,可以采用测试标板对待测试镜体进行畸变测试,获得所述待测试镜体的畸变测试参数。该测试标板被配置为在畸变测试过程中辅助获得多个测试值,该多个测试值用于计算得到待测试镜体的畸变测试参数。
62.s204,若所述待测试镜体的畸变测试参数不满足指标要求,获取所述待测试镜体的畸变校正图像。
63.其中,畸变校正图像可以由待测试镜体对含有畸变标定图的待拍摄区域进行拍摄得到,该畸变标定图中可以包含多个标定点,该多个标定点在畸变校正图像中的坐标用于计算得到该待测试镜体的畸变校正参数。
64.具体地,在步骤s204中,上述指标要求可以包括与各畸变测试参数分别对应的指标范围,若待测试镜体的所有畸变测试参数中任意一个未处于对应的指标范围内,则表示该待测试镜体的畸变效果不满足指标要求,需要获取该待测试镜体的畸变校正图像,以对该待测试镜体进行畸变校正。
65.以待测试镜体的畸变测试参数包括视场角、相对畸变以及畸变一致性为例,上述指标范围可以包括视场角指标范围、相对畸变指标范围以及畸变一致性指标范围,若该待测试镜体的畸变测试参数中的视场角处于视场角指标范围内,相对畸变处于相对畸变视场角范围内,以及畸变一致性处于畸变一致性指标范围内,则表示该待测试镜体的畸变效果满足指标要求,否则表示该待测试镜体的畸变效果不满足指标要求。
66.步骤s206,基于所述畸变校正图像,获得所述待测试镜体的畸变校正参数,所述畸变校正参数应用于所述待测试镜体。
67.其中,该畸变校正参数用于对该待测试镜体拍摄到的图像进行畸变校正。所述畸变校正参数应用于所述待测试镜体,用于表示在待测试镜体拍摄得到图像后,采用该畸变校正参数对该待测试镜体拍摄得到的图像进行畸变校正,得到畸变校正后的图像。
68.在其中一个实施例中,在得到畸变校正参数后,将每一所述待测试镜体与对应的畸变校正参数关联存储,从而后续在使用镜体的时候,获取到存储的与镜体对应的畸变校正参数;通过畸变校正参数对所述镜体成像进行校准得到目标图像,也即校正后的图像。
69.因此,通过上述步骤s202至步骤s206,在测试到待测试镜体的畸变效果不满足指标要求的情况下,通过该待测试镜体的畸变校正图像,获得该待测试镜体的畸变校正参数,并将该畸变校正参数应用于该待测试镜体,以便于该待测试镜体的畸变效果满足指标要求,从而解决了待测试镜体的畸变效果不一致问题。
70.进一步地,在步骤s206之后,所述方法还包括;
71.若应用所述畸变校正参数后的待测试镜体的畸变测试参数(或畸变效果)不满足指标要求,则对所述畸变校正参数进行调整,得到调整后的畸变校正参数,并将调整后的畸变校正参数应用于所述待测试镜体。
72.在将该畸变校正参数(如第一畸变校正参数)应用于该待测试镜体后,重新执行上述步骤s202,以再次对该待测试镜体进行畸变测试,并根据测试结果判断该待测试镜体的畸变效果是否满足指标要求,若满足,则该畸变校正参数(如第一畸变校正参数)为目标畸变校正参数,该目标畸变校正参数用于在将该目标畸变校正参数应用于待测试镜体后,使得该待测试镜体的畸变效果满足上述指标要求。若不满足,则利用算法对上述畸变校正参数(如第一畸变校正参数)进行调整,以获得调整后的畸变校正参数(如第二畸变校正参数),并将调整后的畸变校正参数(如第二畸变校正参数)应用于该待测试镜体中,并继续执行对该待测试镜体进行畸变测试的步骤,以此类推,直到测试得到该测试镜体的畸变效果满足上述指标要求为止,并且使该待测试镜体的畸变效果满足上述指标要求所对应的畸变校正参数为上述目标畸变校正参数。
73.如图3所示,本技术实施例提供的畸变校准方法的流程如下:
74.s1、利用测试标板对待测试镜体进行畸变测试;
75.s2、判断该待测试镜体的畸变效果是否满足指标要求;
76.s3、若满足,则结束流程,若不满足,则获取由待测试镜体对含有畸变标定图的待拍摄区域拍摄得到的畸变校正图像;
77.s4、根据步骤s3获取到的畸变校正图像,计算得到畸变校正参数,并将该畸变校正参数应用于该待测试镜体;
78.s5、利用测试标板对应用该畸变校正参数后的待测试镜体再次进行畸变测试;
79.s6、判断应用该畸变校正参数后的待测试镜体的畸变效果是否满足指标要求;
80.s7、若满足,则结束流程,若不满足,则对该畸变校正参数进行调整,并将调整后的畸变校正参数应用于该待测试镜体,并返回步骤s5,直到该待测试镜体的畸变校准满足指标要求为止。
81.举例地,上述畸变校正参数可以按照比例调整算法进行调整,如该畸变校正参数按照设定的比例逐渐增大或逐渐减小等,当然,对该畸变校正参数进行调整的算法并不限于本实施例的举例,在为了使该待测试镜体的畸变效果满足上述指标要求为目标的情况下,该畸变校正参数的调整算法可以做任意调整或替换,在此不受限制。更进一步地,为了节约算力,避免循环次数过多,可以设定最大调整次数,若利用上述畸变校正参数的调整次数达到该最大调整次数,则输出提示信息,该提示信息用于提示用户当前的待测试镜体的畸变效果在畸变校准后仍不满足指标要求,使得用户可以及时地替换掉该待测试镜体等。
82.因此,对于多个待测试镜体,在上述指标要求保持一致的情况下,均分别采用上述畸变校准方法获得相对应的畸变校正参数(如上述目标畸变校正参数),然后将对应的畸变校正参数(如上述目标畸变校正参数)分别应用于对应的待测试镜体中,从而使各个待测试镜体的畸变效果保持一致,从而解决了待测试镜体的畸变效果不一致问题,提高医疗安全性。
83.值得一提的是,上述畸变校正参数可以存储于对应的待测试镜体中,或者,上述畸变校正参数可以存储在存储器中,并与对应的待测试镜体建立对应关系。
84.在一个实施例中,为便于记录待测试镜体相对测试标板的距离,所述待测试镜体可以沿带有刻度的导轨相对所述测试标板移动,且测试标板处于该待测试镜体的视场范围内。具体地,如图4所示,上述视觉系统920可以包括畸变测试装置800,畸变测试装置800用
于辅助完成上述畸变测试,该畸变测试装置800可以包括测试标板810、导轨820、第一固定装置830、以及第二固定装置840,导轨820上带有用于计算距离的刻度,第一固定装置830如夹具等,用于固定待测试镜体保持相对静止,并可沿所述导轨820相对所述测试标板810移动,以带动待测试镜体相对测试标板810移动。第二固定装置840如夹具等,被固定于导轨820的一端,用于夹取测试标板810。
85.可选地,如图5所示,测试标板810上具有同心的内圆801、中间圆802以及外圆803,内圆801、中间圆802以及外圆803的半径依次增大,且均为空心圆,所述中间圆802以及圆心上分别具有标记804,该标记804为实心圆,且各个标记804的半径可以保持一致或基本相等,优选地,中间圆802上对称设置4个标记804,圆心上设置1个标记804。
86.可以理解的是,在其他一些可选实施例中,测试标板上可以包含四个或四个以上的同心圆,相邻圆之间可以具有预设的径向间距,至少部分圆及圆心上设有标记。或者,上述圆可以替换为多边形,如四边形等。或者,上述标记的数量以及位置也可以根据实际情况改变,在此不受限制。
87.在本实施例中,上述步骤s202可以包括:
88.s210、获取所述待测试镜体到测试标板零距离时的初始刻度值;
89.s220、获取所述待测试镜体的视场边缘切所述内圆时的第一刻度值;
90.s230、获取所述待测试镜体的视场边缘切所述外圆时的第二刻度值;
91.s240、在所述待测试镜体移动到所述第二刻度值的位置后,获取在所述待测试镜体的视场中多个所述标记的尺寸;
92.s250、对所述初始刻度值、所述第一刻度值、所述第二刻度值以及多个所述标记的尺寸进行运算,获得所述待测试镜体的畸变测试参数。
93.具体地,在步骤s210中,在将待测试镜体沿带刻度的导轨相对移动到测试标板零距离时,记录该导轨上的刻度为上述初始刻度值,记为a1。该初始刻度值用于降低后续计算待测试镜体的的畸变测试参数的误差。
94.在步骤s220中,在将待测试镜体依次移动至视场边缘切内圆的位置时,记录该导轨上的刻度,以得到上述第一刻度值。由于待测试镜体存在畸变情况或者待测试镜体的视场范围可能大于内圆尺寸,导致存在该待测试镜体的视场边缘的上侧、下侧、左侧以及右侧(或视场边缘的上下左右四个边缘线等)无法同时切合上述内圆的情况,因此,为了提高上述第一刻度值的准确性,在本实施例中,在将待测试镜体依次移动至视场边缘的上侧、下侧、左侧以及右侧(或视场边缘的上下左右四个边缘线等)分别切上述内圆的位置时,分别记录该导轨上的刻度,得到四个内切刻度值,分别记为a1、a2、a3以及a4,然后计算该四个内切刻度值的均值,得到上述第一刻度值,记为b1。
95.相应地,在步骤s230中,在将待测试镜体依次移动至视场边缘切外圆的位置时,记录该导轨上的刻度,以得到上述第二刻度值。进一步地,由于待测试镜体的视场边缘的四侧无法同时切合上述外圆,因此,为了提高上述第二刻度值的准确性,在将待测试镜体依次移动至视场边缘的上侧、下侧、左侧以及右侧分别切外圆的位置时,分别记录该导轨上的刻度,得到四个外切刻度值,分别记为b1、b2、b3以及b4,然后计算该四个外切刻度值的均值,得到上述第二刻度值,记为b2。
96.在步骤s240中,在将待测试镜体移动至上述第二刻度值的位置时,分别读取多个
所述标记(如中间圆上的4个标记以及圆心上的1个标记)在所述待测试镜体的视场中的尺寸(如最宽直径等),分别记为c1、c2、c3、c4以及c5。
97.在步骤s250中,如图6所示,拍摄画面为平面a,l为摄像头位置垂直于平面a的线段长度,a和b为拍摄画面的最长宽边和长边,o点位画面中心,o为摄像头位置(如待测试镜体的镜头位置等),c为拍摄画面的对角线长度,视场角θ的计算公式如下:
98.c=sqrt(a2 b2)
99.θ=2atan(c/2l)。
100.可以理解的是,相对畸变以及畸变一致性可以由上述第二刻度值b2、多个上述标记的尺寸c1、c2、c3、c4以及c5计算得到。
101.在其中一个实施例中,如图7所示,上述视觉系统还可以包括畸变标定图710,该畸变标定图710被放置于待拍摄区域720内,该待拍摄区域720可以为白色背景区域,该畸变标定图可以包括棋盘格,且该畸变标定图710的尺寸小于该待拍摄区域的尺寸,该畸变标定图710可以放置于该待拍摄区域720内的不同位置和\或角度(如旋转角度)等。如图8所示,棋盘格710可以由360
°
角度旋转三脚架支撑,以便于拍摄得到上述多个畸变校正图像。
102.进一步地,上述步骤s204可以包括:
103.利用所述待测试镜体对含有畸变标定图的待拍摄区域进行拍摄,得到所述畸变校正图像。
104.在本技术一个实施例中,所述畸变校正图像为多个,多个所述畸变校正图像分别在所述棋盘格置于所述待拍摄区域中多个不同位置和/或角度时拍摄得到。也就是说,每个畸变校正图像中均包含棋盘格,且在不同的畸变校正图像中,棋盘格的位置和\或角度不同。
105.进一步地,为提高后续计算畸变校正参数的准确度,上述畸变校正图像可以包括多个第一校正图像以及多个第二校正图像,上述待拍摄区域可以划分为左上角、左下角、中间、右上角以及右下角等区域,上述步骤s204还可以包括:
106.s310、在所述棋盘格依次置于待拍摄区域中的左上角、左下角、中间、右上角以及右下角等区域时,利用所述待测试镜体分别拍摄得到多个上述第一校正图像;
107.s320、在所述棋盘格依次置于待拍摄区域中的左上角、左下角、右上角以及右下角等区域,且按预设方向旋转预设角度时,利用所述待测试镜头分别拍摄得到多个上述第二校正图像。
108.也就是说,在上述步骤s310中,棋盘格平置于待拍摄区域中,即棋盘格的旋转角度为0
°
。在上述步骤s320中,该预设方向可以包括向上、向下、向左或向右旋转等,该预设角度可以包括30
°
、45
°
或60
°
等,在此不受限制。
109.需要指出的是,上述待拍摄区域还可以被划分为更多个可供放置棋盘格的区域,以及在每个放置棋盘格的区域内棋盘格可以被放置的角度也可以被设定为更多个,以拍摄得到更多数量的畸变校正图像,例如,拍摄得到的畸变校正图像的数量至少32张等。
110.在其中一个实施例中,在步骤s204之后,所述畸变校准方法还包括步骤:
111.s410、对拍摄得到的多张畸变校正图像进行筛选,得到筛选后的多张畸变校正图像;
112.s420、将筛选后的多张畸变校正图像中的棋盘格整合到同一坐标系中,得到整合
后的畸变校正图像。
113.考虑到在拍摄图像过程中,可能因镜头抖动或人为操作失误等导致拍摄到的畸变校正图像较为模糊等,因此,在步骤s410中,可以根据图像模糊程度或图像清晰度等对畸变校正图像进行筛选,例如,若畸变校正图像的图像模糊程度高于预设模糊阈值,或者图像清晰度低于预设清晰度阈值等,则删除该畸变校正图像,从而保证筛选后的畸变校正图像的清晰度或模糊程度满足后续计算畸变校正参数的要求。
114.如图9所示,多个畸变校正图像中的棋盘格被整合到同一坐标系中,该坐标系的x轴、y轴以及z轴的单位为毫米,图9中各个棋盘格可以具有对应的标号,该标号可以用于表示拍摄序号或者位置序号等。
115.为确保后续计算畸变校正参数的准确度和可靠度,棋盘格的所占据的区域总和大致覆盖到待拍摄区域的全部区域,使得整合后的畸变校正图像中所有棋盘格可以覆盖到较大范围的区域,如覆盖到畸变校正图像中的左上角、右上角、左下角、右下角以及中间等区域。
116.在其中一个实施例中,上述步骤s206可以包括:
117.s510、获取所述畸变校正图像中在畸变标定图上多个标定点的第一坐标;
118.s520、获取标准图像中在畸变标定图上多个所述标定点的第二坐标,所述标准图像由标准相机对所述畸变标定图拍摄得到;
119.s530、基于多个所述第一坐标以及多个所述第二坐标,获得所述待测试镜体的畸变校正参数,所述畸变校正参数用于表示所述第一坐标与所述第二坐标之间的映射关系。
120.在本实施例中,上述标定点可以包括畸变标定图中的角点等,例如,棋盘格中的格点等。可以理解的是,以上述标准相机拍摄到的标准图像作为参照图像,根据在畸变校正图像与标准图像中相对应的标定点的坐标,计算得到坐标之间的映射关系,即得到上述畸变校正参数。
121.具体地,如图10所示,畸变校正图像x1中在畸变标定图上多个标定点的第一坐标可以包括所述畸变校正图像x1中在畸变标定图上的边缘标定点701的坐标以及中心标定点702的坐标,标准图像x2中在畸变标定图上多个标定点的第二坐标可以包括所述标准图像x2中在畸变标定图上的边缘标定点703的坐标以及中心标定点704的坐标。需要指出的是,边缘标定点为处于畸变标定图的边缘位置(如边角位置等)的标定点(或处于畸变校正图像或标准图像的边缘位置的标定点),中心标定点为处于畸变标定图的中心位置的标定点(或处于畸变校正图像或标准图像中心位置的标定点),上述畸变校正参数可以由以下公式计算得到:
122.ru=rd(1 kr
d2
);
123.其中,ru为在标准图像中边缘标定点到中心标定点的距离,rd为在畸变校正图像中边缘标定点到中心标定点的距离,k为畸变校正参数。
124.考虑到上述畸变校正图像与上述标准图像中相对应于的标定点的坐标之间并非都一一对应整数,为便于后续计算得到畸变校正参数,因此,在步骤s206中,还包括步骤:对上述畸变校正图像与上述标准图像中相对应的且非整数的所述标定点进行插值处理,得到插值处理后的标定点,其中,插值处理后的标定点的坐标为整数。可选地,上述插值处理可以包括八邻域均值插值处理,即利用非整数的标定点的八领域均值来插值替代该标定点的
坐标。可选地,上述插值处理还可以包括利用非整数的标定点最近的整数点坐标来插值替代该标定点的坐标。
125.综上,在得到上述畸变校正参数并将该畸变校正参数应用于该待测试镜体后,可以再次对该待测试镜体进行畸变测试(如上述步骤s202),若测试结果为该测试镜体的畸变效果满足指标要求,则表示该畸变校正参数可以满足畸变校正的要求,使得所有待测试镜体的畸变效果保持一致性,从而解决了待测试镜体的畸变效果不一致问题,提高医疗安全性。另外,如图11所示,分别对比由待测试镜体在应用上述畸变校正参数前后拍摄到的图像,其中,左图t1和右图t2分别为在应用上述畸变校正参数前后拍摄到的图像,左图t3和右图t4分别为在应用畸变校正参数前后拍摄到的图像,从图中可以看出,在应用上述畸变校正参数后,可以明显改善待测试镜体的畸变效果。
126.应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
127.基于同样的发明构思,本技术实施例还提供了一种用于实现上述所涉及的畸变校准方法的畸变校准装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个畸变校准装置实施例中的具体限定可以参见上文中对于畸变校准方法的限定,在此不再赘述。
128.在一个实施例中,如图12所示,提供了一种畸变校准装置100,包括:
129.畸变效果测试模块110,用于对待测试镜体进行畸变测试,获得所述待测试镜体的畸变测试参数;
130.图像获取模块120,用于若所述待测试镜体的畸变测试参数不满足指标要求,获取所述待测试镜体的畸变校正图像;
131.畸变校正模块130,用于基于所述畸变校正图像,获得所述待测试镜体的畸变校正参数,所述畸变校正参数应用于所述待测试镜体。
132.在其中一个实施例中,所述畸变效果测试模块110还用于:
133.获取所述待测试镜体到测试标板零距离时的初始刻度值,其中,所述待测试镜体沿带有刻度的导轨相对所述测试标板移动,所述测试标板上具有同心的内圆、中间圆以及外圆,所述中间圆以及圆心上分别具有标记;
134.获取所述待测试镜体的视场边缘切所述内圆时的第一刻度值;
135.获取所述待测试镜体的视场边缘切所述外圆时的第二刻度值;
136.在所述待测试镜体移动到所述第二刻度值的位置后,获取在所述待测试镜体的视场中多个所述标记的尺寸;
137.对所述初始刻度值、所述第一刻度值、所述第二刻度值以及多个所述标记的尺寸进行运算,获得所述待测试镜体的畸变测试参数。
138.在其中一个实施例中,所述待测试镜体的畸变测试参数包括视场角、相对畸变以
及畸变一致性中的一种或多种。
139.在其中一个实施例中,所述图像获取模块120还用于:
140.利用所述待测试镜体对含有畸变标定图的待拍摄区域进行拍摄,得到所述畸变校正图像。
141.在其中一个实施例中,所述畸变标定图包括棋盘格,所述畸变校正图像为多个,多个所述畸变校正图像分别在所述棋盘格置于所述待拍摄区域中多个不同位置和/或角度时拍摄得到。
142.在其中一个实施例中,所述畸变校正模块130还用于:
143.若应用所述畸变校正参数后的所述待测试镜体的畸变测试参数不满足指标要求,则对所述畸变校正参数进行调整,得到调整后的所述畸变校正参数,调整后的所述畸变校正参数应用于所述待测试镜体。
144.在其中一个实施例中,所述畸变校正模块130还用于:
145.获取所述畸变校正图像中在畸变标定图上多个标定点的第一坐标;
146.获取标准图像中在畸变标定图上多个所述标定点的第二坐标,所述标准图像由标准相机对所述畸变标定图拍摄得到;
147.基于多个所述第一坐标以及多个所述第二坐标,获得所述待测试镜体的畸变校正参数,所述畸变校正参数用于表示所述第一坐标与所述第二坐标之间的映射关系。
148.在其中一个实施例中,上述装置还包括:
149.存储模块,用于将每一待测试镜体与对应的所述畸变校正参数关联存储。
150.在其中一个实施例中,上述装置还包括:
151.成像模块,用于获取存储的与镜体对应的畸变校正参数;通过畸变校正参数对镜体成像进行校准得到目标图像。
152.上述畸变校准装置100中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
153.进一步地,如图13所示,在另一个实施例中,本技术提供了一种视觉系统200,所述视觉系统200可以包括:
154.测试标板210;
155.畸变标定图220;
156.内窥镜230,用于拍摄图像;
157.显示器240,用于显示由所述内窥镜拍摄到的图像;以及
158.图像处理单元250,用于执行上述任意一个实施例中畸变校准方法得到畸变校正参数,并将畸变校正参数存储于内窥镜。
159.在其中一个实施例中,所述图像处理单元250还用于:
160.获取所述待测试镜体到测试标板零距离时的初始刻度值,其中,所述待测试镜体沿带有刻度的导轨相对所述测试标板移动,所述测试标板上具有同心的内圆、中间圆以及外圆,所述中间圆以及圆心上分别具有标记;
161.获取所述待测试镜体的视场边缘切所述内圆时的第一刻度值;
162.获取所述待测试镜体的视场边缘切所述外圆时的第二刻度值;
163.在所述待测试镜体移动到所述第二刻度值的位置后,获取在所述待测试镜体的视场中多个所述标记的尺寸;
164.对所述初始刻度值、所述第一刻度值、所述第二刻度值以及多个所述标记的尺寸进行运算,获得所述待测试镜体的畸变测试参数。
165.在其中一个实施例中,所述待测试镜体的畸变测试参数包括视场角、相对畸变以及畸变一致性中的一种或多种。
166.在其中一个实施例中,所述图像处理单元250还用于:
167.利用所述待测试镜体对含有畸变标定图的待拍摄区域进行拍摄,得到所述畸变校正图像。
168.在其中一个实施例中,所述畸变标定图包括棋盘格,所述畸变校正图像为多个,多个所述畸变校正图像分别在所述棋盘格置于所述待拍摄区域中多个不同位置和/或角度时拍摄得到。
169.在其中一个实施例中,所述图像处理单元250还用于:
170.若应用所述畸变校正参数后的所述待测试镜体的畸变测试参数不满足指标要求,则对所述畸变校正参数进行调整,得到调整后的所述畸变校正参数,调整后的所述畸变校正参数应用于所述待测试镜体。
171.在其中一个实施例中,所述图像处理单元250还用于:
172.获取所述畸变校正图像中在畸变标定图上多个标定点的第一坐标;
173.获取标准图像中在畸变标定图上多个所述标定点的第二坐标,所述标准图像由标准相机对所述畸变标定图拍摄得到;
174.基于多个所述第一坐标以及多个所述第二坐标,获得所述待测试镜体的畸变校正参数,所述畸变校正参数用于表示所述第一坐标与所述第二坐标之间的映射关系。
175.可以理解的是,上述显示器240可以用于显示在手术过程中由内窥镜拍摄患者腹腔内的图像以及在上述畸变校准过程中由内窥镜拍摄到的图像等。上述图像处理单元250可以包含菜单指示模块、图像采集模块、数据处理模块、效果测试模块以及数据存储模块,菜单指示模块用于实现菜单提示功能,如触屏界面等,图像采集模块用于采集由内窥镜拍摄到的畸变校正图像,如raw图像等,实现图像采集功能。数据处理模块用于实现数据处理功能,如根据图像采集模块采集到的图像,处理得到上述畸变校正参数等,效果测试模块用于实现畸变效果测试,数据存储模块用于存储图像或者上述畸变校正参数等。
176.具体地,上述视觉系统200的各个模块实现畸变校准功能的流程可以包括:
177.a1、由用户操作菜单提示模块开启畸变校准功能;
178.a2、启动效果测试模块对待测试镜体进行畸变测试;
179.a3、判断畸变效果是否满足指标要求;
180.a4、若满足,则结束流程,若不满足,则启动图像采集模块采集raw图像;
181.a5、由图像处理模块对采集到的raw图像进行处理,得到畸变校正参数,并将该畸变校正参数应用于该待测试镜体;
182.a6、再次启动效果测试模块对应用该畸变校正参数后的待测试镜体进行畸变测试;
183.a7、若畸变效果满足指标要求,则结束流程,否则进行步骤a8;
184.a8、通过算法调整上述畸变校正参数,直到待测试镜体的畸变效果满足指标要求为止。
185.进一步地,如图14所示,视觉系统200还可以包括光源260、通信装置270、导光束280以及移动装置290,光源260用于提供患者腹腔内以及上述畸变校准所需的照明光源,如冷光源等,通信装置270用于提供内窥镜230与图像处理单元250之间的数据传输,如通信光纤等,导光束280用于连接内窥镜230与光源260进行光源传输,移动装置290用于实现视觉系统200的移动,如滚轮移动装置等。
186.需要指出的是,该视觉系统200所提供的解决问题的实现方案与上述畸变校准方法中所记载的实现方案相似,具体原理或功能可以参考上述畸变校准方法,在此不再赘述。
187.进一步地,如图15所示,在另一个实施例中,本技术提供了一种手术机器人300,所述手术机器人300可以包括:
188.操作端310;
189.上述视觉系统200;以及
190.手术器械320,所述视觉系统用于显示由内窥镜拍摄到的图像,用以指导用户通过所述操作端控制所述手术器械执行相应的操作。
191.在本实施例中,所述视觉系统200用于显示由内窥镜拍摄到的图像,用以指导用户(如医生等)通过所述操作端310控制所述手术器械320执行相应的操作,如通过内窥镜观察人体胃内情况等。该操作端310可以包括供医生执行操作的医生操作端和供患者执行操作的患者操作端,该手术器械320可以包括机械手以及相关医疗器械等。该视觉系统200中包含内窥镜,且用于执行上述畸变校准方法,具体功能或原理可以参考上述畸变校准方法,使得所有内窥镜的畸变效果均满足指标要求,从而解决了内窥镜的畸变效果不一致问题。
192.在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图16所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储畸变校正参数。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种畸变校准方法。
193.在另一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图17所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过wifi、移动蜂窝网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种畸变校准方法。
194.本领域技术人员可以理解,图16和图17中示出的结构,仅仅是与本技术方案相关的部分结构的框图,并不构成对本技术方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部
件布置。
195.在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
196.对待测试镜体进行畸变测试,获得所述待测试镜体的畸变测试参数;
197.若所述待测试镜体的畸变测试参数不满足指标要求,获取所述待测试镜体的畸变校正图像;
198.基于所述畸变校正图像,获得所述待测试镜体的畸变校正参数,所述畸变校正参数应用于所述待测试镜体。
199.在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
200.获取所述待测试镜体到测试标板零距离时的初始刻度值,其中,所述待测试镜体沿带有刻度的导轨相对所述测试标板移动,所述测试标板上具有同心的内圆、中间圆以及外圆,所述中间圆以及圆心上分别具有标记;
201.获取所述待测试镜体的视场边缘切所述内圆时的第一刻度值;
202.获取所述待测试镜体的视场边缘切所述外圆时的第二刻度值;
203.在所述待测试镜体移动到所述第二刻度值的位置后,获取在所述待测试镜体的视场中多个所述标记的尺寸;
204.对所述初始刻度值、所述第一刻度值、所述第二刻度值以及多个所述标记的尺寸进行运算,获得所述待测试镜体的畸变测试参数。
205.在其中一个实施例中,所述待测试镜体的畸变测试参数包括视场角、相对畸变以及畸变一致性中的一种或多种。
206.在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
207.利用所述待测试镜体对含有畸变标定图的待拍摄区域进行拍摄,得到所述畸变校正图像。
208.在其中一个实施例中,所述畸变标定图包括棋盘格,所述畸变校正图像为多个,多个所述畸变校正图像分别在所述棋盘格置于所述待拍摄区域中多个不同位置和/或角度时拍摄得到。
209.在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
210.若应用所述畸变校正参数后的所述待测试镜体的畸变测试参数不满足指标要求,则对所述畸变校正参数进行调整,得到调整后的所述畸变校正参数,调整后的所述畸变校正参数应用于所述待测试镜体。
211.在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
212.获取所述畸变校正图像中在畸变标定图上多个标定点的第一坐标;
213.获取标准图像中在畸变标定图上多个所述标定点的第二坐标,所述标准图像由标准相机对所述畸变标定图拍摄得到;
214.基于多个所述第一坐标以及多个所述第二坐标,获得所述待测试镜体的畸变校正参数,所述畸变校正参数用于表示所述第一坐标与所述第二坐标之间的映射关系。
215.在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
216.将每一待测试镜体与对应的所述畸变校正参数关联存储。
217.在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
218.获取存储的与镜体对应的畸变校正参数;通过畸变校正参数对镜体成像进行校准得到目标图像。
219.在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory,rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory,mram)、铁电存储器(ferroelectric random access memory,fram)、相变存储器(phase change memory,pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory,ram)或外部高速缓冲存储器等。作为说明而非局限,ram可以是多种形式,比如静态随机存取存储器(static random access memory,sram)或动态随机存取存储器(dynamic random access memory,dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
220.以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
221.以上所述实施例仅表达了本技术的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本技术专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本技术构思的前提下,还可以做出若干变形和改进,这些都属于本技术的保护范围。因此,本技术的保护范围应以所附权利要求为准。
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献