一种硬性内窥镜质量检测装置自动化定位方法与流程

1.本发明属于硬性内窥镜质量检测领域，涉及机器视觉领域中摄像机标定技术。


背景技术：

2.医用内窥镜可经人体自然孔道或表层穿孔插入体内，直接观察人体体腔和内脏器官的组织形态和病变部位，辅助疾病的诊断或治疗。
3.医用内窥镜的光学性能指标对患者的安全有直接或者间接的影响，如内窥镜成像清晰度、视场大小、畸变程度、色差等众多因素都严重影响外科医生对肿瘤位置的判断与手术操作，在医疗领域内窥镜光学参 数测量应具有严谨的检测标准。
4.一般的检测装置由内窥镜视场角和视向角测量工装改装而来，主要依靠机械结构实现内窥镜和各类测 标的调节与固定。内窥镜检测装置在每更换一次光学参数测量都要重新对装置进行调节，并且这类机械装 置自动化程度低，对人员依赖性高，较难定位测标与内窥镜的相对位置，测量结果重复性差以及较强的测 量不确定度。


技术实现要素：

5.因此有必要改进内窥镜检测装置的定位方法，使之测量效率高、操作方便，测量精度高，同时尽量减少人员操作，提高测量重复性以及降低测量不确定度。
6.为了实现自动化控制测标或内窥镜，使测标中心位于内窥镜视场中心，为此需要四个维度的控制：使内窥镜与测标之间的相对工作距离沿z轴方向、将内窥镜视轴与测标平面垂直的偏转角度θ、分别将测标单元在测标平面偏移的x、y轴方向的偏移距离。
7.系统硬件主要模块：相机单元、测标单元、步进电机单元、计算机单元。
8.测标单元：测标单元中心刻有长20mm且相互垂直的十字准心用于图像处理中的定位。测标单元底座连接步进电机进行测标单元位置校准、以及内窥镜视轴与测标单元垂直校准。
9.相机单元：通过内窥镜对测标单元成像，数字图像传送至计算机单元进行图像处理。
10.步进电机单元：步进单元含四个维度控制方向，第一个控制维度位于内窥镜夹具底座z轴上，第二、三个控制维度在测标平面x、y轴上，第四个控制维度在测标旋转轴上带动测标旋转。步进电机偏移零点位置的偏移量将传送至计算机单元。
11.计算机单元：对相机单元、步进电机单元传送的数据进行处理，并对处理结果传送命令至步进电机单元对测标单元校正至内窥镜视场中心位置。
12.调节测标对准内窥镜视场中心定位方法
13.基本原理是摄像机标定，利用十字准心位于图像空间、像空间、物空间之间的转换关系进行定位与校正，其中图像空间是数字图像矩阵空间、像空间是摄像机感光芯片平面、物空间是测标平面。摄像机抓取的测标十字准心图像是一个m
×
n的矩阵，矩阵中的每一个元素对应摄像机传感器上的电容，即像素单元，原图像可以表达为f(x,y)。
14.已知每个像素单元大小为μ
×
μ。通过对拍摄的十字准心图像进行图像处理，可以得到图像矩阵中十字准心边长在x、y方向为l
x
、ly个像素距离，像空间中十字准心x、y方向实际大小l
x
′
、ly′
：
15.l
x
′
＝μ
·
l
x
16.ly′
＝μ
·
ly17.物空间十字准心x、y方向的实际大小l
x
＝ly＝20mm可通过高精度测量可作为先验条件，通过下式：
18.a
x
＝l
x
/l
x
′
19.ay＝ly/ly′
20.即可得到当前工作距离下x、y方向的放大倍率a
x
、ay。
21.由于测标平面不与内窥镜视轴垂直时，内窥镜对测标上的十字准心成像会出现x方向十字准心边长小于y方向边长，利用这一特点可以推导测标需要校正θ角大小。将内窥镜经过步进电机调整至工作距离后，十字准心x、y方向像素长度之比与θ角的关系为：
22.θ＝arccos(l
x
/ly)
23.将内窥镜视轴垂直测标平面之后，利用计算机生成与原图像相同大小的m
×
n十字准心模板矩阵 g(x,y)进行互相关运算，得到图像相关函数r
fg
(m,n)，峰值对应坐标(m,n)就是当前图片与模板相关系数最大的地方。峰值坐标(δm,δn)与图像中心坐标(m0,n0)重合是内窥镜视场中心对准测标中心的理想条件。
24.可知步进电机带动测标单元在x、y方向校正的距离是h
x
、hy，应该满足下列公式：
[0025][0026][0027]
当测标中心在内窥镜视场边缘时，边缘放大倍率与近轴放大倍率不相等，同时实际操作中理想的对准状态是不存在的，需要设立阈值判定校正达到满意状态。两像素坐标距离为h，设立阈值当当时，判定为内窥镜视场中心与测标单元中心未对准，则重新开始上述校正x、y方向的过程直至则重新开始上述校正x、y方向的过程直至完成视场中心的对准。
[0028][0029]
上述定位原理由计算机图像处理与算法实现，包括图像预处理、原图像与模板图像投影、测标校正角度θ，原图像与模板互相关函数。
[0030]
图像预处理主要对摄像机抓取的当前图像根据最大类间方差法求解阈值并二值化并增强十字准心边缘、对图像中出现小于100像素面积噪点或干扰进行删除、将图像取反突出十字准心为1，背景为0。
[0031]
模板图像通过计算机进行构建，模板十字准心质心位于图像中心，大小与原图相等的图片，并且模板与原图中十字准心边长及厚度均相等。由于原图像与模板都是已知的十字准心结构，将图像沿x、y方向投影将降低算法的运算量。投影主要在对原图像f(x,y)与模板图像g(x,y)矩阵分别各列相加得到两个列向量f(y)、g(y)，同理将原图与模板矩阵分别各行相加得到两个行向量f(x)、g(x)。
[0032]
摄像机x、y方向的放大倍率a
x
、ay可以由上述原图像投影向量f(x)、f(y)与摄像机
单个像素大小μ
×
μ以及已知物空间边长为20mm十字准心之间的关系得出。由十字准心结构可知f(x)＞0；f(y)＞0时，x、y解分别为[x1,x2]；[y1,y2]，那么图像矩阵空间x、y方向十字准心像素长度为： l
x
＝x
2-x1 1、ly＝y
2-y1 1。
[0033]
从而计算出测标需要校正θ角度，即θ＝arccos(l
x
/ly)。
[0034]
将内窥镜视轴垂直测标平面之后，再校正测标x、y方向对准内窥镜视场中心。同理，由上述投影所得f(y)、g(y)、f(x)、g(x)进行互相关运算。
[0035][0036][0037]
由相关函数r
fg
(m)、r
fg
(n)的峰值区域坐标m＝δm、n＝δn，得到原图像十字准心偏移中心的大小与方向。将δm、δn代入上述公式中得到h
x
、hy为步进电机需要对测标进行校正的距离。
[0038]
校正完成后，再次进行上述流程，计算出校正过后的偏移量是否满足下列条件，是判定为校正完成，否则继续校正。
[0039][0040]
本发明是在具有步进电机、摄像机单元、测标单元、计算机硬件基础上，利用图像空间到像空间再到物空间的相互转换关系，通过该关系得出偏移位移与测标旋转角度，结合高精度电机控制测标中心对准内窥镜视场中心。本发明的有益效果是，一定程度上提高了测量效率，进一步减少了调节内窥镜视场位置时人员依赖性，实现测量精度与测量重复性的提高以及降低测量不确定度。
附图说明
[0041]
图1内窥镜检测系统结构关系
[0042]
图2内窥镜检测系统算法的主要流程
具体实施方式
[0043]
本发明为了解决现有内窥镜检测装置需要人员定位操作而导致的测量精度较低、测量重复性较低、测量不确定度高的问题，而提出了一种基于机器视觉领域摄像机标定的自动化控制方法。本发明是通过摄像单元抓取图像，经过计算机图像处理与算法处理计算出测标偏移内窥镜视场中心的距离并由步进电机校正。
[0044]
系统单元的主要结构为20mm
×
20mm十字准心的测标单元、摄像机单元、计算机单元、步进电机单元组成。
[0045]
利用步进电机将测标中心对准内窥镜视场中心的定位方法可概况为：利用图像空间与像空间、物空间的相互转换关系以及先验条件测标十字准心大小20mm
×
20mm(边长厚度为2mm)、摄像机单个像素大小μ
×
μ。经过计算机算法处理可以计算出测标平面x、y轴方向放大倍率a
x
、ay；测标平面偏转θ角与内窥镜视轴垂直；图像空间十字测标x、y方向像素长度l
x
、ly；像空间十字准心实际长度l
x
′
、ly′
；物空间十字准心实际长度l
x
＝ly＝20mm。
[0046]
摄像单元拍摄原图像m
×
n矩阵表达为f(x,y)，使用计算机制作与原图像大小相等的m
×
n模板 g(x,y)，十字准心质心位于模板中心位置。
[0047]
内窥镜以及测标单元具有初始状态，内窥镜镜体位于z轴上，测标单元垂直于z轴。将测标中心校正至内窥镜视场中心分为三个步骤：
[0048]
步骤一：由步进电机沿z轴带动内窥镜单元至工作距离处，手动对焦。
[0049]
步骤二：由测标单元的旋转电机旋转测标，使得测标平面与内窥镜光轴垂直。
[0050]
步骤三：由步进电机对测标平面内x、y方向进行校准，使测标十字准心成像在内窥镜视场中心。
[0051]
为了更清楚的说明本发明内容，下面以原理为基础结合计算机图像处理过程进行详细说明。
[0052]
更具体的计算机图像处理过程包括图像预处理、图像投影、模板制作、图像互相关。
[0053]
步骤一：工作距离为已知条件，输入命令使步进电机带动内窥镜至工作距离处，手动对焦调节。
[0054]
步骤二：旋转电机需要旋转θ角，使得测标平面垂直于内窥镜光轴。通过抓取当前测标上的十字准心图像，对图像进行预处理，具体为对摄像机抓取的当前图像灰度使用最大类间方差法得到合适的阈值，使用该阈值对图像二值化，再将图像取反，对图像中出现小于100像素面积进行删除。
[0055]
图像预处理后图像为f(x,y)。分别对图像x、y方向投影，得到压缩原图：f(x)、f(y)。通过求解 f(x)＞0；f(y)＞0，可得到十字准心在x、y轴方向的坐标范围分别为[x1,x2]；[y1,y2]，则图像矩阵空间 x、y方向十字准心像素长度为：l
x
＝x
2-x1 1、ly＝y
2-y1 1。旋转电机需要旋转角度为
[0056]
θ＝arccos(l
x
/ly)
[0057]
步骤三：测标平面与内窥镜光轴垂直后，摄像机再次抓取当前图像，同理经过步骤二相同步骤的图像预处理。构建模板图像需要计算原图中十字准心边长以及边长厚度，求解：
[0058]
f(x)＞0；f(y)＞0
[0059]
解为[x1,x2]；[y1,y2]，十字准心x、y方向边长分别为：
[0060]
l
x
＝x
2-x1 1
[0061]
ly＝y
2-y1 1
[0062]
求解：
[0063]
0.5f(x
max
)≤f(x)≤f(x
max
)；0.5f(y
max
)≤f(y)≤f(y
max
)
[0064]
解为[x1,x2]；[y1,y2]，十字准心x、y方向边的像素厚度分别为：
[0065]
t
x
＝x
2-x1 1
[0066]
ty＝y
2-y1 1
[0067]
将以上边长以及厚度的十字准心放置在模板图像中心位置，完成模板构建。
[0068]
将原图像f(x,y)与模板图像g(x,y)向x、y方向投影得到f(y)、g(y)、f(x)、g(x)。将原图与模板 x、y方向投影分别进行互相关运算，得到互相关函数。
[0069][0070][0071]
由相关函数r
fg
(m)、r
fg
(n)的峰值区域中心坐标m＝δm、n＝δn，为原图像十字准心偏移中心的大小与方向。将δm、δn代入上述公式中得到h
x
、hy为步进电机需要对测标进行校正的距离。
[0072][0073]
校正完成后，再次进行上述流程，计算出校正过后的偏移量满足上述条件判定为校正完成，否则继续校正。