基于图像显微扫描平台XY方向夹角测量与运动补偿方法与流程

基于图像显微扫描平台xy方向夹角测量与运动补偿方法
技术领域
1.本发明涉及医疗信息采集检测和临床医学技术领域，尤其涉及一种基于图像显微扫描平台xy方向夹角测量与运动补偿方法。


背景技术：

2.伴随着检验水平与检验需求的不断上涨，自动显微扫描平台相比传统显微镜展现出了更为便捷准确高效的特性，得到了各方面的广泛应用，而传统的人工镜检需要病理专家或经过专业培训的医师进行操作，已经不再适用于待检样本数量大、镜检结果得出时间紧的情况，且人工长时间镜检操作易导致视觉疲劳等情况影响镜检结果，加之人工镜检的重复聚焦操作导致耗时耗力、效率低下。在数字图像技术和计算机技术的协同下，自动显微扫描仪得到充分发展并应用，其能够完成自动聚焦，使镜检更高效准确，大大降低了使用成本，缩短了检验时间。
3.自动显微扫描仪所采集到的图像质量主要受到其扫描平台安装精度的影响，安装精度的高低对扫描仪的工作性能、效率、准确性等起到关键作用，加之成像原理要求扫描平台的运动x、y方向有较高的垂直度要求，安装垂直度是扫描平台内部结构装配问题且对安装调试要求较高，如图1所示。
4.然而，目前测量其运动方向安装垂直度的方法主要依靠激光粗略测量，调整安装精度较差。如图2所示的情况，图中粗实线为标定玻片上的标定线，粗虚线为标定线在相机中实际采集所得。对实际采样的带有特制标定线的标定玻片，如图3所示，进行采集图像获得若干个视野图像。常用的图像拼接方法有几何拼接、图像识别融合拼接。其中图像识别融合拼接如图4所示，将采集到的所有视野进行图像内容识别拼接，并以此得到完整的图像内容，但是仍需要进行对拼接后的图像进行裁剪、旋转等操作才能够能到完整且正确的视野图像。
5.如此，现有测量方法很难保障扫描平台运动过程中在x、y方向能够满足垂直度要求。因而在实际扫描过程中，由于安装精度等问题，往往所采集到的视野图像在拼接过程中都会出现图像内容不符、图像区域过大等问题，从而导致拼接图像失败或者拼接后的图像难以满足后续工作所需。


技术实现要素：

6.本发明针对上述技术问题，提出一种基于图像显微扫描平台xy方向夹角测量与运动补偿方法，基于特制标定玻片视野标定线图像识别拼接后再拟合的方法来测量当前扫描平台运动方向的夹角，在理想状态下扫描平台沿x方向与其沿y方向步进运动夹角为90
°
，所拍摄的不同视野图像经过图像拼接之后的图像边缘为平齐的，且拼接后图像内容与实际玻片标本一致。
7.为了实现上述目的，本发明提供如下技术方案：
8.本发明提供了一种基于图像显微扫描平台xy方向夹角测量与运动补偿方法，包括
以下步骤：
9.步骤一：将带有特制标定线的标定玻片放置在显微扫描平台上，通过自动聚焦找到玻片当前视野的焦平面图像，确保采集到的视野图像中标定线轮廓清晰可见；
10.步骤二：设定运动方向沿玻片长边方向为x方向、短边方向为y方向、玻片左上角为原点o，其中标定玻片的标定线呈栅格式分布，标定线分别平行于x、y方向；
11.步骤三：在相机中采集玻片视野，视野中包含标定线；
12.步骤四：以步骤三中采集到的视野作为首个视野，扫描平台沿x方向运动采集多个视野，所采集的视野个数大于3个；
13.步骤五：将步骤四中采集到的除首视野以外的其余所有视野进行图像识别融合拼接，利用图像拟合直线算法拟合得到拼接图像中x方向标定线的两端点坐标(x0，y0)和(x1，y1)，得到首视野标定线的方程：a
x
x b
x
yc
x
＝0，式中，a
x
、b
x
、c
x
均为用x方向标定线两端点坐标表示的常数，a
x
＝y
1-y0，b
x
＝x
0-x1，c
x
＝(y
0-y1)x0 (x
1-x0)y0；
14.步骤六：回到首视野，扫描平台沿y方向运动采集多个视野，所采集的视野个数大于3个；将所采集到的除首视野以外的其余所有视野进行图像识别融合拼接，利用图像拟合直线算法拟合得到拼接图像中y方向标定线的两端点坐标(x
′0，y
′0)和(x
′1，y
′1)，得到该标定线的方程：ayx byy cy＝0，式中，ay、by、cy均为用y方向标定线两端点坐标表示的常数，ay＝y
′
1-y
′0，by＝x
′
0-x
′1，cy＝(y
′
0-y
′1)x
′0 (x
′
1-x
′0)y
′0；
15.步骤七：依靠x、y方向标定线存在的斜率数值得到x、y方向标定线的夹角θ，即扫描平台x、y运动方向的夹角；
16.步骤八：根据夹角θ进行判定是否进行调整，当0＝90
°
时，扫描平台xy方向相互垂直，直接进行后续采集图像操作；当θ≠90
°
时，假定扫描平台xy方向的夹角所给定的误差范围为90
°±5°
，若角度θ超出该误差范围，则安装人员需要根据角度θ作为调整参考对扫描平台的机械结构方面做出调整或重新安装；若角度θ在该误差范围内，则采用运动补偿的方式对实际扫描轨迹做出调整；运动补偿的具体措施为：调整扫描平台x方向与相机坐标系x轴平行，在y方向采集图像时，扫描平台y方向步长由原有步长d调整为d
·
sinθ，同时根据θ是否大于90
°
而向x方向进行正补偿或负补偿，所补偿距离为δl＝λ
·d·
cosθ。
17.与现有技术相比，本发明的有益效果为：
18.本发明提出一种基于图像显微扫描平台xy方向夹角测量与运动补偿方法，通过测量平台运动x和y两个方向的夹角是否满足要求，如不符合要求则需要做出相应调整以保证后期图像拼接的准确性和运动多视野采集图像的稳定性。本发明为显微自动扫描平台安装调整的精度与采图的稳定提供了新的思路，能够帮助仪器装配人员方便、直观地判定测量扫描平台运动方向安装的夹角，最终目的在于根据所测夹角重新调整平台结构装配，使扫描平台沿着x轴和y轴两个方向运动时保持运行方向垂直或者根据运动方向的夹角对平台沿着扫描轨迹运动采图做出对应的运动补偿，以此可以避免显微扫描平台沿扫描轨迹采集图像时的图像偏移，尽可能确保扫描平台沿着x轴和y轴两个方向运动时保持运行方向垂直，解决了两运动方向安装垂直度不达标导致扫描平台无法准确完成所采集视野图像的高效拼接的问题，可有效提高自动扫描过程图像处理效率，降低后期图像拼接的流程实现难度，降低技术装配人员的工作难度与强度的同时保证了调试的效率和精度，对维持自动显微扫描仪的稳定采图有重要意义，在医疗病理类玻片显微视觉自动检测行业有着广泛应用
前景。
附图说明
19.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
20.图1为扫描平台结构装配图。
21.图2为xy两运动方向不垂直时玻片标定线与实际采集标定线对比示意图。
22.图3为带有特制标定线的标定玻片。
23.图4为实际视野采集经图像识别融合拼接示意图。
24.图5为本发明实施例提供的带有标定线的特制玻片首视野示意图。
25.图6为本发明实施例提供的玻片视野图像x方向识别拼接对比示意。
26.图7为本发明实施例提供的标定线加权最小二乘法拟合方法流程图。
27.图8为本发明实施例提供的玻片视野图像y方向识别拼接对比示意图。
28.图9为本发明实施例提供的不同斜率对应两方向拼接标定线夹角情况示意图。
29.图10为本发明实施例提供的玻片在平台上的扫描轨迹示意图。
30.图11为本发明实施例提供的扫描平台y向轨迹偏移及对应的运动补偿示意图。
31.图12为本发明实施例提供的基于图像显微扫描平台xy方向夹角测量与运动补偿方法流程图。
具体实施方式
32.下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
33.本发明提出一种基于图像显微扫描平台xy方向夹角测量与运动补偿方法，基于特制标定玻片视野标定线图像识别拼接后再拟合的方法来测量当前扫描平台运动方向的夹角，在理想状态下扫描平台沿x方向与其沿y方向步进运动夹角为90
°
，所拍摄的不同视野图像经过图像拼接之后的图像边缘为平齐的，且拼接后图像内容与实际玻片标本是一致的。
34.如图5所示，假定运动方向沿玻片长边方向为x方向、短边方向为y方向、玻片左上角为原点o，对带有标定线的玻片进行视野图像采集。
35.其中标定线呈栅格式分布，分别平行于x、y方向。理想状态下标定玻片上的x方向标定线图像在该坐标系下的斜率k＝0，x方向第一条标定线可表示为：
36.by c＝0
37.b和c为该标定线在坐标系下表示的常数且b≠0。
38.其余x方向均可用类似上式的方程表达。同理y方向标定线也能够类似y方向第一条标定线的方程表达，y方向第一条标定线方程表示为：
39.a
′
x c
′
＝0
40.a
′
和c
′
为该标定线在坐标系下表示的常数且a
′
≠0。
41.在相机中采集玻片视野，以图中视野1作为第一个视野。以首视野为参考沿x方向采集若干连续视野图像，视野个数由调整人员指定，一般以大于3个视野为宜。并将采集到的视野图像经图像识别拼接在一起，如图6所示。
42.由图6可知，x方向是否水平对应的视野图像拼接虽能使标定线共线，但是会影响视野图像的上下边缘平齐与否，以及影响水平标定线与实际标定线是否重合。
43.针对拼接图像的标定线进行直线拟合能够确定x方向拼接图像标定线的两端点坐标，从而得到该方向下拼接图像标定线斜率，利用同一方向的多个视野图像的拼接来求取拼接图像的标定线斜率能够有效解决因采集过程或图像识别过程中出现的误差问题。以获取图5中视野1的x方向的拼接图像标定线为例，通过沿该视野x方向采集多张连续图像经图像拼接得到拼接图像，拟合拼接图像中标定线获取端点坐标为(x0，y0)和(x1，y1)，若y1≠y0，则水平方向的标定线在坐标系下的方程可表示为：
[0044][0045]
化简得到：
[0046]ax
x b
x
y c
x
＝0
[0047]
式中，a
x
＝y
1-y0，b
x
＝x
0-x1，c
x
＝(y
0-y1)x0 (x
1-x0)y0。若y1＝y0使用上式方程表达同样成立。
[0048]
本发明中图像视野中标志线拟合采用加权最小二乘法拟合实现，首先利用sobel算法提取边缘轮廓，确定参与拟合的轮廓点数目，目的是提高拟合效率，根据选定的轮廓点数目从所有轮廓点集合中随机选取点进行近似拟合一条直线，然后计算原始轮廓上每一点到拟合直线的距离，再根据统计学中标准差方式和所设定的参数阈值确定异常距离范围，若某一点到拟合直线的距离在此异常距离范围内则将该点视为异常点并进行去除。假设有100个点参与拟合直线，其中有20个点是偏离直线的异常点，那么通过标准差的方式100个点对应100个统计值，按照距离直线远近从大到小排序后将异常点剔除。如果都参与拟合直线，拟合的直线和实际会有偏差，原因是其中混杂了异常值，所以为了确保拟合的准确度，该方法可以通过设定参数阈值控制要排除的异常点数量，值越小，参与拟合时出现的异常点越多，拟合的准确度越低。由于各轮廓点到拟合直线的距离数值分布近似服从正态分布，根据正态分布的3σ准则，参数阈值一般设定为1～3。为了有效提高拟合精度，还需要合理控制迭代次数，迭代次数默认选定为5次。迭代次数越多，参与拟合的点越少，拟合的准确度越低；迭代次数越少，参与拟合的异常点越多，拟合的准确度也越低。标定线拟合方法流程如图7所示。
[0049]
而后回到视野1，以扫描平台y方向进行步进运动，同样采集多张视野图像，并进行图像识别融合拼接。拼接示意如图8所示，y方向是否竖直对应的视野图像拼接虽能够使标定线共线，但是会影响视野图像的左右边缘平齐与否，以及影响竖直方向的标定线与实际标定线是否重合。
[0050]
对y方向拼接的视野图像进行拟合得到拼接图像中的标定线端点坐标为(x
′0，y
′0)和(x
′1，y
′1)，若x
′0≠x
′1，则竖直方向的标定线在坐标系下的方程可表示为：
[0051][0052]
化简得到：
[0053]ay
x byy cy＝0
[0054]
式中，ay＝y
′
1-y
′0，by＝x
′
0-x
′1，cy＝(y
′
0-y
′1)x
′0 (x
′
1-x
′0)y
′0。若x
′0＝x
′1使用上式方程表达同样成立。
[0055]
因此，以视野1位首视野沿x、y方向所采集到的视野图像并进行拼接得到的标定线方程可以用如下方程组来表示：
[0056][0057]
式中，a
x
、b
x
、c
x
均为用x方向标定线两端点坐标表示的常数，ay、by、cy均为用y方向标定线两端点坐标表示的常数。
[0058]
在图像拼接过程中，由图像识别融合拼接原理可知，以视野1分别作为x方向、y方向的首视野并参与到拼接所得到的x方向、y方向的标定线必定垂直，因此在实际拼接过程中，x、y方向的拼接应当在剔除视野1后所在方向上所采集的所有视野进行拼接。因视野中包含两条自相垂直的标定线，所以x方向的标定线斜率必存在，即b
x
≠0。若by≠0，则方程组用斜截式直线方程表达为：
[0059][0060]
从而得到根据k
x
、ky可得到x、y方向标定线的夹角，即扫描平台x、y运动方向的夹角角度，根据角度可以选择平台调整的方式。
[0061]
以k
x
、ky为斜率的两直线，求取其所成夹角θ可得到如下四种情况，如图9所示。
[0062]
(1)当k
x
＞0，ky＞0时：
[0063]
θ＝arctan(k
x
) (180
°‑
arctan(ky))
[0064]
(2)当k
x
＞0，ky＜0时：
[0065]
θ＝arctan(k
x
) (180
°‑
arctan(ky))
[0066]
(3)当k
x
＜0，ky＞0时：
[0067]
θ＝arctan(k
x
)-arctan(ky)
[0068]
(4)当k
x
＜0，ky＜0时：
[0069]
θ＝arctan(k
x
)-arctan(ky)
[0070]
从而得到x、y方向标定线的夹角θ：
[0071][0072]
而若by＝0，即视野图像所拟合的y方向标定线斜率不存在，但其对应的角度为90
°
，所以此时x、y方向标定线的夹角θ：
[0073][0074]
由此得到扫描平台x、y方向的所成夹角θ：
[0075][0076]
当θ＝90
°
时，即扫描平台xy方向垂直，此时则无需进行其他调整操作，可直接进行后续图像采集工作。当θ≠90
°
时，假定扫描平台xy运动方向的夹角所给定的误差范围为90
°±5°
，若角度θ超出该误差范围，则安装人员需要根据角度θ作为调整参考对扫描平台的机械结构方面做出调整或重新安装；若角度θ在该误差范围内，则可采用运动补偿的方式来消除该角度在扫描平台运动过程中所带来的偏差。
[0077]
理想情况下，即θ＝90
°
且扫描平台运动坐标系与相机坐标系平行，采用s形轨迹采集图像，扫描平台的运动轨迹如图10所示。而实际情况下扫描平台xy方向夹角θ往往不等于90
°
，在平台运动坐标系x方向与相机坐标系的x方向平行的前提下，当平台沿x方向轨迹采集图像完毕后再向y方向步进时，运动会发现偏移，如图11所示。
[0078]
图11中，角θ为扫描平台xy方向夹角，d为y向运动步长，α和δl分别为y方向在扫描平台xy方向不垂直情况(图中实线箭头)与垂直情况(图中虚线箭头)下运动偏移的角度和水平距离。
[0079]
以图11为例，此时θ＞90
°
，欲得到理想情况下的图像，即扫描平台xy方向垂直情况，则扫描平台在y方向运动过程中所需要的运动补偿为：y向步进运动时，所需的步长由原来的d调整为：
[0080]d·
cosα＝d
·
cos(θ-90
°
)＝d
·
sinθ
[0081]
同时向x正方向步进运动调整距离：
[0082]
δl＝d
·
sinα＝d
·
sin(θ-90
°
)＝-d
·
cosθ
[0083]
而当θ＜90
°
时，y向步进运动的步长为：
[0084]d·
cosα＝＝d
·
cos(90
°‑
θ)＝＝d
·
sinθ
[0085]
同时向x正方向步进运动调整距离：
[0086]
δl＝d
·
sinα＝d
·
sin(90
°‑
θ)＝d
·
cosθ
[0087]
因此，规定δl朝x正方向步进运动调整为正补偿(θ＞90
°
)，反之为负补偿(θ＜90
°
)，并根据运动方向夹角θ(角度θ在所给定的误差范围内且θ≠90
°
)可得运动补偿为：
[0088]
y向步进距离为：d
·
sinθ
[0089]
x向步进距离为：δl＝λ
·d·
cosθ。式中，λ是与θ相关的常数：θ＞90
°
时，λ＝-1；θ＜90
°
时，λ＝1。
[0090]
综上，本发明通过上述分析提供一种基于图像显微扫描平台xy方向夹角测量与运动补偿方法，实现对扫描平台x和y运动方向的夹角测量，然后对扫描平台做出相应调整或对扫描轨迹做运动补偿，利于扫描平台各个视野图像的稳定采集，具体流程如图12所示，包含如下步骤：
[0091]
步骤一：将带有特制标定线的标定玻片放置在显微扫描平台上，通过自动聚焦找到玻片当前视野的焦平面图像，确保采集到的视野图像中标定线轮廓清晰可见；
[0092]
步骤二：设定运动方向沿玻片长边方向为x方向、短边方向为y方向、玻片左上角为原点o，其中标定玻片的标定线呈栅格式分布，标定线分别平行于x、y方向；
[0093]
步骤三：在相机中采集玻片视野，视野中包含标定线；
[0094]
步骤四：以步骤三中采集到的视野作为首个视野，扫描平台沿x方向运动采集多个视野，所采集的视野个数大于3个；
[0095]
步骤五：将步骤四中采集到的除首视野以外的其余所有视野进行图像识别融合拼接，利用图像拟合直线算法拟合得到拼接图像中x方向标定线的两端点坐标(x0，y0)和(x1，y1)，得到首视野标定线的方程：a
x
x b
x
y c
x
＝0，式中，a
x
、b
x
、c
x
均为用x方向标定线两端点坐标表示的常数，a
x
＝y
1-y0，b
x
＝x
0-x1，c
x
＝(y
0-y1)
·
x0 (x
1-x0)
·
y0；
[0096]
步骤六：回到首视野，扫描平台沿y方向运动采集多个视野，所采集的视野个数大于3个；将所采集到的除首视野以外的其余所有视野进行图像识别融合拼接，利用图像拟合直线算法拟合得到拼接图像中y方向标定线的两端点坐标(x
′0，y
′0)和(x
′1，y
′1)，得到该标定线的方程：ayx byy cy＝0，式中，ay、by、cy均为用y方向标定线两端点坐标表示的常数，ay＝y
′
1-y
′0，by＝x
′
0-x
′1，cy＝(y
′
0-y
′1)x
′0 (x
′
1-x
′0)y
′0；
[0097]
步骤七：依靠x、y方向标定线存在的斜率数值得到x、y方向标定线的夹角θ，即扫描平台x、y运动方向的夹角；
[0098]
步骤八：根据夹角θ进行判定是否进行调整，当θ＝90
°
时，扫描平台xy方向相互垂直，直接进行后续采集图像操作；当θ≠90
°
时，假定扫描平台xy方向的夹角所给定的误差范围为90
°±5°
，若角度θ超出该误差范围，则安装人员需要根据角度θ作为调整参考对扫描平台的机械结构方面做出调整或重新安装；若角度θ在该误差范围内，则采用运动补偿的方式对实际扫描轨迹做出调整；运动补偿的具体措施为：调整扫描平台x方向与相机坐标系x轴平行，在y方向采集图像时，扫描平台y方向步长由原有步长d调整为d
·
sinθ，同时根据θ是否大于90
°
而向x方向进行正补偿或负补偿，所补偿距离为δl＝λ
·d·
cosθ。
[0099]
本发明所述的一种基于图像的显微扫描平台xy方向夹角测量与运动补偿方法，提出了一种对医学病理玻片显微自动扫描平台安装过程的xy运动方向夹角测量以及根据夹角做出对应的运动补偿思路，为显微自动扫描平台安装调整的精度与采图的稳定提供了新的思路，避免了两运动方向安装垂直度不达标导致扫描平台无法准确完成所采集视野图像的高效拼接的问题，可有效提高自动扫描过程图像处理效率，降低后期图像拼接的流程实现难度，在医疗病理类玻片显微视觉自动检测行业有着广泛应用前景。
[0100]
结果表明：该基于图像的显微扫描平台xy方向夹角测量与运动补偿方法为后续扫描平台内部结构实际安装精度提供保障，也为扫描平台运动轨迹的精准提供方法支持，使图像稳定采集与拼接的难度得到简化，速率更为高效，可满足玻片样本显微视觉检测的快速采图拼接显示需求，基本可以满足多数医学玻片扫描平台的安装调整使用场景。
[0101]
以上所述实施例，仅为本技术的具体实施方式，用以说明本技术的技术方案，而非对其限制，本技术的保护范围并不局限于此，尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或
者对其中部分技术特殊进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本技术实施例技术方案的精神和范围。都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应所述以权利要求的保护范围为准。