一种级联立体视觉系统从眼设备的标眼关系标定方法

1.本发明涉及立体视觉测量技术领域，更具体的说是涉及一种级联立体视觉系统从眼设备的标眼关系标定方法。


背景技术：

2.立体视觉位姿测量系统，具有无接触测量目标位姿的能力，在医疗机器人辅助手术中多应用于对手术器械和目标的位姿测量与跟踪。然而，立体视觉存在工作空间有限、工作视角固定、工作距离与测量精度相互矛盾以及待跟踪手术器械容易被遮挡的缺点。
3.在实际工作场景中，需要预留较大的手术操作空间。为了避免干涉手术操作，要么需要移动立体视觉系统，要么需要立体视觉系统具有更大的工作空间和工作距离。然而，对单一立体视觉系统而言，增加工作空间和工作距离的代价是牺牲定位精度。
4.为了增加工作空间、扩展工作距离以及提高测量精度，目前主要有如下两种方式：(1)增加双目基线距离，提高摄像机分辨率，或者，缩短镜头焦距，扩大摄像机视野。缩短镜头焦距有助于增加视野，但会降低定位精度；增加双目基线距离有助于增加工作距离和提高工作精度，但会减少工作空间；提高摄像机分辨率，有助于提高精度，但会增加系统成本和降低图像处理速度；并且，无论采取上述何种措施，在工作过程中都必须保持视角固定，会存在视线受遮挡影响的问题。(2)利用多个立体视觉系统。通过在工作场景中布置多个立体视觉系统，并通过全局标定方法将所有立体视觉系统配准到同一个世界参考坐标系；由于存在多个立体视觉系统，每个系统可以有自己的工作空间和工作视角，因此可以起到拓展工作空间和弥补单一立体视觉系统视角有限的缺陷的作用；上述方法中立体视觉系统的布置会受到全局标定方法的限制，并且，在工作过程所有的立体视觉系统都必须保持固定，否则相对位姿关系会发生变化，系统将会失效。
5.在专利号为202010487757.3专利名称为一种立体视觉系统工作空间和工作视角级联扩展方法中，有效扩展了立体视觉系统的工作空间与工作视角。该系统要在从立体视觉系统上安装参考跟踪标记，以被主视觉系统检测跟踪和位姿测量，从而将从立体视觉系统检测的位姿信息转换到主视觉系统参考坐标系中。在上述级联立体视觉系统中，从立体视觉系统的视觉坐标系与其固定联接的跟踪靶标之间的位姿关系称为“标-眼”关系。为实现从立体视觉系统检测跟踪到的位姿信息传递回主视觉系统参考坐标系，需要确定从立体视觉系统与跟踪靶标之间的“标-眼”关系，该关系的确定，对于实现坐标的传递和级联视觉系统的整体精度具有重要作用，是级联视觉系统能否工作的关键。
6.因此，如何提供一种简便快速的级联立体视觉系统从眼设备的标眼关系标定方法是本领域技术人员亟需解决的问题。


技术实现要素：

7.有鉴于此，本发明提供了一种级联立体视觉系统从眼设备的标眼关系标定方法，以确定从立体视觉系统到参考跟踪标记坐标系相对位姿参数，从而打通从立体视觉系统坐
标系到主立体视觉系统坐标系的转换通道。
8.为了实现上述目的，本发明采用如下技术方案：
9.一种级联立体视觉系统从眼设备的标眼关系标定方法，包括以下步骤：
10.s1.在级联立体视觉系统中的各视觉系统均已选定后，选择并确定待标定的从立体视觉系统及辅助进行标定的主立体视觉系统，以主立体视觉系统的视觉坐标系作为全局参考坐标系{w}；
11.s2.在从立体视觉系统的表面固连与从立体视觉系统存在确定位姿关系的从眼标记mark_c，从眼标记mark_c用于被主立体视觉系统检测并记录位姿，以从眼标记mark_c建立局部坐标系{mc}；
12.s3.固定主立体视觉系统，将从立体视觉系统设置于主立体视觉系统的工作区域内，在主立体视觉系统和从立体视觉系统均可视的工作区域内设置辅助标定工具mark_x；
13.s4.移动从立体视觉系统到位置i，移动浮动标定工具mark_t至主立体视觉系统有效工作空间内，并且在保证浮动标定工具mark_t的靶标的测量坐标输出点与辅助标定工具mark_x的测量坐标输出点重合的情况下，改变待测的浮动标定工具mark_t的位姿，通过主立体视觉系统记录位姿改变过程中浮动标定工具mark_t的坐标数据，记作其中，k＝1,2......k，k为共测量坐标数据的组数，且k大于或等于2，对k组坐标数据求平均坐标获得浮动标定工具mark_t的测量坐标输出点的平均坐标
14.s5.针对位置i的从立体视觉系统，通过主立体视觉系统测量从立体视觉系统的从眼标记mark_c，并记录mark_c的局部坐标系到全局坐标系的平移坐标以及用于表示位姿关系的四元数q0、q1、q2、q3，得到变换矩阵：
[0015][0016]
得到变换矩阵从立体视觉系统启动记录辅助标定工具mark_x坐标其中，i＝1,2,3
……
n；
[0017]
s6.根据求解所需标定矩阵
[0018]
其中所需标定矩阵为相机坐标系到工具坐标系的变换矩阵；
[0019]
s7.对s6中的标定结果进行精度验证。
[0020]
优选的，s4的具体内容包括：
[0021]
(1)移动从立体视觉系统到位置i，移动浮动标定工具mark_t至主立体视觉系统有效工作空间内，固定辅助标定工具mark_x；
[0022]
(2)使浮动标定工具mark_t的测量坐标输出点与辅助标定工具mark_x的测量坐标输出点重合；
[0023]
(3)保证在操作浮动标定工具mark_t的测量坐标输出点位置不变的情况下，以浮
动标定工具mark_t的测量坐标输出点为定点，以摆动方式或圆周运动方式转动浮动标定工具mark_t，同时主立体视觉系统记录浮动标定工具mark_t在转动过程中的坐标数据，求平均值获得浮动标定工具mark_t的测量坐标输出点处的坐标
[0024]
优选的，浮动标定工具mark_t转动k个位置，k≥2。
[0025]
优选的，s6的具体内容包括：
[0026]
(1)将和三者之间存在的关系式进行变形，得到：
[0027][0028]
(2)令得到：
[0029]ci
y＝di[0030]
由步骤s4、s5中测得的n组和求得n组ci和di，利用n组ci和di的数据，求得x，对x转置求得
[0031][0032]
优选的，s7的具体内容包括：
[0033]
(1)重复s4、s5共m次，测得从立体视觉系统在位置j时浮动标定工具mark_t的测量坐标输出点的平均坐标以及变换矩阵将通过标定得到的标定结果和代入下式，获得通过级联间接解算出浮动标定工具mark_t的测量坐标输出点在全局坐标系{w}下的坐标
[0034][0035]
(2)将在由主立体视觉系统直接测量得到的作为标准值，将与进行对比，得到用来衡量标定误差的距离误差ε：
[0036][0037]
(3)重复步骤(2)m次，得到m组距离误差εj，j＝0,1,2
……
m(m≥2)，求平均值得到用于衡量标定误差的当小于实际使用中允许误差，则判定标定结果合格。
[0038]
优选的，在s2中，从眼标记mark_c包括非共线的x角点，其中x≥3，角点具体包括反光小球、主动发光标记或黑白块；从眼标记mark_c与从属立体视觉相机粘连或固连，利用从眼标记mark_c建立的局部坐标系与从立体视觉系统坐标系具有固定的空间坐标转换关系。
[0039]
优选的，在标定数据收集过程中，从属立体视觉系统应在空间移动至少两次位置，即n必须大于等于2。
[0040]
优选的，辅助标定工具mark_x为以圆心为参考点的圆形标记，或以黑白块组成以
交点为参考点的x标记。
[0041]
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种级联立体视觉系统从眼设备的标眼关系标定方法，将多立体视觉系统中的一个立体视觉系统作为全局视觉系统固定不动，其他立体视觉系统可在工作过程中根据需要随意移动位置、调整视角，从而可以有效扩展立体视觉系统的工作空间与工作视角，提升立体视觉系统的灵活性。在全局立体视觉下看不到的待测量目标，可通过其他立体视觉系统实现待测量目标在全局坐标系下的间接定位，达到克服单个立体视觉系统视角受限和工作空间有限的目的，克服传统方案多立体视觉系统在工作过程中不能调整位姿的局限，使立体视觉系统的应用更加广泛。
附图说明
[0042]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0043]
图1附图为本发明提供的一种级联立体视觉系统从眼设备的标眼关系标定方法中各视觉系统、靶标标记及各坐标系示意图；
[0044]
其中：1、主立体视觉系统；2、从立体视觉系统；3、从眼标记mark_c；4、全局视觉系统支架及水平工作台；5、自锁牵引机械臂；6、辅助标定工具mark_x；7、浮动标定工具mark_t。
具体实施方式
[0045]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0046]
本发明实施例公开了一种级联立体视觉系统从眼设备的标眼关系标定方法，并应用到以下部件：
[0047]
1、ndi红外双目位姿传感系统；
[0048]
2、zed双目相机系统；
[0049]
3、球形红外反光标记靶标mark_c，可以被ndi红外双目位姿传感系统检测到；
[0050]
4、全局视觉系统支架及水平工作台，与ndi红外双目位姿传感系统固连；
[0051]
5、自锁牵引机械臂，与zed双目相机系统固连；
[0052]
6、辅助标定工具mark_x，可以被zed双目相机系统检测到，对应坐标系的原点，即靶标的测量坐标输出点处设置有深度在0.01mm左右的微小凹槽；
[0053]
7、浮动标定工具mark_t，可以被ndi红外双目位姿传感系统检测到，对应坐标系的原点，即靶标的测量坐标输出点设置在针尖处；
[0054]
涉及到的符号包括：
[0055]
1、{w}：ndi红外双目位姿传感系统的视觉坐标系，即全局坐标系；
[0056]
2、{mc}：从眼标记mark_c建立的局部坐标系{mc}；
[0057]
3、{c}：zed双目相机系统的视觉坐标系{c}；
[0058]
4、：n次测量得到的全局坐标系{w}下浮动标定工具mark_t的测量坐标输出点处的坐标的平均值；
[0059]
5、：视觉坐标系{c}下辅助标定工具mark_x的测量坐标输出点处的坐标；
[0060]
6、：视觉坐标系{c}到局部坐标系{mc}的变换矩阵；
[0061]
7、：局部坐标系{mc}到全局坐标系{w}的变换矩阵，可以由ndi红外双目位姿传感系统测量从眼标记mark_c的位姿得到；
[0062]
8、：通过级联间接求得的全局坐标系下辅助标定工具mark_x的测量坐标输出点处的坐标
[0063]
9、ε：距离误差
[0064]
10、：m次精度验证得到的距离误差的平均值
[0065]
图1为各视觉系统、靶标标记及各坐标系示意图。
[0066]
s1：在级联立体视觉系统中的各视觉系统均已选定后，选择并确定待标定的从立体视觉系统2及辅助进行标定的主立体视觉系统1，以ndi红外双目位姿传感系统作为主立体视觉系统1，zed双目相机系统作为从立体视觉系统2；以主立体视觉系统1的视觉坐标系作为全局参考坐标系{w}；
[0067]
s2：在从立体视觉系统的表面固连与从立体视觉系统存在确定位姿关系的从眼标记mark_c3，此从眼标记mark_c3可被主立体视觉系统检测并记录位姿，以从眼标记mark_c3建立局部坐标系{mc}；
[0068]
在本实施例中，在zed双目相机系统的外表面上粘贴、印刷或固连球形红外反光标记靶标mark_c3，保证不影响zed双目相机系统的工作视野的条件下，使得球形红外反光标记靶标mark_c3易被ndi红外双目位姿传感系统1检测到，由球形红外反光标记靶标mark_c3建立局部坐标系{mc}；
[0069]
s3：固定好主立体视觉系统1，操纵自锁牵引机械臂5，将zed双目相机系统置于主立体视觉系统1的工作区域内，将辅助标定工具mark_x放置在1号和2号均可视的工作区域内；
[0070]
s4：将浮动标定工具mark_t7移入ndi红外双目位姿传感系统1有效工作空间内，并且不断改变浮动标定工具mark_t7的位姿，通过主立体视觉系统记录位姿改变过程中浮动标定工具mark_t7的坐标数据，记作共测量k组(k大于或等于2次)，对k组坐标数据求平均坐标获得浮动标定工具mark_t7的测量坐标输出点的平均坐标改变位姿具体过程如下：
[0071]
s4.1：用螺栓或快装板固定辅助标定工具mark_x6在全局视觉系统支架及水平工作台4上，保证标定过程中辅助标定工具mark_x6固定不动；
[0072]
s4.2：手持浮动标定工具mark_t7，通过人工操作，将刀具刀尖放入辅助标定工具
的微型凹槽内，保证浮动标定工具mark_t7的测量坐标输出点与辅助标定工具mark_x6的测量坐标输出点重合；
[0073]
s4.3：保证操作浮动标定工具mark_t7的测量坐标输出点位置不变的情况下以浮动标定工具mark_t7的测量坐标输出点为定点，以摆动方式或圆周运动方式缓慢转动浮动标定工具mark_t7，同时ndi红外双目位姿传感系统记录多组坐标数据，求平均值获得浮动标定工具mark_t7的测量坐标输出点处的坐标
[0074]
s5：通过ndi红外双目位姿传感系统测量并记录球型红外标记靶标mark_c3，并记录mark_c3的局部坐标系到全局坐标系的平移坐标录mark_c3的局部坐标系到全局坐标系的平移坐标以及用于表示位姿关系的四元数q0、q1、q2、q3，根据ndi红外双目位姿传感系统的位姿定义方式，得到变换矩阵：
[0075][0076]
可以得到变换矩阵ndi红外双目位姿传感系统记录完毕后，zed双目相机系统启动记录辅助标定工具mark_x6坐标数据其中，i＝1,2,3
……
n；
[0077]
s6：移动自锁牵引机械臂5，带动zed双目相机系统到下一个位置i(i＝1,2,3
……
n)，重复s4、s5，得到n组数据
[0078]
s7：标定解算，由之前收集的数据，通过以下解算步骤组成：
[0079]
s7.1：令需要注意的是，其中ci、di均为1
×
4的行向量，构造关系式如下，其中y即为待求矩阵：
[0080]ci
y＝di[0081]
s7.2：由步骤s4、s5中测得的n组可求得n组ci、di，利用此n组ci、di的数据，通过最小二乘算法可求得y，对y转置求得
[0082][0083]
s8：标定精度验证工作，具体步骤如下：
[0084]
s8.1：重复步骤s4、s5m次，得到zed双目相机系统在位置j(j＝1,2，
……
，m)时全局坐标系{w}下浮动标定工具mark_t的测量坐标输出点处的坐标的平均值球型红外标记靶标mark_c的坐标系到全局坐标系的变换矩阵以及视觉坐标系{c}下辅助标定工具mark_x的测量坐标输出点处的坐标
[0085]
s8.2：将通过得到的标定结果将测得的与带入如下
公式：
[0086][0087]
即可解出通过级联间接解算出浮动标定工具mark_t的测量坐标输出点在全局坐标系{w}下的坐标将由ndi红外双目位姿传感系统直接测量得到的作为标准值，将与进行对比，带入如下公式：
[0088][0089]
即得到了可用来衡量标定误差的距离误差εj；
[0090]
s8.3：根据s8.1和s8.2，得到m组距离误差εj(j＝0,1,2
……
m)，求平均值得到用于衡量标定误差的根据官方给出的ndi测量精度以及实际应用中的误差允许范围，可近似认为当小于0.1mm时标定成功。
[0091]
为了进一步实施上述技术方案，浮动标定工具mark_t转动m个位置，m≥1。
[0092]
为了进一步实施上述技术方案，在s2中，从属标记mark_c包括非共线的x角点，其中x≥3，角点具体包括反光小球、主动发光标记或黑白块；从属标记mark_c与从属立体视觉相机粘连或固连，利用mark_c建立的局部坐标系与从立体视觉系统2坐标系具有固定的空间坐标转换关系。
[0093]
为了进一步实施上述技术方案，在标定数据收集过程中，从属立体视觉系统应在空间移动至少两个位置。
[0094]
为了进一步实施上述技术方案，mark_x为以圆心为参考点的圆形标记，或以黑白块组成以交点为参考点的x标记。
[0095]
需要进一步说明的是：
[0096]
主立体视觉相机与从属立体视觉相机可以是同类型相机，也可以是不同类型相机；从属标记mark_c与从属立体视觉相机粘连或固连，利用mark_c建立的局部坐标系与从属立体视觉系统坐标系具有固定的空间坐标转换关系；从属标记mark_c应当在工作过程中能被主立体视觉系统1观察到，并且能被主立体视觉系统1确定mark_c局部坐标系的空间位姿；
[0097]
在标定数据收集过程中，工具标记mark_t的尖端参考位置应当被主立体视觉系统1测量，mark_x的参考原点，即靶标的测量坐标输出点的位置应当能被从立体视觉测量，并且工具标记mark_t的尖端位置应当要与mark_x的参考原点，即靶标的测量坐标输出点的位置重合；
[0098]
本发明公开了一种级联立体视觉系统中从眼立体视觉设备与其上固连参考跟踪标记之间位姿关系(称为标眼关系)的标定方法。在多立体视觉系统中，主立体视觉系统需要通过检测和记录主从立体视觉系统间的位姿关系，即对级联立体视觉系统的“标-眼”关系进行标定，才能实现对级联立体视觉系统的构建。针对这一构建级联系统的关键步骤，在本发明中，将主立体视觉系统固定，在从立体视觉系统的表面固连与从立体视觉系统存在确定位姿关系的从眼标记，此从眼标记可被主立体视觉系统检测并记录位姿。设立一个浮
动标定工具，利用主立体视觉系统获取从眼标记的位姿信息和浮动标定工具的坐标信息，同时利用从立体视觉系统获取浮动标定工具的坐标信息，通过三者间的数学关系便可解算出从立体视觉系统和参考跟踪标记之间的相对位姿关系，实现简便快速“标-眼”关系确定。
[0099]
本发明提供的上述立体视觉系统中从立体视觉系统2与参考跟踪标记间位姿标定方法，将多立体视觉系统中的一个立体视觉系统作为全局视觉系统固定不动，其他立体视觉系统可在工作过程中根据需要随意移动位置、调整视角，从而可以有效扩展立体视觉系统的工作空间与工作视角，提升立体视觉系统的灵活性。在全局立体视觉下看不到的待测量目标，可通过其他立体视觉系统实现待测量目标在全局坐标系下的间接定位，达到克服单个立体视觉系统视角受限和工作空间有限的目的，克服传统方案多立体视觉系统在工作过程中不能调整位姿的局限，使立体视觉系统的应用更加广泛。将本发明应用于手术室器械导航，具有成本低、工作空间灵活及定位精度高等优点。
[0100]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0101]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。