手持式光笔测量终端的手眼标定方法及测量点显示方法

本发明涉及机器视觉测量、摄影测量与相机标定，更具体的说是涉及手持式光笔测量终端的手眼标定方法及测量点显示方法。

背景技术：

1、手持式光笔测量终端通常利用工业相机采集光笔上的光学标志点图像，根据光学标志点的图像坐标和标定的光学标志点光笔坐标确定光笔位姿，并结合测针球心在光笔坐标系下的坐标，获得测针接触位置在工业相机坐标系下的空间坐标。为从近距离视角观察测针与被测物的接触位置，可在光笔上设置随光笔运动的探头相机；要将光笔测得的空间位置转换至探头相机坐标系，并进一步映射至探头相机图像，需要预先确定光笔坐标系与探头相机坐标系之间的刚体变换关系。

2、现有技术（公开号为cn110260786a）公开了一种基于外部跟踪的机器人视觉测量系统及其标定方法，该系统将面阵扫描仪设置于工业机器人末端，并将立体球笼靶标设置于面阵扫描仪上，由外部跟踪装置获取立体球笼靶标的位姿，由面阵扫描仪获取包括多个标定球的标定装置点云数据；标定过程中，先保持面阵扫描仪姿态不变并改变其位置，再改变面阵扫描仪的位姿，获得立体球笼靶标位姿和标定装置点云数据相对应的多组目标数据；根据点云数据确定各标定球在面阵扫描仪坐标系下的球心坐标，并结合立体球笼靶标在外部跟踪装置坐标系下的位姿，建立坐标变换关系，确定面阵扫描仪坐标系与立体球笼靶标坐标系之间的转换矩阵。

3、该方法以面阵扫描仪能够直接获取标定球的3维点云并从点云中拟合标定球球心为数据基础，同时利用工业机器人控制面阵扫描仪完成姿态不变而位置改变的运动以及不同位姿之间的切换，从而形成求解转换矩阵所需的空间约束。然而，手持式光笔测量终端中的探头相机采集的是标定板的2维图像，不能直接提供标定板特征点在探头相机坐标系下的3维点云坐标；光笔由操作者手持移动，也不具备工业机器人按照设定运动方式改变位置和姿态的控制条件。因此，上述方法所依赖的标定球3维点云和受控运动数据不能直接由手持式光笔测量终端获得。

4、此外，在手持式光笔测量终端中，工业相机通过光学标志点确定光笔位姿，探头相机通过标定板图像获得标定板特征信息，两条观测链路形成的数据分别处于工业相机、光笔和探头相机的不同坐标系中；当工业相机不直接观测标定板，且不采用工业机器人、3维扫描设备或其他外部量测设备确定标定板相对于工业相机的空间位置时，仅凭光笔位姿和探头相机获取的标定板图像，尚缺少将同一标定板特征点关联至两条观测链路的统一空间坐标约束。因此，现有技术仍需解决在不要求工业相机观测标定板、不依赖受控运动装置和外部量测设备的条件下，如何获得标定板特征点在光笔坐标系和探头相机坐标系下相互对应的空间坐标，并据此确定光笔坐标系至探头相机坐标系刚体变换关系的问题。

技术实现思路

1、针对现有技术存在的不足，本发明的目的在于提供一种手持式光笔测量终端的手眼标定方法，目的是解决现有技术中在工业相机不直接观测标定板且不依赖受控运动装置和外部量测设备的条件下，难以获得同一标定板特征点在光笔坐标系和探头相机坐标系下相互对应的空间坐标，进而难以确定光笔坐标系至探头相机坐标系的手眼刚体变换关系的问题。

2、为实现上述目的，本发明提供了如下技术方案：

3、手持式光笔测量终端的手眼标定方法，包括：

4、锚点绝对坐标形成步骤，使光笔的球头测针接触标定板锚点，根据工业相机获取的光学标志点图像、标定的光学标志点光笔坐标和工业相机成像参数确定接触位姿，根据所述接触位姿和标定的测针球心光笔坐标确定球心工业相机坐标，根据测球尺寸和标定板板面方向修正所述球心工业相机坐标，形成所述标定板锚点的锚点绝对坐标；

5、多位姿同步采集步骤，保持所述标定板相对工业相机的位姿不变并移动所述光笔，在多个位姿下同步采集工业相机图像和固连于所述光笔的探头相机图像，根据所述工业相机图像确定采集位姿，根据所述探头相机图像、标定板特征点设计坐标和探头相机成像参数确定锚点探头相机坐标；

6、锚点坐标对构建步骤，按照所述采集位姿将所述锚点绝对坐标转换为锚点光笔坐标，将同一时刻同一标定板锚点的所述锚点光笔坐标和所述锚点探头相机坐标形成锚点坐标对；

7、手眼变换确定步骤，根据形成非共线点集的多组所述锚点坐标对确定光笔坐标系至探头相机坐标系的手眼刚体变换。

8、通过预先标定的两相机成像参数分别约束光学标志点位姿解算和标定板成像解算，使两条观测链路产生具有明确坐标意义的空间数据；球头测针对锚点的接触及沿板面方向的测球尺寸修正，将原本只能由探头相机观测的板面特征引入工业相机坐标系，并排除球心与板面锚点之间的几何间隔。标定板相对工业相机保持位姿不变，使接触阶段形成的锚点绝对坐标可用于后续采集位姿；同一时刻同一锚点的两侧坐标再组成坐标对，以非共线点集约束刚体旋转和平移。上述环节依次提供物理锚定、时间对应和空间约束，缺少其中的对应关系便不能以同一物理点连接两条观测链路，从而能够在工业相机不观测标定板的条件下确定手眼刚体变换。

9、进一步地，所述锚点绝对坐标形成步骤包括板面方向确定子步骤和球头尺寸补偿子步骤；

10、所述板面方向确定子步骤，选取在标定板板面形成非共线点集的标定板锚点，分别使球头测针接触各标定板锚点，根据各接触位姿和测针球心光笔坐标形成对应的测针球心工业相机坐标，根据各测针球心工业相机坐标拟合与标定板板面平行的球心分布平面，将光笔上邻近球头测针的光学标志点光笔坐标按对应的接触位姿转换为标志点工业相机坐标，根据所述标志点工业相机坐标与对应的测针球心工业相机坐标，从所述球心分布平面的两个单位法向中确定背离所述标志点工业相机坐标的板面法向；

11、所述球头尺寸补偿子步骤，沿所述板面法向将各测针球心工业相机坐标向标定板板面移动球头测针的测球半径，形成对应标定板锚点的锚点绝对坐标。

12、通过分别接触在板面形成非共线点集的锚点，使各次球心位置能够在同一工业相机坐标系下确定球心分布平面；将邻近球头测针的光学标志点转换至该坐标系后，标志点与球心的相对方位可用于排除平面法向的方向二义性。若只拟合平面而不辨别法向，测球半径补偿可能落在板面的相反一侧；若只知道测球尺寸而不确定板面方向，球心也不能还原为板面锚点。使板面法向背离所述标志点，再沿该方向移动测球半径，能够将相机观测链路得到的球心位置与标定板上的实际锚点位置对应，为后续坐标对提供方向一致的锚点绝对坐标。

13、进一步地，所述多位姿同步采集步骤中，针对标定板锚点获取互不相同且具有旋转多样性的采集位姿，并在各采集位姿下同步采集工业相机图像和探头相机图像。通过针对标定板锚点取得互不相同且具有旋转多样性的采集位姿，同一锚点在光笔坐标系中的观测位置不再集中于相近方向，后续点对能够提供不同的空间约束；在每个采集位姿下同步取得工业相机图像和探头相机图像，使光笔位姿与标定板观测结果对应同一采集状态。

14、若仅改变观察图像而两类图像对应不同光笔姿态，坐标对会产生时间错配；若位姿变化过于集中，则刚体变换中的旋转和平移难以受到充分约束。将位姿分布与同步采集共同用于点对形成，能够使手眼刚体变换由方向分散且时刻一致的观测数据确定。

15、进一步地，根据工业相机图像确定接触位姿或采集位姿时，从工业相机图像提取光学标志点图像坐标，根据光学标志点图像坐标之间的距离对光学标志点图像坐标进行分组，根据分组后的光学标志点图像坐标构成的向量叉积确定各光学标志点的相对方位，形成候选对应关系；

16、根据候选对应关系确定候选光笔位姿，将标定的光学标志点光笔坐标按照候选光笔位姿投影至工业相机图像，根据投影位置与光学标志点图像坐标之间的偏差修正候选对应关系，形成用于确定接触位姿或采集位姿的光学标志点对应关系。

17、通过图像坐标之间的距离对光学标志点进行分组，先利用光笔上标志点的相对几何布置缩小图像点的身份候选范围，再由分组后图像向量的叉积区分组内标志点的相对方位，使候选对应关系同时受距离结构和方向结构约束。仅凭光斑外观难以区分标志点身份，错误对应会直接改变接触位姿或采集位姿，并沿坐标转换链传递至锚点坐标；因此，进一步以候选位姿重投影已标定的光学标志点光笔坐标，根据投影位置与实际图像坐标的偏差修正对应关系，使局部几何判断受到整体成像关系核验，从而减少标志点误配对手眼刚体变换的影响。

18、进一步地，所述标定板为设有定向角块的圆点阵标定板；根据探头相机图像及标定板特征点设计坐标确定锚点探头相机坐标时，从探头相机图像提取圆形特征并对圆形特征的中心进行亚像素细化，根据定向角块确定圆点阵排列方向，按照圆点阵排列方向建立圆形特征图像坐标与标定板特征点设计坐标的对应关系，根据对应关系确定标定板坐标系至探头相机坐标系的标定板位姿，并根据标定板位姿将标定板锚点对应的标定板特征点设计坐标转换为锚点探头相机坐标。

19、通过对圆形特征中心进行亚像素细化，使探头相机图像中用于位姿解算的位置不局限于像素格点；定向角块则给圆点阵提供可识别的排列方向，使外观相同的圆形特征能够与各自的标定板特征点设计坐标对应。若仅检测圆心而不确定点阵方向，行列顺序或起始方向的误认会使标定板位姿及锚点身份同时发生错配。利用已确定的对应关系求得标定板位姿，再将锚点的设计坐标转换至探头相机坐标系，可使锚点探头相机坐标与接触测量得到的锚点绝对坐标指向同一物理特征，从而保持坐标对的空间对应关系。

20、进一步地，所述手眼变换确定步骤包括异常坐标对剔除子步骤；所述异常坐标对剔除子步骤中，根据参与求解的锚点坐标对确定候选手眼刚体变换，将锚点光笔坐标按照候选手眼刚体变换转换为预测锚点探头相机坐标，根据预测锚点探头相机坐标与对应的锚点探头相机坐标之间的偏差形成坐标对残差，根据坐标对残差与剔除阈值确定异常坐标对；从参与求解的锚点坐标对中剔除异常坐标对，将保留的锚点坐标对确定为内点坐标对，在所述内点坐标对形成非共线点集时，根据所述内点坐标对重新确定手眼刚体变换。

21、通过参与求解的坐标对先确定候选手眼刚体变换，再将各锚点光笔坐标转换为预测锚点探头相机坐标，每组点对均能形成可比较的空间闭合残差；该残差反映图像定位、锚点身份对应或同步采集异常对共同刚体关系的破坏。依据残差与剔除阈值确定异常坐标对，可避免局部异常观测继续牵引整体旋转和平移求解；以保留点对重新求解前再确认其形成非共线点集，能够防止剔除后虽剩余数据却已失去确定刚体变换的几何条件。异常剔除与非退化检查共同作用，使最终手眼刚体变换建立在相互一致且足以约束刚体关系的点对上。

22、进一步地，还包括标定质量评估步骤；所述标定质量评估步骤中，根据内点坐标对的残差分布形成标定残差量，根据标定残差量与质量阈值以及内点坐标对的数据量与数据量下限确定并输出标定质量结果；

23、根据标定板锚点对坐标对残差进行分组，根据各标定板锚点的坐标对残差与其余标定板锚点的坐标对残差确定是否存在待重新接触锚点，并在确定存在时输出针对待重新接触锚点的重新接触提示。

24、通过内点坐标对的残差分布形成标定残差量，可反映保留点对对同一手眼刚体变换的整体符合程度；同时将内点数据量与数据量下限纳入标定质量结果，使少量偶然低残差点对不能单独支撑质量通过的判断。进一步按照锚点身份对残差分组，并比较各锚点与其余锚点的残差分布，可以区分整体观测异常与集中于某次锚点接触的异常。只有比较结果指向具体待重新接触锚点时才输出相应提示，避免质量合格或异常来源不明确时无依据地要求复触，由此把质量判断与可执行的锚点定位衔接起来。

25、进一步地，还包括重投影验证步骤；所述重投影验证步骤中，根据非共线标定板锚点的标定板特征点设计坐标和锚点绝对坐标确定标定板工业相机位姿，根据标定板工业相机位姿将未用于形成锚点坐标对的验证特征点转换为验证特征点工业相机坐标；

26、根据采集位姿和手眼刚体变换将验证特征点工业相机坐标转换为验证特征点探头相机坐标，根据探头相机成像参数将验证特征点探头相机坐标映射至探头相机图像，根据映射位置与图像中的验证特征点图像坐标形成重投影误差，并根据重投影误差确定标定验证结果。

27、通过非共线锚点的设计坐标及锚点绝对坐标确定标定板工业相机位姿，未参与锚点坐标对求解的验证特征点便获得独立于手眼求解点对的工业相机坐标；将其依次经过采集位姿、手眼刚体变换和探头相机成像参数映射至图像，可以同时检查接触锚定、光笔跟踪、刚体转换及相机投影的连续关系。若只回代用于求解的锚点，即使这些点的残差较小，也难以揭示其他板面位置的投影失配；利用未参与求解的特征点与实际图像坐标形成重投影误差，能够在最终图像端反映标定结果对其他板面位置的适用情况。

28、进一步地，还包括复触验证步骤；所述复触验证步骤中，使球头测针接触未参与形成锚点坐标对的标定板验证点，根据接触时刻的工业相机图像确定验证接触位姿，根据验证接触位姿、测针球心光笔坐标、测球尺寸和标定板板面方向形成验证点工业相机坐标；在探头相机采集包含标定板验证点的实时图像时，根据实时图像采集时刻的工业相机图像确定验证位姿，根据验证位姿、手眼刚体变换和探头相机成像参数将验证点工业相机坐标映射至实时图像，并在映射位置形成验证点投影标记。

29、通过对未参与锚点坐标对构建的标定板验证点重新实施球头接触，验证点工业相机坐标来源于独立的实际测量，而非求解手眼变换时已使用的锚点数据；随后依据实时图像对应的验证位姿、手眼刚体变换和探头相机成像参数形成验证点投影标记，使接触测量与图像显示的完整路径得到复现。仅依据坐标对残差不能直接观察最终图像中的位置对应情况，而投影标记可与实时图像中的验证点位置进行对照，因而能够暴露从球心补偿到图像映射过程中产生的累积偏差，并为手眼标定结果能否用于实际显示提供直观核验。

30、为了将球头测针接触形成的被测点空间坐标转换并持续显示在随光笔运动的探头相机图像中，本发明还提出了手持式光笔测量终端的测量点显示方法；

31、手持式光笔测量终端的测量点显示方法，包括：

32、手眼关系获取步骤，获取光笔坐标系至探头相机坐标系的手眼刚体变换，所述手眼刚体变换根据同一标定板锚点的锚点光笔坐标和锚点探头相机坐标所形成的锚点坐标对确定，所述锚点光笔坐标由球头测针接触标定板锚点并根据测球尺寸和标定板板面方向修正球心工业相机坐标所形成的锚点绝对坐标按照采集位姿转换得到，所述锚点探头相机坐标根据探头相机图像和标定板特征点设计坐标确定；

33、测量点形成步骤，使球头测针接触被测物上的待测位置，根据接触时刻的工业相机图像和工业相机成像参数确定测量位姿，按照所述测量位姿将测针球心光笔坐标转换为球心工业相机坐标，并将所述球心工业相机坐标作为表征该次接触的被测点工业相机坐标；

34、测量点显示步骤，在探头相机采集被测物图像时，根据工业相机图像确定当前位姿，根据当前位姿和手眼刚体变换将被测点工业相机坐标转换为被测点探头相机坐标，根据探头相机成像参数将被测点探头相机坐标映射至被测物图像，并随当前位姿更新被测点标记。

35、通过由同一标定板锚点的两侧坐标对确定手眼刚体变换，球头测针接触时形成的球心测量坐标与探头相机成像坐标之间获得确定的转换路径；被测点工业相机坐标保留在工业相机建立的测量坐标系中，不随其后的光笔移动而改变。探头相机采集被测物图像时，当前位姿先将该坐标换至光笔坐标系，手眼刚体变换再将其换至探头相机坐标系，成像参数由此确定图像标记位置。若沿用接触时刻的位姿，光笔移动后标记会与当前画面错位；随当前位姿更新投影，可使标记持续表征已保存的球心测量位置，便于在变化的观察视角下查看已完成测量的位置分布。

36、本发明的有益效果：1、通过球头测针接触标定板锚点，结合接触位姿、测针球心光笔坐标、测球尺寸和标定板板面方向，获得锚点在工业相机坐标系下的绝对坐标；再利用同步采集的工业相机图像和探头相机图像，建立同一锚点在光笔坐标系与探头相机坐标系下的坐标对应关系。由此，可根据锚点坐标对确定手眼刚体变换，解决工业相机只跟踪光笔、不能直接观测标定板时，两条观测链路缺少共同空间约束的问题；

37、2、通过确定板面法向修正球心坐标，避免测球半径补偿方向错误；通过光学标志点的几何关系和重投影偏差，以及圆点阵的定向角块，减少特征点对应错误向位姿和锚点坐标传递。进一步结合坐标对残差剔除异常数据、评价标定质量，并利用未参与求解的特征点或验证点检查标定结果，使局部接触偏差、图像识别偏差及坐标转换偏差能够被识别和定位，增强手眼刚体变换在不同采集位姿下的一致性；

38、3、在形成被测点工业相机坐标后，利用当前光笔位姿和手眼刚体变换将其转换至探头相机坐标系，并依据探头相机成像参数形成被测物图像中的被测点标记。随着光笔位姿变化更新标记位置，可使已测空间点在变化的观察视角下持续对应于图像中的位置，便于操作者结合近距离图像辨认已测点、复核测点分布和检查测量覆盖情况。