一种免定标板的相机在线标定方法和装置与流程

本技术涉及机器视觉与相机标定，具体涉及一种免定标板的相机在线标定方法和装置。

背景技术：

1、相机标定是视觉测量、机器人抓取、缺陷检测、ocr 识别、三维重建和视觉伺服等应用的基础。传统标定方法需要在相机视野内放置棋盘格、圆点板或专用编码标定板，通过检测标定板角点或圆心点，计算相机内参、外参以及畸变参数。这类方法精度较高，但存在以下几点问题：

2、一、标定过程需要人工摆放标定板，生产现场需要停机或切换工装；

3、二、标定板容易受到污损、反光、遮挡和摆放姿态限制的影响；

4、三、当相机位置因振动、碰撞、温度变化或支架松动产生小幅漂移后，不能及时发现并自动修正。

5、基于上述原因，现阶段的相机标定采用在线标定的方式，需要依赖自然场景中的边缘、直线、平面、消失点、运动轨迹或多帧特征匹配。虽然现有的在线标定方式减少了对标定板的依赖，但在纹理稀疏、光照变化、重复结构较多的工业场景中容易出现特征误匹配。于是，进一步引入深度学习模型，而深度学习模型直接回归标定参数时需要大量标注数据，且跨场景泛化能力差。例如，深度学习模型可能将背景边缘误识别为工件边缘，或将遮挡物的一部分识别为完整矩形结构，导致标定优化结果出现偏差。因此，需要对基于深度学习模型的相机在线标定方法进行进一步优化。

技术实现思路

1、本技术主要解决的技术问题是如何对基于深度学习模型的相机在线标定方法实现进一步优化。

2、根据第一方面，一种实施例中提供一种免定标板的相机在线标定方法，包括：

3、获取相机实时采集的一组原始图像序列；所述原始图像序列中的图像元素为按采集顺序获取的连续多帧图像；

4、设定所述相机的初始参数；所述初始参数依据历史标定结果、出厂标定结果、初略测量结果和/或经验预估结果设定；所述初始参数包括内参矩阵、畸变参数和/或坐标系参数，其中，所述坐标系参数为所述相机相对于世界坐标系、机器人坐标系或工位坐标系的外参；所述初略测量结果是根据所述相机采集的图像中的正交线、平行线和消失点粗略估算的初始参数；

5、依据所述相机当前的工作场景设定至少一个语义锚点；所述语义锚点是对应所述工作场景的语义锚点集合中的元素；所述语义锚点集合中的元素是应用视觉语言大模型从所述工作场景的图像中提取的类别标签、分割掩膜、边界框、语义置信度、轮廓点集和/或可选的关系描述的语言词条；所述语言词条用于作为对应所述工作场景特征的语义表述信息，其中，所述语言词条根据所述相机的应用场景预先构建，所述语义锚点包含的所述关系描述包括平行关系、垂直关系、共面关系和矩形闭合关系中的至少一种；

6、依据所述语义锚点构建语义转几何的一致性图；所述语义转几何的一致性图是以所述语义锚点为节点，以所述语义锚点之间的几何关系为边，将所述语义锚点的语义表述信息与所述原始图像序列中多帧图像的几何约束进行联合建模；

7、依据所述语义转几何的一致性图中针对多帧图像的几何约束，对所述相机进行在线标定，以对预先设定的所述初始参数进行实时校验。

8、一实施例中，所述相机在线标定方法还包括：

9、对所述原始图像序列中的图像元素按预设的筛选判定类型和筛选判定条件对所述图像元素进行筛选；所述筛选判定类型包括曝光质量判断、异常帧判断和/或运动模糊判断；所述筛选判定条件包括低纹理区域过滤、图像清晰度、图像亮度和/或图像中包含有效锚点的数量。

10、一实施例中，所述相机在线标定方法还包括：

11、设置反事实几何校验机制；

12、对所述初始参数施加扰动，计算不同扰动的初始参数下所述语义锚点的几何一致性分数，根据所述几何一致性分数筛除不可信的所述语义锚点；其中，对所述初始参数施加包括焦距扰动、主点扰动、径向畸变扰动和外参旋转/平移扰动中的至少一种扰动；所述几何一致性分数包括重投影残差、几何关系残差和/或时序一致性分数，将所述几何一致性分数低于预设阈值或导致整体残差增大的所述语义锚点降权或剔除。

13、一实施例中，所述相机在线标定方法还包括：

14、将通过校验的所述语义锚点进行鲁棒联合优化，以获取标定后的所述相机的参数；其中，所述鲁棒联合优化采用huber损失函数或cauchy损失函数降低异常值影响，并引入参数先验项防止参数跳变，优化过程采用迭代方式进行；

15、所述鲁棒联合优化包括：

16、固定校验后的所述语义锚点；

17、求解所述相机的参数；

18、根据新求解的所述相机的参数重新评估所述语义锚点的几何一致性；

19、更新每个所述语义锚点的权重后继续重复迭代执行优化；

20、当所述相机的参数的变化量小于预设阈值，且总体残差稳定下降时，输出本次在线标定后所述相机的参数，并作为所述相机的在线标定结果。

21、一实施例中，所述相机在线标定方法还包括：

22、实时重复执行所述鲁棒联合优化，当连续多帧出现同方向残差增大时，判定所述相机发生漂移，输出漂移提示信息和/或重新进行在线标定。

23、一实施例中，依据所述语义锚点构建语义转几何的一致性图，包括：

24、将所述语义锚点转化为几何约束元素，包括对边缘结构进行直线拟合、对矩形结构提取角点、对圆形结构提取椭圆参数、对平面结构估计法向和/或对平行线计算消失点；

25、在所述语义转几何的一致性图中，所述几何关系包括平行、垂直、共面、共线、同心、矩形闭合、相对尺度稳定和时序位置稳定；

26、通过正交消失点与相机内参的关系约束相机焦距和主点，通过已知尺寸结构的三维关键点与图像点的投影关系约束相机外参。

27、一实施例中，所述相机在线标定方法还包括：

28、在获得标定后相机参数之后，采用滑动窗口方式或卡尔曼滤波方式更新标定参数；

29、根据锚点数量、残差大小、图像质量和参数协方差计算标定置信度；

30、当所述标定置信度高于预设阈值时更新主参数。

31、根据第二方面，一种实施例中提供一种计算机程序产品，包括程序，所述程序能够被处理器执行以实现如本文中任一实施例所述的相机在线自定标方法。

32、根据第三方面，一种实施例中提供一种计算机可读存储介质，包括程序，所述程序能够被处理器执行以实现如本文中任一实施例所述的相机在线自定标方法。

33、根据第四方面，一种实施例中提供一种免定标板的相机在线标定装置，用于应用如本文中任一实施例所述的相机在线自定标方法，所述相机在线标定装置包括：

34、图像获取模块，用于获取相机实时采集的一组原始图像序列；所述原始图像序列中的图像元素为按采集顺序获取的连续多帧图像；

35、初始化模块，用于设定所述相机的初始参数；所述初始参数依据历史标定结果、出厂标定结果、初略测量结果和/或经验预估结果设定；所述初始参数包括内参矩阵、畸变参数和/或坐标系参数，其中，所述坐标系参数为所述相机相对于世界坐标系、机器人坐标系或工位坐标系的外参；所述初略测量结果是根据所述相机采集的图像中的正交线、平行线和消失点粗略估算的初始参数；

36、语义锚点设定模块，用于依据所述相机当前的工作场景设定至少一个语义锚点；所述语义锚点是对应所述工作场景的语义锚点集合中的元素；所述语义锚点集合中的元素是应用视觉语言大模型从所述工作场景的图像中提取的类别标签、分割掩膜、边界框、语义置信度、轮廓点集和/或可选的关系描述的语言词条；所述语言词条用于作为对应所述工作场景特征的语义表述信息，其中，所述语言词条根据所述相机的应用场景预先构建，所述语义锚点包含的所述关系描述包括平行关系、垂直关系、共面关系和矩形闭合关系中的至少一种；

37、一致性设置模块，用于依据所述语义锚点构建语义转几何的一致性图；所述语义转几何的一致性图是以所述语义锚点为节点，以所述语义锚点之间的几何关系为边，将所述语义锚点的语义表述信息与所述原始图像序列中多帧图像的几何约束进行联合建模；

38、实时标定模块，用于依据所述语义转几何的一致性图中针对多帧图像的几何约束，对所述相机进行在线标定，以对预先设定的所述初始参数进行实时校验；

39、几何校验模块，用于设置反事实几何校验机制，对所述初始参数施加扰动，计算不同扰动的初始参数下所述语义锚点的几何一致性分数，根据所述几何一致性分数筛除不可信的所述语义锚点；其中，对所述初始参数施加包括焦距扰动、主点扰动、径向畸变扰动和外参旋转/平移扰动中的至少一种扰动；所述几何一致性分数包括重投影残差、几何关系残差和/或时序一致性分数，将所述几何一致性分数低于预设阈值或导致整体残差增大的所述语义锚点降权或剔除；

40、联合优化模块，用于将通过校验的所述语义锚点进行鲁棒联合优化，以获取标定后的所述相机的参数。

41、依据上述实施例的相机在线标定方法，由于既能利用视觉语言大模型对自然场景的理解能力，又能利用严格的几何约束对大模型结果进行筛选和校验，从而实现免标定板、可在线运行、可解释且精度稳定的相机标定。

42、进一步，增设反事实几何校验机制，对初始参数施加扰动并计算不同扰动下语义锚点的几何一致性分数以筛除不可信锚点。

43、进一步，将通过校验的锚点进行鲁棒联合优化，获得标定后相机参数。

44、进一步，通过构建语义转几何的一致性图和引入反事实几何校验，能够筛除语义可信但几何不可信的误检锚点，实现免标定板的相机在线标定和漂移修正。