基于多维度多样性评估的相机内参标定方法、系统及设备与流程

本发明属于相机标定，具体涉及一种基于多维度多样性评估的相机内参标定方法、系统及设备。

背景技术：

1、相机标定是机器人视觉、工业自动化检测以及三维重建等应用场景中的一项基础性工作，其目的在于获取相机的内参，内参的标定精度直接影响后续图像测量与空间解算的精度。

2、现有技术中，相机内参标定通常采用离线处理模式，由操作人员手持标定板在相机的视场中移动以采集多幅图像，再将所采集的图像导入标定工具进行批量处理。这种标定方式缺乏对数据采集过程的量化指导，操作人员难以实时获知所采集的数据对标定要求的满足程度，容易导致采集数据的冗余或者关键信息的缺失；并且，低质量的图像难以在采集阶段被及时剔除，从而影响最终的标定精度；同时，整个标定过程的交互性较差，标定周期较长。

技术实现思路

1、为了解决现有技术中存在的上述问题，本发明提供了一种基于多维度多样性评估的相机内参标定方法、系统及设备。本发明要解决的技术问题通过以下技术方案实现：

2、第一方面，本发明提供一种基于多维度多样性评估的相机内参标定方法，包括：

3、获取相机采集的图像帧序列中的多个图像帧；

4、将标定板在所述图像帧中的多个评估维度分别划分为多个区间，所述多个评估维度包括标定板在所述图像帧中的相对尺寸和倾斜角度；

5、依次以所述多个图像帧中的一个图像帧作为当前图像帧，对所述当前图像帧进行标定板角点检测，并根据检测到的标定板角点对所述当前图像帧进行筛选，将通过筛选的所述当前图像帧确定为有效帧；

6、确定所述有效帧在每一评估维度上所属的区间，并对所属的区间的计数值进行累加；根据各评估维度对应的所述区间的计数值确定综合采集进度；

7、当所述综合采集进度达到预设进度阈值，或者所述有效帧的帧数达到预设最大帧数时，根据全部有效帧的标定板角点的图像坐标以及对应的世界坐标，求解相机的内参矩阵与畸变系数。

8、在本发明的一个实施例中，所述多个评估维度还包括标定板在所述图像帧中的位置横坐标和位置纵坐标；

9、将标定板在所述图像帧中的多个评估维度分别划分为多个区间的步骤，包括：

10、将每一评估维度的取值范围均匀划分为预设数量的区间，并为每个所述区间设置计数器。

11、在本发明的一个实施例中，依次以所述多个图像帧中的一个图像帧作为当前图像帧，对所述当前图像帧进行标定板角点检测的步骤之后，还包括：

12、遍历所述标定板角点中的相邻角点对；

13、对于各相邻角点对，计算其中两个标定板角点之间的距离，并取所得到的距离中的最小值；

14、根据所述最小值确定所述标定板角点的亚像素精化的搜索窗口半径；

15、按照所述搜索窗口半径对所述标定板角点进行亚像素精化，得到精度优于一个像素的所述标定板角点的图像坐标。

16、在本发明的一个实施例中，根据检测到的标定板角点对当前图像帧进行筛选，将通过筛选的所述当前图像帧确定为有效帧的步骤，包括：

17、根据检测到的标定板角点的图像坐标，对所述当前图像帧进行质量检查，将通过质量检查的当前图像帧确定为候选帧；

18、基于所述多个评估维度，对所述候选帧进行多样性检查，将通过所述多样性检查的候选帧确定为有效帧。

19、在本发明的一个实施例中，根据检测到的标定板角点的图像坐标，对所述当前图像帧进行质量检查，将通过质量检查的当前图像帧确定为候选帧的步骤，包括：

20、根据检测到的标定板角点以及所述标定板角点的图像坐标，判断所述当前图像帧是否满足第一预设条件；若是，则所述当前图像帧通过所述质量检查，确定为候选帧；若否，则丢弃所述当前图像帧；

21、其中，所述第一预设条件包括：

22、检测到的标定板角点数量与理论角点数量一致；

23、由所述标定板角点的图像坐标确定的包围盒与所述当前图像帧边界保持预设边界裕度；

24、标定板在所述当前图像帧中的相对尺寸处于预设尺寸区间内；

25、标定板相对相机光轴的倾斜角度处于预设角度区间内。

26、在本发明的一个实施例中，基于所述多个评估维度，对所述候选帧进行多样性检查，将通过所述多样性检查的候选帧确定为有效帧的步骤，包括：

27、根据所述标定板角点的图像坐标，计算所述候选帧在所述多个评估维度上的特征值；

28、根据所述多个评估维度上的特征值，判断所述候选帧是否满足第二预设条件；若是，则所述候选帧通过所述多样性检查，确定为有效帧；若否，则丢弃所述候选帧；

29、其中，所述第二预设条件包括：

30、与所述候选帧之前最近通过所述质量检查的m个候选帧中的每一候选帧，在每一评估维度上的特征值之差的绝对值均大于对应的预设差异阈值。

31、在本发明的一个实施例中，根据各评估维度对应的所述区间的计数值确定综合采集进度的步骤，包括：

32、针对每一评估维度，将对应的计数值达到预设计数阈值的区间确定为已满区间，并以所述已满区间的数量与所述评估维度下区间的总数之比作为所述评估维度的采集进度；

33、将各评估维度的采集进度的均值确定为所述综合采集进度。

34、在本发明的一个实施例中，根据全部有效帧的标定板角点的图像坐标以及对应的世界坐标，求解相机的内参矩阵与畸变系数的步骤，包括：

35、以最小化重投影误差为目标，对所述相机的内参矩阵与畸变系数进行迭代优化求解，所述重投影误差为将所述世界坐标进行投影所得到的投影坐标与所述图像坐标之间的误差。

36、第二方面，本发明提供一种基于多维度多样性评估的相机内参标定系统，包括：

37、图像获取模块，用于获取相机采集的图像帧序列中的多个图像帧；

38、区间划分模块，用于将标定板在所述图像帧中的多个评估维度分别划分为多个区间，所述多个评估维度包括标定板在所述图像帧中的相对尺寸和倾斜角度；

39、角点检测与筛选模块，用于依次以所述多个图像帧中的一个图像帧作为当前图像帧，对所述当前图像帧进行标定板角点检测，并对检测到标定板角点的当前图像帧进行筛选，将通过筛选的所述当前图像帧确定为有效帧；

40、区间计数模块，用于确定所述有效帧在每一评估维度上所属的区间，并对所属的区间的计数值进行累加；根据各评估维度对应的所述区间的计数值确定综合采集进度；

41、标定求解模块，用于当所述综合采集进度达到预设进度阈值，或者所述有效帧的帧数达到预设最大帧数时，根据全部有效帧的标定板角点的图像坐标以及对应的世界坐标，求解相机的内参矩阵与畸变系数。

42、第三方面，本发明还提供一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述基于多维度多样性评估的相机内参标定方法的步骤。

43、与现有技术相比，本发明的有益效果在于：

44、1、通过将标定板在图像帧中的多个评估维度分别划分为多个区间，并以各评估维度下的区间计数值确定综合采集进度，将原本依赖操作人员经验判断的“数据是否采集充分”这一问题转化为可量化、可实时统计的进度指标，操作人员可按进度提示补采缺失的位姿，从而降低对操作人员专业水平的依赖，缩短了标定周期。

45、2、通过质量检查与多样性检查两层筛选，先以第一预设条件剔除低质量图像帧，再以第二预设条件剔除与此前通过质量检查的候选帧相比差异不足的冗余图像帧，仅保留高价值的有效帧用于标定计算，从而减少无效计算，保证参与标定计算的图像帧在位置、尺寸、姿态维度上的覆盖充分性，提高了标定精度与鲁棒性。

46、3、通过以最小化重投影误差为目标对内参矩阵与畸变系数进行迭代优化求解，并在采集过程中实时反馈综合采集进度、在达到预设进度阈值或有效帧数达到预设最大帧数时自动触发求解，实现了自动化的相机内参标定，提高了标定效率。

47、4、通过根据相邻角点对距离的最小值自适应确定搜索窗口半径，使亚像素精化的搜索窗口随标定板在图像帧中的实际大小自动调整，在保证标定角点定位精度的同时，避免了搜索窗口参数的手工调整，提高了方法的通用性。

48、以下将结合附图及实施例对本发明做进一步详细说明。