角点提取方法和装置、相机标定设备、介质和程序产品与流程

摘要: 本公开涉及计算机视觉与数字图像处理,特别涉及一种角点提取方法和装置、相机标定设备、介质和程序产品。背景技术:1、角点是图像中灰度变化剧烈的特殊像素点,通常对应着...
角点提取方法和装置、相机标定设备、介质和程序产品与流程

本公开涉及计算机视觉与数字图像处理,特别涉及一种角点提取方法和装置、相机标定设备、介质和程序产品。

背景技术:

1、角点是图像中灰度变化剧烈的特殊像素点,通常对应着物体边缘的交叉位置或曲率的突变点。作为图像中最基本的局部特征之一,角点蕴含着丰富的几何结构信息,具备定位精度强、对光照与视角变化具有一定鲁棒性等优势,在相机标定、目标检测与跟踪、图像配准与拼接、三维重建和视觉同时定位与地图构建等计算机视觉方向有着极为广泛的应用基础。平面棋盘格靶标因制作成本低、特征规整统一成为主流标定参照物,其网格角点作为空间三维世界坐标与图像二维像素坐标之间的关键对应点,是标定参数求解过程中的核心基准。

技术实现思路

1、通过研究发现:相关技术角点提取方法主要存在以下技术问题:相关技术获得角点的像素精度低。相关技术采样策略缺乏针对性。相关技术方法普遍采用矩形邻域窗口进行均匀采样,未考虑角点周围梯度分布的各向异性特征,大量低信息量的像素点参与计算降低了优化效率并引入了不必要的噪声。

2、鉴于以上技术问题中的至少一项,本公开提供了一种角点提取方法和装置、相机标定设备、介质和程序产品,通过圆周邻域采样、圆周切向梯度极值特征提取,可以实现高精度、高鲁棒性的亚像素级角点定位。

3、根据本公开的一个方面,提供一种角点提取方法,包括:

4、提取标定棋盘格靶标图像中角点的初始角点坐标;

5、以所述初始角点坐标为圆心,建立初始角点的多个圆周邻域的参数化采样模型;

6、计算多个圆周上所有采样点的切向灰度梯度;

7、根据所述所有采样点的切向灰度梯度,提取多个圆周的切向灰度梯度极值点;

8、根据所述极值点构建角度一致性约束方程,其中,同一分支对在不同圆周半径下的夹角余弦保持一致;

9、采用加权非线性最小二乘方式确定最优角点坐标。

10、在本公开的一些实施例中,所述角点提取方法还包括:

11、判断是否满足预设收敛准则;

12、在不满足预设收敛准则的情况下,以所述最优角点坐标作为新的圆周采样中心,对圆周半径进行自适应缩减;重复执行所述建立多个圆周邻域的参数化采样模型、计算切向灰度梯度、提取极值点、构建角度一致性约束方程、采用加权非线性最小二乘方式确定最优角点坐标、判断是否满足预设收敛准则的步骤;

13、在满足预设收敛准则的情况下,输出最终的亚像素级角点坐标。

14、在本公开的一些实施例中,所述对圆周半径进行自适应缩减包括:

15、根据最大系数、最小系数、衰减敏感系数、位置变化参考量以及相邻两次迭代角点位移,确定自适应衰减系数;

16、采用所述自适应衰减系数对圆周半径进行自适应缩减。

17、在本公开的一些实施例中,所述预设收敛准则包括以下条件中的至少一个条件:

18、相邻两次迭代得到的最优角点坐标之间的欧氏距离小于第一阈值;

19、当前迭代的加权残差平方和小于第二阈值;

20、当前圆周半径小于预定半径下边界;

21、迭代次数达到预设最大迭代次数。

22、在本公开的一些实施例中,所述以所述初始角点坐标为圆心,建立初始角点的多个圆周邻域的参数化采样模型包括:

23、以所述初始角点坐标为圆心,以初始半径为半径,建立初始角点的圆周邻域的参数化采样模型;

24、在多个圆周邻域上以极角参数为变量均匀采样多个点。

25、在本公开的一些实施例中,所述计算多个圆周上所有采样点的切向灰度梯度包括:

26、针对每个采样点,获取所述采样点的灰度梯度向量和单位切向向量;

27、根据所述采样点的灰度梯度向量、单位切向向量和参数化采样模型,确定每个采样点的切向灰度梯度。

28、在本公开的一些实施例中,所述计算多个圆周上所有采样点的切向灰度梯度包括:

29、针对每个采样点,获取所述采样点沿图像第一方向和第二方向的一阶灰度偏导数,其中,所述第一方向和所述第二方向垂直;

30、根据所述采样点沿图像第一方向和第二方向的一阶灰度偏导数、所述采样点的参数化采样模型、极角参数的正弦值和余弦值,确定每个采样点的切向灰度梯度。

31、在本公开的一些实施例中,所述根据所述所有采样点的切向灰度梯度,提取多个圆周的切向灰度梯度极值点包括:

32、通过切向灰度梯度函数的导数为0,确定圆周切向灰度梯度极值点;

33、在所述圆周切向灰度梯度极值点处,根据切向灰度梯度分量的一阶导数和二阶导数,采用二次多项式插值进行亚像素级高精度化处理,确定灰度梯度的局部最大极值点。

34、在本公开的一些实施例中,所述根据所述所有采样点的切向灰度梯度,提取多个圆周的切向灰度梯度极值点包括:

35、在棋盘格黑白边界与每个圆周的交界位置,确定n个局部最大极值点,其中,n≥3。

36、在本公开的一些实施例中,所述根据所述极值点构建角度一致性约束方程包括:

37、根据所述极值点提取各分支极值点,其中,所述极值点按照圆周第一方向顺序对应n条局部分支及极值点的极角参数;

38、根据预设分支对集合,计算各分支对方向的夹角余弦;

39、构建同一分支对在不同半径下的角度一致性约束。

40、在本公开的一些实施例中,所述根据预设分支对集合,计算各分支对方向的夹角余弦包括:

41、按照所述n个局部最大极值点在圆周上第一方向的顺序对分支编号,并根据预设配对偏移量k构建分支对集合,其中,1≤k≤n/2向下取整后的值,每个分支对用于建立两个分支方向之间的夹角余弦一致性约束;

42、针对分支对集合中的每个分支及第j个圆周半径,构建候选角点指向所述分支对的两个分支极值点的两个单位方向向量;

43、计算两个单位方向向量的点积,将所述点积作为所述分支对在所述圆周半径上的夹角余弦观测值。

44、在本公开的一些实施例中,所述构建同一分支对在不同半径下的角度一致性约束包括:

45、根据各分支对在不同圆周半径下的夹角余弦观测值与对应共享余弦参数之间的差值,确定角度一致性残差,其中,所述角度一致性约束不要求任意两条边界相互垂直或共线。

46、在本公开的一些实施例中,所述采用加权非线性最小二乘方式确定最优角点坐标包括:

47、确定每个分支对在每个圆周半径上的夹角余弦观测值与共享余弦参数之间的残差;

48、确定每个分支对在每个圆周半径上的权重;

49、利用加权非线性最小二乘方式确定角度一致性目标函数的最小值,将所述最小值对应的候选角点坐标作为最优角点坐标。

50、在本公开的一些实施例中,所述确定权重包括:

51、确定组成每个分支对的两个极值点的切向灰度梯度绝对值;

52、根据所述两个极值点的切向灰度梯度绝对值确定分支对置信度,并对各分支对及各圆周半径的权重进行归一化;

53、根据所述分支对置信度及对应圆周半径上的观测质量确定每个分支对在每个圆周半径上的权重。

54、在本公开的一些实施例中,所述利用加权非线性最小二乘方式确定目标函数的最小值包括:

55、采用有阻尼的非线性最小二乘方法,迭代更新候选角点坐标和各分支对的共享余弦参数。

56、在本公开的一些实施例中,所述确定最优角点坐标包括:

57、在固定候选角点坐标的情况下,根据各分支对在不同圆周半径下的夹角余弦观测值采用加权平均确定对应的共享余弦参数;

58、根据所述共享余弦参数、角度一致性残差、权重矩阵和雅可比矩阵,采用非线性最小二乘迭代求解候选角点坐标增量。

59、根据本公开的另一方面,提供一种角点提取装置,包括:

60、初始坐标获取模块,被配置为提取标定棋盘格靶标图像中角点的初始角点坐标;

61、采样模型建立模块,被配置为以所述初始角点坐标为圆心,建立初始角点的多个圆周邻域的参数化采样模型;

62、灰度梯度计算模块,被配置为计算多个圆周上所有采样点的切向灰度梯度;

63、极值点提取模块,被配置为根据所述所有采样点的切向灰度梯度,提取多个圆周的切向灰度梯度极值点;

64、约束方程构建模块,被配置为根据所述极值点构建角度一致性约束方程,其中,同一分支对在不同圆周半径下的夹角余弦保持一致;

65、最优坐标获取模块,被配置为采用加权非线性最小二乘方式确定最优角点坐标。

66、根据本公开的另一方面,提供一种角点提取装置,包括:

67、存储器,被配置为存储指令;以及

68、耦接至所述存储器的处理器,所述处理器被配置为基于存储在所述存储器的指令,执行如上述任一实施例所述的角点提取方法。

69、根据本公开的另一方面,提供一种相机标定设备,包括:

70、如上述任一实施例所述的角点提取装置;

71、相机标定装置,被配置为计算棋盘格靶标的坐标变换单应性矩阵;根据所述坐标变换单应性矩阵,确定相机参数初值。

72、根据本公开的另一方面,提供一种计算机可读存储介质,其中,所述计算机可读存储介质存储有计算机指令,所述指令被处理器执行时实现如上述任一实施例所述的角点提取方法。

73、根据本公开的另一方面,提供一种计算机程序产品,包括计算机程序,其中,所述计算机程序被处理器执行时实现如上述任一实施例所述的角点提取方法。

74、本公开通过圆周邻域采样、圆周切向梯度极值特征提取和夹角余弦一致性约束,可以在不要求边界相互垂直或共线的情况下实现高精度、高鲁棒性的亚像素级角点定位。