单相机视觉下的位姿与形变解耦方法

摘要: 本发明属于光学测量,尤其涉及一种单相机视觉下的位姿与形变解耦方法。背景技术:1、透明窗口或透明板件在受压、受热、安装预紧或外界载荷作用下,会同时发生整体位姿变化...
单相机视觉下的位姿与形变解耦方法

本发明属于光学测量,尤其涉及一种单相机视觉下的位姿与形变解耦方法。

背景技术:

1、透明窗口或透明板件在受压、受热、安装预紧或外界载荷作用下,会同时发生整体位姿变化和局部面形变化。整体位姿变化包括平移和转动,局部面形变化包括法向鼓包、边缘翘曲、局部倾角变化和面内伸缩等。对透明窗口或透明板件进行在线或离线测量时,常见方法包括机械接触测量、干涉测量、偏折测量、结构光测量、数字图像相关测量以及摄影测量等。

2、机械接触测量虽然直观,但可能影响透明窗口的受力状态,且难以获得全场信息。干涉和偏折类方法具有较高灵敏度,但通常对光路、环境稳定性、表面反射状态和标定条件要求较高。传统数字图像相关方法依赖表面散斑纹理,而透明窗口本身缺少天然纹理,直接喷涂散斑又可能影响透光性和表面状态。摄影测量和单目视觉方法可以通过标记点获取位姿,但通常以刚体目标为假设,难以直接处理窗口局部形变。

3、在实际透明窗口的测量中,为兼顾透光性和图像识别稳定性,可在窗口表面或邻近位置布设稀疏荧光标记点,并通过相机采集标记点图像。标记点的图像位移同时受到整体位姿、局部形变、相机投影、标定误差和折射影响。尤其当窗口形变幅值与整体位姿变化幅值处于相同量级时,全局刚体位姿估计会吸收部分真实形变,而直接将重投影残差作为形变会混入位姿估计误差。因此,需要一种适用于稀疏标记、强耦合和单相机条件的位姿与形变解耦方法。

4、现有技术缺点包括:

5、1.传统刚体位姿估计方法通常假定目标点间的相对位置不变,当透明窗口发生局部形变时,求得的整体位姿参数会被局部形变污染,导致位姿和形变相互吸收。

6、2.传统数字图像相关方法通常需要连续或稠密散斑纹理,而透明窗口为了保持透光性往往只能布设稀疏标记,难以直接进行稳定的逐点三维形变反演。

7、3.固定网格、固定邻域或固定环带的局部建模方法不能适应非均匀形变。当形变区域、边缘翘曲或非对称载荷发生变化时,固定分区可能切断真实形变结构或引入局部估计不稳定。

8、4.在单相机条件下,整体轴向位移、绕横纵轴转动、局部法向鼓包和面内伸缩可能在图像平面产生相似的像素位移响应,导致解耦问题病态。

技术实现思路

1、有鉴于此,本发明创造旨在提供一种单相机视觉下的位姿与形变解耦方法,以解决现有技术在透明窗口测量时刚体位姿与局部形变相互污染、稀疏标记条件下难以实现稳定三维形变反演、固定分区建模无法适配非均匀形变,以及单相机下位姿-形变耦合带来的测量求解病态的技术问题。本发明提供一种残差引导自适应分区二次分层估算的位姿与形变解耦测量方法,将形变与位姿强耦合状态下,全局刚体模型解释不了的重投影残差作为形变-位姿耦合的观测指纹,并利用该残差指纹构造自适应区域,再在区域尺度进行二次局部位姿估计和连续面形融合,通过这样分层的估计解算,从而提高稀疏标记和强耦合条件下的解耦稳定性。

2、为达到上述目的,本发明创造的技术方案是这样实现的:

3、一种单相机视觉下的位姿与形变解耦方法,具体包括如下步骤:

4、s1:利用单相机分别在参考状态与待测状态下采集透明介质构件的荧光标记图像,对应获得参考荧光标记图像和待测荧光标记图像,对参考荧光标记图像和待测荧光标记图像分别进行预处理,获得参考荧光标记图像和待测荧光标记图像各自的有效特征点集,将参考荧光标记图像的有效特征点与对应的待测荧光标记图像的有效特征点组成有效特征匹配点对;

5、s2:获取单相机的相机内参与镜头畸变参数,建立由待测面坐标系转换到图像坐标系的投影模型;

6、s3:基于投影模型和有效特征匹配点对,构建用于估计透明介质构件表面的全局刚体位姿的目标函数,结合目标函数计算全局重投影残差,基于全局重投影残差计算残差种子场;

7、s4:基于残差种子场的符号、幅值和等值轮廓对参考荧光标记图像和待测荧光标记图像的有效特征匹配点对进行划分,获得不少于两个的残差同质区域;

8、s5:基于各残差同质区域内的有效特征匹配点对二次估计各残差同质区域的局部姿态修正量,基于二次估计结果对各残差同质区域进行邻域连续化处理,获得低阶连续面形模型,且基于低阶连续面形模型获得透明介质构件的总位移、整体位姿分量和纯形变分量。

9、进一步的,在步骤s1中,参考状态为透明介质构件装配完成、尚未施加工作载荷的基准工况;待测状态为透明介质构件承受外界载荷,同时产生整体位姿变化与局部面形形变的被测工况。

10、进一步的,步骤s1具体包括:

11、s11:分别对参考荧光标记图像和待测荧光标记图像依次进行边界限定、二值化、形态学处理、连通域判定和光斑中心提取,获得参考标记点在图像坐标系的二维坐标和与参考标记点一一对应的待测标记点在图像坐标系的二维坐标;

12、s12:计算参考标记点和对应的待测标记点之间的相关系数,利用相关系数阈值剔除呈弱相关的参考标记点和对应的待测标记点,获得参考荧光标记图像和待测荧光标记图像各自的有效特征点集,且将参考荧光标记图像的有效特征点与对应的待测荧光标记图像的有效特征点组成有效特征匹配点对。

13、进一步的,在步骤s2中,参考荧光标记图像和待测荧光标记图像的有效特征点均满足投影模型,参考荧光标记图像的有效特征点对应的投影模型表达式为:

14、;

15、;

16、=;

17、其中,为参考荧光标记图像m的第i个有效特征点在图像坐标系的二维坐标,为包含透视投影和畸变修正的成像函数,k为相机内参矩阵,d为镜头畸变参数,为参考荧光标记图像m对应的透明介质构件相对于单相机的全局旋转矩阵,为参考荧光标记图像m对应的透明介质构件相对于单相机的全局平移矩阵,为参考荧光标记图像m的第i个有效特征点在待测面坐标系的三维坐标,为参考荧光标记图像m的第i个有效特征点的图像提取和匹配误差,为参考荧光标记图像m的第i个有效特征点在待测面坐标系的三维坐标,()为参考荧光标记图像m的第i个有效特征点在图像坐标系的二维坐标。

18、进一步的,在步骤s3中,目标函数的表达式为:

19、

20、;

21、其中,为参考荧光标记图像的全局有效特征点相对于待测荧光标记图像的全局有效特征点的旋转矩阵,为参考荧光标记图像的全局有效特征点相对于待测荧光标记图像的全局有效特征点的平移矩阵,r和t分别表示透明介质构件相对于单相机的旋转矩阵和平移矩阵,为优化算子,为第i个有效特征匹配点对对应的权重,为待测荧光标记图像n的第i个有效特征点在图像坐标系的二维坐标,为包含透视投影和畸变修正的成像函数,k为相机内参矩阵,d为镜头畸变参数,为待测荧光标记图像n的第i个有效特征点在待测面坐标系的三维坐标,为待测荧光标记图像n对应的透明介质构件相对于单相机的全局旋转矩阵,为待测荧光标记图像n对应的透明介质构件相对于单相机的全局平移矩阵。

22、进一步的,在步骤s3中,计算全局重投影残差所采用的计算公式为:

23、;

24、其中,为第i个有效特征匹配点对对应的全局重投影残差,k为相机内参矩阵,d为镜头畸变参数,为待测荧光标记图像n的第i个有效特征点在图像坐标系的二维坐标,为包含透视投影和畸变修正的成像函数,为参考荧光标记图像m对应的透明介质构件相对于单相机的全局旋转矩阵,为参考荧光标记图像m对应的透明介质构件相对于单相机的全局平移矩阵,为参考荧光标记图像的全局有效特征点相对于待测荧光标记图像的全局有效特征点的旋转矩阵,为参考荧光标记图像的全局有效特征点相对于待测荧光标记图像的全局有效特征点的平移矩阵,为参考荧光标记图像m的第i个有效特征点在待测面坐标系的三维坐标,为图像u方向的像素,为图像v方向的像素,为第i个有效特征匹配点对在图像u方向的重投影残差,为第i个有效特征匹配点对在图像v方向的重投影残差。

25、进一步的,在步骤s3中,计算残差种子场所采用的计算公式为:

26、;

27、;

28、其中,为残差矢量模长的平方,为第i个有效特征匹配点对对应的全局重投影残差,为第i个有效特征匹配点对对应的残差种子场,s(·)为邻域平滑、对称融合或低阶拟合处理操作,e为选定的主残差方向,为常值、平面趋势或其他低阶系统偏差项,为参考荧光标记图像m的第i个有效特征点在待测面坐标系的三维坐标。

29、进一步的,在步骤s4中,通过下式对有效特征匹配点对进行划分:

30、;

31、其中,为第k个残差同质区域,i为有效特征匹配点对的索引号,为第i个有效特征匹配点对对应的残差种子场,为第k个残差同质区域对应的上阈值,k为残差同质区域的索引号,为第k个残差同质区域对应的下阈值,m为残差同质区域的总数。

32、进一步的,在步骤s5中,基于各残差同质区域内的有效特征匹配点对二次估计各残差同质区域的局部姿态修正量所采用的表达式为:

33、;

34、其中,为第k个残差同质区域相对于全局刚体基准的旋转矩阵修正量,为第k个残差同质区域相对于全局刚体基准的平移矩阵修正量,为优化过程中的旋转矩阵修正量,为优化过程中的平移矩阵修正量,为参考荧光标记图像的全局有效特征点相对于待测荧光标记图像的全局有效特征点的旋转矩阵,为参考荧光标记图像的全局有效特征点相对于待测荧光标记图像的全局有效特征点的平移矩阵,k为相机内参矩阵,d为镜头畸变参数,为待测荧光标记图像n的第i个有效特征点在待测面坐标系的三维坐标,为第i个有效特征匹配点对对应的权重,为待测荧光标记图像n的第i个有效特征点在图像坐标系的二维坐标,为包含透视投影和畸变修正的成像函数。

35、与现有技术相比,本发明创造能够取得如下有益效果:

36、(1)本发明创造所述的单相机视觉下的位姿与形变解耦方法,可在稀疏标记条件下实现透明窗口的整体位姿与局部形变的分离,减少对满场散斑和复杂光学系统的依赖。

37、(2)本发明创造所述的单相机视觉下的位姿与形变解耦方法,在形变幅值与位姿变化幅值相当时,可降低全局位姿对真实形变的吸收,提高离面形变估计的可信度。

38、(3)本发明创造所述的单相机视觉下的位姿与形变解耦方法,自适应分区能够随残差响应变化而调整,相比固定环带或固定邻域更适应非均匀形变,对于实际的高压仓等光学窗口的健康检测价值意义更大。

39、(4)本发明创造所述的单相机视觉下的位姿与形变解耦方法,通过区域位姿估计和连续面形融合兼顾局部尺度信息与全局平滑性,减少稀疏点带来的局部跳变和过拟合现象,配合二次残差作为形变求解结果的可信度评价指标,有利于算法工程实现与现场调试。