一种面向公路边坡的单目视觉连续位移测量方法

摘要: 本发明涉及图像识别,尤其涉及一种面向公路边坡的单目视觉连续位移测量方法。背景技术:1、边坡(如公路边坡、露天矿边坡及各类护坡结构)在降雨、地震、施工扰动与长期风...
一种面向公路边坡的单目视觉连续位移测量方法

本发明涉及图像识别,尤其涉及一种面向公路边坡的单目视觉连续位移测量方法。

背景技术:

1、边坡(如公路边坡、露天矿边坡及各类护坡结构)在降雨、地震、施工扰动与长期风化等作用下易发生变形累积甚至突发失稳,因此开展持续位移监测与预警是工程安全评估与风险预测的重要基础。传统监测多依赖拉线位移计、gnss/gps、insar与全站仪等手段,但在布设维护成本、环境适应性与连续自动化能力方面各有局限,亟需一种低成本、高精度且可实现多维位移监测的新方法。近年来,随着计算机视觉与图像处理技术发展,基于人工视觉标靶的位姿/位移高精度反演能够在非接触条件下实现连续位移获取,兼顾成本与工程可部署性,已成为边坡变形机器视觉监测的重要研究热点之一。

2、近年来,基于计算机视觉的位移监测因成本较低、易部署、具备实时测量潜力等特点,在结构位移监测领域受到广泛关注。现有基于视觉的位移监测方法主要包括模板匹配、特征点检测与光流分析三类。(1)模板匹配法通过计算目标区域与模板的相似度,并结合曲面拟合等策略实现亚像素级位移估计;但模板匹配在光照变化、目标外观改变或局部形变等复杂工况下鲁棒性仍受限制。(2)基于特征点的方法通过比较不同时刻图像中特征点的位置变化来实现位移监测。该方法对环境适应性较强,但在低纹理区域位移计算精度有限,且在部分场景下存在计算效率不足的问题。(3)基于光流的方法假设图像亮度保持不变,通过跟踪像素或特征点运动实现位移计算。光流方法具备全场位移计算潜力,但对光照变化的鲁棒性较弱。

3、随着深度学习目标检测和图像分割算法的快速发展,深度学习方法逐渐被引入到视觉位移监测领域,基于视觉的位移监测方法利用标靶进行位移分析,为复杂结构变形监测提供了新的解决方案。然而视觉标靶检测与跟踪用于野外边坡位移长期监测仍存在若干需要关注的问题:

4、(1)多标靶密集布设条件下,完成目标检测、标识解析及参数更新会增加计算负担,可能带来一定的处理时延与吞吐压力。(2)多目标并行监测易发生目标误关联;在误检、漏检或短时遮挡导致观测不连续时,若缺乏有效的身份区分与时序一致性约束,匹配错误可能引入位移估计偏差。(3)检测结果的候选框扩展倍率难以统一设定:扩展过大会引入更多背景干扰并影响定位精度,扩展过小则不利于角点等特征的稳定提取,且在噪声与成像条件波动下,不同帧的最优倍率可能发生变化,使固定倍率策略在鲁棒性与精度之间难以兼顾。(4)长期野外作业中光照变化导致灰度漂移、阴影及过曝或欠曝现象频繁出现,要求检测与位移估计过程具备一定的光照鲁棒性。(5)相位相关法在窗口截取过程中不可避免包含背景纹理信息,易受噪声干扰导致峰值定位偏差;若采用帧间递推更新策略,长期运行中也可能出现误差累积与漂移。(6)相位相关通常首先获得整数像素位移,如何在复杂噪声与光照扰动下稳定实现亚像素级位移估计,是提升连续监测精度的重要问题。但其对计算资源和功耗的高需求在野外长期监测场景中构成挑战,且难以直接获得亚像素级高精度监测结果。然而,亚像素精度对于立体位移监测至关重要。

5、名词解释:

6、相机标定:在图像测量过程以及机器视觉应用中,为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系,必须建立相机成像的几何模型,这些几何模型参数就是相机参数。在大多数条件下这些参数(内参、外参、畸变参数)必须通过实验与计算才能得到,这个求解参数的过程就称之为相机标定。

7、单目视觉位姿估算:不是直接从像素点得到位姿,而是通过“已知三维结构”来反推相机的位置,整体流程分为成四步:第一步,通过相机内参标定获取内参矩阵k和畸变系数d;第二步,在图像中提取特征点并与已知三维坐标对应起来;第三步,利用足够多的2d-3d对应点,用pnp算法求解出初始的旋转矩阵和平移向量;第四步,用非线性优化(通常是bundle adjustment)对初值进行精炼,让重投影误差最小化,最终求解到相机外参(r,t),r为旋转矩阵、t为平移向量。

8、pnp(pespective-n-point,n点透视)算法,其目标是通过已知空间3d点坐标(x,y,z)及其在相机上的2d投影点坐标(u,v),结合相机内参,求解目标坐标系相对于相机坐标系的位姿,本发明中具体为编码标靶相对于相机的位姿(r,t’),r表示编码标靶相对于相机的姿态方向,t’表示编码标靶在相机坐标系中的三维位置。

9、针孔相机模型:相机将三维空间中的坐标点映射至二维图像平面的过程可由几何成像模型进行描述,其中三维空间坐标采用统一的长度单位,二维图像坐标以像素为单位;其中最基本的理想成像模型称为针孔相机模型)

10、‌yolov11(也称yolo11)模型是yolo系列的一种目标检测模型,在目标检测中会对目标生成大量候选框,再通过后处理筛选出最终结果,常见的后处理方法包括置信度过滤‌、nms去重等。

11、‌iou-nms‌(intersection over union non-maximum suppression)是目标检测中最常用的后处理算法,核心就是“用iou衡量重叠度,保留最高分的框,删掉和它重叠度高的框”,用来去除同一目标上的冗余检测框。

12、roi(region of interest)在图像处理领域指‌感兴趣区域‌,也是本发明中的候选框。

13、相位相关法(phase correlation, pc)是一种经典的频域图像配准与平移估计技术,被广泛应用于图像配准、视频稳像、粒子图像测速(piv)、数字图像相关(dic)、相机抖动估计,以及作为块匹配或光流法的整像素位移初值等场景。其核心思想基于傅里叶平移定理:空域中的图像平移在频域中仅表现为相位因子的线性变化,而幅值保持不变。算法首先将两幅图像(或局部窗口)分别进行二维傅里叶变换,随后计算它们的互功率谱并进行归一化,从而完全消除幅值(亮度、对比度)差异的影响,仅保留相位信息;再对归一化后的互功率谱做逆傅里叶变换,得到相位相关面,其主峰位置对应两窗口间的平移量。该步骤输出的位移通常以整数像素初值为主,用于后续亚像素细化的初始化。

14、‌lm(levenberg-marquardt,列文伯格-马夸尔特)算法‌,是一种用于求解非线性最小二乘问题的迭代优化算法,常用于位姿细化。

技术实现思路

1、本发明的目的就在于提供一种能够在野外长期监测条件下实现多标靶的快速检测与可靠区分,合理确定候选框尺度以提高角点定位与位姿解算精度,并提高对光照变化与复杂背景噪声的鲁棒性,同时抑制频域处理的帧间累计误差与漂移,获得稳定的亚像素级像素位移并输出连续位移结果的,一种面向公路边坡的单目视觉连续位移测量方法。

2、为了实现上述目的,本发明采用的技术方案是这样的:一种面向公路边坡的单目视觉连续位移测量方法,包括以下步骤:

3、s1,对相机进行室内标定和野外标定,所述室内标定用于求解相机内参并建立去畸变模型,所述野外标定为在公路边坡布设数个编码标靶并基于单目视觉位姿估算方法求解编码标靶相对于相机的位姿,每个编码标靶尺寸已知且有唯一标靶id;

4、s2,用标定后相机在公路边坡连续采集图像构成图像序列,it为i中第t帧图像,用去畸变模型处理it得到去畸变彩图,再转化为灰度图;

5、s3,预设编码标靶的模板有效条件、频域跟踪失败的回退条件,依次将i中每一帧作为当前帧进行位移测量,其中it的测量方法包括s4~s11;

6、s4,用yolov11模型检测获得编码标靶的候选框;

7、s5,基于apriltag解码时编码标靶四角点的重投影误差,确定it中每个编码标靶的最优放大尺度;

8、s6,基于编码标靶的最优放大尺度对灰度图执行apriltag解码,获得图中各编码标靶的标靶id、四角点像素坐标,通过pnp算法求解每个编码标靶相对于相机的位姿;

9、s7,对中各编码标靶,若满足模板有效条件则更新为其模板帧,否则不更新模板帧;

10、s8,对中编码标靶,若在之前灰度图中存在模板帧,先从模板帧中生成各角点k的模板窗口mk,再将中对应mk区域标为角点k的当前窗口mk,生成角点k的窗口对(mk,wk);

11、s9,分别对当前窗口和模板窗口预处理,生成预处理窗口对(m’k,w’k),其中m’k、w’k分别为mk、wk的预处理结果;

12、s10,对每个角点k的(m’k,w’k),基于相位相关算法得到角点k的位移值,基于局部上采样离散傅里叶变换对角点k的位移值进行亚像素级修正,得到当前帧四角点像素坐标;

13、s11,基于当前帧四角点像素坐标,求解当前帧中各编码标靶相对于相机的位姿;

14、s12,基于频域跟踪失败的回退条件分析下一帧处理方法,包括sa1~sa2;

15、sa1,判断it是否满足频域跟踪失败的回退条件,满足则返回至步骤s4处理下一帧,否则执行sa2;

16、sa2,判断it是否满足编码标靶的模板有效条件,若满足则更新it为模板帧,并按s8~sa1处理下一帧,否则直接按s8~sa1处理下一帧。

17、作为优选,s1中,所述相机为单目且用于边坡监测;

18、所述室内标定为,在室内采用棋盘格标定板基于张正友标定法解算相机内参矩阵k和畸变系数d并建立去畸变模型;

19、所述野外标定为,在公路边坡布设已知尺寸的编码标靶,基于单目视觉位姿估算方法求解标靶相对于相机的位姿。

20、作为优选,s3中,模板有效条件为同时满足:apriltag解码出每个编码标靶的标靶id和四角点像素坐标、pnp求解出每个编码标靶相对于相机的位姿、重投影误差小于1像素;

21、频域跟踪失败的回退条件为满足其中至少一项:相位相关算法中主峰-次峰比低于1.00,至少一个角点位移在水平或垂直方向位移超8像素,重投影误差超过1像素、同一模板帧连续进行频域跟踪≥120次。

22、作为优选,s4具体为,用yolov11模型检测内编码标靶,为每个编码标靶生成多个候选框,并基于预设规则筛选后存入候选框集合bt;所述预设规则包括按置信度阈值、iou-nms、最小面积阈值或最大数量上限筛选,用于减少候选框数量。

23、作为优选,s5包括s51~s53;

24、s51,预设放大倍数集合,sm为第m个放大倍数,预设尺度门控,包括apriltag解码成功、pnp求解位姿成功且重投影误差小于1像素;

25、s52,对bt内任一候选框,在中剪裁出对应区域,在各放大倍数下执行apriltag解码,得到标靶id与四角点像素坐标,将四角点像素坐标的重投影误差最小的放大倍数,作为该候选框的候选尺度;

26、s53,对同一编码标靶,筛选满足尺度门控的候选放大尺度,再从中选取重投影误差最小的候选尺度作为编码标靶的最优放大尺度s*。

27、作为优选,s6中,每个编码标靶相对于相机的位姿在相机内参矩阵k约束下采用pnp求解得到。

28、作为优选,s8中,生成一编码标靶角点k的模板窗口包括s81~s83;

29、s81,获取该编码标靶的模板信息,其中ck为模板帧中角点k的像素坐标、cctr为模板帧中该编码标靶中心的像素坐标,wid为用于后续频域跟踪的窗口参数,包括内收比例rid∈[0,1)、窗口边长lw、二维窗函数;

30、s82,计算ck对应的偏移角点pk,pk=ck+r id(cctr-ck);

31、s83,以pk为中心,从模板帧中裁取lw×lw的窗口作为角点k的模板窗口。

32、作为优选,s9中预处理为:对mk或wk去均值处理,再与二维窗函数逐点相乘,且为二维kaiser窗。

33、本发明思路为:

34、本发明首先利用yolo对图像中的标靶进行粗定位,并通过apriltag识别获得标靶id和四角点信息,结合重投影误差从不同放大尺度的候选结果中选择最优结果,建立各标靶的参考模板。后续帧优先采用频域方法,对标靶四角点局部窗口进行相位相关和局部上采样dft处理,实现亚像素级角点位移估计;当频域跟踪结果不满足设定条件时,重新进入空间域进行标靶识别并刷新模板,再继续进行频域跟踪,从而实现公路边坡标靶的连续位移测量。

35、关于s1:本发明采用单目相机,并对相机进行室内标定和野外标定两阶段标定,其中室内环境下采用棋盘格标定板获取相机内参矩阵k及畸变系数d,并建立去畸变模型,用于将原始图像重映射为去畸变图像,为后续标靶检测、角点定位与位姿解算提供统一的无畸变成像基础。野外标定选取多个已知尺寸的编码标靶,目的是建立相机坐标系与世界坐标系之间的空间变换关系,使后续各标靶在每帧求得的位姿、位移均可统一表示到同一世界坐标系下,进而输出世界坐标意义上的位移结果。

36、关于s2,采集图像序列、去畸变、灰度化。采集的图像为彩图,bgr、rgb格式均可,用s1的去畸变模型处理为去畸变彩图、再灰度化处理,去畸变彩图用于yolov11目标检测,灰度图用于apriltag解码(角点提取与标靶id解析)以及频域相位相关、亚像素细化等基于灰度强度的一致性计算,从而保证检测、解码与位移估计在统一的去畸变成像域内完成。

37、关于s3,本发明预设预设编码标靶的模板有效条件、频域跟踪失败的回退条件,作为后续选择图像位姿更新方式的判定标准。

38、关于s4~s11,可视为两阶段,阶段一为s4~s7,在空间域进行,称为空间域模式,阶段二为s7~s10在频域进行,称为频域模式,s4~s10整体构成了“空间域粗检测—频域精跟踪”的处理流程。

39、一、空间域粗检测(s4~s7),用于生成当前帧中每个编码标靶id、四角点像素坐标、相对于相机的位姿。

40、关于s4,提出了一种基于yolov11生成候选框的方法,该方法通过设置规则对候选框进行筛选与去重,选择更合适的候选框,减少后续计算量。

41、关于s5,由于同一帧图像中不同目标、或不同帧中相同目标受目标大小、光线、背景干扰等多种因素干扰,每个目标在每一帧中最优放大尺度各不相同,本发明提出了一种“重投影误差取优”的最优放大尺度选择策略:先计算不同尺度下apriltag解码的重投影误差,再从满足尺度门控的放大倍数中筛选重投影误差的最小的放大倍数作为最优放大尺度,用于后续跟踪与位移解算。

42、关于s6,在空间域针对灰度图执行apriltag解码得到标靶id、四角点像素坐标,和pnp算法求解每个编码标靶相对于相机的位姿。且为了提高位姿解算的一致性与稳定性,可选取pnp解作为初值进行lm非线性优化,迭代最小化四角点的重投影误差,从而获得精化后的位姿结果。当同一帧中同一标靶id出现多个候选解时,以重投影误差最小为准则进行选优,保留最可信的检测与位姿解算结果。

43、关于s7,则是再空间域中基于为编码标靶标注模板帧,便于后续频域跟踪。

44、二、频域精跟踪(s8~s11):用于在频域基于目标跟踪算法更精细的位姿。

45、以一个编码标靶为例:首先按s8建立模板帧-当前帧的窗口对,故需先预设模板帧相关参数包括内收比例rid、窗口边长lw、二维窗函数;

46、内收比例rid用于从空间域解码得到的标靶几何范围(由四角点或其外接框确定)向内收缩有效区域的比例系数。以编码标靶中心为基准,将边界按比例rid向内收缩后再确定频域跟踪窗口,使窗口尽量覆盖编码标靶本体而减少背景纹理混入,从而降低相位相关受噪声干扰的概率。

47、窗口边长lw用于从当前帧的灰度图中确定频域跟踪所裁取窗口(当前窗口)的尺度,采用像素单位。通常以编码标靶中心进行裁取,决定参与相位相关计算的有效信息量:lw过大易引入背景,过小则相关峰不稳定或对噪声更敏感,因此在“信息充分性”和“背景抑制”之间折中选取。

48、二维窗函数是与窗口同尺寸的加权矩阵,如汉宁窗、汉明窗,用于对裁取的模板块与当前窗口进行乘窗处理以抑制边界突变带来的频谱泄漏和边界效应增强相位相关峰的可判别性并提高峰值定位稳定性。

49、然后针对每个标靶id,以模板帧提供的参考几何为约束,构造用于频域跟踪的四个角点模板窗口(局部窗口),首先读取该编码标靶在模板帧中的四角点像素坐标及编码标靶中心cctr,并据此确定四个角点对应的小窗口中心位置。为避免窗口直接落在角点外侧区域而引入背景纹理,窗口中心不直接取角点的ck,而是沿“角点→中心”方向按内收比例rid∈[0,1)做偏移,得到ck对应的偏移角点pk,pk=ck+r id(cctr-ck);其中rid越大,窗口中心越靠近编码标靶内部,可更有效抑制背景干扰。随后以每个pk为中心,从当前帧的灰度图中裁取四个lw×lw的方形窗口作角点k的当前窗口。lw根据编码标靶在图像中的成像尺度设定,优选在32~128像素范围内选取,以保证角点邻域包含足够的局部结构信息,同时尽量减少边坡背景纹理进入窗口,从而提高后续相位相关峰值定位的稳定性。按当前窗口的位置从模板帧中生成模板窗口,就得到角点k的窗口对(mk,wk)。

50、再按s9对当前窗口和模板窗口预处理,处理方式一样,均为去均值和乘窗处理,以降低亮度偏置与边界效应对频域相关的影响。以当前窗口为例,首先对窗口做去均值处理,消除局部灰度直流分量;随后进行幅值归一化以减弱光照变化引起的整体对比度波动;最后与二维窗函数逐点相乘,以抑制窗口边界突变造成的频谱泄漏并提高相关峰稳定性,具体可表示为以下公式:

51、

52、式中,、分别为当前窗口和模板窗口均值,ε为防止除零的极小值,⊙为逐点相乘,最终将窗口对(mk,wk)变成预处理窗口对(m’k,w’k)。

53、接着按s10基于相位相关算法求角点k的位移值。相位相关算法对m’k、w’k分别计算二维傅里叶变换,并通过互功率谱归一化消除幅值影响,仅保留相位信息;再对互功率谱做逆变换得到相位相关面,其主峰位置对应两窗口间的平移量。该步骤输出的位移通常以整数像素初值为主,用于后续亚像素细化的初始化。为避免噪声、遮挡或背景纹理导致的误匹配,可引入质量门控:当相关峰不够显著(峰值强度psr过低)或位移幅值超过预设的位移阈值时,判为无效角点并剔除。为进一步提升角点位移精度,再用局部上采样离散傅里叶变换对角点k的位移值进行亚像素级修正,仅对主峰附近的小范围频域区域做局部上采样计算,从而在不进行整幅高倍插值的情况下获得更精细的互相关面,并在该局部互相关面上重新定位峰值,得到亚像素级位移,据此更新四角点像素坐标,得到亚像素级的前帧四角点像素坐标。

54、最后按s11求解当前帧中编码标靶相对于相机的位姿。

55、本发明中,模板帧的选择、后续帧的位姿解算方法均非一成不变的,需按s12进行分析,选择在空间域、频域、还是空间域+频域进行位姿解算。

56、与现有技术相比,本发明的优点在于:

57、(1)针对野外条件下相机标定实施困难的问题,采用两阶段相机标定流程以获得稳定的成像模型参数,为后续位姿与位移解算提供约束。

58、(2)针对多标靶密集布设导致逐帧处理开销较大的问题,引入yolov11进行标靶粗检测与候选区域快速定位,并据此完成roi裁取;针对roi放大倍数难以同时兼顾背景干扰抑制与角点特征定位精度的问题,设计了一种编码标靶选择最优放大尺度的方法,通过预设多种放大倍数并以重投影误差为评价指标、尺度门控为筛选标准,对编码标靶的不同放大倍数进行对比评估并自适应选取最优放大尺度s*,最终同一帧图像中不同编码标靶的s*可能不同,不同帧中相同编码标靶的s*也可能不同,

59、(3)在编码标靶设计与识别方面,采用基于apriltag16h5编码的视觉标靶实现目标唯一标识与可靠区分,降低多标靶监测中的匹配错误并提高检测精度。

60、(4)在位移估计方面,设计了“空间域粗检测—频域精跟踪”的跟踪流程,将编码标靶四角点信息转换至频域,通过二维傅里叶相位相关计算像素位移以降低光照变化对位移估计的影响;为减弱频域截取窗口受边坡背景纹理噪声影响,设计乘窗与移动的抑制策略以提升相位相关峰值的稳定性;为抑制帧间频域递推带来的累计误差与漂移,采用基于模板帧的更新方法进行位移计算;在亚像素求解方面,引入局部上采样离散傅里叶变换的亚像素细化方法对相位相关结果进行局部上采样与峰值精确定位,实现由整数像素位移到高精度亚像素位移的稳健转换;最终结合相机成像模型与几何解算输出视觉标靶的连续位移测量结果。

61、综上,该方法能够在野外长期监测条件下实现多标靶的快速检测与可靠区分,合理确定候选框最优放大尺度以提高角点定位与位姿解算精度,并提高对光照变化与复杂背景噪声的鲁棒性,合理选择每一帧位姿解算方法,在降低计算复杂度、提高定位速度的同时抑制频域处理的帧间累计误差与漂移,获得稳定的亚像素级像素位移并输出连续位移结果。