基于目标检测的手机相机桥梁位移测量方法及系统
本发明涉及桥梁振动位移检测领域,尤其涉及一种基于目标检测的手机相机桥梁位移测量方法及系统。
背景技术:
1、随着高速铁路网快速扩张,高铁桥梁长期承受高速动荷载与环境侵蚀,位移响应是评估其结构健康状态的核心指标。现有监测方法存在安装繁琐、易受环境干扰、测点离散等缺陷;干涉雷达、激光扫描等精密非接触设备则成本高昂、便携性差,难以适配高铁桥梁常态化巡检的需求。
2、基于计算机视觉的位移检测技术具备非接触、低成本的优势,消费级手机相机因便携易操作的特点,为桥梁日常监测提供了新路径。但现有方案应用于高铁桥梁场景时存在明显短板:高铁混凝土表面纹理稀疏,手机采集的低分辨率、含运动模糊的图像易导致特征点跟踪失准;靶标选取依赖人工操作,效率低且主观性强;现有目标检测模型对低纹理小目标识别精度不足;单一滤波方式难以有效分离真实振动信号与耦合噪声,无法稳定保障微小位移的检测精度。
技术实现思路
1、针对现有技术在高铁桥梁低纹理场景下检测精度不足、自动化程度低、设备部署成本高的诸多短板,本发明提供了一种基于目标检测的手机相机桥梁位移测量方法及系统,既适配消费级手机终端的硬件特性与轻量化部署条件,又能针对性解决低纹理靶标精准识别、运动模糊下位移稳定追踪、多域信号高效降噪等核心问题,实现低成本、高精度、全流程自动化的桥梁振动位移测量。
2、第一方面,提供了一种基于目标检测的手机相机桥梁位移测量方法,包括以下步骤:
3、获取手机相机录制的待检测桥梁结构视频并进行逐帧解码提取,形成待检测图像序列;
4、将首帧或关键帧的待检测图像输入训练完成的目标检测模型,对靶标区域进行检测;其中目标检测模型为以yolov11n为基础网络架构构建的改进yolo11s目标检测模型;
5、对靶标区域进行多特征质量评估,筛选排名前p%的高分靶标区域作为位移跟踪的roi感兴趣区域;
6、采用亚像素级shi-tomasi算法对roi感兴趣区域进行特征点检测,获得特征点集;
7、采用lk稀疏光流法对特征点进行跟踪,输出特征点的像素位移轨迹;
8、基于特征点质量置信度对多特征点的像素位移轨迹进行加权融合,得到单帧靶标的整体像素位移值,拼接形成初始像素位移序列;
9、构建卡尔曼滤波的状态方程与观测方程,滤除初始像素位移序列中的随机高斯噪声,得到时域优化位移序列;
10、对时域优化位移序列执行快速傅里叶变换转换至频域,结合桥梁振动频率特性设置带通滤波通带区间进行频域降噪,得到最终优化像素位移序列;
11、结合靶标实际物理尺寸与检测得到的靶标像素尺寸计算尺度转换因子,将最终优化像素位移序列换算为桥梁实际振动位移序列。
12、进一步地,训练完成的目标检测模型通过如下方法得到:
13、获取手机相机采集的桥梁表面多类靶标图像并进行样本标注,构建样本数据集;
14、以yolov11n为基础网络架构构建改进yolo11s目标检测模型,利用样本数据集完成目标检测模型迭代训练,得到训练完成的目标检测模型。
15、进一步地,样本数据集构建过程如下:
16、采集不同光照强度、拍摄距离、拍摄角度下的桥梁表面多类靶标图像,并通过翻转、裁剪、随机加噪和亮度调整中的一种或多种进行数据增强,并进行样本标注,得到样本数据集,所述样本数据集包括自然纹理子集、棋盘格靶标子集和文字标识子集。
17、进一步地,目标检测模型以yolov11n为基础网络架构,在主干网络中将c3k2模块替换为融合bfam双时相特征聚合模块的c3k2-b模块,在颈部网络嵌入scsa空间-通道协同注意力机制,在颈部网络与检测头之间的多尺度特征融合部分,在原有p3、p4和p5三层特征分支的基础上,新增p2层高分辨率特征分支,并引入fasff四层自适应空间特征融合模块,对p2、p3、p4、p5四个层级的特征进行空间位置自适应加权融合,再将融合后的多尺度特征送入对应检测头完成类别和边界框预测。
18、进一步地,所述对靶标区域进行多特征质量评估的过程包括:
19、通过梯度共生矩阵提取靶标区域的纹理对比度与同质性特征,结合拉普拉斯方差与水平和垂直方向sobel梯度方差计算清晰度,统计靶标区域内shi-tomasi角点密度;采用归一化方法统一各特征量纲后,基于归一化后的特征加权计算综合质量评分。
20、进一步地,所述采用亚像素级shi-tomasi算法对roi感兴趣区域进行特征点检测,具体包括:
21、在靶标区域内设置角点质量阈值t与最小邻域距离,基于shi-tomasi算法初筛得到候选角点;
22、再通过亚像素角点优化算法对候选角点的坐标进行迭代修正,通过计算候选角点局部区域的图像梯度构建梯度矩阵m,以最小化局部加权平方误差为目标构建优化方程求解位移向量;
23、局部加权平方误差e表示如下:
24、;
25、优化方程表示如下:
26、;
27、式中,为加权因子,反映每个像素对总误差的贡献程度;i为局部窗口内的像素索引;为像素i的坐标;为像素i的梯度值;δx和δy为候选角点位置的位移向量在x方向和y方向的分量,用于微调候选角点位置;为优化前的候选角点坐标,为根据优化后的候选角点位置调整得到的梯度值;ix和iy分别为x和y方向上的梯度;为候选角点的位置优化前后之间的梯度误差;和为候选角点局部窗口内图像亮度差异的加权和;为梯度矩阵m的逆矩阵;
28、将位移向量叠加至上一迭代轮次对应的候选角点坐标完成更新并循环迭代计算,当位移量小于设定的收敛阈值时终止迭代,最终输出具备亚像素精度的特征点集。
29、进一步地,采用lk稀疏光流法对特征点进行跟踪,输出特征点的像素位移轨迹时,包括采用图像金字塔分层计算策略实现大位移跟踪;逐帧匹配特征点后,剔除跟踪置信度低于阈值、位移突变超出合理范围的异常特征点,保留有效特征点的像素位移轨迹;所述lk稀疏光流法由光流约束方程求解:
30、;
31、式中,a为n×2的矩阵,包含了特征点局部窗口内所有像素的空间梯度信息,即和;为2×1的列向量,表示特征点局部窗口内所有像素的光流,即和;为n×1的列向量,表示特征点局部窗口内所有像素的时间梯度;
32、;
33、式中,和是像素的空间梯度在两个坐标方向上的分量;是像素的时间梯度。
34、进一步地,所述基于特征点质量置信度对多特征点的像素位移轨迹进行加权融合,得到单帧靶标的整体像素位移值,具体包括:
35、以各特征点对应的shi-tomasi响应值作为质量置信度依据,计算每个特征点的权重占比,对同一帧内所有有效特征点的位移量进行加权求和,得到单帧靶标的整体像素位移值;
36、基于特征点质量置信度的特征点权重计算为:
37、;
38、;
39、式中,为第l个特征点的权重;为第l个特征点的质量置信度;n为被选中的特征点总数;代表第l个特征点在第帧y方向的位移;为特征点在第帧y方向的加权平均位移。
40、第二方面,提供了一种基于目标检测的手机相机桥梁位移测量系统,用于实现如前所述的基于目标检测的手机相机桥梁位移测量方法,所述系统包括:
41、靶标检测模块,用于将首帧或关键帧的待检测图像输入训练完成的目标检测模型,对靶标区域进行检测;
42、靶标质量评估模块,用于对靶标区域进行多特征质量评估,筛选排名前p%的高分靶标区域作为位移跟踪的roi感兴趣区域;
43、特征点跟踪与位移解算模块,用于对roi感兴趣区域进行特征点检测和跟踪,输出特征点的像素位移轨迹;基于特征点质量置信度对多特征点的像素位移轨迹进行加权融合,构建初始像素位移序列;对初始像素位移序列进行卡尔曼滤波得到时域优化位移序列;对时域优化位移序列执行快速傅里叶变换转换至频域,结合桥梁振动频率特性设置带通滤波通带区间进行频域降噪,得到最终优化像素位移序列;最后结合尺度转换因子将最终优化像素位移序列换算为桥梁实际振动位移序列;
44、可视化交互模块,用于提供可视化操作主界面,集成视频预览窗口、靶标检测结果展示区、位移时程曲线绘图区、算法参数配置面板。
45、进一步地,所述靶标检测模块配置有可勾选启用的sobel算子二值化边缘增强处理单元;当靶标检测模块未检测到有效靶标区域时,通过可视化交互模块自动弹出提示窗口,支持用户跳转至手动选靶模式。
46、本发明提出了一种基于目标检测的手机相机桥梁位移测量方法及系统,与现有技术相比,具有如下有益效果:
47、本发明通过改进yolo11s目标检测模型自动识别低纹理、小尺寸靶标区域,避免人工选靶带来的主观误差;通过梯度共生矩阵纹理特征、清晰度特征和shi-tomasi角点密度构建靶标质量评分,筛选高质量roi,减少背景区域和低质量靶标对后续跟踪的干扰;通过亚像素级shi-tomasi角点检测与lk稀疏光流跟踪获得高精度特征点轨迹,并基于角点质量置信度进行加权融合,降低低置信度角点造成的局部漂移;通过卡尔曼滤波和fft带通滤波构建时频双域降噪机制,分别抑制随机噪声、低频拍摄漂移和高频环境噪声。既适配消费级手机终端的硬件特性与轻量化部署条件,又能针对性解决低纹理靶标精准识别、运动模糊下位移稳定追踪、多域信号高效降噪等核心问题,实现低成本、高精度、全流程自动化的桥梁振动位移测量。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com