一种基于雷视融合与边缘计算的智能监测系统和方法

摘要: 本发明属于地质灾害监测与多传感器融合,特别是涉及一种基于雷视融合与边缘计算的智能监测系统。背景技术:1、边坡失稳是山区、矿区及交通干线沿线频发且具有极强突发性和...
一种基于雷视融合与边缘计算的智能监测系统和方法

本发明属于地质灾害监测与多传感器融合,特别是涉及一种基于雷视融合与边缘计算的智能监测系统。

背景技术:

1、边坡失稳是山区、矿区及交通干线沿线频发且具有极强突发性和严重危害性的地质灾害形式,对边坡稳定性实施连续可靠的监测是地质灾害防治工作中的核心环节。长期以来,工程现场主要依赖人工定期巡查、全球导航卫星系统单点监测、测斜仪及拉线式裂缝计等传统手段。人工巡查不仅效率低下、危险性高,更无法实现全天候连续观测。全球导航卫星系统等点式监测设备仅能获取安装位置附近的局部形变数据,然而边坡破坏在不同空间位置上表现极不均匀,若滑动面未经过监测点位则极易造成漏报,而增加监测点密度又会导致部署成本大幅攀升。接触式传感器需要直接安装于高陡边坡表面或内部,施工风险极高,且在边坡发生剧烈变形时,线缆和传感设备极易随岩土体一并损毁,导致关键时刻监测信号完全中断。

2、为克服点式监测的空间局限,以视觉摄像机为代表的机器视觉技术和以毫米波雷达为代表的雷达探测技术,开始作为非接触式手段引入边坡监测领域。然而,单一视觉监测手段虽然能够直观获取边坡表面的裂缝和垮塌等图像信息,但其对光照和气候条件高度敏感,在夜间低照度、浓雾或雨雪天气下图像质量会急剧下降,且单目视觉缺乏深度信息,难以完成毫米级微小位移的精确解算。单一雷达监测手段虽然具备全天候、大范围、亚毫米级形变测量能力,但其角分辨率相对较低,极易受植被晃动、飞鸟等杂波干扰而产生虚假位移信号,更为关键的是,雷达点云缺乏直观的视觉特征,无法准确判断发生位移的物体究竟是岩体、树木还是其他干扰源。此外,在测量大位移时,雷达信号存在相位模糊问题,常规算法难以在边缘端实时恢复真实形变,极易在大变形发生时丢失目标跟踪。

3、除了传感器本身的局限性,现有监测方案在系统架构和野外适应性方面也存在显著缺陷。部分基于深度学习的视觉监测方案采用端侧采集云端推理的架构,高清视频流实时上传需要极大的网络带宽,在偏远山区移动通信难以保障,导致传输延迟甚至数据中断。长时间不间断上传还会产生高昂的通信费用,不利于大规模部署。一旦通信链路中断,整个系统即告瘫痪,而这恰恰是边坡最需要可靠预警的关键时刻。在野外供电方面,边坡监测现场通常无市电供应且光照条件多变,传统的单一供电模式难以在连续阴雨天或夜间维持设备的长期稳定运行。在复杂多变的野外环境中,传感器之间的相对位姿会因震动、温度变化等因素发生偏移,导致雷达与视觉数据的空间配准精度下降,而现有方案缺乏有效的在线自适应标定机制。同时,现有融合策略多采用固定的硬逻辑判定,无法根据环境光照和天气状况动态调整雷达与视觉数据的决策权重,导致系统在全天候条件下的整体可靠性不足。综上所述,现有边坡监测技术在空间覆盖、全天候工作能力、多源数据融合以及野外供电通信适应性等方面存在明显不足,亟需一种将雷达高精度定量监测与视觉直观定性识别相结合、具备低功耗长续航和边缘端实时处理能力的智能监测方案。

技术实现思路

1、有鉴于此,本发明旨在提出一种基于雷视融合与边缘计算的智能监测系统,以解决基于深度学习的视觉监测方案采用端侧采集云端推理的架构,高清视频流实时上传需要极大的网络带宽,在偏远山区移动通信难以保障,导致传输延迟甚至数据中断的问题。

2、为实现上述目的,本发明采用以下技术方案:一种基于雷视融合与边缘计算的智能监测系统,所述系统包括:感知控制层、网络传输层和应用服务层;

3、所述感知控制层部署于边坡现场,包括毫米波雷达传感器、工业级高清摄像头以及边缘计算单元;所述毫米波雷达传感器用于基于调频连续波体制获取边坡的中频信号,并通过相位差测微原理解算亚毫米级形变数据;所述工业级高清摄像头用于采集边坡的高光图像;所述边缘计算单元用于在本地实时执行雷达中频信号处理、图像帧滤波以及初步时空融合配准,生成融合监测数据;

4、所述网络传输层采用内置wi-fi模块的无线传输方案,通过sta模式接入现场无线网络,将所述融合监测数据回传至所述应用服务层;

5、所述应用服务层部署于云服务器,用于接收并显示实时图像、多路画面切换、历史图像存储及按日期检索回放。

6、进一步的,还提出一种优选方式,所述边缘计算单元具体用于执行以下雷达杂波过滤步骤:

7、当雷达探测到监测区域内任一散射点的累积位移量超过预设阈值或位移速率发生突变时,将该散射点标记为潜在异常点;

8、根据所述毫米波雷达传感器与所述工业级高清摄像头预先标定的联合外参矩阵,将所述潜在异常点从雷达坐标系投影至图像像素坐标系;

9、采用最近邻搜索策略确定投影点周围的局部邻域,裁剪对应的感兴趣区域图像块;

10、将所述感兴趣区域图像块输入预部署的深度学习目标识别模型,获取语义类别标签及置信度分数;

11、若所述语义类别标签为非地质类目标,则判定该潜在异常信号为环境杂波干扰并予以滤除;若所述语义类别标签为地表地质类别且该目标在连续多帧中保持位移累积趋势,则判定为有效形变信号。

12、进一步的,还提出一种优选方式,所述深度学习目标识别模型为基于yolov11s改进的模型,其网络结构改进包括:

13、在neck网络中,于p3层之后额外引出一条针对微小裂缝的高分辨率检测分支;同时将backbone网络中浅层p2层的特征图通过跨层连接引入所述高分辨率检测分支进行特征融合;

14、所述高分辨率检测头在训练阶段与yolov11s原有的三个检测头联合优化,推理时并行输出检测结果,再通过多尺度非极大值抑制对四个检测头的候选框进行融合去重;

15、在边界框回归损失函数中,将长宽比惩罚项的权重

α从默认值提高至1.5~2.0,并引入针对细长目标的定向损失修正项,对预测框长宽比偏离真实框较大的样本施加额外梯度惩罚。

16、进一步的,还提出一种优选方式,所述边缘计算单元还用于采用基于卡尔曼滤波的相位解缠算法处理雷达大位移数据;

17、所述算法将相位解缠问题建模为动态系统的状态估计问题,以真实相位值及其变化速率为状态变量,以雷达测量得到的缠绕相位为观测值;通过状态预测与观测更新的迭代,利用边坡形变在时间域上的连续性和平滑性约束,对每一帧的相位模糊数进行最优估计,恢复出真实的累积相位变化。

18、进一步的,还提出一种优选方式,所述边缘计算单元还用于执行环境自适应的融合权重动态调整策略:

19、实时监测当前环境的光照强度和天气状况,动态调整雷达形变数据与视觉识别结果在最终决策中的权重系数;

20、在正常光照条件下,采用双模态等权融合策略;

21、在浓雾、雨雪或低照度条件下,自动调低视觉权重并提高雷达数据的决策权重,或切换至纯雷达监测模式并相应调整预警阈值。

22、进一步的,还提出一种优选方式,所述系统还包括视觉辅助的在线外参自标定模块,用于:

23、在边坡场景中选取长期固定不变的地物作为标定参照物,利用视觉特征点匹配技术对图像中的固定特征点进行时序跟踪,构建其在世界坐标系下的三维空间位置;

24、将雷达同步探测到的同一位置点云数据作为观测值,以初始标定得到的外参矩阵作为初值,每隔设定时间间隔构造重投影误差代价函数,采用最小二乘优化或扩展卡尔曼滤波方法动态修正雷达点云到图像像素的投影误差。

25、进一步的,还提出一种优选方式,所述系统还包括双场景自适应供电模块,包括太阳能折叠板、锂电池组、控制器及电池管理系统;

26、所述控制器用于在晴天光照充足时优先利用太阳能折叠板为负载供电并为锂电池组充电;在阴雨天或夜间光照不足时,当检测到太阳能输出功率低于负载额定功率,立即触发无延时切换,将供电来源无缝切换至锂电池组;

27、所述电池管理系统用于管控锂电池组的充放电过程,并配置有过充、过放、过流、短路及温度保护电路。

28、进一步的,还提出一种优选方式,所述网络传输层的前端图像采集核心包括视觉处理模组和图像传感器;

29、所述视觉处理模组集成有处理器、无线通信单元及摄像头接口;

30、所述图像传感器通过所述摄像头接口与所述视觉处理模组连接,且所述图像传感器内置图像信号处理器和硬件编码引擎,用于将采集的原始图像数据依次进行图像处理并编码为压缩图像流;

31、所述视觉处理模组用于通过所述摄像头接口读取所述压缩图像流,并搭建基于http协议的视频流服务器,利用multipart/x-mixed-replace内容类型将每一帧压缩图像封装为独立响应体,通过所述无线通信单元接入现场无线网络进行传输。

32、进一步的,还提出一种优选方式,所述深度学习目标识别模型的训练数据集包括滑坡、裂缝、裸土的正样本,以及风吹草动类植被、阴影变化类光影、云雾干扰类环境、动物及施工机械类移动物体的负样本。

33、基于同一发明构思,本发明还提出一种基于雷视融合与边缘计算的智能监测方法,所述方法基于上述任一项所述的系统实现,所述方法包括:

34、通过毫米波雷达传感器获取边坡的中频信号,并基于相位差测微原理解算形变数据;

35、通过工业级高清摄像头采集边坡图像;

36、在边缘计算单元本地实时执行雷达中频信号处理、图像帧滤波以及初步时空融合配准,生成融合监测数据;

37、利用内置wifi模块的无线传输方案,通过sta模式接入现场无线网络,将所述融合监测数据回传至云服务器;

38、在云服务器提供实时图像显示、多路画面切换、历史图像存储及按日期检索回放功能。

39、与现有技术相比,本发明的有益效果是:

40、本发明构建了一种将毫米波雷达微形变监测与机器视觉图像识别深度耦合、并在边缘侧完成实时融合处理的系统架构。其核心原理在于,利用毫米波雷达调频连续波体制获取的中频信号,通过基于相位差的测微方式解算边坡亚毫米级形变,同时由视觉传感器同步采集边坡图像。系统将雷达点云与视觉图像在边缘计算单元内进行时空统一与空间配准,具体通过预先标定的联合外参矩阵将雷达坐标系下的潜在形变点投影至图像像素坐标系,并采用最近邻搜索策略确定对应区域,从而将稀疏的雷达点云与高分辨率图像中的语义信息建立精确的空间映射关系。在此基础上,系统引入视觉语义辅助的杂波过滤机制,利用目标识别模型对投影区域的图像块进行语义分类,将雷达探测到的位移信号与图像中的实际地物类别进行交叉验证,从而从物理本质上区分真实岩体形变与环境干扰。针对雷达大位移测量中的相位模糊问题,系统采用基于卡尔曼滤波的相位解缠算法,将相位解缠建模为动态系统的状态估计问题,利用边坡形变在时间域上的连续性和平滑性约束,实时恢复真实累积相位变化。此外,系统通过视觉特征点跟踪与雷达点云观测构建重投影误差代价函数,实现外参矩阵的在线动态修正,并依据环境光照与天气状况实时调整雷达与视觉数据的决策权重,形成一套自适应、自校准的闭环监测逻辑。

41、本发明通过雷达与视觉的异构数据互补,从根本上解决了单一传感器在边坡监测中存在的局限性。将视觉语义识别引入雷达杂波过滤流程,有效克服了传统雷达监测中因植被晃动、飞鸟穿行等干扰源导致的虚假报警问题,显著降低了系统的误报率。基于卡尔曼滤波的相位解缠算法在保证边缘端实时处理的前提下,能够准确跟踪大变形过程中的相位变化,避免了常规全局优化算法计算量过大而无法在资源受限的边缘设备上运行的问题,确保了在边坡发生大变形时不丢失目标跟踪。通过视觉辅助的在线外参自标定机制,系统能够在不依赖人工干预的情况下,自动补偿因野外震动、温度漂移等因素导致的传感器位姿偏移,长期维持雷达点云与图像配准的精度,大幅降低了设备的后期维护成本。环境自适应的融合权重动态调整策略,使系统能够根据实时环境置信度自动切换决策模式,在浓雾、夜间等视觉受限条件下仍能依靠雷达数据维持可靠监测,在视觉良好时则充分利用图像信息抑制雷达虚警,从而实现了真正意义上的全天候稳定监测。此外,将融合算法部署于边缘端,仅回传经过处理的融合监测数据,极大降低了对野外网络带宽的依赖,配合双场景自适应供电方案,使整个系统在无市电、通信条件恶劣的偏远山区具备长期无人值守的运行能力。