一种用于崩塌落石的多目标识别与追踪方法及系统与流程

摘要: 本发明涉及多目标识别,尤其涉及一种用于崩塌落石的多目标识别与追踪方法及系统。背景技术:1、我国地形复杂多样,大量公路和铁路不可避免地修建于山坡周边地带。这些坡地...
一种用于崩塌落石的多目标识别与追踪方法及系统与流程

本发明涉及多目标识别,尤其涉及一种用于崩塌落石的多目标识别与追踪方法及系统。

背景技术:

1、我国地形复杂多样,大量公路和铁路不可避免地修建于山坡周边地带。这些坡地在雨水冲刷、地震等因素作用下,极易发生滑坡和落石等地质灾害,导致交通阻塞甚至对车辆和行人造成严重危害。崩塌落石事件具有突发性强、发生时间随机、运动速度快等特点,对山区交通运输安全和居民生命财产安全构成持续威胁

2、目前,崩塌落石的监测方法主要可分为以下几类:接触式传感器监测,包括加速度计、倾角仪、裂缝计等地面传感器及无线传感器网络,能够高灵敏度地检测微小位移和振动。这类方法虽然精度较高,但存在覆盖范围有限、设备布设成本高、后期维护困难等问题,难以在大范围边坡区域实现全面监测;

3、遥感技术监测,包括卫星光学遥感、合成孔径雷达(sar)以及机载光学和sar系统等,能够实现大范围区域观测。然而,这类方法受限于时间分辨率低、重访周期长,难以满足崩塌落石这种突发性事件的实时监测需求;

4、无人机与激光雷达监测,无人机摄影测量和lidar技术能够提供灵活、高精度的三维建模。但其连续监测能力受限于天气条件和飞行续航时间,难以实现全天候不间断监控;

5、地面光学与激光系统监测,包括全站仪、地基insar和地面激光扫描(tls)等,能够提供精确的位移和形变测量。但这类设备成本高昂、数据处理复杂,限制了其在大规模或长期部署中的应用。

技术实现思路

1、本发明提供一种用于崩塌落石的多目标识别与追踪方法及系统,其主要目的在于上述背景技术中提出的问题。

2、为实现上述目的,本发明提供的一种用于崩塌落石的多目标识别与追踪方法,包括:

3、s1、接收摄像头实时采集的视频流;

4、s2、在所述视频流的画面中设置检测区域和计数线;

5、s3、对所述检测区域进行前景检测,以得到运动目标;

6、s4、利用预设的时序关系网络,识别所述运动目标中的动态落石目标;

7、s5、利用预设的deepsort算法对所述动态落石目标进行跟踪,得到目标轨迹,所述deepsort算法中的卡尔曼滤波预测模型引入了重力加速度约束项;

8、s6、判断所述目标轨迹是否越过所述计数线且符合预设的下落方向,当所述目标轨迹越过所述计数线且符合所述下落方向时,更新所述动态落石目标的计数结果,并保存所述目标轨迹对应的跟踪日志。

9、优选的,所述时序关系网络的计算公式为:

10、

11、其中:为运动目标对应的视频,按顺序从视频中选择帧,,为的第帧,为视频对应帧的索引,为视频对应帧的索引,为视频对应帧的索引,和表示融合不同顺序帧的函数,这里使用mlp,这个公式可以从2阶关系扩展到n阶关系,表示的第帧,为阶数2的最终输出,为阶的索引;

12、并通过以下公式捕获多时间尺度上的时序关系;

13、

14、其中:为运动目标对应的视频,按顺序从视频中选择帧,,为阶数的最终输出,为trn框架内部的多尺度融合模块,即求和层,为阶的索引,为视频对应帧的索引。

15、优选的,所述利用预设的deepsort算法对所述动态落石目标进行跟踪,得到目标轨迹,包括:

16、利用预设的目标检测器确定每一帧中所述动态落石目标的位置,得到边界框;

17、利用预设的深度学习模型提取所述动态落石目标的外观特征;

18、基于所述边界框和所述外观特征,结合预设的卡尔曼滤波器输出预测结果,通过匈牙利算法计算所述边界框与所述预测结果之间的最优匹配,以实现对多个所述动态落石目标的持续跟踪。

19、优选的,所述利用预设的时序关系网络之前,还包括:

20、构建特征金字塔网络,所述特征金字塔网络通过自顶向下的特征融合路径,将所述检测区域中高分辨率的低层特征与高层特征相结合,以增强小尺度目标的特征表达;

21、结合所述特征表达,通过所述特征金字塔网络对所述检测区域进行多尺度特征提取,以得到运动目标。

22、优选的,所述特征金字塔网络通过自顶向下的特征融合路径,将所述检测区域中高分辨率的低层特征与高层特征相结合,包括:

23、对从所述特征金字塔网络中主干网络中提取的不同尺度的特征层进行池化和通道数调整,以得到第一调整后特征层;

24、将所述第一调整后特征层进行直接特征融合,并将融合后的特征输入预设的注意力模块以调整特征注意力,得到特征表达。

25、优选的,所述特征金字塔网络的部署,还包括:

26、将所述特征金字塔网络通过轻量化处理部署于所述视频流所对应的边缘计算设备

27、所述轻量化处理包括:

28、采用预布设的多层次知识蒸馏技术,将教师网络的中间层特征表示、边界框定位信息和高级语义信息迁移至学生网络;

29、使用预构建的ghost模块替代标准卷积,并通过深度可分离卷积实现轻量级注意力模块,以降低网络参数量。

30、优选的,所述利用预设的deepsort算法对所述动态落石目标进行跟踪,得到目标轨迹,还包括:

31、利用所述deepsort算法中的级联匹配机制,优先将所述动态落石目标对应当前帧的检测结果与高置信度的已确认轨迹进行匹配;

32、在匹配完成后,将剩余的所述检测结果与低置信度的轨迹进行匹配;

33、基于匹配结果更新已确认轨迹的状态,以得到目标轨迹。

34、优选的,所述判断所述目标轨迹是否越过所述计数线且符合预设的下落方向,还包括:

35、当检测到所述视频流中雨点、摄像头抖动、车辆遮挡或光线变化造成前景大量增加时,暂停新建目标轨迹和更新计数结果。

36、优选的,所述摄像头的布设,包括:

37、所述摄像头为固定摄像头。

38、一种用于崩塌落石的多目标识别与追踪系统,所述系统包括:

39、接收模块、用于接收摄像头实时采集的视频流;

40、设置模块、用于在所述视频流的画面中设置检测区域和计数线;

41、检测模块、用于对所述检测区域进行前景检测,以得到运动目标;

42、识别模块、用于利用预设的时序关系网络,识别所述运动目标中的动态落石目标;

43、跟踪模块、用于利用预设的deepsort算法对所述动态落石目标进行跟踪,得到目标轨迹,所述deepsort算法中的卡尔曼滤波预测模型引入了重力加速度约束项;

44、判别模块、用于判断所述目标轨迹是否越过所述计数线且符合预设的下落方向,当所述目标轨迹越过所述计数线且符合所述下落方向时,更新所述动态落石目标的计数结果,并保存所述目标轨迹对应的跟踪日志。

45、与现有技术相比,本发明具有如下有益效果:

46、本发明通过构建多尺度时序关系网络框架,实现了对石块动静态属性的精确识别,通过定义了石块检测问题,将其视为时序理解任务,通过捕获视频序列中石块的运动模式变化,区分静态背景石与具有风险的动态落石。

47、本发明通过开发了基于改进deepsort的遮挡感知多目标跟踪框架,突破了传统目标跟踪在遮挡场景性能下降的瓶颈,实现了被植被、地形或其他岩石部分遮挡情况下的连续目标监测,结合双模态特征网络的设计与实现,突破了原始deepsort单一外观特征的局限,该网络同时提取石块的外观纹理特征和运动模式特征,外观分支通过引入注意力机制增强对石块纹理细节的感知;运动分支则通过分析连续帧间的位移关系,提取运动一致性特征。这两类特征通过非线性投影后拼接形成联合表征,显著提升了相似石块间的区分能力。

48、本发明通过针对石块特有运动规律,改进了卡尔曼滤波预测模型,突破性地在标准线性运动模型基础上引入重力加速度约束项,使预测更符合石块在斜坡上的运动规律,为复杂山区环境中的落石监测系统提供了连续可靠的目标状态估计,解决了传统检测方法在遮挡环境下的局限性,为安全预警提供了更可靠的技术保障。

49、本发明通过开发的模型轻量化技术路线为山区落石监测系统,利用多层次知识蒸馏和网络架构重构,将模型参数进行压缩,同时保持小尺度落石检测性能基本保持,实现了高精度与轻量化的有效平衡。其次,轻量化模型在jetsonnano、rk3588等边缘计算设备上达到实时推理能力,满足了实时监测需求,大幅降低了系统硬件成本,且这套轻量化技术使落石监测系统可以更广泛地部署在山区公路、铁路和矿区等危险区域,监测点数量和监测范围得到了大幅提升,形成了更加密集的预警网络,提升了交通和人员安全保障能力,为山区安全监测提供了强有力的技术支持。