一种无人机巡检中多模态研判结果可信复用方法与流程

本发明涉及无人机巡检和多模态智能研判，特别涉及一种无人机巡检中多模态研判结果可信复用方法。

背景技术：

1、无人机巡检已被广泛应用于建筑施工、电力运维、港口施工、桥梁施工等场景。无人机通常搭载摄像头、红外传感器或激光雷达等多模态传感器，对施工现场进行隐患识别与安全研判，例如基坑无防护、人员未戴安全帽、高处作业未系安全带、车辆逆行、烟火异常等。

2、在实际巡检中，受巡检路线规划、重点区域复查、飞行姿态调整以及现场遮挡等影响，无人机会在短时间内多次经过同一施工区域。如果每次经过均执行完整的多模态模型推理，会增加无人机端或边缘端的算力消耗，降低巡检效率。

3、现有普通历史数据暂存方法通常以是否存在候选记录、复用记录是否过期或暂存对象热度作为是否复用数据的主要依据。该类方法适合内容分发或数据响应场景，但对于施工安全巡检而言，历史研判结果是否能够复用，不仅取决于历史记录是否存在，更取决于当前现场状态是否与历史状态一致。如果仅因候选记录命中而直接复用历史研判结果，可能在现场人员、车辆、机械、烟火等动态目标发生变化时输出不可信的安全结论。

4、因此，需要一种面向无人机安全巡检场景的可信复用方法，使历史多模态研判结果只有在当前现场轻量校验通过后才能被复用，从而兼顾重复推理计算量降低与安全研判可靠性。

技术实现思路

1、本发明的目的在于提供一种无人机巡检中多模态研判结果可信复用方法。该方法将候选记录命中与研判结果复用相分离，候选记录命中仅表示存在候选历史研判记录包；是否允许复用，还必须经过当前帧轻量一致性校验、复用可信度计算和静态动态分层复用判定。

2、为实现上述目的，本发明采取如下技术方案：一种无人机巡检中多模态研判结果可信复用方法，包括以下步骤：

3、步骤s1：无人机在巡检过程中获取当前巡检区域的gps坐标；当gps坐标无法获取或gps信号丢失时，生成禁止复用状态，并跳过历史研判结果复用，执行实时多模态研判；当gps坐标可获取时，对所述gps坐标中的经度和纬度进行精度截断或四舍五入处理，生成用于筛选候选研判记录包的区域坐标键；

4、步骤s2：以所述区域坐标键查询本地可信复用记录库，获得与当前巡检区域对应的候选历史研判记录包；所述候选历史研判记录包至少包括区域坐标键、历史多模态研判结果、结果生成时间戳、隐患类型标签、结果可信有效期、历史区域状态指纹、模型版本标识以及传感器组合标识；

5、步骤s3：采集当前巡检区域的当前帧或当前短时片段，提取当前帧轻量校验特征，并基于所述当前帧轻量校验特征生成当前区域状态指纹；所述当前帧轻量校验特征包括图像感知哈希、边缘轮廓特征、目标数量向量、隐患区域位置摘要、红外温度区间或激光雷达轮廓摘要中的至少一种，并将所述轻量校验特征按预设权重融合生成综合性的当前区域状态指纹；

6、步骤s4：将所述当前区域状态指纹与候选历史研判记录包中的历史区域状态指纹进行一致性比对，获得状态指纹相似度；并根据区域坐标键一致性、状态指纹相似度、当前系统时间与结果生成时间戳之间的时间衰减量、隐患类型风险权重、模型版本兼容性以及传感器组合一致性，计算候选历史研判记录包的复用可信度；

7、步骤s5：根据隐患类型标签将历史多模态研判结果划分为静态研判层和动态研判层；当所述复用可信度达到静态研判层复用阈值时，允许复用静态研判层结果；当所述动态研判层对应的动态目标数量、动态目标位置摘要和动态目标状态摘要与当前帧轻量校验特征一致，且所述复用可信度达到高于静态研判层复用阈值的动态研判层复用阈值时，允许复用动态研判层结果；

8、步骤s6：当未检索到候选历史研判记录包、gps信号丢失、模型版本不兼容、传感器组合不一致、当前系统时间超出结果可信有效期、状态指纹相似度低于相似度阈值、复用可信度低于对应复用阈值，或者动态研判层不满足复用条件中的任一种情况发生时，禁止复用对应历史多模态研判结果，并调用多模态研判模型对当前采集的图像或视频数据执行实时多模态研判；

9、步骤s7：实时多模态研判完成后，生成新的多模态研判结果、隐患类型标签以及新的区域状态指纹，并根据隐患类型标签确定结果可信有效期，将新的多模态研判结果、结果生成时间戳、隐患类型标签、结果可信有效期、新的区域状态指纹、模型版本标识和传感器组合标识写入本地可信复用记录库；

10、步骤s8：定期扫描所述本地可信复用记录库，删除已超出结果可信有效期的复用记录包；当写入新的多模态研判结果时，若当前区域坐标键已存在，则覆盖原有复用记录包，若当前区域坐标键不存在，则新增复用记录包。

11、所述步骤s3中，图像感知哈希通过对当前帧进行灰度化、缩放、离散余弦变换或均值比较得到；所述图像感知哈希与历史区域状态指纹中的历史感知哈希之间的汉明距离用于确定图像相似度。

12、所述步骤s3中，目标数量向量包括人员数量、车辆数量、施工机械数量、烟火目标数量、安全帽缺失目标数量或安全带缺失目标数量中的至少一种计数结果；当目标数量向量相对于历史区域状态指纹发生变化时，提高动态研判层的实时研判优先级。

13、所述步骤s4中，复用可信度按照区域一致性得分、状态指纹相似度、时间衰减得分和隐患类型风险权重的加权结果确定；其中，动态隐患对应的隐患类型风险权重大于静态隐患对应的隐患类型风险权重，使动态隐患对应的复用阈值高于静态隐患对应的复用阈值。所述状态指纹相似度通过加权融合以下至少两个维度的子相似度得到：图像感知哈希归一化距离、目标数量向量的余弦相似度、红外温度区间的重叠比率、激光雷达轮廓的归一化轮廓距离，并将融合后的综合相似度作为状态指纹相似度参与复用可信度计算。

14、所述步骤s4中，时间衰减量用于表示历史多模态研判结果随时间推移而降低的可复用程度；当当前系统时间与结果生成时间戳之间的差值增大时，复用可信度降低。

15、所述步骤s4中，模型版本兼容性通过比较候选历史研判记录包中的模型版本标识与当前多模态研判模型的模型版本标识确定；当模型版本不兼容时，禁止复用候选历史研判记录包。

16、所述步骤s4中，传感器组合一致性通过比较候选历史研判记录包中的传感器组合标识与当前参与采集的传感器组合确定；当当前参与采集的传感器组合缺失历史研判所依赖的传感器类型时，禁止复用候选历史研判记录包。

17、所述步骤s5中，静态研判层包括基坑无防护、墙体裂缝、围挡破损或缺失、安全网破损、临边洞口防护缺失、材料堆放占用通道、消防通道堵塞或固定警示标识缺失中的至少一种隐患研判结果。

18、所述步骤s5中，动态研判层包括人员未戴安全帽、高处作业人员未系安全带、人员闯入危险区域、施工机械违规运行、吊装作业异常、现场明火或烟雾、车辆超速或逆行中的至少一种隐患研判结果。

19、所述步骤s5中，当仅静态研判层满足复用条件而动态研判层不满足复用条件时，复用静态研判层结果，并针对动态研判层触发实时多模态研判，从而形成部分复用与局部实时研判相结合的处理结果。

20、本发明的有益效果在于：第一，将普通候选记录命中转化为当前现场状态验证后的可信复用判定，避免对比文件式复用记录响应逻辑直接套用于安全巡检结论；第二，通过当前帧轻量一致性校验，在无需完整多模态推理的情况下判断历史研判结果是否仍可信；第三，通过静态研判层和动态研判层分离，使可稳定复用的区域隐患与变化频繁的人员、车辆、烟火等动态隐患采用不同复用门槛；第四，通过模型版本和传感器组合一致性校验，避免因模型或采集条件变化导致历史结果误复用。