基于VLA大模型的山火识别方法、机械狗及存储介质与流程

本技术涉及森林防火监测与智能机器人，尤其涉及一种基于vla大模型的山火识别方法、机械狗及存储介质。

背景技术：

1、森林火灾具有突发性强、蔓延速度快和处置难度高等特点，尤其在山地、林区等复杂环境中，受地形起伏、植被遮挡、道路条件以及天气和光照变化等因素影响，早期火情的及时发现、可靠识别和准确定位较为困难。因此，需要对山林区域进行持续巡检，并在发现疑似火情后及时确定火情位置，以便后续进行火情处置。

2、现有山火监测方式包括人工巡查、卫星遥感、瞭望塔或固定摄像设备以及移动机器人等。其中，人工巡查受巡查范围、人员体力和地形条件限制，难以实现大范围高频巡检；卫星遥感和固定监测设备虽然能够覆盖较大范围，但容易受到空间分辨率、云层遮挡以及固定观测视角等因素影响；移动机器人能够在一定程度上实现自主巡检，但轮式或履带式机器人在山地、沟谷、密林等复杂地形中的通行能力受到限制。

3、此外，现有山火识别方案通常基于单一图像信息或者预先设定的识别规则进行火情判断，在夜间、雾天、逆光、低照度以及植被遮挡等复杂环境下，容易受到高温岩石、阳光反射、人工热源等干扰，导致山火疑似目标的识别可靠性降低。同时，现有巡检系统通常将目标识别、路径规划和设备控制分别设置为相互独立的功能模块，识别模块输出疑似火点后，再由预设规则控制移动设备进行靠近和复核，难以根据机械狗在实际运动过程中的位置、姿态以及不断变化的观测结果动态调整观测位置和观测方向。

4、另一方面，远距离获取的单次观测数据通常难以同时提供足够的目标识别信息和精确的空间位置信息。当机械狗移动至疑似区域后，如果仍基于单一位置或单一观测角度进行火情判断，容易因遮挡、视角变化以及瞬时环境干扰产生误判；同时，仅根据机械狗自身的地理位置难以直接确定山火着火点的准确三维空间位置。因此，现有技术难以在复杂山林环境中同时实现山火的及时发现、可靠确认以及着火点的精确定位。

技术实现思路

1、本技术提出了基于vla大模型的山火识别方法、机械狗及存储介质，旨在解决现有的山火识别方案存在识别响应不及时和着火点识别、定位精准度低的问题。

2、本技术第一方面提供一种基于vla大模型的山火识别方法，应用于机械狗，所述机械狗包括多模态感知系统、边缘计算系统、自主运动系统和定位通信系统，所述方法包括：获取所述多模态感知系统采集的可见光图像和红外热成像图像，以及所述机械狗的运动状态信息和空间位姿信息，并对所述可见光图像、所述红外热成像图像与对应采集时刻的运动状态信息和空间位姿信息进行关联，得到第一多模态感知数据；将所述第一多模态感知数据输入部署于所述边缘计算系统的vla大模型，并基于输入的山火识别任务指令进行视觉信息和语义信息的联合推理，得到山火疑似识别结果和对应的运动控制信息；根据所述运动控制信息控制所述自主运动系统驱动所述机械狗向山火疑似区域移动，并在移动过程中根据所述运动状态信息和所述空间位姿信息更新所述机械狗的观测位置和观测方向，以及基于更新后的观测位置和观测方向采集数据更新所述第一多模态感知数据持续推理；在所述机械狗运动至所述山火疑似区域后，获取不同运动位置、不同观测角度和不同时间序列下的所述山火疑似区域的第二多模态感知数据，并基于所述第二多模态感知数据对所述山火疑似识别结果进行推理确认，得到山火确认结果；在所述山火确认结果为着火区域时，根据所述定位通信系统获取的机械狗位置信息、当前空间位姿信息和山火目标相对于所述机械狗的空间位置信息，确定山火着火点的三维空间位置，并将所述三维空间位置转换为山火着火点的地理位置信息。

3、结合第一方面，在第一方面的一种可能的实现方式中，所述对所述可见光图像、所述红外热成像图像与对应采集时刻的运动状态信息和空间位姿信息进行关联，得到第一多模态感知数据，包括：获取所述多模态感知系统中可见光相机和红外热成像相机的内参、外参，并根据所述内参和所述外参对所述可见光图像和所述红外热成像图像进行空间校正；根据所述可见光相机和所述红外热成像相机之间的外参，将所述红外热成像图像重投影至所述可见光图像对应的图像坐标系，得到与所述可见光图像空间对应的红外图像；根据所述可见光图像和所述红外图像的采集时刻，将对应时刻机械狗的运动状态信息和空间位姿信息关联至所述可见光图像和重投影后的红外图像中，得到第一多模态感知数据。

4、结合第一方面，在第一方面的一种可能的实现方式中，所述基于输入的山火识别任务指令进行视觉信息和语义信息的联合推理，得到山火疑似识别结果和对应的运动控制信息，包括：对所述第一多模态感知数据中的可见光图像和重投影后的红外图像分别进行视觉特征提取；将提取的可见光视觉特征和红外视觉特征与所述山火识别任务指令进行跨模态特征关联；基于关联后的视觉特征和所述山火识别任务指令进行山火目标识别和场景语义推理，得到山火疑似识别结果；根据所述山火疑似识别结果和所述第一多模态感知数据中的运动状态信息和空间位姿信息生成所述运动控制信息。

5、结合第一方面，在第一方面的一种可能的实现方式中，所述山火疑似识别结果包括山火目标类别、山火目标位置和识别置信度中的至少一种；所述运动控制信息包括机械狗的运动方向、运动速度、云台观测方向、变焦倍率和停止确认指令中的至少一种。

6、结合第一方面，在第一方面的一种可能的实现方式中，所述根据所述山火疑似识别结果和所述第一多模态感知数据中的运动状态信息和空间位姿信息生成所述运动控制信息，包括：根据所述山火目标位置和对应的空间位姿信息确定山火疑似区域相对于机械狗的方向；根据对应的运动状态信息确定所述机械狗的当前运动状态，并根据所述方向和所述当前运动状态生成运动控制信息。

7、结合第一方面，在第一方面的一种可能的实现方式中，所述根据所述运动控制信息控制所述自主运动系统驱动所述机械狗向山火疑似区域移动，包括：根据所述山火疑似识别结果确定山火疑似区域的位置范围；根据所述运动控制信息和所述位置范围，结合卫星地图构建移动路径；基于所述移动路径控制所述自主运动系统驱动所述机械狗向所述山火疑似区域移动；其中，在向所述山火疑似区域移动过程中基于所述多模态感知系统采集的可见光图像识别障碍物并调整所述机械狗的移动速度和移动方向。

8、结合第一方面，在第一方面的一种可能的实现方式中，所述获取不同运动位置、不同观测角度和不同时间序列下的所述山火疑似区域的第二多模态感知数据，包括：控制所述机械狗在多个不同运动位置获取所述山火疑似区域的可见光图像和红外热成像图像；根据所述机械狗在各所述运动位置对应的空间位姿信息调整所述多模态感知系统的观测方向，以获取不同观测角度下的可见光图像和红外热成像图像；按照预设时间序列连续获取所述山火疑似区域的可见光图像和红外热成像图像，并将不同运动位置、不同观测角度和不同时间序列下获取的数据进行关联，得到第二多模态感知数据。

9、结合第一方面，在第一方面的一种可能的实现方式中，所述基于所述第二多模态感知数据对所述山火疑似识别结果进行推理确认，得到山火确认结果，包括：分别从所述第二多模态感知数据中提取山火疑似区域的温度特征、火焰特征和烟雾特征；根据不同时间序列下的所述温度特征、火焰特征和烟雾特征确定所述山火疑似区域的时序特征；根据不同运动位置和不同观测角度下的所述温度特征、火焰特征和烟雾特征和所述时序特征进行多模态联合推理，得到山火疑似识别结果的更新置信度；根据所述更新置信度确定山火确认结果。

10、本技术第二方面提供一种用于执行上述提供的基于vla大模型的山火识别方法的机械狗，包括：多模态感知系统，包括可见光相机和红外热成像相机，用于采集山林环境的可见光图像和红外热成像图像；边缘计算系统，与所述多模态感知系统连接，并部署有所述vla大模型，用于根据所述可见光图像和所述红外热成像图像进行山火识别推理；自主运动系统，与所述边缘计算系统连接，包括四足行走机构和关节驱动组件，用于根据所述边缘计算系统输出的运动控制信息驱动所述机械狗移动；定位通信系统，与所述边缘计算系统连接，用于获取所述机械狗的空间位置信息并传输山火识别结果和山火着火点的地理位置信息。

11、本技术第三方面提供一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。

12、本技术提供的技术方案可以包括以下有益效果：

13、本技术的一种基于vla大模型的山火识别方法、机械狗及存储介质，通过将可见光图像、红外热成像图像与对应采集时刻的机械狗运动状态信息和空间位姿信息进行关联，形成包含多模态感知信息及其时空状态信息的第一多模态感知数据，并将所述第一多模态感知数据输入部署于边缘计算系统的vla大模型进行视觉信息和语义信息的联合推理，使山火识别不再局限于单一图像特征，而能够结合机械狗所处的运动状态和空间位置进行识别决策。

14、进一步，根据vla大模型输出的运动控制信息驱动机械狗向山火疑似区域移动，并在移动过程中根据更新的运动状态信息和空间位姿信息持续更新观测位置和观测方向，同时利用更新后的多模态感知数据持续进行推理，从而将山火识别与机械狗的自主运动过程形成动态关联，提高疑似火情的响应及时性和持续识别能力；在机械狗抵近山火疑似区域后，通过获取不同运动位置、不同观测角度和不同时间序列下的第二多模态感知数据，对山火疑似识别结果进行进一步推理确认，从多个时空维度对疑似火情进行交叉验证，提高复杂山林环境下山火确认的可靠性；在确认存在着火区域后，再结合机械狗位置信息、空间位姿信息以及山火目标相对于机械狗的空间位置信息确定山火着火点的三维空间位置，并转换得到对应的地理位置信息，从而在实现山火及时识别和可靠确认的同时，提高山火着火点的空间定位精度。

15、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。