面向电力安监场景的多模态链式推理数据自动化构建方法、装置与计算机设备与流程

本技术涉及电力安全监控，特别是涉及一种面向电力安监场景的多模态链式推理数据自动化构建方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

背景技术：

1、在电力施工安全监管过程中，作业现场违规行为的自动识别是保障安全生产的重要技术手段。电力施工作业环境复杂、风险源多，吊装作业中吊臂下方违规站人、登高作业中爬梯无人扶梯等行为均属于典型的高风险违规情形，一旦发生事故往往造成严重后果。传统上，此类违规行为的识别主要依赖人工视频巡检方式，存在效率低、漏检率高、难以实时响应等问题，亟需通过智能化技术手段实现违规行为的自动、准确识别。

2、目前，通常采用卷积神经网络（convolutional neural network, cnn），如 yolo系列或 faster r-cnn，对施工现场图像中的人员、吊臂、梯子等目标进行检测。然而，该类方法仅能输出离散目标的类别和位置，无法判断“在吊装作业中吊臂下方是否存在人员停留”或“在爬坡登高作业中是否存在扶梯人员”等复杂安全关系，难以实现复杂违规行为的准确检测，存在对电力作业场景中违规行为检测的准确性较低的问题。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够提高对电力作业场景中违规行为检测的准确性的面向电力安监场景的多模态链式推理数据自动化构建方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本技术提供了一种面向电力安监场景的多模态链式推理数据自动化构建方法，包括：

3、对电力作业场景下的安全监控图像进行目标检测，得到所述安全监控图像的检测结果；所述检测结果用于标注出所述安全监控图像中的目标对象；

4、获取所述安全监控图像对应的标注信息；所述标注信息包括用于指示作业场景类型、目标对象状态与违规触发条件的语义信息；

5、将所述安全监控图像与所述检测结果进行融合处理，得到目标标注图像，以及，将所述标注信息输入到预设的指令模板中，得到指令文本；

6、将所述目标标注图像与所述指令文本输入至预设的推理模型，通过所述预设的推理模型按照所述指令文本指示的逻辑推理步骤生成所述目标标注图像的推理过程信息和违规判定结果；所述推理过程信息用于描述对所述目标标注图像进行行为判定的推理过程；

7、将所述安全监控图像、所述指令文本、所述推理过程信息与所述违规判定结果组合为多模态样本数据，构建得到训练数据集；所述训练数据集用于对待训练的多模态大模型进行微调，得到训练完成的多模态大模型；所述训练完成的多模态大模型用于识别电力作业场景下的违规行为。

8、在其中一个实施例中，所述指令文本指示的逻辑推理步骤，包括如下步骤：

9、识别所述目标标注图像的作业环境与作业类型；

10、在所述作业环境中定位所述作业类型对应的目标对象；分析各所述目标对象之间的位置关系与交互状态，得到所述目标标注图像的场景描述信息；

11、将所述场景描述信息与预设规则库中的电力安全规程进行匹配，得到匹配结果；

12、基于所述匹配结果，生成所述违规判定结果，以及生成包含逻辑推理路径的所述推理过程信息。

13、在其中一个实施例中，所述分析各所述目标对象之间的位置关系与交互状态，得到所述目标标注图像的场景描述信息，包括：

14、提取所述目标标注图像中各所述目标对象的二维视觉特征；

15、基于所述二维视觉特征，分析各所述目标对象在三维空间中的相对距离、相对高度层次与相互遮挡关系，得到所述目标标注图像的场景描述信息。

16、在其中一个实施例中，在所述将所述安全监控图像、所述指令文本、所述推理过程信息与所述违规判定结果组合为多模态样本数据之前，所述方法还包括：

17、对所述推理过程信息和所述违规判定结果进行一致性校验，得到一致性校验结果；

18、在所述一致性校验结果指示通过校验的情况下，执行所述将所述安全监控图像、所述指令文本、所述推理过程信息与所述违规判定结果组合为多模态样本数据的步骤；

19、在所述一致性校验结果指示不通过校验的情况下，调整所述指令模板，将所述标注信息输入到调整后的所述指令模板，得到更新后的指令文本；

20、通过所述预设的推理模型基于所述目标标注图像与所述更新后的指令文本，重新生成所述推理过程信息和所述违规判定结果，直至通过所述一致性校验。

21、在其中一个实施例中，所述对所述推理过程信息和所述违规判定结果进行一致性校验，得到一致性校验结果，包括：

22、通过预设的校验模型，对所述违规判定结果与预设的人工标签答案进行比对，得到第一校验结果；所述第一校验结果用于指示所述违规判定结果与所述人工标签答案是否一致；

23、通过所述预设的推理模型，对所述推理过程信息与所述违规判定结果进行比对，得到第二校验结果；所述第二校验结果用于指示所述推理过程信息与所述违规判定结果是否一致；

24、在所述第一校验结果与所述第二校验结果均指示一致的情况下，确定所述一致性校验结果为通过校验；

25、在所述第一校验结果与所述第二校验结果中存在至少一个校验结果指示不一致的情况下，确定所述一致性校验结果为不通过校验。

26、在其中一个实施例中，在所述将所述安全监控图像、所述指令文本、所述推理过程信息与所述违规判定结果组合为多模态样本数据，构建得到训练数据集之后，所述方法还包括：

27、利用所述训练数据集对待训练的多模态大模型进行微调，得到训练完成的多模态大模型；

28、将待检测的电力作业场景图像与行为检测指令文本输入至所述训练完成的多模态大模型，得到针对所述电力作业场景图像的违规判定结果，以及所述违规判定结果对应的推理过程信息。

29、第二方面，本技术还提供了一种面向电力安监场景的多模态链式推理数据自动化构建装置，包括：

30、检测模块，用于对电力作业场景下的安全监控图像进行目标检测，得到所述安全监控图像的检测结果；所述检测结果用于标注出所述安全监控图像中的目标对象；

31、获取模块，用于获取所述安全监控图像对应的标注信息；所述标注信息包括用于指示作业场景类型、目标对象状态与违规触发条件的语义信息；

32、处理模块，用于将所述安全监控图像与所述检测结果进行融合处理，得到目标标注图像，以及，将所述标注信息输入到预设的指令模板中，得到指令文本；

33、判定模块，用于将所述目标标注图像与所述指令文本输入至预设的推理模型，通过所述预设的推理模型按照所述指令文本指示的逻辑推理步骤生成所述目标标注图像的推理过程信息和违规判定结果；所述推理过程信息用于描述对所述目标标注图像进行行为判定的推理过程；

34、构建模块，用于将所述安全监控图像、所述指令文本、所述推理过程信息与所述违规判定结果组合为多模态样本数据，构建得到训练数据集；所述训练数据集用于对待训练的多模态大模型进行微调，得到训练完成的多模态大模型；所述训练完成的多模态大模型用于识别电力作业场景下的违规行为。

35、第三方面，本技术还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

36、第四方面，本技术还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

37、第五方面，本技术还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。

38、上述面向电力安监场景的多模态链式推理数据自动化构建方法、装置、计算机设备、计算机可读存储介质和计算机程序产品，通过对电力作业场景下的安全监控图像进行目标检测并将检测结果与原始图像融合得到目标标注图像，使目标对象所在区域得到视觉显著性强化，为后续推理模型提供结构化的目标位置先验；获取包含作业场景类型、目标对象状态与违规触发条件三类语义锚点的标注信息，并以预设指令模板将其转化为带有先验条件约束与推理路径约束的指令文本，相较于人工逐条编写完整推理过程的传统方式降低了标注成本与标注不一致性；将目标标注图像与指令文本输入预设的推理模型，由该模型按照指令文本所指示的逻辑推理步骤生成包含完整推理路径的推理过程信息与违规判定结果，将原本隐式的视觉判断过程显式分解为可解释的链式推理步骤，最终将安全监控图像、指令文本、推理过程信息与违规判定结果组合为多模态样本数据并构建训练数据集，使训练数据集中每条样本均包含显式的链式推理信息，进而使基于该训练数据集微调得到的多模态大模型能够从基于表观特征的识别提升为基于推理过程的理解与判断，从而在电力安监场景下实现对多目标空间关系、复杂交互行为与安全规程逻辑的鲁棒理解与可解释判定，提高了对电力作业场景中违规行为检测的准确性。