适配电力场景的双重数据增强和隐式推理的多模态行为检测方法、装置与计算机设备与流程

本技术涉及电力安全监管，特别是涉及一种适配电力场景的双重数据增强和隐式推理的多模态行为检测方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

背景技术：

1、在电力施工与运维安全监管中，作业人员是否规范佩戴安全带等防护装备的自动识别，是实现智能安监与无人化巡检的关键环节。随着计算机视觉技术的发展，基于图像分析的安全检测方法逐渐得到应用，旨在替代人工巡查，提升监管效率与覆盖范围。

2、目前，传统的安全检测方法通常基于目标检测或图像分类模型，通过训练大量标注图像，使模型学习“佩戴安全带”与“未佩戴安全带”的视觉特征，进而对输入图像进行二分类判别。然而，此类方法在实际电力作业环境中仍面临显著缺陷：一方面，违规行为（如不佩戴安全带）在高风险作业场景中极少发生，真实负样本难以采集，导致训练数据正负样本严重失衡，模型训练后易产生对正样本的预测偏置，对罕见的违规行为识别灵敏度不足；另一方面，安全带佩戴的判定规则高度依赖具体作业场景，而该类方法的模型通常缺乏对不同场景下复杂判定逻辑的统一表达与自适应能力，从而在多变作业环境中容易产生误判或漏判，使得行为检测准确性难以满足实际电力安监需求。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够提高电力安监场景中对作业人员行为检测的准确性的适配电力场景的双重数据增强和隐式推理的多模态行为检测方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本技术提供了一种适配电力场景的双重数据增强和隐式推理的多模态行为检测方法，包括：

3、获取电力作业场景的第一作业图像，所述第一作业图像包括目标对象处于合规操作行为的图像；

4、采用预设的数据生成策略基于所述第一作业图像生成第二作业图像，以及，根据所述第一作业图像与所述第二作业图像构建样本数据集；所述数据生成策略包括基于图像内容的局部修改和基于语义描述的图像生成；所述第二作业图像包括目标对象处于违规操作行为的图像；

5、生成针对所述电力作业场景的结构化规则知识；所述结构化规则知识包括作业场景特征、安全操作规则以及违规判定结果之间的映射关系；

6、根据所述样本数据集和所述结构化规则知识对待训练的多模态大模型进行训练，得到训练完成的多模态大模型；所述多模态大模型用于根据待检测的作业图像输出对应的行为检测结果。

7、在其中一个实施例中，所述采用预设的数据生成策略基于所述第一作业图像生成第二作业图像，包括：

8、通过预设的语义分割模型识别所述第一作业图像中的安全防护区域；

9、在满足保持所述目标对象的姿态、所述电力作业场景的场景结构与所述第一作业图像的空间关系不变的约束条件下，通过预设的图像编辑模型对所述安全防护区域中的防护装备对象进行移除操作，得到所述第二作业图像。

10、在其中一个实施例中，所述采用预设的数据生成策略基于所述第一作业图像生成第二作业图像，包括：

11、通过预设的视觉大模型对所述第一作业图像进行语义解析，生成所述第一作业图像的描述文本；所述描述文本至少包括所述第一作业图像的环境特征、目标对象姿态与场景上下文信息；

12、通过预设的文本到图像生成模型，基于所述描述文本生成不包括防护装备对象的第二作业图像。

13、在其中一个实施例中，所述根据所述第一作业图像与所述第二作业图像构建样本数据集，包括：

14、分别对所述第一作业图像和所述第二作业图像执行图像增强操作；所述图像增强操作包括旋转、缩放、翻转、亮度扰动与噪声注入中的一种或多种操作；

15、基于所述图像增强操作后的各所述第一作业图像与各所述第二作业图像，构建所述样本数据集；所述样本数据集中的所述第一作业图像和所述第二作业图像之间的数量比例达到预设比例。

16、在其中一个实施例中，所述根据所述样本数据集和所述结构化规则知识对待训练的多模态大模型进行训练，得到训练完成的多模态大模型，包括：

17、将所述结构化规则知识转化为结构化提示文本；

18、将所述样本数据集与对应的所述结构化提示文本作为输入，以对应的所述违规判定结果作为预期输出，对所述待训练的多模态大模型进行模型微调，以使所述待训练的多模态大模型建立视觉特征、场景语义与规则逻辑之间的对齐关系，得到所述训练完成的多模态大模型。

19、在其中一个实施例中，在所述根据所述样本数据集和所述结构化规则知识对待训练的多模态大模型进行训练，得到训练完成的多模态大模型之后，所述方法还包括：

20、将所述待检测的作业图像输入到所述训练完成的多模态大模型；

21、通过所述训练完成的多模态大模型提取所述待检测的作业图像的视觉特征与场景语义，并基于所述对齐关系激活与所述待检测的作业图像的作业场景特征相匹配的安全操作规则，输出针对所述待检测的作业图像是否属于违规操作行为的行为检测结果。

22、第二方面，本技术还提供了一种适配电力场景的双重数据增强和隐式推理的多模态行为检测装置，包括：

23、获取模块，用于获取电力作业场景的第一作业图像，所述第一作业图像包括目标对象处于合规操作行为的图像；

24、构建模块，用于采用预设的数据生成策略基于所述第一作业图像生成第二作业图像，以及，根据所述第一作业图像与所述第二作业图像构建样本数据集；所述数据生成策略包括基于图像内容的局部修改和基于语义描述的图像生成；所述第二作业图像包括目标对象处于违规操作行为的图像；

25、生成模块，用于生成针对所述电力作业场景的结构化规则知识；所述结构化规则知识包括作业场景特征、安全操作规则以及违规判定结果之间的映射关系；

26、训练模块，用于根据所述样本数据集和所述结构化规则知识对待训练的多模态大模型进行训练，得到训练完成的多模态大模型；所述多模态大模型用于根据待检测的作业图像输出对应的行为检测结果。

27、第三方面，本技术还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

28、第四方面，本技术还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

29、第五方面，本技术还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。

30、上述适配电力场景的双重数据增强和隐式推理的多模态行为检测方法、装置、计算机设备、计算机可读存储介质和计算机程序产品，首先获取电力作业场景的第一作业图像，第一作业图像包括目标对象处于合规操作行为的图像，然后采用预设的数据生成策略基于所述第一作业图像生成第二作业图像，能够通过基于图像内容的局部修改和基于语义描述的图像生成所构成的双重数据生成策略，将稀缺的合规样本转化为高质量的违规行为负样本，有效扩充了罕见违规场景的数据覆盖，构建出正负样本均衡的训练数据集，从根本上缓解了模型对正样本的预测偏置，显著提升了模型对违规行为的识别灵敏度与判别准确性；同时，通过生成包含作业场景特征、安全操作规则及违规判定结果之间映射关系的结构化规则知识，并将该规则知识与均衡样本数据集共同用于多模态大模型的训练，使模型能够在统一框架下同步学习视觉特征与复杂判定逻辑，建立起场景与规则之间的内在关联，从而具备了面向多场景、多条件组合的自适应推理能力，在面对不同作业环境时能够准确调用相应判定逻辑，有效避免了因规则复杂多变而产生的误判或漏判；最终训练得到的多模态大模型能够直接根据待检测作业图像输出精准的行为检测结果，提升了电力安监场景下作业人员行为检测的准确性、鲁棒性与泛化能力，满足了实际复杂作业环境对智能安全监管系统的可靠性要求。