一种基于安全问题引导和参数高效微调的施工现场多类型安全违规检测方法

本发明属于基于视觉语言模型的施工现场安全违规检测，尤其涉及一种基于安全问题引导和参数高效微调的施工现场多类型安全违规检测方法。

背景技术：

1、施工现场属于高风险作业环境，现场通常同时存在人员流动、机械设备运行、高处作业、吊装作业、临边洞口、焊接切割、临时用电等多种安全风险因素。为了减少安全事故，施工单位通常需要对安全帽佩戴、反光衣穿着、安全带使用、吊物下方站人、挖掘机作业范围内人员进入、配电箱防护、梯子作业规范等内容进行持续检查。传统方式主要依赖人工巡检和现场管理人员经验判断，存在检查效率低、主观性强、难以持续覆盖和隐患发现不及时等问题。

2、随着计算机视觉技术的发展，已有方法开始采用目标检测、图像分类、姿态估计等深度学习模型对施工现场图像或视频进行安全检测。例如，通过检测人员、安全帽、反光衣、机械设备、护栏等目标，判断是否存在部分安全违规行为。此外，也有研究开始探索将视觉语言模型应用于施工隐患识别与安全检测。

3、然而，上述方法虽然在一定程度上能够实现部分安全风险识别，但在多类型施工安全违规检测场景中仍存在以下不足：

4、第一，人工巡检方式效率较低，难以实现连续、全面、实时的安全检查。施工现场作业区域分散、人员流动频繁、设备运行状态变化快，单纯依赖安全管理人员进行巡检，容易受到人员经验、工作强度、检查频率和主观判断的影响，存在漏检和判断不一致的问题。

5、第二，现有基于目标检测的方法通常只能识别人员、安全帽、反光衣、机械设备、护栏等固定目标，难以直接判断复杂安全违规行为。许多施工安全违规并不是简单的目标存在与否问题，而是需要结合人员、设备、危险区域和作业状态之间的关系进行综合判断，例如人员是否位于吊物下方、是否进入挖掘机作业范围、是否在高处作业时未佩戴安全带等。传统目标检测方法对这类安全规则和空间关系的理解能力不足。

6、第三，现有基于图像分类或多标签分类的方法缺少安全问题语义引导，容易将施工安全检测简化为图像到标签的直接映射。当同一图像中存在多个安全要素时，模型可能出现过预测、误报较多或漏检关键违规行为的问题，难以准确表达每类安全违规对应的具体判断条件。

7、第四，通用视觉语言模型虽然具备图像理解和文本交互能力，但直接应用于施工现场安全违规检测时，缺少施工安全领域知识和稳定的安全检查规则约束，容易输出开放式自然语言描述，存在答案格式不统一、标签不规范、结果难以自动解析和部署的问题。

8、第五，若采用全参数微调方式对大规模视觉语言模型进行训练，需要较高的计算资源和大量标注数据，训练成本较高；同时，施工安全违规样本获取困难，部分违规类型样本数量有限，直接全参数微调容易产生过拟合，并可能破坏模型原有的通用视觉语言理解能力。

9、因此，亟需一种能够结合施工安全检查规则、支持多类型安全违规统一检测、输出结果稳定可解析，并且训练成本较低的施工现场安全违规检测方法。

技术实现思路

1、鉴于此，本发明公开提供了提出一种基于安全问题引导和参数高效微调的施工现场多类型安全违规检测方法。旨在解决现有人工巡检效率低、主观性强的问题，克服现有目标检测或图像分类方法难以同时识别多类型施工安全违规、缺乏安全规则语义引导的缺陷，改善通用视觉语言模型缺少施工安全领域知识、输出格式不稳定、结果难以自动解析和部署的现状，同时避免全参数微调大规模视觉语言模型计算成本高、训练数据需求大、容易过拟合的问题。

2、本发明提供的技术方案，具体为，一种基于安全问题引导和参数高效微调的施工现场多类型安全违规检测方法，包括以下步骤：

3、s1：构建施工安全检查问题集合：

4、

5、式中， 表示安全问题集合， 表示第  个安全检查问题， 表示安全问题总数；

6、将所述完整安全问题集合q转化为文本提示；

7、将所述安全检查问题集合中的每一个安全问题设置对应的结构化安全标签，形成合法标签集合；

8、s2：获取原始单问题安全问答数据，并将同一张施工现场图像对应的多个安全问题答案整合为图像级结构化标签序列，形成图片级多标签训练数据；

9、s3：基于所述图片级多标签训练数据，采用参数高效微调方式对预训练视觉语言模型进行施工安全领域适配；

10、s4：获取待检测的施工现场图像，将所述待检测的施工现场图像与由完整安全问题集合构成的文本提示共同输入经参数高效微调后的所述视觉语言模型，生成结构化q-label标签序列ŝᵢ；

11、

12、式中， 表示基础模型原始参数， 表示参数高效微调得到的适配参数；

13、s5：对所述结构化q-label标签序列进行合法标签解析，解析后的预测标签集合为：

14、

15、式中， 表示标签解析函数， 表示最终得到的合法预测标签集合，表示合法标签集合；

16、根据所述预测标签集合中各标签对应的安全问题及判断结果，输出施工现场多类型安全违规检测结果。

17、优选地，将所述安全检查问题集合中的每一个安全问题设置对应的结构化安全标签：

18、每个安全问题对应 yes 和 no 两种判断结果，其中 yes 表示该安全问题对应的违规状态存在，no 表示该安全问题对应的违规状态不存在或未被检测到；

19、结构化安全标签集合表示为：

20、

21、式中， 表示全部候选安全标签集合， 表示第  个安全问题对应的违规状态存在， 表示第  个安全问题对应的违规状态不存在或未被发现。

22、优选地，s2具体包括：

23、所述原始单问题安全问答数据形式为：

24、

25、式中， 表示第  张施工现场图像， 表示第  个安全检查问题， 表示该图像针对该问题的二分类答案；

26、对于同一张施工现场图像，将其对应的多个安全问题答案进行整合，形成结构化标签集合：

27、

28、重构后的每条训练样本由施工现场图像、安全问题引导 prompt 和目标结构化标签序列组成，可表示为：

29、

30、式中， 表示第  条训练样本， 表示施工现场图像， 表示安全问题引导prompt， 表示目标结构化标签序列。

31、优选地，所述s3具体为：

32、采用预训练视觉语言模型作为基础模型，包括视觉编码器、多模态投影层和语言解码器；

33、所述视觉语言模型的预测过程表示为：

34、

35、式中， 表示参数为  的视觉语言模型， 表示模型生成的标签文本序列；

36、原始权重矩阵记为 ，采用低秩增量矩阵  对原始权重矩阵进行适配：

37、

38、其中，低秩增量矩阵可表示为：

39、

40、式中， 和  为可训练低秩矩阵， 表示低秩矩阵的秩， 表示缩放系数；

41、设输入特征为 ，则加入低秩适配后的输出为：

42、

43、式中， 在训练过程中保持冻结，仅更新  和  两个低秩矩阵。

44、优选地，所述视觉语言模型采用监督微调损失函数进行参数高效微调训练，所述损失函数表示为：

45、模型输入为施工现场图像  和安全问题 prompt ，目标输出为结构化标签序列 。设目标输出序列为：

46、

47、式中， 表示目标输出序列中的第  个 token， 表示目标序列长度，监督微调损失函数表示为：

48、

49、式中， 表示第  个 token 之前的输出内容， 表示模型在参数  下生成目标 token 的概率；

50、对于包含  条训练样本的数据集，总体训练目标表示为：

51、。

52、优选地，所述安全检查问题集合q至少包括以下多种检查项对应的安全问题：安全帽佩戴违规、反光衣穿着违规、高处作业安全带违规、吊物下方作业违规、挖掘机作业区入侵违规、梯子作业违规、焊接切割防护违规、配电箱防护违规。

53、本发明还提供了一种基于安全问题引导和参数高效微调的施工现场多类型安全违规检测系统，包括：

54、安全问题引导模块，用于构建施工安全检查问题集合q，将所述完整安全问题集合q转化为文本提示；

55、标签体系构建模块，用于将所述安全检查问题集合q中的每一个安全问题设置对应的结构化安全标签；

56、图片级多标签数据构建模块，用于获取原始单问题安全问答数据，并将同一张施工现场图像对应的多个安全问题答案整合为图像级结构化标签序列，形成图片级多标签训练数据；

57、参数高效微调模块，用于冻结预训练视觉语言模型的视觉编码器和多模态投影模块参数，仅在语言解码器中引入低秩适配矩阵进行施工安全领域适配；

58、施工现场图像获取模块，用于获取待检测的施工现场图像；

59、视觉语言模型推理模块，用于将所述待检测的施工现场图像与所述文本提示共同输入经参数高效微调后的所述视觉语言模型，生成结构化标签序列；

60、标签解析输出模块，用于对生成的结构化标签序列进行合法标签解析，提取与所述结构化安全标签相匹配的标签，形成预测标签集合，根据所述预测标签集合中各标签对应的安全问题及判断结果，输出施工现场多类型安全违规检测结果。

61、优选地，所述系统输出的所述施工现场多类型安全违规检测结果为结构化标签集合，所述标签集合中的每个标签对应于一个安全检查问题的判断结果，用于支持自动化安全管理系统对检测结果进行后续处理。

62、本发明的有益效果：

63、本发明通过构建施工安全检查问题集合，将多类安全检查规则转化为明确的文本提示形式，使视觉语言模型能够在安全问题引导下对施工现场多类型安全违规进行统一判断，克服了现有目标检测或图像分类方法难以同时识别多类型施工安全违规的缺陷。

64、本发明通过参数高效微调方式对视觉语言模型进行施工安全领域适配，在冻结大部分原始参数的基础上仅训练少量适配参数，能够在有限训练数据和较低计算成本条件下学习施工现场图像证据、安全问题语义与结构化安全标签之间的对应关系，有效提高了对复杂安全违规行为的识别能力，同时避免了全参数微调带来的计算成本高、数据需求大、易过拟合的问题。

65、本发明通过结构化安全标签体系约束模型输出格式，使检测结果具备规范化和可解析性，便于后续自动解析、统计分析、报警提示和安全管理系统部署，解决了通用视觉语言模型直接应用于安全检测时输出格式不稳定、结果难以落地应用的问题。

66、本发明以安全问题集合、图片级多标签数据重构、参数高效微调和结构化标签解析为核心技术手段，有别于现有基于知识库检索或安全规范文本召回的施工安全检查方法，也有别于现有基于开放词汇目标检测和视觉文本相似度计算的安全装备佩戴合规检测方法，更有别于现有多智能体协同风险预警方法和基于行为特征向量比较的施工安全监测方法。本发明能够提高施工现场多类型安全违规检测的覆盖范围、检测稳定性和结果可解析性，降低大模型微调成本，为施工现场智能安全巡检和自动化安全管理提供技术支持

67、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明的公开。