防护装备佩戴检测及模型训练方法、装置、设备及介质与流程

本说明书涉及计算机视觉与人工智能，尤其涉及防护装备佩戴检测及模型训练方法、装置、设备及介质。

背景技术：

1、在即时配送、建筑施工、工业生产等作业场景中，从业人员佩戴防护装备（如头盔、安全帽、护目镜、防护手套等）是保障人身安全的基本要求。目前，业界主要采用基于深度学习的目标检测模型对图像中的人员及防护装备进行检测识别。然而，传统检测方案在复杂场景下的误检率和漏检率较高。

技术实现思路

1、为克服相关技术中存在的问题，本说明书提供了防护装备佩戴检测及模型训练方法、装置、设备及介质。

2、根据本说明书实施例的第一方面，提供一种基于多模态大模型的防护装备佩戴检测方法，包括：

3、获取本次检测所采集的一帧或多帧图像；

4、利用预训练的轻量级目标检测模型，对所述图像进行初次检测；所述初次检测包括如下级联的检测任务：检测图像中是否包含人像、若检测到明确包含人像或疑似包含人像，检测是否佩戴防护装备、若检测到明确佩戴防护装备或疑似佩戴防护装备，检测防护装备的佩戴状态；根据检测任务的初次检测结果的置信度是否落入该检测任务所对应的不确定性区间，确定该检测任务是否需复核；其中，所述不确定性区间用于表征该检测任务的初次检测结果不足以形成明确性结论的取值区间；

5、若检测任务无需复核，则以其初次检测结果作为该检测任务的判定结果；

6、若检测任务需复核，则构建引导多模态大模型执行与该检测任务相关的防护装备佩戴检测的提示数据，利用所述多模态大模型基于该提示数据对图像进行检测，得到该检测任务的判定结果；

7、根据各检测任务的所述判定结果，确定最终的防护装备佩戴检测结果。

8、根据本说明书实施例的第二方面，提供一种目标检测模型的训练方法，包括：

9、获取图像并输入至目标检测模型；所述目标检测模型用于执行如下级联的检测任务：检测图像中是否包含人像、若检测到明确包含人像或疑似包含人像，检测是否佩戴防护装备、若检测到明确佩戴防护装备或疑似佩戴防护装备，检测防护装备的佩戴状态；

10、根据所述目标检测模型对所述图像的识别结果确定总损失后，根据所述总损失对所述目标检测模型进行训练；

11、其中，所述目标检测模型在训练过程中的总损失通过以下方式确定：基于各个所述检测任务对应的任务权重，对各个所述检测任务的级联感知损失进行加权求和，得到所述总损失；其中：每个所述检测任务的任务权重，是根据该检测任务所属级别对最终的防护装备佩戴检测结果的影响程度配置的；所述级联感知损失至少包括焦点损失项。

12、根据本说明书实施例的第三方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现前述第一方面或第二方面方法实施例的步骤。

13、根据本说明书实施例的第四方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现前述第一方面或第二方面方法实施例的步骤。

14、根据本说明书实施例的第五方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述第一方面或第二方面方法实施例的步骤。

15、本说明书的实施例提供的技术方案可以包括以下有益效果：

16、本说明书实施例中，通过三级级联的目标检测模型对图像执行初次检测，能够以较低的计算开销快速筛出明确结论的案例，仅将置信度落入不确定性区间的存疑案例交由多模态大模型进行复核。这种轻量级模型粗筛与多模态大模型精审相结合的分流方式，简单案例得以快速完成检测，复杂案例则由多模态大模型进行精细复核，在控制总体处理成本的同时显著提升了检测准确率，并能够借助多模态大模型的语义理解能力对佩戴规范性做出有效判定。

17、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。

1.一种基于多模态大模型的防护装备佩戴检测方法，包括：

2.根据权利要求1所述的方法，所述对所述图像进行初次检测，包括：

3.根据权利要求1所述的方法，所述目标检测模型在训练过程中的总损失通过以下方式确定：

4.根据权利要求3所述的方法，所述焦点损失项中包含焦点参数，不同的检测任务对应不同的焦点参数值，且所述焦点参数值随级别的递增而逐级递增；和/或，

5.根据权利要求3所述的方法，所述级联感知损失还包括置信度校准正则项，所述置信度校准正则项包括：

6.根据权利要求3所述的方法，判定是否佩戴防护装备的检测任务对应的任务权重，大于判定防护装备的佩戴状态的检测任务对应的任务权重；判定防护装备的佩戴状态的检测任务对应的任务权重，大于判定图像中是否包含人像的检测任务对应的任务权重。

7.一种目标检测模型的训练方法，所述方法包括：

8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述方法的步骤。

9.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。