图像标注方法、装置、电子设备及存储介质与流程

本申请涉及计算机视觉与人工智能，尤其涉及图像标注方法、装置、电子设备及存储介质。

背景技术：

1、在深度学习目标检测领域，例如yolo（一种计算机视觉领域的目标检测算法）算法，模型性能高度依赖于大规模、高质量的标注数据集，然而传统人工标注方式效率低下且成本极高。

2、为解决该问题，相关技术通常采用预训练完成的固定类别检测模型在公开数据集上，直接对新输入的未标注图像进行前向推理，依据模型内置的类别体系输出检测框及对应标签。然而，该方案采用不同模型或不同版本的标签命名体系生成的标签名称不统一，数据集命名混乱。

3、综上，相关的自动标注方案存在标签命名不统一的问题，难以满足实际工程需求。

技术实现思路

1、为解决或部分解决相关技术中存在的问题，本申请提供一种图像标注方法、装置、电子设备及存储介质，构建了统一的标签命名体系，能够对标签进行映射，解决了图像标注过程中一物多名的问题，显著提高数据集标签命名的统一性。

2、本申请第一方面提供一种图像标注方法，包括：

3、获取待标注图像，调用多模态大模型对所述待标注图像进行全局理解，识别所述待标注图像的潜在语义标签；

4、根据所述潜在语义标签提取所述潜在语义标签对应的检测框坐标；

5、基于预设类别映射关系，确定所述潜在语义标签对应的目标类别标签；

6、根据所述目标类别标签与所述检测框坐标生成标准的标注图像；所述标注图像用于训练目标图像检测模型。

7、在一优选实施方式中，所述根据所述潜在语义标签提取所述潜在语义标签对应的检测框坐标，包括：

8、将所述潜在语义标签输入至训练好的通用检测模型；

9、所述通用检测模型基于所述潜在语义标签输出对应的检测框坐标。

10、在一优选实施方式中，所述基于预设类别映射关系，确定所述潜在语义标签对应的目标类别标签，包括：

11、基于大语言模型建立所述潜在语义标签与目标类别标签之间的预设类别映射关系；

12、根据所述潜在语义标签和所述预设类别映射关系确定所述潜在语义标签对应的目标类别标签。

13、在一优选实施方式中，所述潜在语义标签包括冗余标签和/或偏差标签；所述方法还包括：

14、在所述预设类别映射关系中添加所述冗余标签和/或偏差标签与所述目标类别标签的映射关系；

15、根据所述预设类别映射关系确定所述冗余标签和/或偏差标签的目标类别标签。

16、在一优选实施方式中，所述调用多模态大模型对所述待标注图像进行全局理解，识别所述待标注图像的潜在语义标签，包括：

17、定义提示词，根据所述提示词和所述待标注图像构建多模态消息列表；

18、所述多模态大模型基于所述多模态消息列表进行全局理解，返回所述待标注图像的潜在语义标签。

19、在一优选实施方式中，所述目标图像检测模型通过如下过程进行训练：

20、基于所述待标注图像构建训练数据集，将所述训练数据集输入至所述目标图像检测模型中，生成预测标签；

21、根据所述预测标签与所述待标注图像对应的标注图像中的目标类别标签构建损失函数；

22、根据所述损失函数对所述目标图像检测模型中的参数进行调整，以对所述目标图像检测模型进行训练；

23、当所述损失函数的损失函数值稳定时，所述目标图像检测模型训练完成。

24、在一优选实施方式中，所述根据所述损失函数对所述目标图像检测模型中的参数进行调整，包括：

25、计算所述损失函数关于所述参数的导数；

26、根据当前参数以及所述导数生成新参数，通过所述新参数更新所述当前参数。

27、本申请第二方面提供一种图像标注装置，包括：

28、识别模块，用于获取待标注图像，调用多模态大模型对所述待标注图像进行全局理解，识别所述待标注图像的潜在语义标签；

29、提取模块，用于根据所述潜在语义标签提取所述潜在语义标签对应的检测框坐标；

30、映射模块，用于基于预设类别映射关系，确定所述潜在语义标签对应的目标类别标签；

31、生成模块，用于根据所述目标类别标签与所述检测框坐标生成标准的标注图像；所述标注图像用于训练目标图像检测模型。

32、本申请第三方面提供一种电子设备，包括：

33、处理器；以及

34、存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。

35、本申请第四方面提供一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。

36、本申请提供的技术方案可以包括以下有益效果：

37、本申请实施例提供了一种图像标注方法，包括：获取待标注图像，调用多模态大模型对待标注图像进行全局理解，识别待标注图像的潜在语义标签；根据潜在语义标签提取潜在语义标签对应的检测框坐标；基于预设类别映射关系，确定潜在语义标签对应的目标类别标签；根据目标类别标签与检测框坐标生成标准的标注图像；标注图像用于训练目标图像检测模型。通过上述方法，构建了统一的标签命名体系，能够对标签进行映射，解决了图像标注过程中一物多名的问题，显著提高数据集标签命名的统一性。

38、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

1.一种图像标注方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述潜在语义标签提取所述潜在语义标签对应的检测框坐标，包括：

3.根据权利要求1所述的方法，其特征在于，所述基于预设类别映射关系，确定所述潜在语义标签对应的目标类别标签，包括：

4.根据权利要求3所述的方法，其特征在于，所述潜在语义标签包括冗余标签和/或偏差标签；所述方法还包括：

5.根据权利要求1所述的方法，其特征在于，所述调用多模态大模型对所述待标注图像进行全局理解，识别所述待标注图像的潜在语义标签，包括：

6.根据权利要求1所述的方法，其特征在于，所述目标图像检测模型通过如下过程进行训练：

7.根据权利要求6所述的方法，其特征在于，所述根据所述损失函数对所述目标图像检测模型中的参数进行调整，包括：

8.一种图像标注装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读存储介质，其特征在于，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1-7中任一项所述的方法。