一种视觉目标标注方法、装置、设备及可读存储介质与流程

本技术涉及图像标注，具体涉及一种视觉目标标注方法、装置、设备及可读存储介质。

背景技术：

1、视觉目标标注是计算机视觉领域模型训练的基础环节，其数据质量直接决定了目标检测、图像分割及视觉定位等下游任务的性能表现。随着人工智能技术的快速发展，应用场景日益复杂，对于大规模、高精度且具备语义信息的标注数据需求急剧增加。然而，传统的全人工标注方式耗时耗力，成本高昂且难以保证标注一致性，无法满足海量数据快速迭代的需求。因此，如何利用自动化技术辅助人工，实现高效、高质量的视觉目标半自动标注，已成为当前技术领域亟待解决的关键问题。

2、现有技术中，视觉目标半自动标注通常采用预训练的目标检测模型或分割模型从图像中提取候选区域，并结合跨模态匹配技术将候选区域与自然语言查询进行关联，生成伪标签以供人工核查。在这一过程中，一般会利用模型输出的匹配分数或概率值作为置信度指标，对生成的伪标签进行筛选，剔除低分样本，保留高分样本进入后续的人工确认或直接使用环节。这种基于模型直接输出分数的过滤机制，在一定程度上减少了人工处理的数据量。

3、然而，现有的半自动标注方法存在着一些缺陷：一方面，对于不同模态数据，存在着跨模态异质鸿沟问题，现有的标注方法生成的候选区域的语义描述往往存在着语义表达不够全面，且容易产生错误的伪关联，使得候选区域与候选标签的伪标签配对准确率较低；另一方面，现有的置信度评估通常仅依赖于单一的关联匹配结果，导致置信度评估结果鲁棒性不足，难以有效区分高质量伪标签与偶然匹配正确的噪声，进而导致后续标注处理缺乏可靠的置信度依据。因此，现有技术存在着候选区域与候选标签的伪标签配对准确率较低，以及置信度评估结果鲁棒性不足，导致无法得到准确可靠的目标标注结果的技术问题，需要改进。

技术实现思路

1、本技术提供一种视觉目标标注方法、装置、设备及可读存储介质，可以解决现有技术中存在的候选区域与候选标签的伪标签配对准确率较低，以及置信度评估结果鲁棒性不足，导致无法得到准确可靠的目标标注结果的技术问题。

2、第一方面，本技术实施例提供一种视觉目标标注方法，包括：

3、获取待标注图像和候选标签，将待标注图像输入预训练检测模型，提取得到至少一个候选区域；

4、基于多种语义生成策略对候选区域进行处理，得到多组语义描述信息，将每组语义描述信息与候选标签进行匹配，得到候选区域与候选标签的伪标签配对；

5、基于预训练跨模态匹配模型对伪标签配对进行置信度评估得到关联置信度，对多种语义生成策略得到的伪标签配对进行一致性评估得到一致性分数，根据关联置信度和一致性分数确定综合置信度；

6、根据综合置信度，将伪标签配对划分为多个置信度等级，并根据划分的置信度等级执行对应的标注修正策略，得到标注结果。

7、结合第一方面，在一种实施方式中，基于多种语义生成策略对候选区域进行处理，得到多组语义描述信息，包括：

8、基于第一语义生成策略，提取候选区域的预测类别和空间位置信息，根据预测类别和空间位置信息生成基础描述信息；

9、基于第二语义生成策略，将候选区域输入预训练跨模态生成模型，并基于预设提示词模板，生成特征描述信息；

10、基于第三语义生成策略，将待标注图像、预测类别和空间位置信息组合作为条件提示，输入预训练跨模态生成模型，得到上下文描述信息；

11、将基础描述信息、特征描述信息和上下文描述信息作为多组语义描述信息。

12、结合第一方面，在一种实施方式中，将每组语义描述信息与候选标签进行匹配，得到候选区域与候选标签的伪标签配对，包括：

13、将语义描述信息和候选标签转换为统一维度的文本嵌入向量；

14、在每个语义描述信息组别，计算语义描述信息和候选标签的余弦相似度和词重叠度；

15、加权融合余弦相似度和词重叠度，得到匹配分数；

16、根据匹配分数确定语义描述信息与候选标签的匹配关系，根据匹配关系确定候选区域与候选标签的伪标签配对。

17、结合第一方面，在一种实施方式中，根据匹配分数确定语义描述信息与候选标签的匹配关系，根据匹配关系确定候选区域与候选标签的伪标签配对，包括：

18、对于每个候选标签，保留匹配分数最高的预设数量的语义描述信息，并将对应的候选区域与候选标签生成伪标签配对；

19、若多个候选标签配对到同一候选区域，保留匹配分数最高的伪标签配对，并标记为冲突配对。

20、结合第一方面，在一种实施方式中，基于预训练跨模态匹配模型对伪标签配对进行置信度评估得到关联置信度，对多种语义生成策略得到的伪标签配对进行一致性评估得到一致性分数，根据关联置信度和一致性分数确定综合置信度，包括：

21、将伪标签配对输入预训练跨模态匹配模型，进行图文匹配得到关联置信度；

22、根据不同语义生成策略下，候选区域与同一候选标签成功匹配的次数，确定一致性分数；

23、将关联置信度和一致性分数进行加权融合得到综合置信度。

24、结合第一方面，在一种实施方式中，将待标注图像输入预训练检测模型，提取得到至少一个候选区域，包括：

25、将待标注图像输入预训练检测模型，对待标注图像进行目标边框识别和冗余过滤得到识别边框；

26、根据识别边框作为提示输入进行图像分割，得到分割掩码，并根据分割掩码对待标注图像进行裁剪得到目标图像；

27、根据识别边框、分割掩码和目标图像构建候选区域。

28、结合第一方面，在一种实施方式中，根据综合置信度，将伪标签配对划分为多个置信度等级，并根据划分的置信度等级执行对应的标注修正策略，得到标注结果，包括：

29、根据综合置信度，将伪标签配对划分为第一置信度等级、第二置信度等级和第三置信度等级；

30、对于第一置信度等级，将伪标签配对直接确定为标注结果；

31、对于第二置信度等级，生成待修正提示信号，并接收基于待修正提示信号反馈的修正指令，根据修正指令更新伪标签配对得到标注结果；

32、对于第三置信度等级，生成重标注提示信号，并接收基于重标注提示信号反馈的重标注指令，根据重标注指令生成标注结果。

33、第二方面，本技术实施例提供了一种视觉目标标注装置，包括：

34、候选区域识别模块，用于获取待标注图像和候选标签，将待标注图像输入预训练检测模型，提取得到至少一个候选区域；

35、标签配对模块，用于基于多种语义生成策略对候选区域进行处理，得到多组语义描述信息，将每组语义描述信息与候选标签进行匹配，得到候选区域与候选标签的伪标签配对；

36、标签置信度评估模块，用于基于预训练跨模态匹配模型对伪标签配对进行置信度评估得到关联置信度，对多种语义生成策略得到的伪标签配对进行一致性评估得到一致性分数，根据关联置信度和一致性分数确定综合置信度；

37、标注修正模块，用于根据综合置信度，将伪标签配对划分为多个置信度等级，并根据划分的置信度等级执行对应的标注修正策略，得到标注结果。

38、第三方面，本技术实施例提供了一种视觉目标标注设备，视觉目标标注设备包括处理器、存储器、以及存储在存储器上并可被处理器执行的视觉目标标注程序，其中视觉目标标注程序被处理器执行时，实现如上述任一项的视觉目标标注方法的步骤。

39、第四方面，本技术实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有视觉目标标注程序，其中视觉目标标注程序被处理器执行时，实现如上述任一项的视觉目标标注方法的步骤。

40、本技术实施例提供的技术方案带来的有益效果包括：

41、本技术通过多种语义生成策略得到多组语义描述信息，增强了语义表达的全面性，显著提高了候选区域与候选标签的伪标签配对准确率；进一步地，通过结合关联置信度和基于多组语义描述信息的一致性分数确定综合置信度，提升了置信度评估的鲁棒性，能够有效区分高质量伪标签与偶然匹配正确的噪声，有效提升了视觉目标标注的可靠性。