识别图像中的对象的方法、装置、电子设备及存储介质与流程

本技术涉及电子信息，更具体地，涉及一种识别图像中的对象的方法、装置、电子设备及存储介质。

背景技术：

1、生成式检测任务是指对图像进行对象检测时，输出对象在图像中的位置的同时，生成对象的名称。相关技术中，通过目标检测模型对待检测图像进行对象的检测，以得到对象在待检测图像中的位置信息以及对象的名称。

2、然而，当对象为目标检测模型训练过程中未曾涉及到的对象时，针对对象生成的名称的准确率较差。

技术实现思路

1、有鉴于此，本技术实施例提出了一种识别图像中的对象的方法、装置、电子设备及存储介质。

2、第一方面，本技术实施例提供了一种识别图像中的对象的方法，方法包括：基于多个查询向量对待检测图像进行对象检测，得到每个查询向量对应的对象特征、检测框以及置信度；每个查询向量的检测框指示待检测图像中的一个区域；对象特征为对应查询向量的检测框在待检测图像中所指示的区域的特征表示；置信度用于指示对应查询向量的检测框的准确性；基于各查询向量对应的置信度，从多个查询向量对应的对象特征中确定目标对象特征；对目标对象特征进行属性特征的提取，得到目标对象属性特征；基于目标对象属性特征，对位于目标区域的目标对象进行名称的生成，得到目标对象名称；目标区域为目标对象特征对应的查询向量的检测框在待检测图像中所指示的区域。

3、第二方面，本技术实施例提供了一种识别图像中的对象的装置，装置包括：检测模块，用于基于多个查询向量对待检测图像进行对象检测，得到每个查询向量对应的对象特征、检测框以及置信度；每个查询向量的检测框指示待检测图像中的一个区域；对象特征为对应查询向量的检测框在待检测图像中所指示的区域的特征表示；置信度用于指示对应查询向量的检测框的准确性；特征确定模块，用于基于各查询向量对应的置信度，从多个查询向量对应的对象特征中确定目标对象特征；属性提取模块，用于对目标对象特征进行属性特征的提取，得到目标对象属性特征；名称生成模块，用于基于目标对象属性特征，对位于目标区域的目标对象进行名称的生成，得到目标对象名称；目标区域为目标对象特征对应的查询向量的检测框在待检测图像中所指示的区域。

4、可选地，各查询向量对应的对象特征、检测框以及置信度通过开集检测器确定；装置还包括训练模块，用于通过开集检测器基于多个初始查询向量对第一样本图像进行对象检测，得到每个初始查询向量对应的第一样本检测框；第一样本检测框用于指示第一样本图像中的一个区域；从多个初始查询向量中确定与第一样本图像中每个第一标注检测框一一匹配的初始查询向量，作为每个第一标注检测框对应的第一匹配查询向量；第一样本图像中第一标注检测框的数量不超过多个初始查询向量的数量；每个第一标注检测框用于指示第一样本图像中至少一个第一样本对象所在的位置；基于每个第一匹配查询向量对应的第一样本检测框以及第一标注检测框之间的差异，对开集检测器进行参数调整，以及更新多个初始查询向量得到多个查询向量。

5、可选地，开集检测器还输出每个初始查询向量对应的第一样本对象特征以及样本置信度；初始查询向量的样本置信度用于指示初始查询向量的第一样本检测框的准确性；训练模块，还用于基于每个第一匹配查询向量对应的第一样本检测框以及第一标注检测框之间的差异，确定第一损失；基于多个初始查询向量各自的样本置信度，确定第二损失；基于第一损失以及第二损失，对开集检测器进行参数调整，以及更新多个初始查询向量得到多个查询向量。

6、可选地，训练模块，还用于基于每个第一匹配查询向量对应的第一样本检测框以及第一标注检测框的交集，以及每个第一匹配查询向量对应的第一样本检测框和第一标注检测框的最小闭包区域，确定交并比损失；基于每个第一匹配查询向量对应的第一样本检测框以及第一标注检测框之间的位置差异，确定位置损失；基于交并比损失以及位置损失，确定第一损失。

7、可选地，各目标对象属性特征通过描述器提取；训练模块，还用于基于多个查询向量对第二样本图像进行对象检测，得到每个查询向量对应的第二样本对象特征以及第二样本检测框；每个查询向量的第二样本检测框指示第二样本图像中的一个区域；第二样本对象特征为对应查询向量的第二样本检测框在第二样本图像中所指示区域的特征指示；从多个查询向量中确定与第二样本图像各第二标注检测框一一匹配的查询向量，作为各第二标注检测框各自对应的第二匹配查询向量；第二样本图像中第二标注检测框的数量不超过多个查询向量的数量；每个第二标注检测框用于指示第二样本图像中至少一个第二样本对象所在的位置；通过描述器基于各第二标注检测框对应的第二匹配查询向量的第二样本对象特征进行属性特征提取，得到各第二标注检测框各自指示的第二样本对象对应的预测对象属性特征；基于各第二样本对象对应的预测对象属性特征以及标注属性特征之间的差异，对描述器进行参数调整。

8、可选地，训练模块，还用于针对每个第二样本对象，基于第二样本对象各自的标注对象名称以及描述信息，构建第二样本对象对应的参考提示信息；通过参考大语言模型基于第二样本对象对应的参考提示信息进行对象属性特征的生成，得到第二样本对象对应的初始属性特征；基于第二样本对象对应的标注对象名称以及初始属性特征之间的差异，确定第二样本对象对应的标注属性特征。

9、可选地，各第二样本对象对应的初始属性特征均包括多个维度各自的单维度属性特征；训练模块，还用于若与第二样本对象的标注对象名称之间的相似度达到相似度阈值的单维度属性特征的数量低于预设数量，基于第二样本对象对应的标注对象名称以及新的描述信息，构建第二样本对象对应的新的提示信息；返回执行通过参考大语言模型基于第二样本对象对应的参考提示信息进行对象属性特征的生成，得到第二样本对象对应的初始属性特征的步骤，直到与第二样本对象的标注对象名称之间的相似度达到相似度阈值的单维度属性特征的累计数量达到预设数量；从与第二样本对象的标注对象名称之间的相似度达到相似度阈值的单维度属性特征中，确定第二样本对象对应的标注属性特征。

10、可选地，目标对象名称通过大语言模型生成；训练模块，还用于基于多个查询向量对第三样本图像进行对象检测，得到每个查询向量对应的第三样本检测框；每个查询向量的第三样本检测框指示第三样本图像中的一个区域；从多个查询向量中确定与第三样本图像中每个第三标注检测框一一匹配的查询向量，作为每个第三标注检测框对应的第三匹配查询向量；第三样本图像中第三标注检测框的数量不超过多个查询向量的数量；每个第三标注检测框用于指示第三样本图像中至少一个第三样本对象所在的位置；基于各第三标注检测框对应的第三匹配查询向量的第三样本对象特征进行属性特征提取，得到各第三标注检测框各自指示的第三样本对象的预测对象属性特征；通过大语言模型基于各第三标注检测框各自对应的预测对象属性特征进行名称的生成，得到各第三标注检测框所指示的第三样本对象对应的预测对象名称；基于各第三样本对象各自对应的预测对象名称以及标注对象名称之间的差异，对大语言模型进行参数调整。

11、可选地，各查询向量对应的对象特征、检测框以及置信度通过开集检测器确定；各目标对象属性特征通过描述器提取；目标对象名称通过大语言模型生成；训练模块，还用于通过开集检测器基于多个查询向量对第四样本图像进行对象检测，得到每个查询向量对应的第四样本检测框；每个查询向量的第四样本检测框指示第四样本图像中的一个区域；从多个查询向量中确定与第四样本图像中每个第四标注检测框一一匹配的查询向量，作为每个第四标注检测框对应的第四匹配查询向量；第四样本图像中第四标注检测框的数量不超过多个查询向量的数量；每个第四标注检测框用于指示第四样本图像中至少一个第四样本对象所在的位置；通过描述器基于各第四标注检测框对应的第四匹配查询向量的第四样本对象特征进行属性特征提取，得到各第四标注检测框各自指示的第四样本对象的预测对象属性特征；通过大语言模型基于各第四样本对象的预测对象属性特征进行名称的生成，得到各第四样本对象各自对应的预测对象名称；基于每个第四匹配查询向量对应的第四样本检测框与第四标注检测框之间的差异、每个第四样本对象各自对应的预测对象属性特征与标注属性特征之间的差异、以及各第四样本对象各自对应的预测对象名称与标注对象名称之间的差异，对开集检测器、描述器以及大语言模型进行参数调整，并更新各查询向量。

12、可选地，检测模块，还用于通过开集检测器中的图像编码器对待检测图像进行图像特征的提取，得到待检测图像对应的图像特征；通过开集检测器中的检测头基于图像特征以及多个查询向量进行对象检测，得到每个查询向量对应的对象特征、检测框以及置信度。

13、可选地，属性提取模块，还用于通过第一投影层对目标对象特征进行投影处理，以将目标对象特征映射到与描述器的输入对齐的特征空间，得到目标对象投影特征；通过描述器对目标对象投影特征进行属性特征提取，得到目标对象属性特征。

14、可选地，名称生成模块，还用于通过第二投影层对目标对象属性特征进行投影处理，以将目标对象属性特征映射到与大语言模型的输入对齐的特征空间，得到目标对象属性投影特征；通过大语言模型基于目标对象属性投影特征进行名称的生成，得到目标对象名称。

15、可选地，装置还包括结果确定模块，用于基于目标对象名称以及目标查询向量的检测框，确定待检测图像的对象检测结果。

16、第三方面，本技术实施例提供了一种电子设备，包括处理器以及存储器；存储器上存储有计算机可读指令，计算机可读指令被处理器执行时，实现上述的方法。

17、第四方面，本技术实施例提供了一种计算机可读存储介质，其上存储有计算机可读指令，当计算机可读指令被处理器执行时，实现上述的方法。

18、第五方面，本技术实施例提供了一种计算机程序产品，包括计算机指令，计算机指令被处理器执行时实现上述的方法。

19、本技术实施例提供的一种识别图像中的对象的方法、装置、电子设备及存储介质，在本技术中，基于多个查询向量对待检测图像进行对象检测，得到每个查询向量对应的对象特征、检测框以及置信度，然后基于各查询向量对应的置信度，从多个查询向量对应的对象特征中确定目标对象特征，然后对目标对象特征进行属性特征的提取，得到目标对象属性特征，最后，基于目标对象属性特征，对位于目标区域的目标对象进行名称的生成，得到目标对象名称，由此，实现了基于目标对象属性特征来生成目标对象的目标对象名称的目的，不再是直接依赖待检测图像的图像特征来生成目标对象的目标对象名称，且基于置信度确定的目标对象特征时，能够确定准确率较高的目标对象特征，使得基于目标对象特征确定的目标对象属性特征准确率较高，能够准确的指示待检测图像中的目标对象的属性，继而使得针对目标对象生成的目标对象名称较准确，所以，即便目标对象是未曾出现过的目标对象，也可以依赖目标对象属性特征来生成名称，克服了对未曾出现过的目标对象生成的名称准确率较差的问题，提高了针对目标对象生成的目标对象名称的准确率。