对象的确定方法、装置、存储介质及电子设备与流程

本技术实施例涉及计算机领域，具体而言，涉及一种对象的确定方法、装置、存储介质及电子设备。

背景技术：

1、在相关技术中，通常利用的单一模态（文本）提示识别目标对象，特别是在语言难以精确描述的场景下，难以精准理解并适配用户自定义的低空目标，小样本泛化能力不足。

2、由此可知，相关技术中存在确定目标对象不准确的技术问题。

3、针对相关技术中存在的上述问题，目前尚未提出有效的解决方法。

技术实现思路

1、本技术实施例提供了一种对象的确定方法、装置、存储介质及电子设备，以至少解决相关技术中确定目标对象不准确的技术问题。

2、根据本技术实施例的一个方面，提供了一种对象的确定方法，包括：接收目标用户输入的文本信息以及参考图像，其中，所述文本信息用于表示待确定的目标对象的文本描述信息，所述参考图像用于提供所述目标对象的外观信息；基于所述文本信息以及所述参考图像确定融合特征；基于所述参考图像确定第一视觉特征，其中，所述第一视觉特征为对所述外观信息进行增强所得到的特征；基于所述参考图像以及融合特征确定第二视觉特征，其中，所述第二视觉特征为对所述参考图像中包括的第一对象的图像进行增强所得到的特征，所述第一对象的像素点数量小于或等于预设数量；基于所述第一视觉特征、第二视觉特征以及所述融合特征确定目标特征向量；基于所述目标特征向量从实时图像中确定出所述目标对象。

3、在一个示例性实施例中，基于所述参考图像确定第一视觉特征，包括：对所述参考图像进行多尺度特征提取操作，得到多个层级特征；确定多个所述层级特征中包括的第一层级特征，所述第一层级特征用于描述所述参考图像的视觉特征；基于所述第一层级特征确定所述第一视觉特征。

4、在一个示例性实施例中，基于所述第一层级特征确定所述第一视觉特征，包括：提取所述第一层级特征的频域特征；对所述频域特征进行降维，得到第一特征；基于所述第一特征生成第一权重；将所述频域特征与所述第一权重进行融合，得到第二特征；对所述第二特征进行重组，得到第三特征；将所述第一层级特征与所述第三特征进行融合，得到所述第一视觉特征。

5、在一个示例性实施例中，基于所述参考图像以及融合特征确定第二视觉特征，包括：对所述参考图像进行多尺度特征提取操作，得到多个层级特征；确定多个所述层级特征中包括的第一层级特征、第二层级特征以及第三层级特征，所述第一层级特征以及所述第二层级特征用于描述所述参考图像的视觉特征，所述第三层级特征用于提取所述参考图像中的语义信息；基于所述第一层级特征、所述第三层级特征以及所述融合特征确定第一子视觉特征；基于所述第二层级特征、所述第三层级特征以及所述融合特征确定第二子视觉特征；基于所述第一子视觉特征以及所述第二子视觉特征确定所述第二视觉特征。

6、在一个示例性实施例中，基于所述第一层级特征、所述第三层级特征以及所述融合特征确定第一子视觉特征，包括：提取所述第一层级特征的上下文特征，得到第四特征；对所述第四特征与所述第三层级特征进行融合，得到第五特征；基于所述融合特征确定第二权重；将所述第五特征与所述第二权重进行融合，得到第六特征；对所述第六特征进行特征提取操作，得到第七特征；提取所述第六特征的梯度特征，得到第八特征；对所述第八特征、所述第七特征以及所述第一层级特征进行拼接操作，得到所述第一子视觉特征。

7、在一个示例性实施例中，基于所述文本信息以及所述参考图像确定融合特征，包括：基于所述文本信息确定文本特征；基于所述参考图像确定图像特征；基于所述文本特征与所述图像特征确定所述融合特征。

8、在一个示例性实施例中，基于所述文本特征与所述图像特征确定所述融合特征，包括：将所述文本特征与所述图像特征进行通道拼接操作，得到拼接特征；确定所述文本特征所对应的第三权重以及所述图像特征所对应的第四权重；对所述图像特征进行映射操作，得到第九特征，所述映射操作用于将所述图像特征的第一语义空间与所述文本特征的第二语义空间进行对齐；将所述第三权重与所述文本特征进行加权，得到第一子融合特征；将所述第四权重与所述第九特征进行加权，得到第二子融合特征；将所述第一子融合特征与所述第二子融合特征的和值确定为所述融合特征。

9、在一个示例性实施例中，基于所述目标特征向量从实时图像中确定出所述目标对象，包括：确定实时图像的目标查询特征；确定所述目标查询特征与所述目标特征向量的相似度评分；基于所述相似度评分从所述实时图像中确定出所述目标对象。

10、根据本技术实施例的另一个方面，还提供了一种对象的确定装置，包括：接收模块，用于接收目标用户输入的文本信息以及参考图像，其中，所述文本信息用于表示待确定的目标对象的文本描述信息，所述参考图像用于提供所述目标对象的外观信息；第一确定模块，用于基于所述文本信息以及所述参考图像确定融合特征；第二确定模块，用于基于所述参考图像确定第一视觉特征，其中，所述第一视觉特征为对所述外观信息进行增强所得到的特征；第三确定模块，用于基于所述参考图像以及融合特征确定第二视觉特征，其中，所述第二视觉特征为对所述参考图像中包括的第一对象的图像进行增强所得到的特征，所述第一对象的像素点数量小于或等于预设数量；第四确定模块，用于基于所述第一视觉特征、第二视觉特征以及所述融合特征确定目标特征向量；第五确定模块，用于基于所述目标特征向量从实时图像中确定出所述目标对象。

11、根据本技术实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，所述计算机程序被设置为被处理器执行时执行上述任一项方法实施例中的步骤。

12、根据本技术实施例的又一个方面，提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述任一项方法实施例中的步骤。

13、根据本技术实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过所述计算机程序执行上述任一项方法实施例中的步骤。

14、通过本技术，可以先接收目标用户输入的文本信息以及参考图像，通过文本信息和参考图像可以确定出融合特征，其中，文本信息用于表示待确定的目标对象的文本描述信息，参考图像用于提供目标对象的外观信息。通过参考图像可以确定出对外观信息进行增强所得到的第一视觉特征，通过参考图像和融合特征还可以确定出对参考图像中包括的像素点数量小于或等于预设数量的第一对象的图像进行增强所得到的第二视觉特征，最后可以通过第一视觉特征、第二视觉特征以及融合特征来确定目标特征向量，进而可以通过目标特征向量从实时图像中确定出目标对象。由于可以基于对外观信息进行增强所得到的第一视觉特征、对小目标进行增强所得到的第二视觉特征以及文本描述与参考图像确定的融合特征确定目标特征向量，通过目标特征向量来确定目标对象，可以使模型在面对训练集中未见过的新型低空目标时，能够通过参考图像快速建立外观匹配，结合文本语义进行约束。不仅使得模型既不会因过度关注细节而丢失上下文，也不会因仅关注语义、忽略外观差异而导致的确定目标对象不准确的场景，还可以实现在零样本或小样本场景下的高精度目标检测。因此，可以解决确定目标对象不准确问题，达到准确确定目标对象的效果。