文本引导与深度感知的单目三维视觉语言目标定位方法及系统

本发明属于深度学习，具体涉及一种文本引导与深度感知的单目三维视觉语言目标定位方法及系统。

背景技术：

1、随着自动驾驶、机器人感知、智能安防和具身智能等技术的发展，视觉系统不仅需要识别图像中的目标对象，还需要根据自然语言描述对特定目标进行准确定位，并进一步获得目标在三维空间中的位置、尺寸、朝向和深度等属性信息。单目三维视觉语言目标定位技术由此受到广泛关注。该技术以单幅rgb图像和文本描述作为输入，在仅依赖单目视觉信息的条件下实现目标对象的语义识别与三维空间定位，具有硬件成本低、部署灵活、适用场景广等优点，在车载感知、服务机器人和人机交互等领域具有较高应用价值。

2、现有相关技术主要建立在单目三维目标检测和二维视觉语言目标定位两类技术基础之上。其中，单目三维目标检测主要研究如何从单幅图像中恢复目标的三维几何属性，通常采用几何约束、关键点表示、深度估计、多尺度特征融合以及基于transformer的全局建模等方式提升三维检测性能。二维视觉语言目标定位则主要研究如何根据文本描述在图像平面中定位对应目标，重点在于视觉特征与语言语义之间的跨模态对齐与匹配。近年来，随着多模态学习的发展，也有研究尝试将上述两类技术进行结合，构建端到端的单目三维视觉语言目标定位框架，以同时完成文本理解、目标定位与三维属性估计。

3、现有单目三维视觉语言目标定位方法在复杂场景下仍存在较为明显的局限性。多数方法通常采用统一的跨模态交互和联合解码机制，将二维语义定位与三维几何推理耦合在同一过程中，未能显式建立由二维语义定位向三维几何建模逐步过渡的处理流程。由于缺少分阶段建模，模型往往难以先稳定确定文本所指代的目标，再进一步完成目标三维属性推理，因此在目标密集、描述歧义、局部遮挡以及远距离场景中，容易出现目标匹配不准确、三维估计偏差较大的问题。同时，现有方法大多依赖全局视觉特征与文本特征进行交互，对目标相关区域缺少显式增强机制，难以有效抑制背景噪声和无关区域干扰；尤其在存在相似外观目标、复杂背景或部分遮挡的情况下，目标区域表征不够突出，会进一步降低跨模态匹配准确性并影响后续三维定位性能。此外，深度信息作为单目三维理解中的重要几何先验，在现有技术中通常未被充分利用，未能与文本引导下的目标推理过程紧密结合，从而使模型在远距离目标、小尺寸目标及高难度场景中的距离估计与三维框回归精度受到限制。

技术实现思路

1、为解决现有技术中目标区域表征不足、深度几何先验利用不充分以及二维语义定位与三维几何推理衔接不紧密等问题，本发明提出了一种文本引导与深度感知的单目三维视觉语言目标定位(tdm3d)方法。该方法以单幅rgb图像和目标文本描述作为输入，在统一框架下协同建模视觉外观信息、语言语义信息以及深度几何信息，使系统能够先对文本所描述目标建立稳定的语义对应关系，再进一步完成目标在三维空间中的位置、尺寸、朝向和深度等属性估计，从而实现单目条件下更准确、更稳健的三维视觉语言目标定位。

2、为了实现上述目的，第一方面，本发明提供一种文本引导与深度感知的单目三维视觉语言目标定位方法，包括以下步骤：

3、从单幅rgb图像中提取多尺度视觉特征；

4、通过文本编码器对输入的目标文本描述进行编码，生成文本特征；

5、通过区域感知增强头对所述多尺度视觉特征进行增强，得到增强后多尺度视觉特征；

6、基于所述增强后多尺度视觉特征，通过深度预测器生成深度感知嵌入；

7、将所述增强后多尺度视觉特征、所述文本特征、所述深度感知嵌入以及可学习目标查询输入两阶段解码器，在第一阶段进行文本引导的二维解码以建立视觉-语言对应关系，在第二阶段以所述第一阶段输出的查询为初始化进行文本引导的深度感知三维解码，以生成查询特征；

8、基于所述查询特征，通过预测头获得目标的三维定位结果。

9、进一步的，所述通过区域感知增强头对所述多尺度视觉特征进行增强包括：

10、对所述多尺度视觉特征进行自顶向下融合，生成融合金字塔特征；

11、利用双重注意力机制对所述融合金字塔特征进行精炼；

12、基于精炼后的特征生成各尺度的区域概率图；

13、利用所述区域概率图对原始多尺度视觉特征进行残差式增强，得到所述增强后多尺度视觉特征。

14、进一步的，所述双重注意力机制包括通道注意力机制和空间注意力机制，所述通道注意力机制用于学习并增强与目标相关的判别性通道，所述空间注意力机制用于生成空间注意力图以区分目标区域与背景区域；所述通道注意力机制采用se模块实现，通过对输入特征进行全局平均池化、两层通道映射及激活函数，生成各通道的重要性权重，并利用所述权重对原始特征进行通道级重标定。

15、进一步的，所述利用区域概率图对原始多尺度视觉特征进行残差式增强，按照如下方式进行增强：

16、,

17、其中，为第个尺度上的可学习标量参数，为增强后视觉特征，为原始视觉特征，为第个尺度上的区域概率图。

18、进一步的，所述在第一阶段进行文本引导的二维解码以建立视觉-语言对应关系包括：

19、在二维解码器的每一层中，查询依次通过自注意力机制进行查询间全局依赖建模，通过多尺度可变形交叉注意力机制与所述增强后多尺度视觉特征交互，通过文本交叉注意力机制与所述文本特征进行语义对齐，得到具有语义指向的二维阶段查询表示。

20、进一步的，所述在第二阶段以所述第一阶段输出的查询为初始化进行文本引导的深度感知三维解码包括：

21、将所述二维解码器最后一层输出的查询特征与对应的查询位置编码共同构成所述三维解码阶段的初始化输入，在三维解码器的每一层中，查询依次通过深度交叉注意力机制与所述深度感知嵌入融合，通过自注意力机制建模查询间全局依赖，通过文本交叉注意力机制与所述文本特征进行语义对齐，以及通过视觉交叉注意力机制与所述增强后多尺度视觉特征交互，以获得用于三维属性建模的查询特征。

22、进一步的，所述通过深度预测器生成深度感知嵌入包括：基于所述增强后多尺度视觉特征估计密集深度图，并生成所述深度感知嵌入，为后续三维几何建模提供显式先验。

23、第二方面，本发明提供一种文本引导与深度感知的单目三维视觉语言目标定位系统，包括视觉特征提取模块、文本编码模块、区域感知增强头、深度预测模块、两阶段解码器模块以及预测模块：

24、视觉特征提取模块用于从输入的单幅rgb图像中提取多尺度视觉特征；

25、文本编码模块用于对输入的目标文本描述进行编码，生成文本特征；

26、区域感知增强头用于对所述多尺度视觉特征进行增强，得到增强后多尺度视觉特征；

27、深度预测模块用于基于所述增强后多尺度视觉特征生成深度感知嵌入；

28、两阶段解码器模块包括第一阶段解码器和第二阶段解码器，所述第一阶段解码器用于接收所述增强后多尺度视觉特征、所述文本特征、所述深度感知嵌入以及可学习目标查询，进行文本引导的二维解码以建立视觉-语言对应关系，所述第二阶段解码器用于以所述第一阶段解码器输出的查询为初始化，进行文本引导的深度感知三维解码，生成查询特征；

29、预测模块用于基于所述查询特征，获得目标的三维定位结果。

30、第三方面，本发明提出一种计算机设备，包括处理器和存储器，所述存储器用于存储计算机可执行程序，所述处理器调用并执行存储器中的计算机可执行程序，能够实现第一方面所述的文本引导与深度感知的单目三维视觉语言目标定位方法。

31、还提供一种计算机可读存储介质，该存储介质中存储有计算机程序，当所述计算机程序被处理器执行时，能够实现第一方面所述的文本引导与深度感知的单目三维视觉语言目标定位方法。

32、与现有技术相比，本发明至少具有以下有益效果：本发明提出的文本引导深度感知单目三维视觉语言目标定位方案，能够在单幅rgb图像条件下实现目标的准确语义定位与三维属性估计。相较于现有技术，本发明通过引入raeh，能够有效突出目标相关区域、抑制背景干扰，提升复杂场景下的跨模态匹配能力；通过融合深度感知嵌入，为三维空间推理提供更可靠的几何先验，提高远距离、小目标及遮挡场景中的定位精度；通过构建二维语义定位到三维几何推理的两阶段渐进式解码过程，增强了目标识别与三维建模之间的层次性和稳定性;因此，本发明具有定位精度高、鲁棒性强、适应复杂场景能力好的优点，具有较高的实际应用价值。