目标跟踪处理方法、装置、存储介质及电子设备与流程

本申请涉及计算机视觉，具体涉及一种目标跟踪处理方法、装置、存储介质及电子设备。

背景技术：

1、目标跟踪时通过结合普通摄像头（rgb摄像头）和其他传感器（如热成像、深度相机、事件相机、声呐等）的多模态感测数据，可以提高目标跟踪的跟踪效果。但是，目前通过多模态感测数据进行目标跟踪时，通常对计算资源需求高，难以在无人机、嵌入式设备等资源受限设备上进行；而且，在复杂场景（如夜间、遮挡、高速运动等）中跟踪性能明显下降，实用性受限。

技术实现思路

1、本申请实施例提供一种目标跟踪处理方案，可以实现在低计算资源条件下实时进行高性能的目标跟踪。

2、本申请实施例提供以下技术方案：

3、根据本申请的一个实施例，一种目标跟踪处理方法，其包括：从多模态感测数据提取得到多模态目标特征；将所述多模态目标特征进行跨模态特征融合处理，得到多模态融合特征；将首帧模板特征和动态模板特征进行聚合处理，得到聚合模板特征；将所述多模态融合特征和所述聚合模板特征进行融合处理，得到综合特征，所述综合特征用于预测目标位置。

4、在本申请的一些实施例中，所述将所述多模态目标特征进行跨模态特征融合处理，得到多模态融合特征，包括：对所述多模态目标特征进行跨模态交叉注意力计算，得到跨模态特征；对所述跨模态特征进行联合空间维度和通道维度的融合增强处理，得到所述多模态融合特征。

5、在本申请的一些实施例中，所述对所述跨模态特征进行联合空间维度和通道维度的融合增强处理，得到所述多模态融合特征，包括：对所述跨模态特征进行全局平均池化处理，得到压缩后特征；将所述压缩后特征进行卷积处理，得到通道权重；基于所述跨模态特征的空间坐标进行局部邻域像素关联权重计算，得到空间权重；将所述通道权重与所述空间权重逐点相乘后叠加至所述跨模态特征，得到叠加特征；根据所述叠加特征得到所述多模态融合特征。

6、在本申请的一些实施例中，所述根据所述叠加特征得到所述多模态融合特征，包括：将所述叠加特征进行卷积处理，得到第一特征；将所述卷积后特征与所述多模态目标特征逐元素相加，得到第二特征；根据所述第二特征，得到所述多模态融合特征。

7、在本申请的一些实施例中，所述将首帧模板特征和动态模板特征进行聚合处理，得到聚合模板特征，包括：将所述首帧模板特征和所述动态模板特征进行加权融合，得到融合模板特征；对所述融合模板特征进行噪声过滤处理，得到所述聚合模板特征。

8、在本申请的一些实施例中，所述将所述多模态融合特征和所述聚合模板特征进行融合处理，得到综合特征，包括：将所述多模态融合特征和所述聚合模板特征进行拼接，得到拼接后特征；对所述拼接后特征进行卷积处理，得到所述综合特征。

9、在本申请的一些实施例中，在所述将所述多模态融合特征和所述聚合模板特征进行融合处理，得到综合特征之后，所述方法还包括：基于所述综合特征进行逐区域相似度匹配，得到所述综合特征中不同候选区域的区域特征与目标匹配特征的相似度；根据最大的所述相似度对应的所述候选区域的区域位置，得到所述预测目标位置。

10、根据本申请的一个实施例，一种目标跟踪处理装置，所述装置包括：特征提取模块，用于：从多模态感测数据提取得到多模态目标特征；特征融合模块，用于：将所述多模态目标特征进行跨模态特征融合处理，得到多模态融合特征；特征聚合模块，用于：将首帧模板特征和动态模板特征进行聚合处理，得到聚合模板特征；特征综合模块，用于：将所述多模态融合特征和所述聚合模板特征进行融合处理，得到综合特征，所述综合特征用于预测目标位置。

11、根据本申请的另一实施例，一种存储介质，其上存储有计算机程序，当所述计算机程序被电子设备的处理器执行时，使电子设备执行本申请实施例所述的方法。

12、根据本申请的另一实施例，一种电子设备可以包括：存储器，存储有计算机程序；处理器，读取存储器存储的计算机程序，以执行本申请实施例所述的方法。

13、根据本申请的另一实施例，一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行本申请实施例所述的各种可选实现方式中提供的方法。

14、本申请实施例中，从多模态感测数据提取得到多模态目标特征；将所述多模态目标特征进行跨模态特征融合处理，得到多模态融合特征；将首帧模板特征和动态模板特征进行聚合处理，得到聚合模板特征；将所述多模态融合特征和所述聚合模板特征进行融合处理，得到综合特征，所述综合特征用于预测目标位置。

15、以本申请实施例的这种方式，通过多模态感测数据进行目标跟踪时，将多模态目标特征跨模态融合得到表征多模态语义的多模态融合特征，将首帧模板特征和动态模板特征聚合得到表征跟踪目标稳定时空外观信息的聚合模板特征；将多模态融合特征和聚合模板特征融合得到同时包含多模态语义和稳定时空外观信息的综合特征，基于该综合特征即可实现高性能的目标跟踪效果，而且，可以通过轻量级的特征融合模块和聚合模块实现跨模态特征融合处理以及模板特征的聚合处理，对计算资源需求很低，因此，可以实现在低计算资源条件下实时进行高性能的目标跟踪。

1.一种目标跟踪处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述将所述多模态目标特征进行跨模态特征融合处理，得到多模态融合特征，包括：

3.根据权利要求2所述的方法，其特征在于，所述对所述跨模态特征进行联合空间维度和通道维度的融合增强处理，得到所述多模态融合特征，包括：

4.根据权利要求3所述的方法，其特征在于，所述根据所述叠加特征得到所述多模态融合特征，包括：

5.根据权利要求1所述的方法，其特征在于，所述将首帧模板特征和动态模板特征进行聚合处理，得到聚合模板特征，包括：

6.根据权利要求1所述的方法，其特征在于，所述将所述多模态融合特征和所述聚合模板特征进行融合处理，得到综合特征，包括：

7.根据权利要求1所述的方法，其特征在于，在所述将所述多模态融合特征和所述聚合模板特征进行融合处理，得到综合特征之后，所述方法还包括：

8.一种目标跟踪处理装置，其特征在于，包括：

9.一种存储介质，其特征在于，其上存储有计算机程序，当所述计算机程序被电子设备的处理器执行时，使电子设备执行权利要求1至7任一项所述的方法。

10.一种电子设备，其特征在于，包括：存储器，存储有计算机程序；处理器，读取存储器存储的计算机程序，以执行权利要求1至7任一项所述的方法。