一种基于深度学习的多目标匹配方法与流程

技术特征：
1.一种基于深度学习的多目标匹配方法，包括：获取待识别图像，所述待识别图像包括某一帧图像和该帧图像对应的id掩码图像；将待识别图像输入至预先训练好的深度神经网络模型，该深度神经网络模型包括特征提取模块、相关性模块和预测模块；利用特征提取模块对待识别的图像进行处理，得到待识别图像的特征图；利用相关性模块对所述特征图进行处理，得到具有自我感知时空相关性的输入特征图；利用预测模块对所述输入特征图进行处理，获得预测前后两帧待识别图像之间的目标关联度。2.根据权利要求1所述的基于深度学习的多目标匹配方法，其特征在于，所述特征提取模块包括依次连接的拼接层concat0和特征提取层backbone，拼接层concat0的输入用于输入待识别图像，特征提取层backbone的输出与相关性模块的输入连接。3.根据权利要求2所述的基于深度学习的多目标匹配方法，其特征在于，所述相关性模块包括拼接层concat1、加权矩阵相乘层mul_qk、自注意力图特征值调整层softmax和矩阵相乘层mul_v；拼接层concat1的输入与特征提取模块中的特征提取层backbone的输出连接，拼接层concat1、加权矩阵相乘层mul_qk、自注意力图特征值调整层softmax依次连接，拼接层concat1的输出与自注意力图特征值调整层softmax的输出均与矩阵相乘层mul_v的输入连接，矩阵相乘层mul_v的输出与预测模块的输入连接。4.根据权利要求3所述的基于深度学习的多目标匹配方法，其特征在于，所述预测模块包括依次连接的卷积层conv0、卷积层conv1、全局均值池化层avepooling和全连接层fc；卷积层conv0的输入与相关性模块中的矩阵相乘层mul_v的输出连接，全连接层fc输出预测前后两帧待识别图像之间的目标关联度。5.根据权利要求1所述的基于深度学习的多目标匹配方法，其特征在于，所述深度神经网络模型的训练步骤包括：收集各种场景，各种光线、各种角度下的行人视频，将行人视频按帧分离得到帧图像；获取样本图像训练集，训练集中的每个样本图像是通过对前后两个帧图像中的行人目标关联信息进行标注得到的图像；构建所述深度神经网络模型的目标损失函数；将所述样本图像训练集输入至定义好的深度神经网络模型进行训练，得到所述预训练后的深度神经网络模型。6.根据权利要求5所述的基于深度学习的多目标匹配方法，其特征在于，所述目标损失函数l为：其中，l
id
表示每一个行人目标匹配的损失函数，目标匹配的损失函数采用的是经典的交叉熵损失函数，n
valid
表示当前样本图像中出现的行人目标数目，α表示损失函数计算开关，*表示乘积。
7.根据权利要求5所述的基于深度学习的多目标匹配方法，其特征在于，在对前后两个帧图像中的行人目标关联信息进行标注，具体步骤如下：基于深度学习的行人检测框架获取行人视频中每一帧图像中的行人位置作为行人位置信息，对行人位置信息进行标注，得到行人目标位置信息；根据每个帧图像中的行人目标位置信息，生成相应的id掩码图像；任意选择包含行人目标的一帧图像作为前一帧图像，在之后的设定帧内，任意选择一幅图像作为当前帧图像，将当前帧图像、当前帧图像的id掩码图像、前一帧图像、前一帧图像的id掩码图像一起组成运动图像对；对于每一个运动图像对进行人工审核，进行不同帧图像中行人目标id关联，获得行人目标的id关联信息，生成一个长度为n 1的one-hot类型的关联特征向量；按照行人目标的id关联信息中序号值的大小，按顺序串联每一个行人目标的关联特征向量。8.根据权利要求7所述的基于深度学习的多目标匹配方法，其特征在于，id掩码图像的生成过程如下：生成一幅和该帧图像分辨率相同且所有像素值均为0的掩码图像；获取该帧图像中的所有行人目标的数目；在该数目值范围内，随机的对每个行人目标赋予唯一的id序号；最后在掩码图像中，把行人目标位置信息范围内的所有像素赋值为该目标的id序号值，得到id掩码图像。9.根据权利要求7所述的基于深度学习的多目标匹配方法，其特征在于，行人目标的id关联信息的关联方法如下：若前后帧图像为相同行人目标，则把该行人目标在前一帧id掩码图像中的id序号值作为该目标在当前帧图像中的预测类别序号；若前后帧图像为不相同行人目标，则把当前帧图像中行人目标的预测类别序号设置为n 1；基于每个目标的预测类别序号，生成一个长度为n 1的one-hot类型的关联特征向量。10.一种计算机可读储存介质，其特征在于，所述计算机可读储存介质上存储有若干获取分类程序，所述若干获取分类程序用于被处理器调用并执行如权利要求1-9任一所述的多目标匹配方法。

技术总结
本发明公开了一种基于深度学习的多目标匹配方法，包括：获取待识别图像，所述待识别图像包括某一帧图像和该帧图像对应的ID掩码图像；将待识别图像输入至预先训练好的深度神经网络模型，该深度神经网络模型包括特征提取模块、相关性模块和预测模块；利用特征提取模块对待识别的图像进行处理，得到待识别图像的特征图；利用相关性模块对所述特征图进行处理，得到具有自我感知时空相关性的输入特征图；利用预测模块对所述输入特征图进行处理，获得预测前后两帧待识别图像之间的目标关联度；该多目标匹配方法借助深度神经网络模型，直接端对端的完成多目标关联匹配过程，通用性强，实时性高，误差来源更少，可长时间跟踪，跟踪效果鲁棒性强。棒性强。棒性强。


技术研发人员：尼秀明 张卡 何佳
受保护的技术使用者：安徽清新互联信息科技有限公司
技术研发日：2021.11.17
技术公布日：2022/3/15