基于全局级别和局部级别联合约束的跨模态行人再识别方法

技术特征：
1.一种基于全局级别和局部级别联合约束的跨模态行人再识别方法，其特征在于，包括如下步骤：步骤1：输入两种模态的图像至gloc-net模型，进入步骤2；步骤2：将步骤1中输入的两种模态的图像生成富含全局性的共享特征，进入步骤3；步骤3：从共享特征中提取对应的全局特征，进入步骤4；步骤4：从共享特征中提取对应的局部特征，进入步骤5；步骤5：对步骤3获得的全局特征与步骤4获得的局部特征进行全局级别和局部级别联合约束，并通过反向传播的方式更新模型参数，进入步骤6；步骤6：若达到指定的训练轮数，则进行步骤7，否则继续完成训练，返回步骤1。2.根据权利要求1所述的一种基于全局级别和局部级别联合约束的跨模态行人再识别方法，其特征在于，步骤2中，利用resnet50网络和非局部注意力块将步骤1中输入的两种模态的图像生成富含全局性的共享特征；具体步骤如下：步骤2-1：将两种模态的图像输入网络，分别经过一层卷积网络，用来提取两种模态的浅层特征f
iori-rgb
和步骤2-2：将f
iori-rgb
和同时输入由resnet50后四层的卷积层和非局部注意力块组成的网络中，分别形成两种模态的共享特征f
ishare-rgb
和步骤2-3：输出共享特征f
ishare-rgb
和3.根据权利要求2所述的一种基于全局级别和局部级别联合约束的跨模态行人再识别方法，其特征在于，步骤2-1中，两种模态的图像经过的卷积层的结构相同，参数不同。4.根据权利要求2所述的一种基于全局级别和局部级别联合约束的跨模态行人再识别方法，其特征在于，resnet50的四个卷积层内的第二个和第三个卷积层处，分别嵌入两个非局部注意力块，组合为步骤2-2的提取共享特征的网络。5.根据权利要求1所述的一种基于全局级别和局部级别联合约束的跨模态行人再识别方法，其特征在于，步骤3中提取全局特征的步骤如下：步骤3-1：将步骤2获得的共享特征f
ishare-rgb
和进行全局平均池化，得到富含全局性的准全局特征f
igp-rgb
和步骤3-2：将f
igp-rgb
和输入bn层，生成最终的全局特征f
ig-rgb
和步骤3-3：输出全局特征f
ig-rgb
和6.根据权利要求5所述的一种基于全局级别和局部级别联合约束的跨模态行人再识别方法，其特征在于，步骤3-2中，使用的bn层可使数据分布近似正态分布，避免梯度消失问题。7.根据权利要求1所述的一种基于全局级别和局部级别联合约束的跨模态行人再识别方法，其特征在于，步骤4中提取局部特征的步骤如下：步骤4-1：利用1
×
1卷积操作，将步骤2获得的共享特征f
ishare-rgb
和的通道数降至原来的四分之一，得到f
ishare-rgb
′
和
步骤4-2：对f
ishare-rgb
′
和进行四等分的划分操作，并分别对每个等分后的部分进行平均池化的操作，得到由四个局部特征块组成的局部特征组和步骤4-3：将局部特征组f
ilp-rgb
和分别输入到对应的bn层中，分别将经过bn层的局部特征组内的局部特征块拼接，得到最终的局部特征和步骤4-4：输出局部特征和8.根据权利要求1所述的一种基于全局级别和局部级别联合约束的跨模态行人再识别方法，其特征在于，步骤5中的全局级别和局部级别联合约束由全局级别约束损失、局部级别约束损失和局部特征约束全局特征损失组成。9.根据权利要求1所述的一种基于全局级别和局部级别联合约束的跨模态行人再识别方法，其特征在于，步骤5中全局级别约束损失和局部级别约束损失均基于vi-reid任务的困难三元组损失和身份损失。10.根据权利要求9所述的一种基于全局级别和局部级别联合约束的跨模态行人再识别方法，其特征在于，基于vi-reid任务的困难三元组损失和身份损失在传统三元组损失和身份损失的基础上，考虑了两种不同模态，并增加了困难采样的过程；困难三元组损失和身份损失会对两种模态的困难样本进行困难采样，从中选出最难匹配的正样本对、最容易匹配的负样本对，进而计算出损失。

技术总结
本发明公开了一种基于全局级别和局部级别联合约束的跨模态行人再识别方法。首先，提出了基于非局部注意力机制的残差网络，提取共享特征，减少跨模态差异。其次，提出了全局级别和局部级别的联合约束，增加对背景、遮挡等噪声的鲁棒性，减少模内差异。特别地，利用对局部特征的划分策略，避免了非局部注意力机制缺少位置相关性的问题，进一步增加了模型的鲁棒性。性。性。


技术研发人员：王进 张天奇 江锴威
受保护的技术使用者：南通大学
技术研发日：2022.02.10
技术公布日：2022/5/31