一种面向无监督可见光-红外行人重识别的小波引导深浅特征交互方法
本发明涉及无监督可见光-红外行人重识别,更具体的说是涉及一种面向无监督可见光-红外行人重识别的小波引导深浅特征交互方法。
背景技术:
1、行人重识别(reid)旨在匹配由非重叠摄像机拍摄的同一人的图像。近年来,由于其在智能视频监控应用环境中的关键作用,reid受到了计算机视觉领域的广泛关注。在有监督设置下,现有reid方法已经在rank-1、map等主要评价指标上取得了较为优异的性能。然而,这类方法通常依赖光照充足环境下采集的可见光图像。在夜间、弱光或复杂照明环境下,可见光摄像机难以捕获清晰且稳定的行人外观信息,从而限制了单模态reid方法在全天候监控场景中的实际应用,已有研究针对us-vi-reid提出了多种有效方法。这类方法通常借助聚类生成伪标签,并利用伪监督信号优化模型,以缓解人工标注不足的问题。部分方法进一步联合浅层细节特征与深层语义特征,以挖掘更充分的跨模态判别信息。然而,可见光与红外图像在成像机制、颜色分布、纹理细节和热辐射响应等方面存在显著差异,直接利用浅层细节特征进行跨模态表征学习仍然面临较大挑战。因此,如何提供一种面向无监督可见光-红外行人重识别的小波引导深浅特征交互方法是本领域技术人员亟需解决的问题。
技术实现思路
1、有鉴于此,本发明提供了一种面向无监督可见光-红外行人重识别的小波引导深浅特征交互方法,能够在不依赖身份标注的情况下学习可靠的跨模态表征。
2、为了实现上述目的,本发明提供如下技术方案:
3、一种面向无监督可见光-红外行人重识别的小波引导深浅特征交互方法,采用小波引导的深浅特征交互框架wgsdi-net进行行人重识别,其中,
4、wgsdi-net包括输入层、模态特征提取层、共享编码层、小波引导的深浅特征交互模块wsdim、自适应细粒度代理学习模块afpm、全局先验引导的局部平滑模块gpglsm和输出层;
5、输入层采用双路径并行结构分别处理可见光模态和红外光模态;
6、模态特征提取层用于分别提取双模态的深层语义特征和浅层细节特征;
7、共享编码层用于共享双模态深层语义特征;
8、wsdim模块应用于聚类阶段,利用深层语义信息对浅层细节特征进行自适应引导与调制,在保留身份相关局部信息的同时抑制无关噪声,通过逆小波变换重构鲁棒交互特征;
9、afpm模块应用于训练阶段,以深浅协同学习框架sdcl为基线,保留协同邻域学习模块cnl的结构与训练逻辑,采用差异化监督策略优化深浅特征差异优化代理监督机制,基于模块损失函数增强类间判别性;
10、gpglsm模块应用于训练阶段,由模态间全局先验排序和模态内局部一致性平滑两部分组成,用于实现跨模态伪标签分配和跨模态伪标签平滑处理;
11、输出层用于输出检索的行人特征,实现行人重识别。
12、可选的,wsdim模块中完成自适应引导与调制浅层细节特征包括:
13、将浅层细节特征重排为二维空间特征图,再执行二维离散小波变换(dwt)获得低频结构分量与三个高频细节分量;
14、将深层语义特征转换为语义引导权重,利用语义引导权重对三个高频细节分量进行语义约束与噪声抑制,完成高频特征纯化,获得纯化高频分量;
15、将低频结构分量和纯化高频分量进行空间维度对齐,执行逆小波变换(iwt)重构特征图,将重构后的特征图展平为序列形式,形成纯化浅层细节特征,完成自适应引导与调制浅层细节特征。
16、可选的,获得纯化高频分量的计算方式为:
17、,;
18、其中,依次为水平细节分量、垂直细节分量和对角线细节分量,代表经卷积映射、特征拆分与语义权重加权后得到的3个纯化高频分量,,和分别表示可见光模态和红外模态,[]示特征融合操作,表示特征拆分操作,表示通道维拼接,表示卷积映射操作,表示逐元素乘法。
19、可选的,wsdim模块还包括通过可学习融合权重α1自适应平衡原始特征与纯化特征的贡献,在原始浅层细节特征与纯化浅层细节特征之间进行柔性权衡;对应表达式为:
20、,
21、其中,表示经过小波引导深浅交互后的特征表示,为浅层细节特征,表示sigmoid激活函数,表示控制大小的可学习参数。
22、可选的,afpm模块包括:
23、利用协同邻域学习模块(cnl)给定聚类生成的伪标签,构造第个伪类别的样本集合;
24、采用深层语义特征均值作为深层类别原型,获取模态下的深层代理分类损失;
25、引入稳定–自适应双代理记忆机制,构建模态下第个伪类别的稳定代理和自适应代理,形成浅层双代理集合;
26、对两个代理分别更新,更新完成后,对稳定代理和自适应代理进行归一化;
27、对归一化的稳定代理和自适应代理计算代理分类损失,并将两种代理监督进行融合,得到浅层双代理损失;
28、在深层语义特征上引入实例级困难负样本挖掘,基于相似度选取负样本作为难样本,并结合初始样本计算获得实例级困难负样本挖掘损失;
29、结合深层代理分类损失、浅层双代理损失和实例级困难负样本挖掘损失确定自适应代理学习模块总损失,增强类间判别性。
30、可选的,计afpm模块总损失表达式为:
31、,
32、,
33、,
34、;
35、其中,为深层代理分类损失,为浅层双代理损失,为实例级困难负样本挖掘损失,为对应的损失权重,为第个样本的深层语义特征,表示样本所属伪类别对应的深层类别原型,表示模态下的伪类别总数,为伪类别索引,τ为温度系数,和分别表示模态下基于稳定代理和自适应代理计算得到的浅层代理分类损失,表示样本与其对应深层类别代理之间的正样本相似度,表示样本与困难负样本集合之间的累计负样本相似度。
36、可选的,模态间全局先验排序包括:
37、基于伪类别样本集合及其深层类别原型构建原型集合,,
38、基于深层类别原型构造代价矩阵,将跨模态伪类别匹配建模为带熵正则的最优传输问题,得到可见光伪类别到红外伪类别的软匹配矩阵;
39、基于软匹配矩阵对传输矩阵进行锐化,并依据置信度选取红外类别索引,将红外类别索引对应的伪标签样本映射到实例样本,获得ot先验;
40、利用ot先验增强实例级可见光样本与红外样本之间的深层跨模态相似度;
41、根据深层跨模态相似度,为可见光样本选取深层红外近邻,形成深层候选邻域,并进一步获得浅层红外近邻,形成浅层候选邻域;
42、统计深层候选邻域中红外伪类别在浅层邻域中的出现次数,并将出现次数最高的红外伪类别作为该样本的跨模态伪标签。
43、可选的,模态内局部一致性平滑包括:
44、基于模态深层语义特征与浅层细节特征构造模态内相似度矩阵,并将两者融合得到综合相似度矩阵;
45、基于可见光模态内相似度矩阵选取模态内近邻,构造邻接矩阵;
46、利用邻接矩阵对样本的跨模态伪标签进行邻域传播,得到平滑后的标签分布;
47、选取标签分布中概率最大的类别作为平滑后的跨模态伪标签,并作为后续协同邻域学习的伪监督信号,从而减少错误邻居传播带来的训练干扰。
48、可选的,模型训练的整体损失函数表达式为:
49、,
50、其中,用于平衡afpm损失项的贡献权重,代表原始算法的整体损失。
51、经由上述的技术方案可知,与现有技术相比,本发明提供了一种面向无监督可见光-红外行人重识别的小波引导深浅特征交互方法,具有以下有益效果:
52、1)本发明提出一种小波引导的深浅特征交互框架wgsdi-net,并设计核心模块wsdim。该模块通过小波分解建模浅层细节特征的低频结构与高频细节,并利用深层语义信息自适应调制高频分量,从而抑制非身份相关噪声并增强跨模态表征的鲁棒性;
53、2)本发明设计自适应代理学习模块afpm与全局先验引导的局部平滑模块gpglsm,以提升无监督训练的稳定性。afpm通过稳定代理与自适应代理刻画伪类别分布,并结合困难负样本挖掘缓解伪标签噪声;gpglsm利用全局跨模态先验约束局部邻域关系,减少错误邻居传播并提升跨模态对齐一致性;
54、3)本发明在sysu-mm01和regdb两个主流vi-reid基准数据集上进行充分实验。结果表明,wgsdi-net相较于代表性us-vi-reid方法取得了更优或具有竞争力的性能,验证了其有效性和鲁棒性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com