基于模板条件稀疏专家适配器的目标跟踪方法与流程
本发明属于目标跟踪,具体涉及一种基于模板条件稀疏专家适配器的目标跟踪方法。
背景技术:
1、目标跟踪是计算机视觉领域的一项基础性研究课题,旨在根据视频序列初始帧或历史帧中给定的目标状态(如边界框),在后续帧的搜索区域内持续、准确地预测目标的位置和尺度。该技术已广泛应用于视频监控、无人机巡检、机器人感知、智能交通系统以及人机交互等多种场景。随着深度学习技术的发展,尤其是transformer(变换器)架构在视觉任务中的成功应用,基于transformer的目标跟踪方法凭借其强大的全局依赖关系建模能力,已成为该领域的主流研究方向之一。
2、现有技术中,基于transformer的单流目标跟踪网络通常将包含目标模板的图像块嵌入标记与当前帧搜索区域的图像块嵌入标记组合成一个联合标记序列,并将该联合标记序列输入由多头自注意力层和前馈网络层构成的主干网络,利用自注意力机制建立目标模板与搜索区域之间所有标记对的全连接依赖关系,从而在特征层实现目标模板与搜索区域信息的充分交互(参见文献:chen, x., yan, b., zhu, j., wang, d., yang, x.,&lu,h. (2021). transformer tracking. in proceedings of the ieee/cvf conference oncomputer vision and pattern recognition (pp. 8126-8135).)。为进一步提升跟踪性能,部分现有方法尝试在transformer主干网络中引入适配器模块以实现参数高效的微调,或引入混合专家网络以期通过路由机制为不同输入选择不同的专家进行差异化处理。
3、然而,现有方法仍存在以下缺陷:首先,单流transformer跟踪网络对不同视频、不同目标状态以及不同搜索区域标记使用相同的固定前馈变换参数,难以针对遮挡、形变、尺度变化及背景干扰等差异明显的目标状态进行自适应特征变换,而直接增加网络深度或宽度又会显著增加参数量和计算开销。其次,单一适配器模块的特征变换容量有限,无法同时适应多种差异显著的目标状态变化,难以满足复杂跟踪场景下的特征适配需求。再次,混合专家网络在稀疏化处理方面存在不足:若对所有专家均执行完整前向计算,则不能充分获得稀疏结构带来的计算优势;若采用固定相加方式融合适配器特征和专家特征,则难以根据不同输入特征动态调节通用适配信息与专家特化信息的贡献比例,限制了模型的特征表达能力和灵活适应能力。上述缺陷共同制约了目标跟踪方法在复杂场景下的跟踪鲁棒性和实时性。
技术实现思路
1、为了解决现有技术中存在的上述问题,本发明提供了一种基于模板条件稀疏专家适配器的目标跟踪方法。本发明要解决的技术问题通过以下技术方案实现:
2、一种基于模板条件稀疏专家适配器的目标跟踪方法包括:
3、s1,获取包含待跟踪目标的模板图像和当前帧的搜索图像;
4、s2,将所述模板图像和所述搜索图像输入训练完成的目标跟踪模型,以使所述目标跟踪模型对所述模板图像和搜索图像进行共享处理和位置编码,得到联合标记序列;基于所述联合标记序列通过稀疏专家路径执行前k项稀疏选择输出稀疏专家特征,以及通过适配器路径输出适配器特征,再将所述稀疏专家特征与所述适配器特征进行门控融合得到最终融合特征序列;基于所述最终融合特征序列预测所述搜索图像中的目标位置。
5、有益效果:
6、第一,本发明以模板标记与搜索标记经多头自注意力和前馈网络交互后的联合特征作为模板条件稀疏专家适配器的输入,使前k项稀疏选择能够依据包含目标条件信息的输入特征动态选择私有专家,实现了对不同目标状态的自适应特征变换;同时按照前k项专家索引仅将输入特征分发至被选择的私有专家,未被选择的专家不执行前向计算,在提升模型性能的同时有效控制了计算开销。
7、第二,本发明采用适配器模块与私有专家组并行的双路径结构,适配器路径提供稳定的通用特征适配,稀疏专家路径针对不同目标状态提供差异化特征变换,两条路径相互补充;同时根据两条路径的输出生成门控系数,动态调节适配器特征和稀疏专家特征的贡献比例,相较固定求和方式具有更强的输入自适应能力,提升了模型的特征表达能力和灵活适应能力。
8、第三,本发明引入候选消除模块,在主干网络的两个目标感知transformer层之间,根据模板标记与搜索标记的注意力聚合结果,按照得分高低保留预定比例的搜索标记,将未保留部分用零特征填充后输入下一层,后续层仅对保留的搜索标记执行特征运算,在搜索标记维度上进一步减少了无效计算,与稀疏专家路径在专家维度上的计算缩减相互协同,共同提升了目标跟踪方法的推理效率。
9、第四,本发明在训练阶段引入专家负载均衡损失,对各私有专家被选中的频率分布进行约束,使各专家在训练过程中被选中的次数趋于均衡,有效防止路由选择过度集中于少数专家而导致的路由坍塌问题,保证了所有私有专家均得到充分训练,充分发挥了混合专家结构的容量优势,提升了模型在复杂跟踪场景下的泛化能力和稳定性。
10、以下将结合附图及实施例对本发明做进一步详细说明。
1.一种基于模板条件稀疏专家适配器的目标跟踪方法,其特征在于,包括:
2.根据权利要求1所述的基于模板条件稀疏专家适配器的目标跟踪方法,其特征在于,所述目标跟踪模型包括依次连接的共享图像块嵌入模块、位置编码模块、主干网络和预测头;所述主干网络包括级联的多个目标感知transformer层,第一个目标感知transformer层的输入特征为共享图像块嵌入模块输出的联合标记序列,除第一个和最后一个目标感知transformer层外,其余目标感知transformer层均为当前目标感知transformer层,用于输出当前融合特征序列;最后一个目标感知transformer层输出的当前融合特征序列为最终融合特征序列。
3.根据权利要求2所述的基于模板条件稀疏专家适配器的目标跟踪方法,其特征在于,s2包括:
4.根据权利要求3所述的基于模板条件稀疏专家适配器的目标跟踪方法,其特征在于,每个目标感知transformer层均包括:第一层归一化模块、多头自注意力模块、第二层归一化模块、前馈网络和模板条件稀疏专家适配器;其中,第一层归一化模块的输入与所述多头自注意力模块的输出通过残差连接,所述第二层归一化模块与前馈网络的输出通过残差连接,所述模板条件稀疏专家适配器的输入与输出通过残差连接。
5.根据权利要求4所述的基于模板条件稀疏专家适配器的目标跟踪方法,其特征在于,s2.3包括:
6.根据权利要求5所述的基于模板条件稀疏专家适配器的目标跟踪方法,其特征在于,所述模板条件稀疏专家适配器包括适配器路径、稀疏专家路径,拼接层和门控映射层;所述适配器路径和所述稀疏专家路径均输入第二次残差特征,所述适配器路径输出适配器特征,所述稀疏专家路径输出稀疏专家特征,所述适配器特征与所述稀疏专家特征通过所述拼接层组合或拼接得到拼接特征,所述拼接特征通过所述门控映射层的映射处理得到当前融合特征序列。
7.根据权利要求6所述的基于模板条件稀疏专家适配器的目标跟踪方法,其特征在于,所述适配器路径由适配器模块、向下投影层、非线性激活层和向上投影层组成,所述稀疏专家路径由第三层归一化模块、稀疏选择模块和加权融合模块组成。
8.根据权利要求7所述的基于模板条件稀疏专家适配器的目标跟踪方法,其特征在于,s2.3.3包括:
9.根据权利要求4所述的基于模板条件稀疏专家适配器的目标跟踪方法,其特征在于,所述主干网络还包括若干候选消除模块,所述候选消除模块的数量不大于所述目标感知transformer层的数量,每个候选消除模块设置在两个目标感知transformer层之间,所述候选消除模块,用于将编码后的模板标记序列与当前融合特征序列进行注意力聚合得到注意力聚合特征序列,从所述注意力聚合特征序列中按照得分高低保留预定比例的注意力聚合特征,并将未保留的注意力聚合特征部分用零特征填充得到候选消除特征序列;将该候选消除特征序列输入至下一个目标感知transformer层。
10.根据权利要求4所述的基于模板条件稀疏专家适配器的目标跟踪方法,其特征在于,所述训练完成的目标跟踪模型的训练过程包括:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com