一种面向连续视觉识别的参数记忆路由方法、系统及电子设备
本发明涉及计算机视觉和连续学习,尤其涉及一种面向连续视觉识别的参数记忆路由方法、系统及电子设备。
背景技术:
1、随着计算机视觉技术在智慧安防、交通监控、视频分析和公共安全等系统中的广泛应用,如何使视觉模型在长期运行过程中持续处理来自不同摄像设备、采集场景和数据来源的视觉数据,成为视觉识别领域需要解决的问题。在实际部署阶段,视觉模型通常按照数据域或应用环境的到达顺序持续学习视觉任务,不同域的视觉样本在视角、光照、背景、对象外观和图像质量等方面存在差异。以行人重识别为例,系统需要在跨非重叠摄像头之间识别同一行人,并随着新摄像头和新场景的接入持续适应新的数据域。若直接利用当前域数据更新既有模型参数,当前域学习得到的表征容易覆盖此前域中学习到的判别性表征,造成灾难性遗忘;显著的域间差异还会使当前域训练产生的参数更新与历史域的参数更新相互干扰,降低模型对已学习域的识别能力,并影响模型对未见域的泛化。
2、针对上述连续学习过程中的灾难性遗忘问题,现有连续学习方法被提出,用于在学习新域数据的过程中保持历史域知识,以提升模型在持续变化环境中的识别稳定性。现有连续学习方法主要分为以下几类:
3、1.基于历史样本或代表性信息回放的方法:该类方法,如自适应知识积累(adaptive knowledge accumulation,aka)和伪任务知识保持(pseudo task knowledgepreservation,ptkp)等,在学习新域前或学习新域过程中保存历史域图像、代表性样本或相应信息,并将保存内容与当前域数据共同用于模型训练,以维持模型对历史域的识别能力。其主要流程包括保存历史域信息、获取当前域数据、将历史域信息与当前域数据共同用于训练,以及更新模型参数,从而实现模型对新旧域知识的兼顾。然而,该类方法需要保存行人图像等历史数据,会带来存储、隐私和数据管理负担,在历史数据受限或不宜保留的应用场景中难以实施。
4、2.基于知识蒸馏、知识分解或表征约束的方法:该类方法,如长短期知识巩固(long short-term knowledge consolidation,lstkc)、长短期知识分解与巩固(longshort-term knowledge decomposition and consolidation,lstkc++)、多样化表征嵌入(diverse representation embedding,dre)、分布感知知识原型构建(distribution-aware knowledge prototyping,dkp)、分布感知知识对齐与原型构建(distribution-aware knowledge aligning and prototyping,dkp++)和提示引导自适应知识巩固(prompt-guided adaptive knowledge consolidation,paema)等,利用当前域样本,将历史模型输出、历史表征、原型摘要或对齐信息作为约束,促使更新后的模型保持与历史模型相近的响应;部分方法还采用提示引导方式调节当前域学习过程。该类方法不必直接保存历史图像,但在域间差异较大时,当前域样本难以充分激活历史域中的判别线索,使基于当前域样本得到的历史模型响应或表征约束不能充分反映历史域的判别知识。同时,采用与输入无关的固定方式组合多个历史域信息,难以适应不同域样本的视觉差异。
5、3.基于代理分布或分布回放的方法:该类方法,如基于自适应风格核学习的分布回放(distribution rehearsing via adaptive style kernel learning,dask)、幅度感知域风格回放(amplitude-aware domain style replay,adsr)和分布感知知识统一与关联(distribution-aware knowledge unification and association,dkua)等,通过生成或风格化的代理数据重建历史视觉统计,并利用重建后的代理分布参与后续学习,以避免直接保存历史域图像。该类方法能够在一定程度上减轻历史图像保存带来的负担,然而,视觉分布或统计特征的重建并不等同于此前模型已经学习到的视觉判别变换,因而难以直接保持各历史域中形成的身份判别知识或其他视觉任务判别知识。
6、综上,现有连续学习方法普遍存在历史数据保存负担、显著域偏移下历史判别线索激活不足,以及难以直接保留历史视觉判别变换等问题,难以满足连续视觉识别对历史知识保持和未见域泛化的要求。亟需一种不保存历史训练图像和样本级特征,能够降低新旧域参数更新干扰、直接保存历史视觉判别知识并根据输入进行读取的连续视觉识别方法,以满足持续变化视觉环境中的应用需求。
技术实现思路
1、本发明的目的在于克服上述技术问题,提供一种面向连续视觉识别的参数记忆路由方法、系统及设备。该方法将不同域学习得到的低秩参数更新作为参数记忆,通过子空间保护写入形成新参数记忆,通过冻结存储保留参数记忆,并通过原型锚定路由按输入条件读取和逐层组合参数记忆。
2、本发明的目的是通过以下技术方案实现的:
3、第一方面,提供一种面向连续视觉识别的参数记忆路由方法,包括以下步骤:
4、步骤s1:在第个学习阶段,获取当前域的视觉样本及其任务标签;保持共享冻结骨干网络和历史参数记忆冻结,建立当前域的低秩适配模块,共享冻结骨干网络的投影层和全连接层作为低秩适配模块的插入层;低秩适配模块采用输入矩阵和输出矩阵形成低秩参数更新;
5、步骤s2:禁用全部低秩适配模块,提取当前域的逐层输入激活统计;根据历史写入子空间构建允许写入的投影矩阵,对所述输入激活统计投影后进行奇异值分解,以此初始化并冻结当前域低秩适配模块的输入矩阵;
6、步骤s3:在当前域监督下训练低秩适配模块的输出矩阵,形成当前域参数记忆;
7、步骤s4:禁用全部低秩适配模块,利用共享冻结骨干网络提取当前域特征并生成原型锚点;将当前域参数记忆、原型锚点和逐层路由幅度冻结并存储至参数记忆库;利用当前域的逐层输入激活统计更新历史写入子空间;
8、步骤s5:接收待处理视觉样本,禁用全部低秩适配模块,利用共享冻结骨干网络提取路由查询特征;根据路由查询特征与参数记忆库中各参数记忆的原型锚点之间的相似度,生成输入相关记忆权重;
9、步骤s6:在共享冻结骨干网络的各插入层,根据输入相关记忆权重和逐层路由幅度组合参数记忆库中的低秩适配模块,输出待处理视觉样本的视觉任务特征。
10、作为一种示例,所述低秩适配模块具体构建如下:
11、接收顺序到达的域序列,对于任一学习阶段,仅访问当前域训练集,记为,其中,表示连续学习过程的总学习阶段数,表示学习阶段索引,表示第个学习阶段当前域中的第个视觉样本,表示所述视觉样本对应的任务标签,表示当前域视觉样本数量;
12、所述共享冻结骨干网络提取参数记忆形成所需的输入激活、生成原型锚点,以及提取路由查询特征;所述低秩适配模块分别附接于所述共享冻结骨干网络的投影层和全连接层,且不改变相应冻结层的原始参数;
13、对于第i个域di的第l个插入层,所述低秩适配模块以低秩形式对该插入层的输入激活进行参数更新,域的全部个插入层的低秩参数共同构成参数记忆,为输入矩阵,为输出矩阵;
14、第 个域到达时,已学习的 个参数记忆构成参数记忆库。所述历史参数记忆在当前域学习时保持冻结;当前域完成学习后,将其参数记忆作为 冻结并加入参数记忆库。
15、作为一种示例,所述低秩适配模块进行参数更新的公式具体如下:
16、
17、其中,为第个插入层的输入激活,表示域di对应的参数记忆在所述输入激活上的低秩参数更新,为低秩适配秩,为缩放系数。
18、作为一种示例,所述s2具体如下:
19、对于每个插入层,首先禁用所有低秩适配模块,并将当前域视觉样本输入共享冻结骨干网络;记第 个视觉样本在第 个插入层的输入激活为 ,则当前输入激活统计为:
20、
21、其中,为当前输入激活统计,为当前域第个视觉样本在第个插入层的输入激活;
22、每个插入层维护历史写入子空间的紧凑正交归一化基,以及表示允许写入方向的投影矩阵;当表示历史主激活方向时,投影矩阵移除这些方向:
23、
24、当表示子空间切换后保留的紧凑正交补时,投影矩阵直接保留允许写入方向:
25、
26、随后对当前输入激活统计执行左侧投影:;对于第一个学习域,不存在历史写入子空间,令左侧投影;当表示历史主激活方向时,有;
27、对左侧投影进行奇异值分解,利用前个左奇异向量初始化当前域低秩适配输入矩阵。
28、作为一种示例,所述s3中,在第l个插入层设置可训练的逐层路由幅度γtl;γtl表示所述参数记忆的对数幅度,其指数exp(γtl)用于调节该参数记忆在所述插入层的贡献;同时,设置与当前域任务标签相对应的当前域任务输出头,以生成当前域任务预测结果并计算任务损失;训练过程中,当前域训练过程的低秩适配输入矩阵保持冻结,输出矩阵、逐层路由幅度以及当前域任务输出头根据所述任务损失进行联合优化。
29、作为一种示例,所述s4具体如下:
30、完成当前域训练后,禁用所有低秩适配模块,利用共享冻结骨干网络提取当前域视觉样本的分类标记特征,并使用 均值聚类得到 个归一化原型锚点,所述原型锚点与参数记忆 mi 及相应逐层路由幅度一同冻结存储至参数记忆库;
31、随后,继续禁用所有低秩适配模块,利用共享冻结骨干网络从当前域提取逐层输入激活统计,并通过增量低秩奇异值分解更新各插入层的历史写入子空间;在后续更新中,当所维护的紧凑正交归一化基的维数超过该层输入激活维数的一半时,以该基的正交补所对应的正交归一化基替换所维护的基。
32、作为一种示例,所述s6具体如下:针对第个插入层,将所有已存储参数记忆的低秩参数更新组合为:
33、
34、其中, 为路由后的输出激活, 为参数记忆 在第 个插入层的逐层路由幅度, 为对应的正路由幅度;输入相关记忆权重根据待处理视觉样本选择相关参数记忆,逐层路由幅度调节参数记忆在不同插入层的贡献;经各插入层完成参数记忆组合后,共享冻结骨干网络输出所述待处理视觉样本的视觉任务特征。
35、作为一种示例,在连续视觉识别为行人重识别场景时,所述任务标签为身份标签,训练当前域低秩适配模块的输出矩阵时,同时优化扩展后的身份分类器和当前域的逐层路由幅度,并采用身份分类损失和批量困难三元组损失之和作为训练损失;当前域训练完成后,不保留历史训练图像、历史图像的样本级特征或历史完整模型。
36、第二方面,提供一种面向连续视觉识别的参数记忆路由系统,包括训练数据接收模块、子空间保护初始化模块、参数记忆训练模块、参数记忆存储模块、原型锚定路由模块和路由特征提取模块。各模块分别执行上述方法步骤,实现参数记忆的形成、存储和读取。
37、第三方面,提供一种电子设备,包括处理器和存储器。所述存储器存储计算机指令,所述处理器执行所述计算机指令时,实现上述面向连续视觉识别的参数记忆路由方法。
38、需要进一步说明的是,上述各实施例的技术特征在不冲突的情况下可以相互组合。
39、与现有技术相比,本发明具有以下有益效果:
40、1.本发明将各域学习得到的低秩参数更新直接作为参数记忆保存,参数记忆直接承载对应域的视觉判别变换,不需要保留历史训练图像、样本级特征或历史完整模型,从而适用于无样本回放的连续视觉识别场景。
41、2.本发明利用历史写入子空间引导低秩适配模块输入矩阵的初始化,并在初始化后冻结所述输入矩阵,使新参数记忆在输入方向上与历史写入方向保持较低重叠,同时允许输出矩阵学习当前域的视觉判别变换,从而降低连续学习过程中的参数干扰。
42、3.本发明通过原型锚定路由为每个待处理视觉样本生成输入相关记忆权重,并在网络各插入层组合多个参数记忆。该机制不依赖推理阶段的域标签,可根据视觉相似性为已学习域和未见域样本自适应读取相关参数记忆。
43、4.本发明将共享冻结骨干网络用于原型锚点和路由查询特征的提取,使二者在共享且稳定的特征空间内进行相似度计算;结合冻结存储的参数记忆和逐层路由幅度,能够在持续学习阶段保持已存储参数记忆不被后续训练直接修改。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com