基于域适应原型度量的跨车型少样本地形分类迁移方法
本发明涉及车辆智能感知与迁移学习,具体涉及一种基于域适应原型度量的跨车型少样本地形分类迁移方法。
背景技术:
1、基于车辆动力学响应的越野地形分类能够利用轮速、滑动率、滚动阻力、车身加速度和横摆角速度等信号表征轮地相互作用,且不完全依赖外部环境观测。为了使分类模型适用于多种车辆平台,通常需要将既有车型上获得的模型知识迁移到新的目标车型。
2、不同车型在整车质量、结构尺寸、悬架形式、轮胎尺寸、动力系统和传感器布置方面存在差异。即使车辆行驶于语义相同的地形,其动力学响应幅值、频谱分布和通道相关性也可能不同,从而造成源车型数据与目标车型数据之间的分布偏移。
3、在工程开发中,目标车型的数据采集和人工标注会消耗试验场地、车辆资源和人员时间,目标车型往往只能提供少量标注样本。若直接用这些样本端到端微调源域模型的全部参数,有限监督难以约束大规模参数更新,容易出现过拟合、训练波动或负迁移;若仅微调分类头,又可能无法修正跨车型特征失配。
4、域适应方法能够缓解源域与目标域分布差异,少样本学习能够利用有限支持样本进行快速类别判别。基于原型的度量学习通过计算同类支持样本嵌入均值形成地形类别原型,并依据查询样本与原型之间的距离进行分类,参数规模相对可控,适合少样本条件。但若目标域样本在源域嵌入空间中存在整体偏移,直接估计目标域原型仍会同时受到域偏移和小样本估计误差影响。
5、现有迁移过程还可能将多个目标同时放入同一阶段优化,例如同时调整输入对齐参数和深层特征参数。少样本条件下,这些参数相互补偿会使优化方向难以区分,无法明确判断性能变化来自分布对齐还是类别几何结构改善,也增加了验证和模型选择的难度。
6、因此,需要一种不以目标车型大规模标注为前提,能够先在源域建立适合原型度量的判别结构,再将输入空间分布对齐与目标域类别结构优化分阶段执行,并通过独立目标域验证任务选择参数的跨车型少样本迁移方案。
技术实现思路
1、本发明的目的在于解决跨车型越野地形分类中源域和目标域分布偏移、目标车型标注样本稀缺以及多类适应参数在少样本条件下联合优化不稳定的问题,提供一种基于域适应原型度量的跨车型少样本地形分类迁移方法。
2、为实现上述目的,本发明提供的一种基于域适应原型度量的跨车型少样本地形分类迁移方法,包括以下步骤:
3、步骤1,构建源域标注数据集,并将目标域少样本划分为相互独立的训练集、验证集和测试集;
4、步骤2,在源域标注数据集上进行监督预训练,获得预训练特征提取器;
5、步骤3,在源域任务分布上进行情景式原型度量训练,对预训练特征提取器进行参数更新,获得源域特征提取器;
6、步骤4,冻结源域特征提取器的参数,将目标域输入先经过可学习线性仿射映射,再进入被冻结的地形特征提取器;基于目标域情景式任务构造类别原型、计算查询距离和域适应损失,优化输入空间域适应映射参数,组成候选域映射参数;
7、步骤5,利用独立目标域验证支持集构造类别原型,从候选域映射参数中按照最近原型原则预测验证查询集,计算平均分类准确率,并选择准确率最高的候选参数,即最优域适应映射参数;
8、步骤6,冻结最优域适应映射参数,以源域特征提取器参数初始化目标域特征提取器,执行原型驱动的目标域适应,每轮目标域情景式训练任务利用支持集构造目标域地形类别原型,利用查询集计算原型驱动的目标域适应损失,对地形特征提取器参数进行更新,获得候选地形特征提取器参数;
9、步骤7,通过独立目标域验证任务从候选特征提取器参数中选择最优特征提取器参数,并将最优域映射参数与最优特征提取器参数组合,形成最终迁移模型。
10、进一步地,所述步骤1接收源车型的充足标注样本和目标车型的有限标注样本,将源车型的充足标注样本定义为源域标注数据集,数据组织关系为:
11、
12、式中,表示源车型的源域标注数据集;表示第个源域车辆动力学响应样本;表示第个源域样本的地形类别标签;表示源域样本索引;表示源域样本数量;表示源域标识;
13、目标车型的有限标注样本划分为训练集、验证集和测试集,三者互不重叠,数据组织关系为:
14、
15、式中,表示目标车型的目标域少样本数据集;表示目标域训练集;表示目标域验证集;表示目标域测试集;表示集合并运算符;表示目标域标识;表示训练子集标识;表示验证子集标识;表示测试子集标识。
16、进一步地,步骤2接收步骤1得到的源域标注数据集,将源域批量样本输入由特征提取器和分类头组成的地形分类模型进行源域监督预训练,模型关系为:
17、
18、式中,表示源域监督预训练阶段的完整地形分类模型;表示输入样本,在本公式中具体表示输入车辆动力学响应样本;表示地形特征提取器;表示分类头;表示地形特征提取器参数;表示分类头参数;
19、利用源域标注数据计算监督预训练损失,使地形特征提取器获得稳定的类别判别初始化,损失关系为:
20、
21、式中,表示源域监督预训练损失;表示源域标注数据集;表示源域标注数据集中的样本数量;表示样本标签,在本公式中具体表示源域样本地形标签;表示交叉熵损失函数;表示有限项求和算子;表示源域标识;表示监督预训练标识。
22、进一步地,源域监督预训练对地形特征提取器参数和分类头参数执行联合梯度更新,更新关系为:
23、
24、式中,表示源域监督预训练学习率;表示相对于地形特征提取器参数和分类头参数的梯度算子;表示参数赋值更新运算符。
25、进一步地,步骤3接收步骤2保留的地形特征提取器参数和源域任务分布,每轮采样c个类别,每个类别k个样本作为支持集,另外q个样本作为查询集;
26、对于支持集样本,在每轮源域情景式任务中,按类别用地形特征提取器将支持集样本映射为特征向量,计算每个类别特征向量的均值,即该类别的原型向量,计算关系为:
27、
28、式中,表示第轮源域任务中第类地形的原型向量;表示第轮源域任务支持集中第类地形的样本子集;表示该类别支持样本数量;表示输入样本,在本公式中具体表示支持样本;表示样本标签,在本公式中具体表示支持样本标签;表示地形特征提取器;表示上一轮任务结束时的地形特征提取器参数;表示情景式任务轮次索引;表示地形类别索引;表示有限项求和算子;表示源域标识;
29、对于源域查询样本,计算查询集样本的特征向量到各个类别原型之间的欧式距离,计算关系为:
30、
31、式中,表示第轮源域任务中查询样本到第类原型的欧式距离;表示二范数算子。
32、进一步地,以负距离对应的归一化概率计算查询集原型度量损失,计算关系为:
33、
34、式中,表示源域情景式原型度量损失;表示第轮源域任务的查询集;表示第轮源域任务的查询样本数量;表示输入样本,在本公式中具体表示源域查询样本;表示样本标签,在本公式中具体表示查询样本真实地形标签;表示查询样本到真实类别原型的欧式距离;表示地形类别总数;表示自然指数函数;表示自然对数函数;表示原型度量训练标识;
35、只更新地形特征提取器参数,使其适配原型度量几何,参数更新关系为:
36、
37、式中,表示第轮更新后的地形特征提取器参数;表示源域原型度量训练学习率;表示相对于特征提取器参数的梯度算子;表示参数赋值更新运算符。
38、进一步地,步骤4接收步骤2的目标域训练集以及步骤3得到的源域特征提取器参数,冻结源域特征提取器的参数,对目标域输入施加形状保持不变的可学习线性仿射域适应映射,以减少跨车型输入分布偏移,再进入被冻结的地形特征提取器,输入空间仿射域适应映射表示为:
39、
40、式中,表示输入空间仿射域适应映射;表示目标域多通道时序样本矩阵;表示输入空间域适应映射参数集合;表示可学习线性变换矩阵;表示用于将偏置广播至全部时间步的全1列向量;表示可学习偏置向量;表示矩阵转置;表示输入空间对齐标识;
41、利用目标域支持集在经映射的共享嵌入空间中构造类别原型,计算关系为:
42、
43、式中,表示输入空间域适应阶段第轮第类地形对应的目标域原型;表示第轮目标域任务支持集中第类地形的样本子集;表示对应类别支持样本数量;表示输入样本,在本公式中具体表示目标域支持样本;表示样本标签,在本公式中具体表示目标域支持样本标签;表示目标域复合特征提取器;表示上一轮输入空间域适应映射参数;表示源域原型度量训练后被冻结的地形特征提取器参数;表示目标域任务轮次索引;表示地形类别索引;表示有限项求和算子;表示目标域标识;表示源域标识;表示输入空间对齐标识;表示原型度量训练标识;
44、输入空间域适应阶段采用查询集到类别原型的距离构造损失,使映射参数依据目标域少样本的类别关系优化,损失关系为:
45、
46、式中,表示输入空间域适应损失;表示第轮目标域情景式训练任务的查询集;表示该查询集中的样本数量;表示输入样本,在本公式中具体表示目标域查询样本;表示样本标签,在本公式中具体表示目标域查询样本真实地形标签;表示真实类别对应的目标域原型;表示二范数算子;表示自然指数函数;表示自然对数函数;表示有限项求和算子;表示地形类别总数。
47、进一步地,在地形特征提取器参数冻结的条件下,步骤4对输入空间域适应映射参数执行梯度更新,更新关系为:
48、
49、式中,表示第轮更新后的输入空间域适应映射参数;表示上一轮输入空间域适应映射参数;表示输入空间域适应阶段学习率;表示相对于域适应映射参数的梯度算子;表示参数赋值更新运算符。
50、进一步地,步骤5接收独立目标域验证任务以及步骤4逐轮保存的候选输入空间域适应映射参数,对每一候选模型计算目标域验证查询集准确率,计算关系为:
51、
52、式中,表示候选模型在独立目标域验证任务上的分类准确率;表示第轮训练得到的候选模型;表示独立目标域验证任务的查询集;表示目标域验证查询样本数量;表示输入样本,在本公式中具体表示目标域验证查询样本;表示样本标签,在本公式中具体表示验证查询样本真实地形标签;表示候选模型输出的预测地形标签;表示条件成立时取1否则取0的示性函数;表示有限项求和算子;表示目标域标识;表示验证任务标识;
53、根据验证准确率选择最优域适应映射参数,计算关系为:
54、
55、式中,表示经独立目标域验证任务选出的最优域适应映射参数;表示第轮更新后的输入空间域适应映射参数;表示返回使目标函数取得最大值的自变量算子。
56、进一步地,步骤6接收步骤5得到的最优域适应映射参数、步骤3得到的源域特征提取器参数以及目标域情景式训练任务,将冻结的最优域映射与可训练地形特征提取器串联,形成目标域复合特征提取器,计算关系为:
57、
58、式中,表示目标域复合特征提取器;表示目标域输入样本矩阵;表示输入空间仿射域适应映射;表示地形特征提取器;表示输入空间域适应映射参数;表示地形特征提取器参数;
59、在每一目标域情景式训练任务中构造目标域地形类别原型,计算关系为:
60、
61、式中,表示目标域适应阶段第轮第类地形的原型向量;表示第轮目标域任务支持集中第类地形的样本子集;表示对应类别支持样本数量;表示输入样本,在本公式中具体表示目标域支持样本;表示样本标签,在本公式中具体表示目标域支持样本标签;表示冻结的最优域适应映射参数;表示上一轮任务结束时的特征提取器参数。
62、进一步地,基于查询样本到目标域适应原型的距离构造原型驱动目标域适应损失,计算关系为:
63、
64、式中,表示原型驱动的目标域适应损失;表示第轮目标域情景式训练任务的查询集;表示该查询集中的样本数量;表示输入样本,在本公式中具体表示目标域查询样本;表示样本标签,在本公式中具体表示目标域查询样本真实地形标签;表示真实类别对应的目标域原型;表示二范数算子;表示自然指数函数;表示自然对数函数;表示有限项求和算子;表示目标域任务轮次索引;表示地形类别索引;表示地形类别总数;表示目标域标识;表示目标域适应标识;
65、冻结最优域适应映射参数后,仅对目标域特征提取器参数执行梯度更新,更新关系为:
66、
67、式中,表示第轮更新后的目标域特征提取器参数;表示第轮更新前的目标域特征提取器参数;表示原型驱动目标域适应阶段学习率;表示相对于特征提取器参数的梯度算子;表示原型驱动的目标域适应损失;表示参数赋值更新运算符。
68、进一步地,步骤7接收步骤6逐轮形成的目标域特征提取器候选参数以及步骤5已冻结的最优域映射参数,将经验证选择的最优域映射参数和最优特征提取器参数组合为最终目标车型迁移模型,模型关系为:
69、
70、式中,表示面向目标车型形成的最终迁移模型;表示经独立目标域验证任务选出的最优域适应映射参数;表示特征提取器在目标域训练结束后,最终得到的最优目标域特征提取器参数。
71、完成步骤7后得到包含域映射和目标域特征提取器的最终迁移模型。
72、本发明的有益效果为:
73、第一,本发明先通过源域监督预训练获得稳定参数初始化,再通过源域情景式原型度量训练显式优化类内紧凑、类间分离的嵌入几何结构,使特征提取器在接触目标域少量样本之前即适配原型判别范式。
74、第二,本发明将目标域适应分解为输入空间域适应和原型驱动的目标域适应两个顺序阶段。前一阶段冻结特征提取器,仅学习低参数量的仿射映射,先降低跨车型分布偏移;后一阶段冻结域映射,再优化目标域类别结构,减少不同优化目标之间的相互补偿。
75、第三,本发明在每一目标域阶段均采用支持集构造原型、查询集计算损失的情景式训练方式,使模型直接按照少样本使用场景学习类别距离关系,降低对固定分类头和大量目标域标注样本的依赖。
76、第四,本发明为输入域映射参数和目标域特征参数分别设置独立验证选择过程,候选参数只依据未参与对应训练任务的目标域验证查询集进行比较,有助于抑制少样本训练中的过拟合并提高模型选择的客观性。
77、第五,本发明的输入空间域适应映射保持时序样本形状不变,可与不同结构的地形特征提取器组合使用;同时最终输出参数边界清晰,便于在目标车型上单独加载域映射和特征提取参数。
78、第六,本发明形成从数据划分、源域学习、输入域适应、目标域适应到验证选择的完整迁移流程,步骤、模块和附图数据流一致,便于在跨车型产品开发中复现、审计和部署。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com