一种用于端到端自动驾驶系统的感知表征缝合方法和系统

本申请涉及自动驾驶系统及深度学习模型适配领域，具体地，涉及一种用于端到端自动驾驶系统的感知表征缝合方法和系统。

背景技术：

1、现有端到端或感知-决策联合优化自动驾驶系统中，上游感知模块（包括不同网络骨架、不同传感器配置或不同训练策略）会频繁更新以提升感知性能。对应的下游决策模型通常训练成本高、验证周期长，因此在工程实践中往往不随每次感知更新而重训。

2、对比技术及其缺陷包括：

3、全量重训（retrain）：对更新后的感知输出与下游策略重新从头训练，虽能恢复性能但计算与数据成本高、验证周期长，不适合频繁迭代场景。

4、全量微调（fine-tune）：对下游模型进行全部参数微调，能更快收敛但仍需较大计算/数据资源，存在行为崩溃风险。

5、适配器（adapter / parameter-efficient tuning）：在策略网络内部插入轻量模块并微调，参数高效但会改变策略内部表征，适应性受表征变化幅度限制。

6、联合训练或复杂适配模块（driveadapter 等变体）：需要联合训练或复杂设计，工程复杂度高，且在跨域或传感器配置显著变化时适配能力受限。

7、经检索，cn202310811453.1公开了一种基于师生架构的端到端训练方法，通过联合优化感知与控制信号提升模型准确性。然而，该方法依赖全局参数更新，当上游感知因架构替换、传感器变更或跨域迭代时，仍需对下游决策网络全量重训或微调，存在算力开销大、验证周期长、无法在冻结下游模型前提下快速适配的缺陷。

技术实现思路

1、针对现有技术中的缺陷/之一，本申请的目的是提供一种用于端到端自动驾驶系统的感知表征缝合方法和系统。

2、本申请的第一方面，提供一种用于端到端自动驾驶系统的感知表征缝合方法，包括：

3、获取配对观测数据集，所述配对观测数据集中的每个样本包含同一环境状态下的目标观测与源观测；

4、利用目标感知编码器对所述目标观测进行编码，得到目标潜在表征；利用源感知编码器对所述源观测进行编码，得到源潜在表征；

5、基于所述目标潜在表征与所述源潜在表征，学习从所述源潜在表征到所述目标潜在表征的缝合映射；

6、将所述缝合映射部署于所述源感知编码器的输出端与目标下游模型之间，并冻结所述目标下游模型的参数；

7、将所述源感知编码器对实时观测编码得到的当前表征输入所述缝合映射，将经变换后的表征输入所述目标下游模型，以生成自动驾驶的感知结果或决策控制指令。

8、可选地，所述缝合映射为线性缝合映射时，适用于向量化潜在表征，其变换函数表示为，其中为待变换表征，为线性变换矩阵，为偏置向量。

9、可选地，所述学习从所述源潜在表征到所述目标潜在表征的缝合映射，包括：

10、将所述目标潜在表征和所述源潜在表征按样本行向堆叠，构建目标表征矩阵z1和源表征矩阵z2；

11、基于所述目标表征矩阵z1和所述源表征矩阵z2，通过最小二乘法或带正则化的岭回归求解所述线性变换矩阵和所述偏置向量的闭式解，得到所述线性缝合映射，具体为：

12、；

13、其中，表示z1所有样本的均值，表示z2所有样本的均值。

14、可选地，所述缝合映射为卷积缝合映射时，适用于高维卷积特征图表征，其变换函数表示为，其中为待变换特征图，为1×1卷积核参数，表示批归一化操作。

15、可选地，所述学习从所述源潜在表征到所述目标潜在表征的缝合映射，包括：

16、冻结所述源感知编码器和所述目标下游模型的参数；

17、构建总损失函数，其中为基于所述目标下游模型输出的任务监督损失，为用于度量变换后表征与所述目标潜在表征差异的特征对齐损失，λ≥0为权重系数；

18、基于所述配对观测数据集和所述总损失函数，通过梯度下降算法优化所述1×1卷积核参数和/或所述批归一化操作的参数，得到所述卷积缝合映射。

19、可选地，所述配对观测数据集通过以下至少一种方式构建：

20、在相同驾驶场景下使用不同传感器配置或不同感知模型同步采集；

21、在仿真环境中基于同一物理状态生成不同视角、不同模态或不同外参的观测数据；

22、对跨地域、跨天气或跨标定条件的历史路测数据进行时间戳对齐与采样。

23、可选地，所述方法应用于以下至少一种上游感知系统更新场景：

24、感知编码器网络架构替换；

25、传感器数量增减或安装位姿变化；

26、训练数据集分布迁移；

27、多模态输入配置变更。

28、本申请的第二方面，提供一种用于端到端自动驾驶系统的感知表征缝合系统，包括：

29、数据获取模块，获取配对观测数据集，所述配对观测数据集中的每个样本包含同一环境状态下的目标观测与源观测；

30、表征编码模块，利用目标感知编码器对所述目标观测进行编码，得到目标潜在表征；利用源感知编码器对所述源观测进行编码，得到源潜在表征；

31、映射学习模块，基于所述目标潜在表征与所述源潜在表征，学习从所述源潜在表征到所述目标潜在表征的缝合映射；

32、部署模块，将所述缝合映射部署于所述源感知编码器的输出端与目标下游模型之间，并冻结所述目标下游模型的参数；

33、推理模块，将所述源感知编码器对实时观测编码得到的当前表征输入所述缝合映射，将经变换后的表征输入所述目标下游模型，以生成自动驾驶的感知结果或决策控制指令。

34、本申请的第三方面，提供一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行任一项所述的用于端到端自动驾驶系统的感知表征缝合方法。

35、本申请的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行任一项所述的用于端到端自动驾驶系统的感知表征缝合方法。

36、本申请提供的用于端到端自动驾驶系统的感知表征缝合方法，无需重训下游策略，仅通过部署低复杂度缝合映射，即可在多数更新情景下恢复大部分下游驾驶性能。

37、由附加特征带来的其他技术效果将在相应的实施例中进一步阐述。

1.一种用于端到端自动驾驶系统的感知表征缝合方法，其特征在于，包括：

2.根据权利要求1所述的用于端到端自动驾驶系统的感知表征缝合方法，其特征在于，所述缝合映射为线性缝合映射时，适用于向量化潜在表征，其变换函数表示为，其中为待变换表征，为线性变换矩阵，为偏置向量。

3.根据权利要求2所述的方法，其特征在于，所述学习从所述源潜在表征到所述目标潜在表征的缝合映射，包括：

4.根据权利要求1所述的用于端到端自动驾驶系统的感知表征缝合方法，其特征在于，所述缝合映射为卷积缝合映射时，适用于高维卷积特征图表征，其变换函数表示为，其中为待变换特征图，为1×1卷积核参数，表示批归一化操作。

5.根据权利要求4所述的方法，其特征在于，所述学习从所述源潜在表征到所述目标潜在表征的缝合映射，包括：

6.根据权利要求1所述的用于端到端自动驾驶系统的感知表征缝合方法，其特征在于，所述配对观测数据集通过以下至少一种方式构建：

7.根据权利要求1所述的用于端到端自动驾驶系统的感知表征缝合方法，其特征在于，所述方法应用于存在不同程度表征偏移的上游感知系统更新场景，所述表征偏移包括初始化差异、架构替换、模态或传感器变化以及跨域差异。

8.一种用于端到端自动驾驶系统的感知表征缝合系统，其特征在于，包括：

9.一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时可用于执行权利要求1-7中任一项所述的用于端到端自动驾驶系统的感知表征缝合方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时可用于执行权利要求1-7中任一项所述的用于端到端自动驾驶系统的感知表征缝合方法。