基于连续时空推演的协同联合感知预测方法

本技术涉及自动驾驶协同感知预测，特别涉及一种基于连续时空推演的协同联合感知预测方法。

背景技术：

1、现有的单车自动驾驶在复杂交通场景下常常面临传感器范围受限、感知遮挡等因素，导致其难以建立准确的环境认知，进而制约其后续的决策安全性与可靠性。而协同技术能够通过共享其他车辆或路侧设施的感知信息，提升自动驾驶车辆对全局场景的感知完整性和准确度；在此基础上有研究进一步结合时间建模方法，实现了协同联合感知预测，对全局场景当前及未来的演变有了更全面和准确的建模。

2、相关技术中，协同联合感知预测方法建立在同步采样、固定帧率的时间对齐假设上，要求不同智能体在相同时间点提供感知信息，并在帧级别完成特征空间融合，以此实现对全局场景的感知与预测。

3、然而，相关技术中，由于在实际协同场景中，不同智能体的传感器采样频率、采集时刻以及通信传输时延不一致，导致各智能体的观测信息天然具有异步性，使得基于时间对齐假设的协同联合感知预测方法在处理异步感知信息时容易产生信息错配，引发语义理解误差和运动推断错误，严重影响协同感知和预测效果，亟待改善。

技术实现思路

1、本技术提供一种基于连续时空推演的协同联合感知预测方法，以解决相关技术中，由于在处理真实异步感知信息时容易产生信息错配，进而引发语义理解误差和运动推断错误，严重影响协同感知和预测效果等问题。

2、本技术实施例提供一种基于连续时空推演的协同联合感知预测方法，包括以下步骤：获取多个智能体采集的局部场景观测表征及其对应的采集时刻；按照所述采集时刻的顺序构建异步观测事件序列，并基于所述异步观测事件序列和所述局部场景观测表征构建全域连续场景状态，并在相邻观测事件之间对所述全域连续场景状态进行连续时空推演，以得到全域连续场景推演状态；当到达下一个事件时刻时，根据对应的局部场景观测表征与所述全域连续场景推演状态生成候选校正状态，并结合时间掩码构建时间感知的更新权重，对所述全域连续场景推演状态进行时间门控加权更新，得到事件更新后的全域连续场景状态，直至处理完所述异步观测事件序列的全部事件后得到当前决策时刻的全域连续场景状态；基于所述当前决策时刻的全域连续场景状态，生成未来时刻的场景状态表征，以得到协同感知和运动预测结果。

3、通过上述技术手段，本技术实施例可以获取多个智能体采集的局部场景观测表征，并按照采集时刻的顺序构建异步观测事件序列，以在统一参考坐标系下构建全域连续场景状态，并在相邻观测事件之间对所述全域连续场景状态进行连续时空推演，当到达下一个事件时刻时，结合候选校正状态和时间感知的更新权重，对全域连续场景推演状态进行时间门控加权更新，得到当前决策时刻及未来时刻的场景状态表征，经解码得到协同感知和运动预测结果，从而能够用于处理多智能体异步输入条件下的协同联合感知预测，提高当前时刻协同感知结果和未来时刻预测结果的准确性与异步鲁棒性，进而有效地适应通信时延、采样不同步和动态目标交互复杂的协同场景。

4、可选地，在本技术的一个实施例中，所述在相邻观测事件之间对所述全域连续场景状态进行连续时空推演，以得到全域连续场景推演状态，包括：在每一个积分时间步内，根据积分步起始时刻的全域连续场景状态生成推演驱动力输入；基于所述推演驱动力输入，计算所述全域连续场景状态的单位时间变化量，以利用所述单位时间变化量进行残差式状态演变，确定积分步结束时刻的全域连续场景状态，直至到达所述下一个事件时刻，并根据到达所述下一个事件时刻的全域连续场景状态确定所述全域连续场景推演状态。

5、通过上述技术手段，本技术实施例可以在相邻观测事件之间的每一个积分时间步内，根据当前场景状态动态生成推演驱动力输入，并计算场景状态的单位时间变化量，通过残差式演变得到全域连续场景推演状态，从而通过连续时空推演，刻画协同场景在时间维度上的连续演化过程，提升全域场景推演结果的精准度，为后续观测校正环节提供可靠的状态基准。

6、可选地，在本技术的一个实施例中，所述每一个积分时间步的状态演变的表达式为：

7、，

8、

9、其中，为所述积分步起始时刻的全域连续场景状态，为所述全域连续场景状态的单位时间变化量，为所述推演驱动力输入，为状态推演函数，为所述积分时间步，为所述积分步结束时刻的全域连续场景状态。

10、通过上述技术手段，本技术实施例可以通过残差式状态演变对全域连续场景状态进行连续时空推演，以得到全域连续场景推演状态，从而保障了时空推演过程中的稳定性，并且能够适配不同的事件时间间隔，进而具备处理多种异步观测形式的能力。

11、可选地，在本技术的一个实施例中，所述根据对应的局部场景观测表征与所述全域连续场景推演状态生成候选校正状态，包括：根据所述下一个事件时刻确定对应的所述局部场景观测表征；将所述局部场景观测表征和所述全域连续场景推演状态输入至目标卷积网络，以输出所述候选校正状态。

12、通过上述技术手段，本技术实施例可以根据下一个事件时刻对应的局部场景观测表征与全域连续场景推演状态共同输入卷积网络进行语义空间对齐，从而得到具备空间语义一致性的候选校正状态，使生成的校正量更精确地反映场景变化，为后续更新提供了高质量的校正依据。

13、可选地，在本技术的一个实施例中，所述对所述全域连续场景推演状态进行时间门控加权更新的公式为：

14、，

15、，

16、其中，为所述时间感知的更新权重，为时间感知的更新权重计算函数；为sigmoid函数，为所述时间掩码，为所述候选校正状态，为所述全域连续场景推演状态，为利用时刻对应观测更新后的全域连续场景状态。

17、通过上述技术手段，本技术实施例可以引入基于时间间隔的时间门控更新机制，并通过时间感知的更新权重自适应调节候选校正状态和全域连续场景状态的融合比例，从而提高异步条件下状态更新的合理性，进而能够在异步观测到达时有效修正场景状态，提升协同感知预测的准确性和异步鲁棒性。

18、本技术实施例可以获取多个智能体采集的局部场景观测表征，并按照采集时刻的顺序构建异步观测事件序列，以在统一参考坐标系下构建全域连续场景状态，并在相邻观测事件之间对全域连续场景状态进行连续时空推演，当到达下一个事件时刻时，结合候选校正状态和时间感知的更新权重，对全域连续场景推演状态进行时间门控加权更新，得到当前决策时刻及未来时刻的场景状态表征，经解码得到协同感知和运动预测结果，从而能够用于处理多智能体异步输入条件下的协同联合感知预测，提高当前时刻协同感知结果和未来时刻预测结果的准确性与异步鲁棒性，进而有效地适应通信时延、采样不同步和动态目标交互复杂的协同场景。由此，解决了相关技术中，由于在处理真实异步感知信息时容易产生信息错配，进而引发语义理解误差和运动推断错误，严重影响协同感知和预测效果等问题。

19、本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。