面向车路协同三维目标检测的运动感知时空补偿方法及系统

本发明属于智能交通与自动驾驶感知，涉及面向车路协同三维目标检测的运动感知时空补偿方法及系统，尤其涉及在存在通信时延、定位误差、遮挡和稀疏激光雷达观测条件下，对车端、路端及协作车辆的鸟瞰图特征进行延迟补偿、时序增强和多智能体融合的车路协同感知技术。

背景技术：

1、随着自动驾驶和智能交通技术的发展，车辆对周围环境的三维感知能力成为保障自动驾驶安全性和可靠性的关键技术之一。现有自动驾驶车辆通常依赖车载激光雷达、摄像头、毫米波雷达等传感器完成三维目标检测、道路参与者识别和轨迹预测等任务。然而，单车感知受限于传感器安装位置、探测距离、视场范围以及交通环境中的遮挡情况，在交叉口、匝道、城市道路以及大型车辆遮挡场景下，容易出现远距离目标点云稀疏、被遮挡车辆不可见或鸟瞰图特征响应较弱等问题，从而影响目标检测的准确性和稳定性。

2、车路协同感知技术通过车与车、车与路侧基础设施之间的信息共享，使自车能够利用来自其他车辆或路侧单元的补充观测信息，扩大感知范围并缓解单车视角受限问题。现有车路协同三维目标检测方法通常包括早期融合、后期融合和中间特征融合等类型。其中，早期融合方法直接共享原始点云或传感器数据，能够保留较完整的场景信息，但通信数据量较大；后期融合方法共享目标检测框等结果级信息，通信开销较小，但容易丢失中间空间特征；中间特征融合方法在各智能体本地提取鸟瞰图特征后进行压缩和共享，在检测精度与通信开销之间具有较好的平衡，因此成为近年来车路协同感知研究的重要方向。已有研究如f-cooper、v2vnet、opv2v、dair-v2x和v2x-vit等分别从特征级协同感知、车车协同感知数据集、车路协同真实数据集以及基于transformer的多智能体特征融合等角度推动了该领域的发展。f-cooper提出了基于点云特征的协同感知框架，v2vnet研究了车辆之间共享压缩深度特征以提升感知与预测能力，opv2v构建了面向车车协同感知的开放数据集与融合基准，dair-v2x提供了真实车路协同三维目标检测数据，v2x-vit则利用视觉transformer建模车辆与路侧基础设施之间的多智能体交互。

3、在中间特征融合框架基础上，部分现有方法进一步关注通信效率、位姿误差和异步感知等实际问题。例如，where2comm通过空间置信图选择关键感知区域进行通信，以降低通信带宽；how2comm关注通信冗余、传输时延和协作异质性，在感知性能与通信开销之间进行权衡；coalign针对协同感知中的位姿误差问题，通过协同对齐机制缓解多智能体特征错位。上述方法在多智能体信息聚合、通信区域选择以及位姿误差鲁棒性方面取得了一定效果。

4、然而，在实际车路协同感知系统中，协作车辆或路侧单元发送的特征通常并非与自车当前时刻完全同步，而是由较早时刻的传感器观测生成。由于通信传输、数据处理、特征压缩和网络调度等因素的影响，自车在当前时刻接收到的协作特征往往对应于延迟时间戳。若直接将该延迟特征变换到自车坐标系并进行融合，则会导致动态目标在鸟瞰图特征空间中的位置发生偏移。尤其是在高速交通场景中，不同目标在相同通信时延下会产生不同程度的位移。例如，在200ms延迟条件下，速度为80km/h的车辆约产生4.4m位移，速度为30km/h的车辆约产生1.7m位移，而静止目标几乎不产生位移。该差异表明，通信时延引起的特征错位并非简单的全局坐标偏移，而是与目标自身运动状态相关的非均匀错位。

5、针对通信时延和异步感知问题，已有方法提出了延迟感知协同感知、特征流预测、时序查询建模和稀疏对齐等方案。例如，latency-aware collaborative perception将异步感知特征自适应对齐到同一时间戳；ffnet通过特征流预测补偿车路协同三维目标检测中的时间异步；streamlts和sparsealign等方法引入时序上下文或稀疏特征建模，以提高协同检测在异步感知条件下的鲁棒性。上述方案说明，通信时延和时间异步已经成为车路协同感知中的重要技术问题。

6、但是，现有延迟补偿方法仍存在以下不足：第一，部分方法主要依赖全局空间变换、时间编码、特征流预测或学习式时序对齐，未充分利用目标运动速度与通信时延之间的物理关系，难以针对不同速度目标产生的非均匀位移进行精细补偿；第二，部分方法虽然能够建模异步特征或历史信息，但对延迟协作特征的补偿过程与后续检测过程之间缺少闭环反馈，当前帧估计得到的运动状态难以直接用于下一帧协作特征对齐；第三，在遮挡或点云稀疏场景下，即使引入车路协同信息，目标当前帧鸟瞰图响应仍可能较弱，现有方法通常侧重于多智能体特征聚合或通信压缩，对历史检测结果、运动先验和遮挡区域自适应增强的联合利用不足，容易造成被遮挡车辆的漏检或定位不准。

7、因此，如何在车路协同三维目标检测中同时处理通信时延导致的动态目标特征错位和遮挡导致的当前帧弱响应，是现有技术仍需解决的问题。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种面向车路协同三维目标检测的运动感知时空补偿方法及系统，用于解决现有车路协同感知方法在存在通信时延、动态目标运动、遮挡以及激光雷达观测稀疏条件下，延迟协作特征与自车当前帧特征之间容易发生空间错位、被遮挡目标鸟瞰图响应较弱以及历史运动信息利用不足的问题。

2、具体而言，本发明旨在在中间特征融合框架下，将协作车辆或路侧单元发送的延迟鸟瞰图特征，根据通信延迟时间、历史鸟瞰图速度场和当前自车特征进行运动感知补偿，使延迟协作特征能够更准确地对齐到当前自车坐标系；同时，利用时序记忆、历史检测结果、运动先验和遮挡感知门控机制，对当前帧中因遮挡或点云稀疏造成的弱响应区域进行增强，从而提高车路协同三维目标检测在异步通信和复杂交通环境下的检测准确性、定位稳定性和鲁棒性。

3、本发明进一步希望构建一种闭环式的运动—时序补偿过程，即将当前帧估计得到的鸟瞰图速度场缓存并反馈至下一帧的延迟特征补偿模块，使协同感知系统能够连续利用历史运动状态修正后续帧的协作特征错位问题，减少通信时延引起的动态目标漏检、误检和定位偏差。

4、为达到上述目的，本发明提供如下技术方案：

5、一方面，提供了一种面向车路协同三维目标检测的运动感知时空补偿方法，该方法包括以下步骤：

6、s1、采集自车节点和协作节点的激光雷达点云数据，并各自提取鸟瞰图特征，同时协作节点将其生成的延迟时刻鸟瞰图特征共享至自车节点；

7、s2、根据历史速度场和通信延迟计算运动先验位移，根据自车当前特征与延迟协作特征之间的局部相关性，进行局部特征预测得到残差偏移，并根据运动先验位移和可学习残差偏移得到最终补偿偏移；

8、s3、根据最终补偿偏移对延迟协作特征进行可微分采样变形，得到补偿后的协作特征，并构建所有协作节点的补偿后的协作特征集合；

9、s4、自车节点将自车当前特征与补偿后的协作特征集合进行融合化，得到多源融合鸟瞰图特征；

10、s5、构建遮挡感知时序增强机制，包括时序记忆分支、运动先验分支以及遮挡感知门控分支，其中，时序记忆分支以当前多源融合鸟瞰图特征和上一帧隐藏状态更新当前时刻隐藏状态，运动先验分支根据上一帧检测目标中心和目标速度预测当前帧目标中心，遮挡感知门控分支根据当前融合特征生成门控权重，根据权重融合隐藏状态和预测目标中心得到最终增强鸟瞰图特征；

11、s6、根据最终增强鸟瞰图特征输出当前帧三维目标检测结果，并根据当前帧检测结果、历史检测结果和目标关联关系估计当前帧鸟瞰图速度场，作为下一帧处理的输入。

12、进一步，在步骤s1中，自车节点和协作节点分别采集各自视角下的激光雷达点云数据，并通过本地的点云特征提取网络生成鸟瞰图特征，其中，自车节点在当前时刻生成的鸟瞰图特征作为当前帧主特征，协作节点在延迟时刻生成的鸟瞰图特征作为待共享的协作特征，其中，表示第个协作节点对应的通信延迟时间；

13、协作节点将生成的鸟瞰图特征进行编码压缩后发送至自车节点，自车节点根据协作节点与自车之间的空间位姿关系，将接收到的协作鸟瞰图特征变换至自车当前坐标系下。

14、进一步，在步骤s2中，协作特征的最终补偿偏移包括两部分，第一部分为由历史速度场和通信延迟计算得到的运动先验位移，第二部分为由特征相关性和局部特征预测得到的可学习残差偏移，将运动先验位移与残差偏移相加，得到最终补偿偏移：

15、

16、其中，表示第个协作节点的运动先验位移，表示第个协作节点的残差偏移。

17、进一步，对于第个协作节点的运动先验位移，根据其通信延迟和上一帧速度场计算：

18、

19、其中，上一帧速度场表示鸟瞰图特征网格中各位置的目标运动趋势，其由相邻两帧关联目标中心的位移计算得到；若目标在上一帧和当前帧的中心位置分别为和，相邻帧时间间隔为，则对应的速度场分量为：

20、

21、

22、其中，分别为鸟瞰图特征单元的宽和高。

23、进一步，对于第个协作节点的残差偏移，首先根据自车当前特征和协作节点的延迟特征，计算二者在局部空间范围内的相关性特征：

24、

25、其中，表示局部相关性计算函数；

26、再根据局部相关性、自车当前特征、延迟协作特征、上一帧速度场和通信延迟时间，预测残差偏移；残差偏移表示为：

27、

28、其中，为残差预测网络，残差预测网络用于根据局部相关性特征、自车当前鸟瞰图特征、延迟协作鸟瞰图特征、上一帧鸟瞰图速度场以及通信延迟时间，预测延迟协作特征在鸟瞰图网格上的二维残差偏移；残差预测网络包括特征拼接单元、卷积特征编码单元和偏移回归单元；

29、特征拼接单元用于将局部相关性特征、自车当前特征、延迟协作特征、上一帧速度场以及由通信延迟时间扩展得到的延迟特征图按通道维度进行拼接，得到残差预测输入特征：

30、

31、

32、其中，表示将通信延迟时间扩展为与鸟瞰图特征图空间尺寸一致的特征图，表示按通道维度拼接，和分别表示鸟瞰图特征图的高度和宽度；

33、卷积特征编码单元用于对残差预测输入特征进行局部空间特征编码，以提取自车当前特征与延迟协作特征之间的局部错配关系；偏移回归单元用于输出二维残差偏移场：

34、

35、其中，为偏移回归操作，，其两个通道分别表示鸟瞰图x方向和y方向的残差偏移量，单位为鸟瞰图特征单元。

36、进一步，在步骤s3中，补偿后的协作特征获取过程为：

37、先将最终补偿偏移转换为归一化采样坐标中的偏移量，对于宽度为、高度为的鸟瞰图特征图，转换方式为：

38、

39、

40、其中，为归一化坐标系下的采样偏移；

41、则原始采样坐标更新为：

42、

43、

44、随后根据更新后的采样坐标，对延迟协作特征进行双线性可微采样，得到补偿后的协作特征：

45、

46、其中，表示可微分特征采样变形函数，表示目标采样位置，表示该位置对应的采样偏移；

47、对于所有协作节点分别执行运动补偿过程，得到补偿后的协作特征集合，其中，为所有协作节点的总数。

48、进一步，在步骤s4中，多源融合鸟瞰图特征的融合过程为：

49、将补偿后的协作特征集合与自车当前特征进行融合，得到多源融合鸟瞰图特征：

50、

51、其中，表示多源特征融合函数。

52、进一步，在步骤s5中，时序记忆分支的处理过程表示为：

53、

54、其中，表示卷积门控时序更新函数，和分别表示上一帧和当前帧的时序隐藏状态；

55、运动先验分支的处理过程表示为：

56、

57、其中，为上一帧目标中心，为上一帧目标速度，为预测的当前帧目标中心，为相邻帧时间间隔；将预测的当前帧目标中心与上一帧目标速度编码为动态先验特征：

58、

59、其中，表示运动先验编码函数；

60、遮挡感知门控分支的处理过程表示为：

61、

62、其中，表示门控预测函数，表示归一化激活函数，为生成的门控权重，用于控制时序记忆特征和运动先验特征的融合比例；

63、最终增强鸟瞰图特征表示为：

64、

65、其中，⊙表示逐元素乘法。

66、进一步，在步骤s6中，根据增强后的鸟瞰图特征输出当前帧三维目标检测结果：

67、

68、其中，表示第个目标的置信度，表示该目标的三维检测框参数：

69、

70、分别表示目标中心位置、长宽高尺寸和朝向角；

71、同时，根据当前帧检测结果、历史检测结果和目标关联关系，估计当前帧鸟瞰图速度场，并作为下一帧延迟协作特征补偿的输入。

72、另一方面，还提供了一种面向车路协同三维目标检测的运动感知时空补偿系统，其执行前述的运动感知时空补偿方法，该系统包括：自车端数据处理模块、协作端数据采集与共享模块、运动感知补偿模块、多源特征融合模块、遮挡感知时序增强模块以及检测输出与速度反馈模块；其中，

73、自车端数据处理模块，用于采集自车当前时刻激光雷达点云数据，并生成自车当前鸟瞰图特征，同时接收协作端发送的延迟协作特征；

74、协作端数据采集与共享模块，用于获取协作车辆和路侧基础设施采集的激光雷达点云数据，并在协作端完成点云预处理和鸟瞰图特征提取，生成对应的协作节点中间特征；

75、运动感知补偿模块，用于根据历史鸟瞰图速度场、通信延迟时间以及当前自车特征与延迟协作特征之间的空间关联关系，对延迟协作特征进行动态位置补偿；

76、多源特征融合模块，用于将自车当前鸟瞰图特征与经过运动补偿后的协作特征进行融合，生成多智能体融合鸟瞰图特征；

77、遮挡感知时序增强模块，用于利用历史时序信息、目标运动先验以及遮挡区域特征状态，对当前融合特征中的弱响应区域进行增强；

78、检测输出与速度反馈模块，用于根据增强后的鸟瞰图特征生成三维目标检测结果，并根据当前检测结果更新下一帧运动补偿所需的速度场信息。

79、本发明的有益效果在于：

80、（1）现有车路协同感知方法在接收协作车辆或路侧基础设施发送的中间特征时，通常难以保证协作特征与自车当前帧完全同步。若直接将延迟协作特征与自车当前特征进行融合，动态目标会因通信时延产生位置偏移，尤其在高速目标场景下，错位更加明显。本发明根据协作特征对应的通信延迟时间和上一帧鸟瞰图速度场，计算动态目标在延迟期间的运动先验位移，并结合局部特征相关性预测残差偏移，对延迟协作特征进行补偿。由此，协作特征在融合前能够更接近当前时刻的自车坐标系位置，从而减少动态目标因延迟造成的漏检、误检和定位偏差。本发明将补偿偏移分解为运动先验位移和残差修正位移。一方面，运动先验位移能够根据速度场和延迟时间给出与目标运动状态相关的初始补偿；另一方面，残差修正位移能够对加减速、转向、定位误差和局部特征匹配误差进行进一步修正。因此，本发明能够更好地适应不同速度目标在异步通信条件下产生的非均匀位移，提高协同三维目标检测的稳定性。

81、（2）在交叉口、大型车辆遮挡、远距离目标和点云稀疏场景中，自车当前帧鸟瞰图特征中可能存在目标响应较弱的问题。现有协同感知方法虽然能够引入其他智能体的观测信息，但若当前帧本身存在遮挡或协作特征也存在延迟，仍可能出现目标特征不完整、中心响应弱和检测框不稳定等问题。本发明在多源特征融合后引入遮挡感知时序增强过程，结合历史隐藏状态、历史目标位置与速度、当前帧融合特征以及遮挡感知门控，对弱响应区域进行自适应增强。该方式能够在当前帧观测不足时利用历史时序信息和目标运动趋势补充目标表达，从而提高被遮挡目标和远距离稀疏目标的检测可靠性。

82、（3）本发明将当前帧估计得到的鸟瞰图速度场进行缓存，并反馈至下一帧延迟协作特征补偿过程，使当前帧的检测结果和运动估计能够参与后续帧的特征对齐。由此，系统形成“延迟特征补偿—多源融合—遮挡感知时序增强—速度场反馈—下一帧补偿”的闭环流程，有利于连续降低通信延迟引起的动态目标错位。

83、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。