一种用于行人检测的多模态数据融合的自适应参数滤波器的制作方法

本说明书涉及智能感知与多模态传感器融合，尤其涉及一种用于行人检测的多模态数据融合的自适应参数滤波器。

背景技术：

1、随着自动驾驶、智能安防、服务机器人等应用场景的持续拓展，行人检测与跟踪技术作为环境感知系统的核心组成部分，受到了广泛关注。传统的单一传感器方案（如仅依赖激光雷达或视觉摄像头）存在明显的感知盲区及鲁棒性不足的问题。例如，激光雷达虽能提供高精度的三维空间信息，但缺乏语义识别能力，难以有效区分“行人”与其他静态或动态物体；而rgb摄像头虽具备较强的语义理解能力，却易受光照变化、遮挡等因素影响，导致定位精度下降，尤其在远距离或无纹理区域表现不佳。

2、为克服单一传感器的局限性，近年来多模态融合感知技术逐渐成为研究热点。通过融合激光雷达的高精度空间信息、深度相机提供的近距离深度数据以及视觉图像的语义信息，不仅能够提升目标检测的准确率，还能增强系统在遮挡、光照变化等复杂环境下的鲁棒性。然而，现有的多模态融合方法大多停留在数据级或特征级融合层面，且仍面临诸多挑战。

3、现有方法主要面临三方面挑战：首先，滤波参数缺乏自适应能力，传统跟踪算法的核心参数依赖人工预设且固定不变，难以跟随动态场景中行人运动模式与环境噪声的实时变化，导致跟踪精度下降与轨迹抖动；其次，复杂场景鲁棒性不足，多采用简单加权或串行更新策略，以固定权重分配各支路观测贡献，一旦某传感器因遮挡或数据丢失而临时失效，无效数据仍被强制纳入融合，且前序支路失效会直接破坏后续更新基础，易引发跟踪中断；最后，未能充分挖掘时序特征对参数调整的指导性，大多依赖单帧观测数据进行更新，忽略了运动状态的时间连续性，面对突发运动时参数调整存在明显滞后，进一步加剧轨迹脱节与中断率上升。

技术实现思路

1、本说明书提供一种用于行人检测的多模态数据融合的自适应参数滤波器，以解决现有技术中移动机器人再复杂环境下的目标检测准确度不够高的问题。

2、本说明书采用下述技术方案：

3、一种用于行人检测的多模态数据融合的自适应参数滤波器，用于执行以下步骤：

4、s1：获取待检测区域的多模态数据，并分别对所述多模态数据进行去噪数据预处理；

5、s2：对经去噪预处理的所述多模态数据进行语义关联，获得双支路三维行人检测框集合；

6、s3：对所述双支路行人三维检测框进行时间同步与空间坐标转换，得到鸟瞰图坐标系下的双支路观测序列，所述双支路观测序列包括激光雷达支路观测和深度相机支路观测；

7、s4：利用卡尔曼滤波依次融合所述激光雷达支路观测和深度相机支路观测，获得中间状态估计值序列，并计算相邻帧间状态估计差值序列；

8、s5：构建时序特征窗口，提取所述时序窗口内的激光雷达支路观测残差、深度相机支路观测残差、所述差值序列和基于各预先设定的运动模型计算得到的对应的新息序列依次拼接并输入预先训练的时序注意力长短期记忆网络，输出各所述运动模型的适配概率和噪声调整因子，并根据所述噪声调整因子动态更新噪声矩阵；

9、s6：基于更新后的噪声矩阵，对各所述运动模型执行无迹卡尔曼滤波，经状态预测与更新得到各运动模型估计，再按对应的适配概率加权融合，输出行人的最优状态估计与跟踪轨迹。

10、根据上述技术手段，通过构建时序特征窗口，提取观测残差、状态差值及多运动模型新息序列，并利用时序注意力长短期记忆网络（lstm）对行人的运动模式进行建模与识别，实时输出各运动模型的适配概率及噪声调整因子，基于所述噪声调整因子动态更新卡尔曼滤波的过程噪声协方差矩阵与观测噪声协方差矩阵，使滤波器能够随环境噪声波动和行人运动状态变化自动调节参数，避免了因参数失配导致的跟踪精度下降和轨迹抖动问题，提升了滤波器对动态场景的适应能力。

11、本发明采用双支路并行检测架构，当某一支路因遮挡、光照变化或数据丢失而临时失效时，lstm能够动态调整噪声调整因子和各模型融合权重，使系统自动降低失效支路的贡献、侧重有效支路的信息，并提高适配当前运动模式的模型权重，避免了因单支路失效导致的融合结果偏差剧增及轨迹中断问题，实现了在复杂环境下的稳定跟踪。

12、进一步，所述s1中获取多模态数据具体为：采用激光雷达、深度相机和rgb相机分别获取待检测区域的三维点云数据、rgb图像数据和深度图像数据。

13、进一步，所述s1中去噪预处理包括：

14、对所述三维点云数据进行去噪和体素网格下采样处理，得到第一点云数据；

15、对所述rgb图像数据进行畸变矫正和尺度归一化处理；

16、对所述深度图像数据进行进行空洞填充和噪声平滑处理，并转换为三维点云数据，为第二点云数据。

17、根据上述技术手段，通过分别对三维点云数据、rgb图像数据和深度图像数据进行对应的去噪预处理，能够在显著减少点云数据量、降低后续平面分割与聚类任务计算负荷的同时，最大限度保留点云的整体空间结构特征。

18、进一步，所述s2中具体包括以下步骤：

19、s21：将所述第一点云数据与所述第二点云数据转换至rgb图像坐标系；

20、s22：分别对转换后的第一点云数据和第二点云数据进行平面聚类和分割以生成多个激光雷达侧 3d 候选框和多个深度相机侧 3d 候选框；

21、基于二维图像数据采用预训练的检测网络输出二维检测框；

22、s23：分别获取激光雷达侧 3d 候选框和深度相机侧 3d 候选框与二维检测框的关联度，筛选出符合预设条件的多个激光雷达侧 3d 候选框和多个深度相机侧 3d 候选框，集合为双支路三维行人检测框集合。

23、根据上述技术手段，一方面，激光雷达侧与深度相机侧的候选框分别独立与2d检测框进行关联，即使某一支路的点云质量较差（如激光雷达远距离稀疏点云、深度相机近距离空洞），另一支路仍可通过自身的关联结果提供有效的行人检测框，保证了双支路三维行人检测框集合的完整性和可靠性；

24、进一步，所述s3具体包括以下步骤：

25、s31：为激光雷达、深度相机和rgb相机分别设置数据缓存队列，存储最近一时间段内的原始数据及对应时间戳；

26、s32：以二维图像数据的时间戳为基准，采用线性插值法对激光雷达点云与深度点云进行时间对齐，生成时间戳统一的多模态数据序列；

27、s33：将双支路三维行人检测框的中心坐标通过传感器外参转换至底盘坐标系，忽略高度信息，得到鸟瞰图坐标系下的激光雷达支路观测和深度相机支路观测。

28、根据上述技术手段，通过降维处理将三维空间中的行人跟踪问题简化为二维平面（bev）中的跟踪问题，减少了状态向量的维度，同时仍能保留行人在地面运动的核心位置和速度信息。

29、进一步，所述s5中噪声调整因子包括过程噪声调整因子、激光雷达观测噪声调整因子和深度相机观测噪声调整因子。

30、进一步，所述s5中所述动态更新噪声矩阵具体为：将预设的基础过程噪声协方差矩阵乘以过程噪声调整因子得到更新后的过程噪声协方差矩阵，将预设的基础观测噪声协方差矩阵分别乘以对应的观测噪声调整因子得到更新后的观测噪声协方差矩阵。

31、进一步，所述s6具体包括以下步骤：

32、s61：根据当前状态估计与协方差矩阵生成多个sigma点，并将各sigma点代入该运动模型的状态转移函数，得到预测后的sigma点，并基于预测后的sigma点加权计算预测状态均值与预测协方差；

33、s62：将所述预测后的sigma点投影至观测空间，得到观测预测值，并据此计算观测协方差矩阵以及状态-观测互协方差矩阵；

34、s63：根据所述观测协方差矩阵和状态-观测互协方差矩阵求解卡尔曼增益，并利用当前时刻的观测值对预测状态均值与预测协方差进行更新，得到该运动模型的状态估计与协方差；

35、s64：按各运动模型对应的适配概率，将所有运动模型的状态估计进行加权融合，输出行人的最优状态估计与跟踪轨迹。

36、根据上述技术手段，按各运动模型对应的适配概率，将所有运动模型的状态估计进行加权融合。当行人运动模式发生变化（例如从匀速直线切换为转弯）时，lstm输出的适配概率会相应调整，无迹卡尔曼滤波（ unscented kalman filter，ukf）加权融合结果自然地向高概率模型倾斜，无需显式的模式切换逻辑，实现了平滑、无缝的自适应跟踪，避免了硬切换导致的轨迹抖动，增加了在复杂环境下的目标检测与跟踪精度。

37、进一步，所述s4中中间状态估计值的获取如下：

38、s41：利用上一时刻的中间状态估计，通过卡尔曼滤波的预测步骤得到当前时刻的先验状态估计；再用激光雷达支路观测计算卡尔曼增益，更新得到一次后验状态估计；

39、s42：以所述一次后验状态估计为基础，用深度相机支路观测重新计算卡尔曼增益，再次更新得到当前时刻的中间状态估计。

40、进一步，所述s5中预先设定的运动模型具体包括匀速直线模型、匀加速模型和非直线转弯模型。

41、本说明书采用的上述至少一个技术方案能够达到以下有益效果：

42、1、通过构建时序特征窗口，提取观测残差、状态差值及多运动模型新息序列，并利用时序注意力长短期记忆网络（lstm）对行人的运动模式进行建模与识别，实时输出各运动模型的适配概率及噪声调整因子，基于所述噪声调整因子动态更新卡尔曼滤波的过程噪声协方差矩阵与观测噪声协方差矩阵，使滤波器能够随环境噪声波动和行人运动状态变化自动调节参数，避免了因参数失配导致的跟踪精度下降和轨迹抖动问题，提升了滤波器对动态场景的适应能力。

43、2、本发明采用双支路并行检测架构，当某一支路因遮挡、光照变化或数据丢失而临时失效时，lstm能够动态调整噪声调整因子和各模型融合权重，使系统自动降低失效支路的贡献、侧重有效支路的信息，并提高适配当前运动模式的模型权重，避免了因单支路失效导致的融合结果偏差剧增及轨迹中断问题，实现了在复杂环境下的稳定跟踪。