一种车辆状态检测方法、装置、介质及设备与流程

摘要: 本发明涉及车辆状态检测领域,尤其涉及一种车辆状态检测方法、装置、介质及设备。背景技术:1、随着高级辅助驾驶系统及智能底盘技术的快速发展,车辆在复杂工况下的运行状...
一种车辆状态检测方法、装置、介质及设备与流程

本发明涉及车辆状态检测领域,尤其涉及一种车辆状态检测方法、装置、介质及设备。

背景技术:

1、随着高级辅助驾驶系统及智能底盘技术的快速发展,车辆在复杂工况下的运行状态监测与主动预警能力已成为汽车安全领域的研究热点。目前,针对车辆行驶过程中的环境感知与状态监控,现有技术通常采用多传感器融合与模型驱动相结合的方式,即利用激光雷达、多目摄像头等外部传感器感知车辆周边环境信息,同时利用惯性测量单元等内部传感器获取车身的姿态与运动信息,通过多源数据的综合分析来评估车辆的安全状态。

2、在现有的环境感知与状态监测方案中,一种典型的做法是将激光雷达点云数据与视觉图像进行简单的空间投影拼接,以获取车辆前方的基础路况信息,同时独立采集车身惯性测量单元的数据用于车辆姿态解算。在此基础上,部分方案进一步引入基于固定阈值的判断逻辑或单一维度的特征分析,当监测到的某项参数超出设定阈值时触发预警。然而,上述现有技术仍存在以下不足:

3、其一,多源异构传感器之间的时空错位问题未能得到有效解决。车辆在动态行驶过程中存在剧烈的颠簸、俯仰及侧倾,外部视觉/雷达传感器与内部惯性传感器之间天然存在严重的时空错位,即不同传感器采集数据的时刻难以严格同步、且各自处于不同的空间坐标系中。现有方案中简单的空间投影拼接无法消除高频运动带来的特征拖影与畸变,也无法补偿车身姿态变化导致的投影偏差,导致构建的车辆初级状态信息存在极大的噪声与不确定性,难以准确反映车辆的真实行驶状态。其二,对车辆各子系统之间的隐性耦合关系缺乏深入挖掘与利用。车辆的底盘、动力及传动系统之间并非相互独立,而是存在着复杂的非线性耦合关系——例如电机的瞬态扭矩变化可能通过传动轴引发悬架的扭转共振,这种跨子系统的隐性关联在常规数据中难以直接观测。然而,现有方法通常仅对单一数据源或固定参数组合进行分析,缺乏从多模态数据中提取和利用这种隐性耦合特征的有效手段,导致对车辆异常状态的感知不够全面和深入,许多潜在的级联风险被遗漏。其三,异常检测与预警机制缺乏因果推理能力。现有方法往往在故障发生或异常状态已经显现后才能进行识别,属于“事后型”检测,缺乏对异常演化过程的超前感知能力。当异常信号出现时,现有技术难以追溯异常的源头和传导路径,无法从因果关系层面构建完整的异常演化链条,也就无法区分“首发故障源”与“被动受迫异常体”。这种“知其然不知其所以然”的局限,严重制约了预警的准确性和时效性,容易导致误报或漏报。这些不足导致现有技术无法准确高效地对车辆的状态进行检测。

技术实现思路

1、本发明提供了一种车辆状态检测方法、装置、介质及设备,以解决现有技术中无法准确高效地对车辆的状态进行检测的问题。

2、第一方面,本技术提供了一种车辆状态检测方法,包括:

3、获取目标车辆在行驶过程中的激光雷达的点云数据、多目摄像头拍摄的图像数据以及车身惯性数据;

4、基于所述点云数据与所述图像数据,结合预设的时空维度对齐算法,构建目标车辆的初级状态,并将所述初级状态与所述车身惯性数据进行残差补偿以确定目标车辆在行驶过程中的多模态数据;

5、根据预设的连续时间窗口,对所述多模态数据进行迭代,以提取所述目标车辆的多个行驶特征,将多个所述行驶特征与所述目标车辆的行驶场景和行驶数据进行跨模态对齐与交叉匹配,以确定所述目标车辆在不同维度的多个数据组合,并对多个所述数据组合进行识别以提取所述目标车辆的各个状态特征;

6、将各个状态特征输入至预设的结合车辆立体模型训练得到的行驶动态模型中,以识别偏离预设标准工况的多个异常部件,根据多个所述异常部件,结合预设的因果推理逻辑,构建目标车辆的异常工作链条;

7、根据所述异常工作链条,对所述目标车辆的实时状态进行检测,以得到所述目标车辆的状态检测结果。

8、本技术通过获取激光雷达点云数据、多目摄像头图像数据及车身惯性数据,并基于预设的时空维度对齐算法构建目标车辆的初级状态,使得点云所表征的三维空间结构与图像所蕴含的纹理语义信息在统一的时空基准下实现精准关联,再利用车身惯性数据对初级状态进行残差补偿,有效消除了车辆动态行驶过程中因颠簸、俯仰及侧倾导致的多源异构传感器之间的时空错位与特征畸变,从而获得了高精度、低噪声的多模态数据,为后续状态感知提供了可靠的数据基础;在此基础上,本技术通过连续时间窗口对多模态数据进行动态迭代以提取多个行驶特征,并利用跨模态对齐与交叉匹配确定车辆在语义、物理及行为维度的多个数据组合,进而通过动态识别提取状态特征,使得原本隐性的底盘、动力及传动系统之间的非线性耦合关系得以被深度挖掘与量化表征,显著提升了车辆异常状态感知的全面性和灵敏度;进一步地,本技术将状态特征输入至结合车辆立体模型训练得到的行驶动态模型中,通过数字孪生空间中的前向传播与拓扑异常识别精确定位偏离标准工况的多个异常部件,并引入因果推理逻辑构建以异常部件为节点、以能量传递与控制指令为有向边的异常工作链条,实现了从“孤立异常点检测”到“异常演化全链路追溯”的跨越,使系统能够清晰区分首发故障源与被动受迫异常体;最终,本技术根据异常工作链条对目标车辆的实时状态进行检测,使得检测结果具备因果可解释性与时序可追溯性,能够精准感知车辆当前状态的劣化趋势,本技术有效解决了现有技术无法准确高效地对车辆的状态进行检测的问题。

9、进一步的,所述基于所述点云数据与所述图像数据,结合预设的时空维度对齐算法,构建目标车辆的初级状态,具体为:

10、将所述点云数据与所述图像数据映射至同一数据空间;

11、在所述数据空间中引入动态特征对齐机制,对所述点云数据与所述图像数据进行非线性映射以得到对齐后的融合特征;

12、对所述对齐后的融合特征进行多尺度融合,以构建包含深度信息、纹理信息以及语义信息的初级状态。

13、本技术通过将点云数据与图像数据映射至同一数据空间,消除了激光雷达与多目摄像头因物理安装位置差异导致的坐标系割裂,使得三维空间结构与二维视觉信息在统一的度量基准下实现空间对齐;在此基础上,在所述数据空间中引入动态特征对齐机制,对点云数据与图像数据进行非线性映射,使得原本处于不同特征分布空间的异构数据在特征层面实现结构匹配与语义关联,有效克服了传统简单空间投影拼接无法处理高频运动畸变及非线性形变的缺陷;进一步地,对对齐后的融合特征进行多尺度融合,通过保留高分辨率特征图中的局部高频突变信息以捕捉微观几何轮廓,同时将粗粒度分支中的全局背景上下文注入至细粒度分支中,使底层的局部细节特征被赋予高维度语义属性,从而构建出每个特征向量均同时蕴含深度信息、纹理信息以及语义信息的初级状态,为后续车辆状态感知与异常识别提供了多维度、高保真、物理可解释的数据基础。

14、进一步的,所述将所述初级状态与所述车身惯性数据进行残差补偿以确定目标车辆在行驶过程中的多模态数据,具体为:

15、将所述车身惯性数据转化为刚体运动学特征;

16、根据所述刚体运动学特征对所述初级状态进行时间维度插值补偿,并根据所述刚体运动学特征中的姿态角对时间维度插值补偿后的初级状态进行空间维度矫平;

17、将空间维度矫平后的初级状态与所述刚体运动学特征进行语义残差补偿,得到多模态数据。

18、本技术通过将车身惯性数据转化为刚体运动学特征,使得高频采样的惯性数据能够表征车辆在三维空间中的连续运动状态,为后续补偿提供了反映底盘真实动态受力的物理量基准;在此基础上,根据所述刚体运动学特征对初级状态进行时间维度插值补偿,利用相邻两帧初级状态之间的惯性预积分量推算车辆在帧间盲区内的位移与旋转,并对后一时刻的初级状态进行逆向形变补偿,消除了因车辆高速运动或剧烈颠簸导致的图像运动模糊与点云拖影畸变,同时根据刚体运动学特征中的姿态角对时间补偿后的初级状态进行空间维度矫平,通过构建逆透视变换矩阵对特征图进行空间层面的矫平操作,消除了车身俯仰与侧倾导致的空间投影畸变,使环境特征被严格锚定在真实的世界坐标系中;进一步地,将空间矫平后的初级状态与刚体运动学特征进行语义残差补偿,通过计算外部视觉感知的环境语义与内部惯性测量的力学响应之间的不匹配度,并将该语义残差作为修正项双向注入至环境语义与力学响应中,使修正后的环境特征被赋予力学冲击权重、修正后的力学特征被关联至具体外部物理源,从而在语义层面实现内外感知的完美闭环,最终得到既具备外部高维语义与空间结构、又具备内部高频力学响应与因果关联的多模态数据,为后续车辆状态特征的精确提取与异常识别提供了高精度、低噪声、物理可解释的数据基础。

19、进一步的,所述根据预设的连续时间窗口,对所述多模态数据进行迭代,以提取所述目标车辆的多个行驶特征,将多个所述行驶特征与所述目标车辆的行驶场景和行驶数据进行跨模态对齐与交叉匹配,以确定所述目标车辆在不同维度的多个数据组合,具体为:

20、基于预设的连续时间窗口,对所述多模态数据进行动态迭代,以得到时序状态更新结果;

21、采用流形学习机制对所述时序状态更新结果进行非线性降维投影,以提取多个行驶特征;

22、基于预设的跨模态关联矩阵,将所述多个行驶特征与所述目标车辆的行驶场景以及行驶数据进行跨模态动态对齐,以得到对齐后的多个行驶特征;

23、将对齐后的多个行驶特征分别投射至语义维度、物理维度以及行为维度的基准空间中,并在所述基准空间中进行交叉相关性计算与模式匹配,将满足预设的多维交叉匹配阈值的对齐后的多个行驶特征进行聚类,以确定多个数据组合。

24、本技术通过基于预设的连续时间窗口对多模态数据进行动态迭代,使得原本离散且缺乏时序关联的多维张量被重构为具有连贯时间上下文的多模态时空序列,为后续特征提取保留了完整的动态演变轨迹;在此基础上,采用流形学习机制对时序状态更新结果进行非线性降维投影,通过将高维多模态数据向低维本质流形空间进行映射,剥离了表观物理量纲与环境噪声,提炼出能够深刻揭示车辆底盘、动力及传动系统之间隐性非线性耦合关系的本征行驶特征,使跨子系统的级联风险得以被量化表征;进一步地,基于跨模态关联矩阵将多个行驶特征与行驶场景及行驶数据进行跨模态动态对齐,通过度量学习建立特征表象与工况实质之间的精确对应关系,并将对齐后的行驶特征分别投射至语义维度、物理维度以及行为维度的基准空间中进行交叉相关性计算与模式匹配,将满足多维交叉匹配阈值的相关要素进行聚类,从而筛选出在语义层面与风险标签匹配、在物理层面与力学极限吻合、在行为层面与驾驶操作关联的多维度互锁数据组合,实现了从单一表象特征到多维度结构化描述的跨越,为后续车辆异常状态的精准识别提供了全面且物理可解释的特征输入。

25、进一步的,所述对多个所述数据组合进行识别以提取所述目标车辆的各个状态特征,具体为:

26、对于每个数据组合,结合预设的非平稳动态模式识别机制,以识别该数据组合内的异常数据组合;

27、根据所述异常数据组合,构建图网络,并对所述图网络进行动态演化以得到动态图拓扑结构;

28、对所述动态图拓扑结构进行图注意力过滤,对过滤后的动态图拓扑结构进行反向追溯以获取引发拓扑异常的源节点;

29、计算所述源节点及源节点的扩散路径上的能量聚集度与拓扑连通强度,以提取表征异常的状态特征。

30、本技术通过对于每个数据组合结合非平稳动态模式识别机制识别该数据组合内的异常数据组合,使得原本宽泛的全局监测被收敛至局部的异常敏感区域,精准定位出在当前复杂工况下偏离正常动力学范式的数据片段,避免了静态阈值比对导致的漏判与误判;在此基础上,根据所述异常数据组合构建图网络并对所述图网络进行动态演化,将离散的物理量转化为具有明确节点与边的动态图拓扑结构,并根据节点特征向量的相似度变化与物理耦合强度的波动实时更新邻接矩阵权重,从而以图论数学语言直观表征车辆各子系统在异常瞬间的动态牵连关系,使原本分散的异常信号被结构化为可计算、可追溯的关联网络;进一步地,对所述动态图拓扑结构进行图注意力过滤,通过图注意力机制对孤立的环境噪声节点赋予低注意力系数予以屏蔽,同时通过将符合冗余设计逻辑的节点进行动态拓扑掩码以消除正常机械冗余的影响,使图网络中保留下来的仅是具有稳定传导路径的核心异常链路;在此基础上,对过滤后的动态图拓扑结构进行反向追溯以获取引发拓扑异常的源节点,并计算所述源节点及其扩散路径上的能量聚集度与拓扑连通强度,从而提取出表征异常潜势的状态特征——该特征不再仅仅是已发生的物理损坏的表征,而是深刻反映了当前车辆状态偏离安全吸引子域的潜在趋势,实现了从“异常现象识别”到“异常潜势预判”的跨越,为后续车辆状态检测与预警提供了高灵敏度、强物理可解释性的特征输入。

31、进一步的,所述将各个状态特征输入至预设的结合车辆立体模型训练得到的行驶动态模型中,以识别偏离预设标准工况的多个异常部件,根据多个所述异常部件,结合预设的因果推理逻辑,构建目标车辆的异常工作链条,具体为:

32、将各个状态特征按照维度属性分配至预设的神经网络输入层的独立特征通道中;

33、对所述独立特征通道中的状态特征与预设的车辆立体模型进行多级联合训练,以得到反映车辆动力学响应的行驶动态模型;

34、将所述行驶动态模型输出的全局物理场分布与预设标准工况下的基准拓扑响应进行差分比对,以识别发生拓扑畸变的区域,并依据所述发生拓扑畸变的区域定位多个异常部件;

35、提取每个异常部件在当前时刻及历史时间窗口内的多维特征向量,并计算每两个异常部件之间的关联度量;

36、根据各所述关联度量筛选出在时间上具有先后继发性、在空间上具有物理邻接性以及在能量特征上具有相关性的各异常部件组合;

37、根据预设的结构因果模型,结合预设的车辆物理先验知识图谱作为约束,对所述异常部件组合进行识别以得到各异常部件之间的因果触发序列,将所述因果触发序列中的异常部件定义为节点,将所述异常部件之间的传递路径或控制指令传递路径定义为有向边,构建目标车辆的异常工作链条。

38、本技术通过将各个状态特征按照维度属性分配至预设神经网络输入层的独立特征通道中,使表征不同物理含义的状态特征在网络入口处维持正交性与独立性,避免了梯度混淆与特征串扰,为后续网络解算提供了高保真的特征输入;在此基础上,对所述独立特征通道中的状态特征与预设的车辆立体模型进行多级联合训练,通过浅层数据驱动提取高阶隐含关联、深层引入物理约束进行正则化惩罚,使网络被强制赋予符合牛顿力学规律的解算能力,从而得到反映车辆真实动力学响应的行驶动态模型,解决了纯数据驱动模型缺乏物理可解释性的缺陷;进一步地,将所述行驶动态模型输出的全局物理场分布与预设标准工况下的基准拓扑响应进行差分比对以识别发生拓扑畸变的区域并定位多个异常部件,使得异常定位不再依赖单一阈值判断,而是在数字孪生空间中通过拓扑畸变分析实现精准的空间域定位;同时,提取每个异常部件在当前时刻及历史时间窗口内的多维特征向量并计算两两之间的关联度量,根据各关联度量筛选出在时间上具有先后继发性、在空间上具有物理邻接性以及在能量特征上具有相关性的异常部件组合,从而将同时报警的多个异常现象区分为具有内在关联的异常组合与偶发孤立的伪异常,有效解决了多故障并发时难以区分关联性的技术难点;最终,根据预设的结构因果模型结合预设的车辆物理先验知识图谱作为约束,对异常部件组合进行识别以得到各异常部件之间的因果触发序列,将因果触发序列中的异常部件定义为节点、将传递路径或控制指令传递路径定义为有向边,构建出以能量传递与控制指令为驱动逻辑的车辆异常工作链条,实现了从“孤立异常点检测”到“异常演化全链路因果追溯”的跨越,使系统能够清晰区分首发故障源与被动受迫异常体,为车辆状态检测提供了具备因果可解释性的结构化分析基础。

39、进一步的,所述根据所述异常工作链条,对所述目标车辆的实时状态进行检测,以得到所述目标车辆的状态检测结果,具体为:

40、根据所述异常工作链条,构建带有时间戳属性的有向无环图;

41、对所述有向无环图中所有入边的反方向进行逆序遍历,并比对有向无环图中每条边上的发生时间戳,以确定逆向通路;

42、根据所述逆向通路上各条有向边的时间延迟属性,生成异常信息序列;

43、对所述异常信息序列进行多级迭代处理,得到各级迭代对应的修正概率分布;

44、将所述多个行驶特征映射至预设的梯度数据空间,并结合所述修正概率分布计算各行驶特征的梯度向量,根据所述梯度向量,生成待优化梯度图;

45、对所述待优化梯度图进行动态推理,以识别所述目标车辆当前时刻的实时状态,并根据所述实时状态触发对应的动态预警,将所述实时状态与所述动态预警作为目标车辆的检测结果。

46、本技术通过根据所述异常工作链条构建带有时间戳属性的有向无环图,将原本以节点和有向边形式存在的异常工作链条转化为可计算、可遍历的图数据结构,使得各异常部件之间的时序依赖关系得以被显式量化;在此基础上,对所述有向无环图进行逆序遍历并比对每条边上的发生时间戳以确定逆向通路,通过从末端异常节点沿时间轴反方向逐级追溯,确保了所确定的逆向通路严格遵循能量从下游向上游倒推的时序因果律,再根据逆向通路上各条有向边的时间延迟属性生成异常信息序列,使得复杂的物理级联反应被浓缩为包含故障源、传导路径与显性表征的结构化序列,实现了从“多部件报警”到“单一可追溯因果链”的归约;进一步地,对所述异常信息序列进行多级迭代处理得到各级迭代对应的修正概率分布,以一级迭代的后验概率作为下一级迭代的先验概率逐级传递,使得异常事件发生概率在每一级中均被最新的行驶特征证据不断洗刷并收敛至高置信度,有效解决了单一瞬时判断带来的不确定性累积问题;在此基础上,将多个行驶特征映射至预设的梯度数据空间,并结合修正概率分布计算各行驶特征的梯度向量以生成待优化梯度图,使得异常因素的核心分布区域与异常影响的物理蔓延方向以空间热力图的形态呈现,为动态推理提供了直观的量化依据;最终,对所述待优化梯度图进行动态推理以识别目标车辆当前时刻的实时状态,并根据实时状态触发对应的动态预警,使得预警决策不再依赖固定阈值或开环判断,而是基于实时追踪的梯度场漂移轨迹与状态劣化趋势进行自适应触发,从而实现了从异常信息序列到待优化梯度图再到动态预警的完整闭环,显著提高了车辆实时状态检测的精准性与预警的时效性,为智能汽车安全预警提供了可靠的技术支撑。

47、第二方面,本技术提供了一种车辆状态检测装置。所述车辆状态检测装置包括:

48、获取模块,用于获取目标车辆在行驶过程中的激光雷达的点云数据、多目摄像头拍摄的图像数据以及车身惯性数据;

49、构建模块,用于基于所述点云数据与所述图像数据,结合预设的时空维度对齐算法,构建目标车辆的初级状态,并将所述初级状态与所述车身惯性数据进行残差补偿以确定目标车辆在行驶过程中的多模态数据;

50、提取模块,用于根据预设的连续时间窗口,对所述多模态数据进行迭代,以提取所述目标车辆的多个行驶特征,将多个所述行驶特征与所述目标车辆的行驶场景和行驶数据进行跨模态对齐与交叉匹配,以确定所述目标车辆在不同维度的多个数据组合,并对多个所述数据组合进行识别以提取所述目标车辆的各个状态特征;

51、识别模块,用于将各个状态特征输入至预设的结合车辆立体模型训练得到的行驶动态模型中,以识别偏离预设标准工况的多个异常部件,根据多个所述异常部件,结合预设的因果推理逻辑,构建目标车辆的异常工作链条;

52、检测模块,用于根据所述异常工作链条,对所述目标车辆的实时状态进行检测,以得到所述目标车辆的状态检测结果。

53、本技术通过获取模块采集激光雷达的点云数据、多目摄像头拍摄的图像数据及车身惯性数据,为后续状态感知提供了涵盖外部环境空间结构、纹理语义与内部车身运动姿态的全维度原始数据基础;在此基础上,构建模块基于点云数据与图像数据结合时空维度对齐算法构建初级状态,使点云所表征的三维空间结构与图像所蕴含的纹理语义信息在统一的时空基准下实现精准关联,再通过将初级状态与车身惯性数据进行残差补偿确定多模态数据,利用高频惯性数据对低频外部感知结果进行时间维度逆向形变补偿与空间维度姿态矫平,有效消除了车辆动态行驶过程中因颠簸、俯仰及侧倾导致的多源异构传感器之间的时空错位与特征畸变,同时通过语义残差的双向注入使外部环境特征被赋予力学冲击权重、内部力学特征被关联至具体物理源,从而获得兼具外部高维语义与内部高频响应的多模态数据;提取模块根据连续时间窗口对多模态数据进行迭代以提取多个行驶特征,通过流形学习从高维数据中挖掘底盘、动力及传动系统之间的隐性非线性耦合关系,再通过跨模态对齐与交叉匹配确定车辆在语义、物理及行为维度的多个数据组合,使原本不可见的跨子系统级联风险被量化为结构化组合,进而对多个数据组合进行识别以提取各个状态特征,通过图拓扑结构演化与图注意力过滤将异常信号从环境噪声与机械冗余中剥离,并反向追溯源节点计算能量聚集度以提取表征异常潜势的状态特征,实现从“数据组合”到“异常潜势表征”的特征升华;识别模块将各个状态特征输入至结合车辆立体模型训练得到的行驶动态模型中,通过数字孪生空间中的前向传播与拓扑畸变比对识别偏离标准工况的多个异常部件,再结合因果推理逻辑构建异常工作链条,通过结构因果模型与物理先验知识图谱的联合约束区分首发故障源与被动受迫异常体,并以异常部件为节点、以传递路径为有向边构建可追溯的因果链,实现了从“孤立异常检测”到“异常演化全链路追溯”的跨越;最终,检测模块根据异常工作链条对目标车辆的实时状态进行检测,通过有向无环图逆向追溯生成异常信息序列,经多级贝叶斯迭代收敛异常概率分布后生成待优化梯度图,再对梯度图进行动态推理以识别当前时刻的实时状态,形成从数据采集到状态检测的完整闭环。各模块协同工作,使本技术能够有效消除多源传感器之间的时空错位,深度挖掘车辆各子系统之间的隐性耦合关系,并基于因果推理实现异常演化链路的全追溯,显著提高了车辆状态检测的精准性、全面性与可解释性。

54、第三方面,本技术提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如所述的一种车辆状态检测方法。其有益效果与本技术中第一方面提供的一种车辆状态检测方法相同。

55、第四方面,本技术提供一种终端设备,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面所述的任意一种车辆状态检测方法。