车辆座椅检测方法、系统、设备和存储介质与流程

本技术涉及车辆检测，特别是涉及一种车辆座椅检测方法、系统、设备和存储介质。

背景技术：

1、车辆座椅的运动稳定性是评价座椅整车品质的核心指标，直接影响用户的驾乘体验与产品使用寿命。现阶段，汽车座椅质量检测多采用传统人工抽检或单一维度检测方式，检测模式存在明显局限性，无法精准捕捉座椅运行过程中的细微、隐性运动异常。

2、因此，如何实现对车辆座椅运动异常的准确检测意义重大。

技术实现思路

1、本技术主要解决的技术问题是提供一种车辆座椅检测方法、系统、设备和存储介质，能够实现对车辆座椅运动异常的准确检测。

2、为解决上述技术问题，本技术采用的一个技术方案是：提供一种车辆座椅检测方法，该方法包括：获取在座椅执行动作过程中采集得到的多模态时序数据，其中，多模态时序数据中的各单模态时序数据分别表征座椅在执行动作过程中不同时刻的执行情况；对多模态时序数据进行第一时序切分，得到多个第一子序列；对于各第一子序列，提取第一子序列对应的原始时序特征序列，并利用参考时序上下文观测范围对原始时序特征序列进行增强，得到第一子序列对应的增强时序特征序列，其中，参考时序上下文观测范围大于第一子序列对应的时序范围；利用各第一子序列对应的增强时序特征序列，得到座椅的动作检测结果，其中，动作检测结果包括座椅执行动作是否异常。

3、其中，相邻第一子序列存在部分重叠。

4、其中，在利用参考时序上下文观测范围对原始时序特征序列进行增强，得到第一子序列对应的增强时序特征序列之前，还包括：对多模态时序数据进行第二时序切分，得到第二子序列，其中，各第二子序列与各第一子序列一一对应，以作为对应第一子序列的参考上下文观测范围，第二子序列的长度大于第一子序列的长度，且第二子序列包含对应的第一子序列的数据；利用参考时序上下文观测范围对原始时序特征序列进行增强，得到第一子序列对应的增强时序特征序列，包括：对于各第一子序列，对第一子序列对应的第二子序列进行注意力处理，得到第一子序列对应的时序特征权重序列；将第一子序列的原始时序特征序列与时序特征权重序列进行融合，得到增强时序特征序列。

5、其中，相邻第二子序列存在部分重叠。

6、其中，对于每组第一子序列和第二子序列，第一子序列和第二子序列的中点对应同一时刻。

7、其中，提取第一子序列对应的原始时序特征序列，并利用参考时序上下文观测范围对原始时序特征序列进行增强，得到第一子序列对应的增强时序特征序列的步骤，由注意力特征提取模块实现；其中，每个第一子序列对应一注意力特征提取模块，注意力特征提取模块包括特征提取单元和注意力处理单元，特征提取单元用于对第一子序列进行特征提取，得到原始时序特征序列，注意力处理单元用于对第二子序列进行注意力处理。

8、其中，多模态时序数据包括座椅运动视频，原始时序特征序列包含多个时刻对应的特征集合，各时刻对应的特征集合包括多个特征，时序特征权重序列对应包括多个时刻对应的权重集合，各时刻对应的权重集合包括多个特征对应的特征权重，特征权重表征对应的特征的重要度；将第一子序列的原始时序特征序列与时序特征权重序列进行融合，得到增强时序特征序列，包括：将多个时刻对应的特征集合分别与对应时刻的权重集合相乘，得到增强时序特征序列。

9、其中，原始时序特征序列包含多个时刻对应的特征集合，各时刻对应的特征集合包括座椅运动视频对应时刻的视频帧的图像特征图，时序特征权重序列对应包括多个时刻对应的权重集合，各时刻对应的权重集合包括时刻对应的图像特征图对应的权重图。

10、其中，权重图的权重大小，表征图像特征图对应的特征点属于座椅轴的概率，权重越大，对应的特征点越大概率为座椅轴。

11、其中，多模态时序数据包括座椅运动视频，增强时序特征序列包括多个时刻对应的增强特征集合，各时刻对应的增强特征集合包括座椅运动视频对应时刻的视频帧的增强图像特征图，增强图像特征图中被增强的特征点表征属于座椅轴，增强图像特征图能够表征座椅在对应时刻的实际运动位姿。

12、其中，利用各第一子序列对应的增强时序特征序列，得到座椅的动作检测结果，包括：基于各第一子序列对应的增强时序特征序列，得到座椅在执行动作过程中的实际运动轨迹；将实际运动轨迹与对应动作的标准运动轨迹进行比对，得到座椅运动偏差数据；基于座椅运动偏差数据、座椅电控时序反馈数据中的异常反馈数据，分析得到座椅的动作检测结果。

13、其中，实际运动轨迹包括座椅在执行动作过程中不同时刻的实际运动位姿，标准运动轨迹包括对应动作在不同时刻的标准运动位姿；将实际运动轨迹与对应动作的标准运动轨迹进行比对，得到座椅运动偏差数据，包括：将不同时刻的实际运动位姿与对应的标准运动位姿进行对比，得到不同时刻的位姿偏差矩阵，以作为座椅运动偏差数据。

14、其中，多模态时序数据还包括座椅电控时序反馈数据；在利用各第一子序列对应的增强时序特征序列，得到座椅的动作检测结果之前，还包括：对座椅运动视频中的视频帧与座椅电控时序反馈数据进行时序对齐；和/或，识别座椅电控时序反馈数据中的异常反馈数据，并对异常反馈数据进行异常标记，或者对增强时序特征序列中与异常反馈数据对应的特征进行异常标记。

15、其中，利用各第一子序列对应的增强时序特征序列，得到座椅的动作检测结果的步骤，由长短期记忆网络模块实现，长短期记忆网络模块包括级联的多个长短期记忆单元，每个长短期记忆单元用于输入一增强时序特征序列、以及上一级的长短期记忆单元的输出数据。

16、其中，对于各第一子序列，提取第一子序列对应的原始时序特征序列，并利用参考时序上下文观测范围对原始时序特征序列进行增强，得到第一子序列对应的增强时序特征序列的步骤，由多模态分析模型的注意力特征提取模块实现，利用各第一子序列对应的增强时序特征序列，得到座椅的动作检测结果的步骤，由多模态分析模型的长短期记忆网络模块实现。

17、其中，该方法还包括：响应于当前检测条件发生变化，利用新检测条件下的若干座椅样本，至少对多模态分析模型的注意力特征提取模块进行参数更新，其中，当前检测条件发生变化包括以下至少一者：座椅产线环境发生变化、座椅所属车型发生变化、座椅配置发生变化。

18、其中，座椅的动作检测结果还包括异常根因概率，异常根因概率是长短期记忆网络模块基于预先嵌入的知识图谱确定的，知识图谱包括座椅的机械结构参数、座椅的控制逻辑和座椅的多模态时序数据之间的关联关系。

19、其中，多模态时序数据包括座椅运动视频，该方法还包括：利用多模态分析模型或者视觉分析模型，对座椅运动视频中的部分片段进行分析，得到座椅的静态检测结果，静态检测结果包括座椅的物理状态、外观缺陷中的至少一者。

20、其中，在对于各第一子序列，提取第一子序列对应的原始时序特征序列，并利用参考时序上下文观测范围对原始时序特征序列进行增强，得到第一子序列对应的增强时序特征序列之前，还包括：对多模态时序数据进行预处理，预处理包括以下至少一种：数据清洗、归一化、标准化处理。

21、多模态时序数据包括座椅运动视频和座椅电控时序反馈数据，座椅运动视频包括在座椅执行动作过程中座椅的运动画面。

22、其中，在对于各第一子序列，提取第一子序列对应的原始时序特征序列，并利用参考时序上下文观测范围对原始时序特征序列进行增强，得到第一子序列对应的增强时序特征序列之前，还包括：对座椅运动视频进行降帧处理；以及，从座椅电控时序反馈数据中选择与当前指令相关的数据，作为最终的座椅电控时序反馈数据，其中，当前指令为触发座椅执行动作的指令。

23、其中，多模态时序数据包括座椅运动视频，在获取在座椅执行动作过程中采集得到的多模态时序数据之前，还包括：响应于车辆进入检测区域，向车辆下发检测任务，以使车辆在判断车辆当前满足检测要求的情况下，控制座椅执行动作，并控制车内摄像头同步拍摄座椅执行动作过程中的运动画面；获取在座椅执行动作过程中采集得到的多模态时序数据，包括：接收车辆反馈的多模态时序数据。

24、为解决上述技术问题，本技术采用的另一个技术方案是：提供一种车辆座椅检测系统，包括车辆检测模块和检测服务器，其中，车辆检测模块配置在车辆中，用于接收检测服务器下发的检测任务，并响应于检测任务控制车辆的座椅执行动作，并采集在座椅执行动作过程中的多模态时序数据，将多模态时序数据发送给检测服务器；检测服务器用于接收多模态时序数据，并执行上述方法，以生成座椅的动作检测结果。

25、为解决上述技术问题，本技术采用的又一个技术方案是：提供一种车辆座椅检测设备，包括相互耦接的存储器和处理器，存储器存储有程序指令；处理器用于执行存储器中存储的程序指令，以实现上述方法。

26、为解决上述技术问题，本技术采用的再一个技术方案是：提供一种计算机可读存储介质，用于存储程序指令，该程序指令能够被执行以实现上述方法。

27、上述方案，对座椅动作过程的多模态时序数据做时序切分的方式，能够减小第一子序列的时序范围，实现细粒度特征提取，以有效捕捉其中的微小异常；进一步地，利用覆盖第一子序列时序范围的参考时序上下文观测范围对第一子序列进行特征增强的方式，能够融合第一子序列前后动作的时序信息对其进行准确的特征增强，进而有利于利用准确的增强时序特征序列实现座椅执行动作的准确检测。