一种基于多模态感知与协同学习的车辆座舱自适应调节系统及方法与流程

本发明涉及车辆座舱智能控制领域，具体地指一种基于多模态感知与协同学习的车辆座舱自适应调节系统及方法。

背景技术：

1、在当前的车辆座舱人机调节系统中，座椅、后视镜、方向盘等调节单元通常作为独立的机电组件进行控制，各自拥有独立的调节逻辑和操作接口，缺乏统一的协同决策机制。用户在驾驶前往往需要依次手动调整多个部件的位置与角度，整个过程耗时较长且难以一次性达到理想的驾乘姿态。此外，现有的自动调节功能大多依赖于固定的预设模式或简单的记忆存储，无法根据用户实时的身体姿态、坐姿变化或疲劳状态进行动态调整，智能化程度较低。在面对不同体型、不同驾驶习惯的用户时，系统缺乏自适应能力，难以真正实现个性化的舒适配置。同时，现有方案在场景适应性方面也存在明显不足，例如在倒车、长途驾驶或多人共用车辆等典型场景下，座椅与后视镜的姿态无法根据场景需求自动联动变化，导致视野盲区或支撑不适等问题。由于座椅调节与后视镜调节之间缺乏运动学协同建模，当用户调整座椅位置后，后视镜的视野往往随之改变而未被同步修正，这不仅影响了驾驶体验，还可能因视野偏差带来安全隐患。因此，现有技术在舒适性、安全性、智能化及场景适应性等方面均存在较大改进空间。

技术实现思路

1、本发明的目的在于一方面提供一种基于多模态感知与协同学习的车辆座舱自适应调节系统，另一方面提供一种基于多模态感知与协同学习的车辆座舱自适应调节方法，该系统和方法能够通过多模态感知与协同学习算法，对座椅及后视镜进行一体化自适应调节，防止传统调节方式中单元割裂、效率低下的问题，避免因坐姿不当或视野偏差引发的驾驶安全隐患，同时防止因用户频繁更换导致的调节冲突，实现车适应人的个性化智能座舱体验。

2、为实现此目的，本发明所设计的一种基于多模态感知与协同学习的车辆座舱自适应调节系统，它包括：

3、多模态感知模块，用于在被识别的用户与车辆的距离在预设范围内时，采集用户的静态生理特征数据，在用户就座后，采集用户的动态姿态数据和车辆状态数据，并获取驾驶座椅和后视镜的当前位置参数；

4、场景识别模块，用于基于所述车辆状态数据并结合用户意图，识别车辆当前所处的车辆座舱场景模式；

5、座舱协同调节模块，用于利用预设双流强化学习协同模型对用户的静态生理特征数据、驾驶座椅和后视镜的当前位置参数、动态姿态数据和车辆座舱场景模式进行协同决策，生成针对驾驶座椅和后视镜的最优调节指令，驱动驾驶座椅和后视镜进行协同运动，完成座舱的自适应调节。

6、进一步的，采集用户的静态生理特征数据的方法包括：当用户与车辆的距离在预设范围内时，采用激光雷达与rgb-d摄像头相结合获取用户的点云数据与深度图像，通过预训练的3d人体姿态估计模型从用户的点云数据与深度图像中提取用户的身高、坐高、大腿长、肩宽，步幅，作为用户的静态生理特征数据；

7、所述用户的动态姿态数据包括用户眼部在车辆坐标系中的三维坐标，用户头部欧拉角，用户与驾驶座椅接触面的压力分布数据、躯干与驾驶座椅靠背的贴合度评分，得到用户眼部在车辆坐标系中的三维坐标、用户头部欧拉角和躯干与驾驶座椅靠背的贴合度评分的方法包括：通过布置于座舱内多个位置的多个红外广角摄像头捕获驾驶员区域的多视角视频流，通过在域控制器的神经网络处理单元上运行的轻量级卷积神经网络与循环神经网络的组合模型对所述多视角视频流自动进行实时处理，得到用户眼部在车辆坐标系中的三维坐标、用户头部欧拉角和躯干与驾驶座椅靠背的贴合度评分。

8、进一步的，所述车辆状态数据包括通过车辆can总线实时获取的车速、挡位、车门开关状态，基于所述车辆状态数据并结合用户意图，识别车辆当前所处的车辆座舱场景模式的方法包括：当车辆挡位处于前进或手动模式且车速大于行驶速度阈值时，车辆座舱场景模式为驾驶模式；当车辆挡位为倒挡时，车辆座舱场景模式为倒车模式；当车辆车速为0，且车辆挡位处于驻车挡或空挡，且驾驶员侧车门处于关闭状态，且用户通过语音或按键主动触发休息模式时，车辆座舱场景模式为休息模式；当用户距离驾驶员侧车门迎宾的距离小于预设距离阈值且驾驶员侧车门打开时，车辆座舱场景模式为迎宾模式。

9、进一步的，在迎宾模式下，驾驶座椅和后视镜保持初始设定姿态，基于用户的静态生理特征数据，从预设体型模板库中匹配对应的驾驶座椅位置初始调节参数和后视镜角度初始调节参数，分别将驾驶座椅的位置、驾驶座椅的高度，后视镜的角度从对应的当前位置预调到驾驶座椅位置初始调节参数和后视镜角度初始调节参数对应的设定位置。

10、进一步的，当迎宾模式结束，用户在驾驶座椅落座后，利用用户与驾驶座椅接触面的压力分布数据、躯干与驾驶座椅靠背的贴合度评分，通过人体工学模型计算座椅的理想位置与姿态，得到驾驶座椅调节参数向量s：

11、s=[xs, zs,θcushion,φback, llumbar，hheadrest]^t;

12、其中，xs为驾驶座椅沿车辆坐标系x轴的水平位移量，zs为驾驶座椅沿车辆坐标系z轴的垂直位移量，θcushion为坐垫的倾斜角度，φback为驾驶座椅靠背的倾斜角度，llumbar为腰托的调节位置，hheadrest为头枕的高度调节值，^t为对驾驶座椅调节参数向量s进行矩阵转置；

13、利用用户眼部在车辆坐标系中的三维坐标和头部欧拉角，通过几何光学模型计算后视镜理想角度，得到后视镜目标参数向量m：

14、m=[θlvert，θl_horz，θr_vert，θr_horz，θ_inner]^t；

15、其中，θl_vert为左外后视镜的垂直方向调节角度，θl_horz为左外后视镜的水平方向调节角度，θr_horz为右外后视镜的水平方向调节角度，单位为度，θ_inner为内后视镜的调节角度，通过对驾驶座椅调节参数向量s和后视镜调节参数向量m进行参数求解，得到驾驶座椅和后视镜的最优调节指令，^t为对后视镜目标参数向量m进行矩阵转置。

16、进一步的，通过对驾驶座椅调节参数向量s和后视镜调节参数向量m进行参数求解，得到驾驶座椅和后视镜的最优调节指令的方法包括：将驾驶座椅调节参数向量s与后视镜调节参数向量m合并得到车辆座舱调节参数集，通过预设的双流强化学习协同模型对车辆座舱调节参数集求解得到使代价函数j：

17、j=||w_seat·(s-s_ideal)||^2+||w_mirror·(m-m_ideal)||^2最小的最优车辆座舱调节参数集，其中，w_seat为驾驶座椅参数的权重矩阵，s为实际驾驶座椅调节参数向量，s_ideal为目标驾驶座椅调节参数向量，w_mirror为后视镜参数的权重矩阵，m为实际后视镜调节参数向量，m_ideal为目标后视镜调节参数向量||·||^2为向量欧几里得范数的平方，将最优参数集中的驾驶座椅调节参数作为驾驶座椅的最优调节指令，驾驶座椅调节参数包含在驾驶座椅机械限位范围内，后视镜调节参数作为后视镜的最优调节指令，后视镜调节参数包含在后视镜的机械限位范围内。

18、进一步的，在驾驶模式下，驾驶座椅的最优调节指令对应的驾驶座椅姿态与后视镜的最优调节指令对应的后视镜姿态为座舱标准行驶姿态，车辆行驶过程中，驾驶座椅、后视镜的自动调节功能禁用，在座舱标准行驶姿态的基础上，当驾驶座椅检测到用户背部或臀部的左右压力比超过预设压力阈值时，预设的双流强化学习协同模型调整驾驶座椅靠背或坐垫的支撑力分布，使用户背部或臀部的左右压力比保持平衡，并跟随驾驶座椅支撑力协同调整后视镜角度，同时满足使代价函数j最小的约束。

19、进一步的，在倒车模式下，根据车辆倒车挡位信号及后置超声波雷达激活状态触发后视镜角度调整，而驾驶座椅保持当前位置不作任何调节，左外后视镜和右外后视镜则分别执行预设的下翻动作，辅助驾驶员安全完成倒车操作；

20、在休息模式下，首先根据用户的历史偏好或通用休息模板，自动将驾驶座椅调节至预设的初始休息姿态，并将后视镜折叠至最小占用空间位置或向内旋转至贴窗位置，用户可根据自身需求，通过物理按键、触屏或语音指令手动调节驾驶座椅的任意自由度，在此过程中，系统通过车内压力传感器和视觉传感器实时监测用户调整后的最终姿态数据，并将其与当前场景模式关联，自动更新至用户的个人偏好模型中。

21、更进一步的，一种根据所述系统的基于多模态感知与协同学习的车辆座舱自适应调节方法，包括：

22、在用户与车辆的距离在预设范围内时，采集用户的静态生理特征数据，在用户就座后，采集用户的动态姿态数据和车辆状态数据；

23、基于所述车辆状态数据并结合用户意图，识别车辆当前所处的车辆座舱场景模式；

24、利用预设双流强化学习协同模型对用户的静态生理特征数据、动态姿态数据和车辆座舱场景模式进行协同决策，生成针对驾驶座椅和后视镜的最优调节指令，驱动驾驶座椅和后视镜进行协同运动，完成座舱的自适应调节。

25、本发明的有益效果：本发明针对现有车辆座舱人机调节系统中调节单元相互独立、缺乏协同、智能化程度低、无法动态适应不同场景与用户习惯、安全性与舒适性难以兼顾等缺陷，通过构建包含感知、决策、执行、交互的四层闭环架构，采用车外多模态感知，通过激光雷达与rgbd摄像头融合提取用户身高、坐高、肩宽等静态生理数据，与车内多视角红外视觉网络结合压力传感阵列实时获取用户眼部三维坐标、头部欧拉角、躯干贴合度评分及压力分布热力图，在域控制器npu（neural processing unit神经网络处理器）上运行轻量级cnnlstm（卷积神经网络与长短期记忆网络）组合模型与强化学习协同算法，对多模态数据进行融合推理，动态输出座椅调节参数向量s（包含水平位移、垂直位移、坐垫倾角、靠背倾角、腰托位置、头枕高度）与后视镜调节参数向量m（包含左右外后视镜垂直和水平角度、内后视镜角度），并通过运动学协同模型完成协同调节，同时结合场景识别引擎（驾驶、倒车、休息、迎宾等模式）与动态疲劳监测干预机制，实现从人适应车到车适应人的根本转变。本发明通过将座椅、后视镜等原本孤立的调节单元转化为统一协调的人体姿态支撑系统，提升座舱调节效率与用户体验，系统不仅能记忆位置偏好，更能通过学习用户的姿态习惯、疲劳模式与场景偏好实现越用越贴合的持续进化；通过协同优化确保任何座椅姿态下均能获得符合安全标准的视野覆盖。