车内乘员手势指令的识别响应方法、装置、设备及介质与流程

本发明涉及智能座舱人机交互，具体地，涉及车内乘员手势指令的识别响应方法、装置、设备及介质。

背景技术：

1、智能座舱已经成为汽车智能化升级的核心发展方向，车载人机交互方式逐步摆脱实体按键、触控屏幕的单一操作模式，基于视觉、雷达传感的手势交互方案得到广泛落地应用，当下座舱内部包含多组车窗、空调、影音、天窗等可控车载设备，车辆主驾、副驾以及前后排乘客均存在独立调节车内设备的操作需求，不同乘坐位置乘员的操作权限、操作场景存在明显区分，行业内普遍采用深度相机、毫米波雷达、人脸摄像设备采集人体手部、面部相关特征数据，结合车载总线获取车辆行驶状态数据，依靠空间建模手段划分座舱内部交互区域，依托算法完成手势识别与设备控制匹配，伴随多乘员同车出行场景持续增多，座舱内部传感数据来源趋于多元，多源传感信息同步处理、多乘员手势区分、行车状态下识别精度平衡、遮挡环境下空间区域自适应调整等技术需求持续提升，行业需要能够适配多乘员、多工况、复杂座舱环境的手势指令识别响应体系支撑智能座舱交互功能落地。

2、现有车载手势交互技术大多采用单一传感采集数据，缺少多源传感数据同步对齐与统一降噪处理流程，传感数据时序错位、异常数值干扰会直接降低手势识别精准度，传统方案仅构建三维静态座舱空间模型，未引入时序维度实现动态空间校正，划分的交互区域不存在权限梯度管控机制，无法区分不同座位乘员的设备操作权限，极易出现后排乘员误操控主驾专属设备的安全隐患，常规识别算法仅依靠手部坐标判定有效手势，未结合人脸身份、视线落点双重特征锁定操作目标，指向匹配逻辑单一，手势误匹配、误触发问题频发，多数系统未设置分区独立指令通道，多乘员同时做出手势指令时会产生指令冲突，缺少可视化反馈机制，乘员无法实时知晓手势识别状态，同时传统系统不具备遮挡自适应边界修正、车速动态调参、参数持久化更新能力，车内物品遮挡、车辆高速行驶场景下识别稳定性大幅下降，系统需要反复人工标定，环境适配能力较差。

技术实现思路

1、本发明针对现有技术中存在的上述不足，提供了车内乘员手势指令的识别响应方法、装置、设备及介质，依托多类传感设备同步采集座舱手部、人脸、车身运行等多维度数据，经时序对齐降噪构建四维座舱空间模型，划分多块独立手势交互分区并建立设备坐标库与分级权限规则，通过分区动态准入算法融合空间、身份、车速信息计算权限置信度筛选合规手势，再结合指向矢量与视线特征完成受控设备定向匹配，系统设置分区隔离指令通道有序处理多路手势，配套双层可视化反馈提示交互状态，同时支持周期采集点云自适应修正分区边界，依据车速动态调整算法约束参数，并将更新参数持久存储，整套方案区分不同乘员操作权限，规避误触发与指令冲突，适配遮挡、高低速等复杂行车环境，模块化硬件架构便于车载落地，有效提升多乘员场景下车载手势交互的安全性、精准度与环境适配能力。

2、根据本发明的一个方面，提供了车内乘员手势指令的识别响应方法，该方法的具体步骤为：

3、s1，采集手部点云、雷达空间图谱、座椅压力、人脸关键点、眼球反射特征及整车车速，经同步对齐去噪生成标准化多源数据集；

4、在步骤s1中，所述采集手部点云、雷达空间图谱、座椅压力、人脸关键点、眼球反射特征及整车车速的采集硬件包括tof深度相机、60ghz毫米波雷达、座椅压力传感阵列、人脸采集摄像头、眼球追踪摄像头、整车can总线通讯接口，tof深度相机输出的手部点云包含食指、中指、无名指、小指、手掌根全部三维坐标点位，60ghz毫米波雷达输出的雷达空间图谱包含座舱横向距离数值、座舱纵深角度数值，座椅压力传感阵列输出坐垫区域压力分布数值、靠背区域压力分布数值，人脸采集摄像头输出左右眼、鼻梁、嘴唇、下颌轮廓关键点坐标，眼球追踪摄像头输出人眼角膜反射光斑三维坐标，整车can总线通讯接口输出浮点型实时车速数值，同步对齐去噪的运算逻辑包含统一时间戳赋值、幅值超出预设区间数据剔除、相邻帧坐标插值补全；

5、s2，由标准化多源数据集构建四维座舱空间模型，划分五处互不重叠手势交互分区，存储分区边界，录入全车可控设备坐标构建设备坐标库，预置各分区权限梯度规则与离线自标定子程序，整合所述分区边界、所述设备坐标库和所述权限梯度规则，生成空间基准参数；

6、s3，读取空间基准参数与实时传感数据，根据手部坐标确定手势分区，根据人脸特征绑定乘员身份，由分区动态准入算法结合手势分区、乘员身份和权限梯度规则计算手势动态权限置信度，比较分区阈值筛选合规手势，对合规手势提取手部指向矢量与视线落点，输出合规手势、指向矢量、视线落点及置信度；

7、s4，接收合规手势、指向矢量、视线落点及置信度，将置信度作为加权约束，由权限耦合定向匹配算法依据指向矢量、视线落点和设备坐标库计算各可控设备定向匹配分值，筛选满足分区权限约束的设备，输出定向设备标识、手势动作与归属分区；

8、s5，搭建各分区物理隔离指令响应通道，按定向设备标识下发手势指令并输出可视化信号；定时采集点云修正分区边界；根据车速调节分区动态准入算法和权限耦合定向匹配算法的权重及分区感应范围；回写更新空间基准参数至步骤s2；

9、在步骤s5中，所述回写更新空间基准参数至建模步骤的写入对象为s2存储分区边界、设备坐标库、权限梯度规则的车载非易失性存储区域，回写的参数包含修正后的分区边界坐标区间、分区动态准入算法调整后的权重数值、权限耦合定向匹配算法调整后的权重数值，回写操作在单次车速参数调节、单次障碍物边界修正完成后即时执行，更新后的参数在下一轮s2运算流程中直接调用。

10、优选地，在步骤s2中，所述四维座舱空间模型包括x横向座位轴、y纵深前后轴、z垂直高度轴、t时序轴四个维度，五处互不重叠手势交互分区依次为主驾专属交互分区、副驾专属交互分区、左后排交互分区、右后排交互分区、全车公共手势唤醒分区，每一处分区存储的分区边界包含六组固定数值构成的坐标区间，全车可控设备坐标库录入的硬件包括主驾空调出风口、副驾空调出风口、左后排出风口、右后排出风口、中控触控屏、左后排头枕影音屏、右后排头枕影音屏、左前车窗、右前车窗、左后车窗、右后车窗、全景天窗，各分区权限梯度规则记录每一处分区能够调取的可控设备编号集合，离线自标定子程序的触发条件为单指连续按压车载设备表面时长达到3秒，离线自标定子程序同步更新车载设备三维坐标数值、设备周边相邻分区的边界坐标区间。

11、优选地，在步骤s3中，所述根据手部坐标确定手势分区的比对逻辑为手部全部三维坐标点位落入同一分区边界坐标区间内即判定为对应分区，人脸特征绑定乘员身份的比对逻辑为实时人脸关键点与车载存储的多组乘员人脸特征档案逐一计算坐标重合度，每一处手势交互分区配置独立的数值型分区阈值，五处手势交互分区的分区阈值数值按照主驾专属交互分区、副驾专属交互分区、左后排交互分区、右后排交互分区、全车公共手势唤醒分区的顺序逐级增大，合规手势包括手部坐标匹配分区边界、人脸重合度达到档案匹配标准、手势动态权限置信度大于对应分区阈值三类判定条件，手部指向矢量由食指指尖三维坐标、食指指根三维坐标差值计算得到，视线落点由人眼角膜反射光斑坐标代入四维座舱空间模型换算生成。

12、优选地，在步骤s5中，所述搭建的各分区物理隔离指令响应通道数量等于五处手势交互分区的数量，五路指令响应通道分别对应主驾专属交互分区、副驾专属交互分区、左后排交互分区、右后排交互分区、全车公共手势唤醒分区，多路合规手势同步输出时按照主驾专属交互分区、副驾专属交互分区、左后排交互分区、右后排交互分区、全车公共手势唤醒分区的固定顺序执行指令下发操作，后序顺位分区生成的手势指令存入本地缓存队列等待前序分区指令下发完成后再执行，手势指令的内容由基础手势动作类型、定向设备标识两组参数组合生成。

13、优选地，在步骤s5中，所述输出的可视化信号分为两层信号类型，第一层信号传输至手势归属分区对应的车载显示终端，主驾专属交互分区匹配组合仪表屏幕，副驾专属交互分区匹配中控触控屏，左后排交互分区匹配左后排头枕影音屏，右后排交互分区匹配右后排头枕影音屏，全车公共手势唤醒分区匹配中控触控屏；第二层信号传输至定向设备，空调出风口类可控设备接收灯光呼吸闪烁信号，屏幕类可控设备接收功能调节区域高亮信号。

14、优选地，在步骤s5中，所述定时采集点云修正分区边界的采集周期固定为30秒，每次采集的点云数据提取三维遮挡区域坐标，将遮挡区域坐标与全部分区边界坐标区间逐一比对，缩小遮挡坐标覆盖范围内的分区边界数值区间，遮挡区域坐标从点云数据中消失的下一次采集周期恢复分区原始边界坐标区间，修正后的分区边界坐标区间临时存入车载缓存。

15、优选地，在步骤s5中，所述调节分区动态准入算法和权限耦合定向匹配算法的权重及分区感应范围的车速分界依据为预设的车速阈值，整车实时行驶车速大于预设的车速阈值时仅调整左后排交互分区、右后排交互分区对应的参数，调整内容包含缩小两类后排分区的四维感应坐标区间、下调分区动态准入算法内σ的数值、下调权限耦合定向匹配算法内ω的数值、上调权限耦合定向匹配算法内λ的数值；整车实时行驶车速小于等于预设的车速阈值时恢复全部分区原始感应坐标区间、两类算法出厂预设全部权重数值。

16、根据本发明的第二个方面，车内乘员手势指令的识别响应装置，，该装置包括：多源传感采集模块、四维空间建模模块、分区权限校验模块、定向设备匹配模块、分区隔离控制输出模块；

17、所述多源传感采集模块，包含tof深度相机、60ghz毫米波雷达、座椅压力传感阵列、人脸采集摄像头、眼球追踪摄像头、整车can总线通讯接口，用于执行s1采集、同步对齐去噪，输出标准化多源数据集；

18、所述四维空间建模模块，连接多源传感采集模块，用于构建四维座舱空间模型、划分手势交互分区、搭建设备坐标库、生成并存储空间基准参数，执行s2建模逻辑；

19、所述分区权限校验模块，连接四维空间建模模块，内置分区动态准入算法，用于匹配手势分区、绑定乘员身份、计算动态权限置信度、筛选合规手势并输出指向矢量、视线落点、置信度，执行s3流程；

20、所述定向设备匹配模块，连接分区权限校验模块，内置权限耦合定向匹配算法，基于置信度、指向矢量、视线落点、设备坐标库计算设备匹配分值，筛选合规控制设备并输出定向设备标识、手势动作、归属分区，执行s4流程；

21、所述分区隔离控制输出模块，连接定向设备匹配模块，设置五路与手势分区一一对应的物理隔离指令通道，用于下发手势控制指令、输出双层可视化反馈信号；同时内置边界自修正单元、车速动态调参单元、参数持久化回写单元，定时修正分区边界、依据车速调节两套算法权重与感应范围，并将更新后空间基准参数回写至四维空间建模模块的非易失性存储区域，执行s5全部逻辑。

22、根据本发明的第三个方面，提供了一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述车内乘员手势指令的识别响应方法的步骤。

23、根据本发明的第四个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时可用于执行所述车内乘员手势指令的识别响应方法的步骤。

24、由于采用了上述技术方案，本发明与现有技术相比，具有如下至少一项的有益效果：

25、一、本发明通过多类型传感硬件同步采集座舱多维信息并完成统一时序对齐与噪声清洗，搭建融合空间与时序维度的座舱空间模型，划分互不重叠的独立交互分区并配套专属权限管控规则，依托分区动态准入算法融合空间贴合、乘员身份、行驶状态多维度指标计算权限置信度，分层筛选合规手势指令，依靠分区独立阈值梯度设计区分不同乘坐位置操作权限，结合人脸身份绑定实现乘员操作权限差异化管控，同步依托手部指向矢量与视线落点双重特征锁定操作目标，从源头规避跨分区误识别、无关乘员误操控问题，行驶过程中可依据车速动态调整后排交互区域感应范围与算法约束权重，低速状态下放宽识别限制满足多乘员便捷操控需求，高速状态收紧后排识别门槛，降低行车过程中非必要手势误触发概率，兼顾多乘员交互自由度与车辆行驶安全基础需求。

26、二、本发明通过构建与交互分区一一对应的物理隔离指令响应通道，设置固定顺位指令执行逻辑，多路手势同步输入时有序缓存排队执行，避免多乘员同时操作引发设备指令冲突，保障车载硬件控制逻辑稳定有序运行，配套双层可视化反馈信号体系，分别向乘员对应显示终端与目标受控设备推送提示信号，让使用者直观确认手势识别结果与待调节设备，提升人机交互直观性，搭载周期性空间边界自修正机制，实时感知座舱遮挡物动态调整分区边界区间，消除车内杂物、肢体遮挡带来的识别盲区；所有模型边界、算法权重更新数据可即时持久化存储，系统下一轮运算直接调用更新参数，无需重复标定。整套架构分离传感采集、空间建模、权限校验、设备匹配、指令输出功能单元，模块化结构便于车载硬件适配与功能迭代，大幅提升车载手势交互系统环境适配能力与长期使用稳定性。