基于多模态融合的车载互联网动态交互适配方法与流程

本发明涉及人机交互，特别涉及基于多模态融合的车载互联网动态交互适配方法。

背景技术：

1、随着汽车产业的智能化变革持续深入，汽车正从传统的代步工具逐步演进为集出行、办公、娱乐于一体的移动智能空间。智能座舱的人机交互水平已成为衡量车辆智能化程度的关键指标。在此背景下，车载交互的多模态融合主动交互已成为发展重点。与此同时，座舱乘员构成日趋复杂，车辆需同时满足驾驶员及多位乘客的个性化交互需求。如何在多乘客共处的座舱环境下，为不同位置的乘客提供精准、高效且互不干扰的交互体验，已成为智能座舱人机交互领域的重要研究方向。

2、为实现多乘客场景下的精准交互控制，相关领域已形成多条技术路径。在身份识别方面，现有技术通过采集面部或声纹信息识别用户身份并加载预存偏好设置，实现了针对不同用户加载不同配置的个性化服务。在空间分区方面，通过座椅在位检测和声源定位将座舱划分为不同物理区域并将指令与区域绑定，在音频、显示和触控领域分别实现了各区域的独立控制。身份识别实现了用户与偏好的映射，空间分区实现了区域与指令的绑定，但上述技术路径均构建于传统的分散式座舱架构之上。

3、在面临多维度信息融合决策的需求时，现有的车载互联网交互技术缺乏在多维度情境信息基础上进行实时联合决策的系统性机制，导致多乘客并发交互场景下系统呈现跨域协同能力的缺失。特别是在驾驶场景动态变化时，同一身份、位置的用户执行同一交互动作，其可执行性也会存在差异，现有的车载互联网交互技术无法在动态驾驶环境下为多乘客并发交互提供统一、安全且个性化的可执行性评价尺度的技术难题。

技术实现思路

1、基于此，有必要针对上述技术问题，提供基于多模态融合的车载互联网动态交互适配方法。

2、本发明采用下述技术方案：

3、本发明提供了基于多模态融合的车载互联网动态交互适配方法，包括：

4、获取多模态传感数据，从中解析出乘员的身份与座椅位置关联矩阵以及当前驾驶场景的多维度车辆动态状态编码；

5、从所述车辆动态状态编码中提取多个维度的数据分别计算各维度的风险子评分，取风险子评分中的最大值与次大值并结合最大值与次大值的相对差异，融合获得场景风险系数；

6、获取当前时刻之前预设时间窗口内的场景风险系数序列，根据所述场景风险系数序列的统计特征值动态生成安全边界阈值；当所述场景风险系数大于预设安全边界阈值时，将交互执行因子设为预设高位钳制值并判定交互指令不适宜执行；当所述场景风险系数小于或等于所述安全边界阈值时，基于所述身份与座椅位置关联矩阵确定交互指令发出者的座椅参考点并获取至目标交互界面中心点的空间距离，根据所述场景风险系数和所述空间距离计算空间代价因子，再以当前交互指令的发出者身份标识和交互内容类型编码检索历史交互记录以获取历史修正权重，历史修正权重表征用户对交互内容类型的历史干预情况，利用所述历史修正权重对所述空间代价因子进行修正生成表征当前交互指令可执行程度的交互执行因子；

7、根据所述交互执行因子与预设执行阈值的比较结果决定是否执行当前交互指令。

8、优选地，所述计算空间代价因子，包括：

9、以场景风险系数作为基础权重，以所述空间距离与预设人体工学极限距离的接近程度作为调节系数，并结合各维度风险子评分中最大值与次大值之差相对于差距系数的比值作为复合风险调节项，将所述基础权重、所述调节系数与所述复合风险调节项相乘得到空间代价因子。

10、优选地，所述场景风险系数的计算方法包括：

11、以各维度风险子评分的标准差作为差距系数，以风险子评分中的最大值作为主要风险分量，以风险子评分中的次大值作为修正增量，所述修正增量对场景风险系数的贡献与所述最大值和所述次大值的差值除以所述差距系数所得的相对差距呈反向相关关系，且当融合结果超过预设上限值时将场景风险系数钳位至所述预设上限值。

12、优选地，所述分别计算各维度的风险子评分，包括：

13、基于车速标准化值采用幂函数单调递增映射关系计算速度风险子评分；基于设定时间窗口内方向盘转角的变化方差与制动主缸压力的变化频次综合计算操控复杂度子评分；基于道路类型编码对应的法定最高限速与车辆自身最高限速的比值关系计算道路类型子评分；基于前方车辆距离标准化值计算交通密度子评分，所述前方车辆距离标准化值越小则交通密度子评分越高。

14、优选地，所述基于设定时间窗口内方向盘转角的变化方差与制动主缸压力的变化频次综合计算操控复杂度子评分，包括：

15、将方向盘转角方差与制动频次分别除以其各自量程上限进行无量纲化后，采用几何平均关系进行融合，融合后数值再线性映射至标准化区间作为操控复杂度子评分。

16、优选地，所述获取历史修正权重，包括：

17、以所述发出者身份标识和交互内容类型编码构建联合索引，检索历史交互记录数据库，从检索结果中筛选身份标识完全匹配、交互内容类型相同且交互时刻的场景风险系数与当前场景风险系数的差值在预设容忍范围内的记录作为有效样本；

18、若有效样本量不足预设最小样本量阈值，则根据该用户所有历史交互记录中存在干预的交互记录的占比动态计算中性值，并将该中性值作为历史修正权重，若有效样本量充足则基于各有效样本的时间先后顺序及对应的用户干预状态系数进行加权平均以获取历史修正权重。

19、优选地，所述基于各有效样本的时间先后顺序及对应的用户干预状态系数进行加权平均，具体包括：

20、基于各有效样本的时间先后顺序按照指数衰减规律确定各有效样本的权重系数，时间上越靠近当前时刻的有效样本所对应的权重系数越大；将各有效样本的干预状态系数按照所述权重系数进行加权平均，所述干预状态系数在用户未主动修正或取消交互结果时的取值大于用户在主动修正或取消交互结果时的取值，加权平均结果作为历史修正权重。

21、优选地，所述生成表征当前交互指令可执行程度的交互执行因子，包括：

22、以所述空间代价因子作为基础值，以所述历史修正权重相对于所述中性值的正向偏离程度作为偏离量，以所述场景风险系数与所述偏离量的乘积作为缩减指数，将所述基础值与基于所述缩减指数的指数衰减因子相乘得到交互执行因子，所述历史修正权重相对于所述中性值的正向偏离程度越大则交互执行因子的缩减幅度越大。

23、优选地，所述根据所述交互执行因子与预设执行阈值的比较结果决定是否执行当前交互指令，包括：

24、当所述交互执行因子小于所述执行阈值时判定该指令允许执行，当所述交互执行因子大于或等于所述执行阈值时判定该指令暂不执行；在多条交互指令同时待处理的情况下，将交互执行因子小于执行阈值的指令归入执行集合，执行集合中的多条指令按交互执行因子从小到大升序排列，交互执行因子最小者最先执行。

25、优选地，基于多模态融合的车载互联网动态交互适配方法还包括：

26、在每次行程结束后，统计当次行程中所有被执行指令的用户干预率，所述用户干预率为执行后预设干预窗口内被用户主动修正或取消的比例，当所述用户干预率超过预设干预率容忍区间上限值时将所述预设执行阈值向高位方向步进上调，当所述用户干预率低于所述干预率容忍区间下限值时将所述预设执行阈值向低位方向步进下调，修正后的执行阈值存储于车载存储单元中供后续行程调用。

27、本发明采用的上述技术方案能够达到以下有益效果：

28、在本发明提供的基于多模态融合的车载互联网动态交互适配方法中，构建了三层递进式联合量化逻辑：第一层，以多维度风险子评分中的最大值与次大值的差值判断风险主导形态，单一高风险与复合高位风险具有不同的安全裕度，据此生成场景风险系数作为前置硬约束；第二层，在安全窗口内，将该系数与座椅参考点至目标界面的空间距离耦合成空间代价因子，使环境风险动态放大或缩小操作成本权重，实现风险与空间位置的跨维度融合；第三层，以上述统一量化结果为基础，以用户历史干预率作为微调项进行纵向修正，且设定修正比例系数以防范历史因素过度主导实时安全判断。三层结构逐级收紧、彼此依存，形成由安全边界到实时代价再到个性化适配的完整判断链条。

29、本发明通过层层递进的量化逻辑使场景风险系数同时承担安全门控与空间代价加权双重职能，实现环境风险与操作成本的动态耦合；结合历史修正在前两层物理量化结果的基础上做有限度微调，避免主观因素僭越客观安全约束，在确保安全硬约束绝对优先的前提下，实现对多乘客并发交互的统一可执行性量化评价。