基于多模态分析的多感官车载交互方法及系统

技术特征：
1.一种基于多模态分析的多感官车载交互方法，其特征在于，包括以下步骤：步骤s1：通过车载摄像头、麦克风、温湿度传感器实时捕获并存储驾驶员的多模态源数据；步骤s2：实时解析所述驾驶员的多模态源数据，提取多模态源数据中的特征向量；步骤s3：将多个特征向量进行拼接并转换到同一维度，得到处理后数据；步骤s4：将处理后数据输入bp神经网络进行训练，判定驾驶员的实时状态；步骤s5：根据驾驶员的实时状态，主动为驾驶员提供相应的交互服务。2.根据权利要求1所述的基于多模态分析的多感官车载交互方法，其特征在于：所述车载摄像头采集：-眼睛数据:包括眨眼次数以及上下眼睑距离；-面部表情:包括打呵欠次数以及低头次数；所述麦克风采集：用户的语音、语调以及语速；所述温湿度传感器采集：人体温度、车内温度以及指车内湿度。3.根据权利要求1所述的基于多模态分析的多感官车载交互方法，其特征在于：所述步骤s2包括：将多模态源数据进行编码，将模态源数据用向量序列隐层表示，通过特征提取工具对多模态源数据进行特征抽取，包括facet和covarep，抽取后得到每个模态对应的特征表示，并对每个模态进行区分和标注，生成对应的序列。4.根据权利要求1所述的基于多模态分析的多感官车载交互方法，其特征在于：所述步骤s3包括以下子步骤：步骤s3.1：利用解码器隐层状态对序列进行计算得分，分别得到注意力向量；步骤s3.2：利用解码器隐层表示对注意力向量计算权重分布；步骤s3.3：根据权重融合多个注意力向量。5.根据权利要求1所述的基于多模态分析的多感官车载交互方法，其特征在于：所述步骤s5包括以下步骤：步骤s5.1：获取驾驶员的实时状态，包括自然、疲劳、愤怒、悲伤、开心；步骤s5.2：根据驾驶员的实时状态变化，向驾驶员提供主动交互服务，包括车内的氛围灯颜色、虚拟管家表情、音乐类型、香氛类型、车内温湿度；步骤s5.3：通过对比第一时间段与第二时间段内驾驶员状态的变化，判定并优化主动交互服务的效果。6.一种基于多模态分析的多感官车载交互系统，其特征在于，包括以下模块：模块m1：通过车载摄像头、麦克风、温湿度传感器实时捕获并存储驾驶员的多模态源数据；模块m2：实时解析所述驾驶员的多模态源数据，提取多模态源数据中的特征向量；模块m3：将多个特征向量进行拼接并转换到同一维度，得到处理后数据；模块m4：将处理后数据输入bp神经网络进行训练，判定驾驶员的实时状态；模块m5：根据驾驶员的实时状态，主动为驾驶员提供相应的交互服务。7.根据权利要求5所述的基于多模态分析的多感官车载交互系统，其特征在于：所述车载摄像头采集：-眼睛数据:包括眨眼次数以及上下眼睑距离；
‑
面部表情:包括打呵欠次数以及低头次数；所述麦克风采集：用户的语音、语调以及语速；所述温湿度传感器采集：人体温度、车内温度以及指车内湿度。8.根据权利要求5所述的基于多模态分析的多感官车载交互系统，其特征在于：所述模块m2包括：将多模态源数据进行编码，将模态源数据用向量序列隐层表示，通过特征提取工具对多模态源数据进行特征抽取，包括facet和covarep，抽取后得到每个模态对应的特征表示，并对每个模态进行区分和标注,生成对应的序列。9.根据权利要求5所述的基于多模态分析的多感官车载交互系统，其特征在于：所述模块m3包括以下子步骤：模块m3.1：利用解码器隐层状态对序列进行计算得分，分别得到注意力向量；模块m3.2：利用解码器隐层表示对注意力向量计算权重分布；模块m3.3：根据权重融合多个注意力向量。10.根据权利要求5所述的基于多模态分析的多感官车载交互系统，其特征在于：所述模块m5包括以下步骤：模块m5.1：获取驾驶员的实时状态，包括自然、疲劳、愤怒、悲伤、开心；模块m5.2：根据驾驶员的实时状态变化，向驾驶员提供主动交互服务，包括车内的氛围灯颜色、虚拟管家表情、音乐类型、香氛类型、车内温湿度；模块m5.3：通过对比第一时间段与第二时间段内驾驶员状态的变化，判定并优化主动交互服务的效果。

技术总结
本发明提供了一种基于多模态分析的多感官车载交互方法及系统，包括：通过车载摄像头、麦克风、温湿度传感器实时捕获并存储驾驶员的多模态源数据；实时解析所述驾驶员的多模态源数据，提取多模态源数据中的特征向量；将多个特征向量进行拼接并转换到同一维度，得到处理后数据；将处理后数据输入BP神经网络进行训练，判定驾驶员的实时状态；根据驾驶员的实时状态，主动为驾驶员提供相应的交互服务。本发明通过采用多模态信息处理手段，可以综合判断驾驶员实时状态并提供主动式交互服务，提高理解用户情绪、意图的准确度；通过BP神经网络训练模型，实现车载交互系统的自我优化。实现车载交互系统的自我优化。实现车载交互系统的自我优化。


技术研发人员：冯捷 张峻玮 孙雪雯 张兴国 董占勋 李亚鸿
受保护的技术使用者：上海交通大学
技术研发日：2022.02.17
技术公布日：2022/5/31