基于多模态融合的智能座舱端到端意图理解方法及系统与流程

摘要: 本发明涉及车载人机交互,尤其是涉及一种基于多模态融合的智能座舱端到端意图理解方法及系统。背景技术:1、随着智能网联汽车的快速发展,智能座舱已成为提升用户驾乘体验...
基于多模态融合的智能座舱端到端意图理解方法及系统与流程

本发明涉及车载人机交互,尤其是涉及一种基于多模态融合的智能座舱端到端意图理解方法及系统。

背景技术:

1、随着智能网联汽车的快速发展,智能座舱已成为提升用户驾乘体验的核心技术。当前座舱意图理解技术主要采用级联式架构,典型流程为:语音自动识别转换为文本,通过自然语言处理模块进行文本理解,再依次经过意图分类模块和槽位填充模块,最终生成执行指令。在该架构中,视觉信息通常由独立的驾驶员监测系统或乘员监测系统处理,不与语音信息融合;车辆状态信息通过can总线获取后仅作为后处理校验环节,不参与前端的意图理解过程。代表性方案包括科大讯飞的语音为主交互系统、阿里云小蜜的云端自然语言处理方案以及理想汽车的语音加基础视觉手势识别方案,这些方案均采用语音和视觉分离处理的技术路径。

2、然而,现有技术存在以下不足:

3、单一模态信息不足导致意图识别准确性低。仅依赖语音文本进行意图理解,丢失了语气、表情、肢体动作等非语言信息,以及车辆行驶状态、环境温度等上下文信息,导致复杂意图和模糊指令的误识别率较高。例如,用户说"有点闷"时,仅凭文本无法判断是心情烦闷还是车内闷热,需要结合用户擦汗动作、车内外温度等多模态信息综合判断;

4、多级串行处理架构导致端到端时延较大。级联架构中每个处理环节(语音识别、文本理解、意图分类、槽位填充)均需独立的网络传输和计算,各环节延迟累积导致整体响应时间过长,影响用户体验;

5、缺乏上下文信息和用户特征利用导致个性化程度低。现有方案缺少对历史交互记录和用户长期偏好的融合机制,无法实现个性化意图理解,同一用户需要反复纠正相同的误识别问题;

6、计算资源部署位置限制导致网络受限场景鲁棒性差。云端方案对网络连接依赖性强,在隧道、偏远地区等网络受限场景下,系统可用性显著下降。

技术实现思路

1、为了解决现有技术中存在的多源异构信息融合不充分导致语义理解准确性不足,多级串行处理架构导致端到端时延较大,缺乏上下文信息和用户特征利用导致个性化程度低,计算资源部署位置限制导致网络受限场景鲁棒性差等技术问题,本发明提供一种基于多模态融合的智能座舱端到端意图理解方法及系统,通过多模态融合与端到端架构提升了复杂意图识别准确率与响应速度,结合短期上下文缓存与长期用户画像在线学习实现个性化交互,显著增强了弱网环境下的可用性。

2、为了实现上述目的,本发明采用如下技术方案:

3、本发明提供一种基于多模态融合的智能座舱端到端意图理解方法,包括以下步骤:

4、获取多模态输入数据,所述多模态输入数据包括语音数据、视觉数据、车辆状态数据和历史交互数据;

5、通过多模态编码模块对所述多模态输入数据进行编码处理,得到多模态特征,所述多模态特征包括语音特征、视觉特征、车态特征和记忆特征;

6、通过交叉注意力多模态融合机制将所述多模态特征按预设顺序拼接形成多模态特征序列,通过注意力计算学习模态间的交互关系,生成统一特征表征;

7、将所述统一特征表征通过解码模块进行端到端意图解码,将所述统一特征表征解码为意图嵌入向量,通过双分支结构对所述意图嵌入向量进行处理,输出意图类别、置信度、槽位信息和补充动作建议;

8、根据所述意图类别、所述槽位信息和所述补充动作建议生成座舱控制指令。

9、进一步地,所述多模态编码模块包括语音编码器、视觉编码器、车态编码器和记忆编码器;

10、所述语音编码器采用基于自注意力机制的神经网络将所述语音数据编码为所述语音特征;

11、所述视觉编码器提取所述视觉数据中预设数量的最近图像帧进行编码,作为所述视觉特征;

12、所述车态编码器采用多层感知机网络将所述车辆状态数据编码为所述车态特征;

13、所述记忆编码器通过用户标识从嵌入查找表中检索对应的用户画像嵌入向量,作为所述记忆特征。

14、进一步地,所述通过交叉注意力多模态融合机制生成统一特征表征,包括:将所述语音特征、所述视觉特征、所述车态特征和所述记忆特征按顺序拼接形成所述多模态特征序列;

15、将所述多模态特征序列输入交叉注意力层,采用多头注意力机制计算不同模态特征之间的相关性权重,实现模态间的交互;

16、将注意力层的输出经过均值池化层进行特征聚合,再通过多层感知机网络进行非线性变换和特征精炼,生成所述统一特征表征。

17、进一步地,所述通过双分支结构对所述意图嵌入向量进行处理,包括:

18、将所述意图嵌入向量分别输入分类分支和生成分支;

19、所述分类分支通过分类网络对所述意图嵌入向量进行处理,输出意图类

20、标签及对应的置信度评分;

21、所述生成分支通过生成网络对所述意图嵌入向量进行处理,输出结构化的槽位信息及自然语言形式的补充动作建议。

22、进一步地,所述历史交互数据包括短期记忆和长期记忆;

23、所述短期记忆采用键值对缓存结构,存储最近预设轮次的历史对话状态,用于多轮对话上下文的继承与关联;

24、所述长期记忆为每个用户维护一个用户画像嵌入向量,每次交互完成后,根据当前意图嵌入向量和预设学习率,通过梯度更新方式对所述用户画像嵌入向量进行在线更新,以自适应用户偏好。

25、本发明同时提供一种基于多模态融合的智能座舱端到端意图理解系统,用于实现所述方法,意图理解系统包括:

26、输入层,用于获取多模态输入数据,所述多模态输入数据包括语音数据、视觉数据、车辆状态数据和历史交互数据;

27、编码层,与所述输入层连接,用于对所述多模态输入数据进行编码处理,得到多模态特征;

28、融合层,与所述编码层连接,用于通过交叉注意力机制对所述多模态特征进行特征融合,学习模态间的交互关系,生成统一特征表征;

29、解码层,与所述融合层连接,用于对所述统一特征表征进行意图解码;

30、输出层,与所述解码层连接,用于根据所述解码层的意图解码结果生成座舱控制指令,驱动车辆执行相应操作。

31、进一步地,所述编码层包括语音编码器、视觉编码器、车态编码器和记忆编码器;

32、所述语音编码器用于将所述语音数据编码为语音特征;所述视觉编码器用于将所述视觉数据编码为视觉特征;所述车态编码器用于将所述车辆状态数据编码为车态特征;所述记忆编码器用于根据用户标识查找对应的用户画像嵌入向量,作为记忆特征。

33、进一步地,所述融合层包括特征拼接单元、注意力计算单元、池化单元和精炼单元;

34、所述特征拼接单元用于将所述多模态特征拼接形成多模态特征序列;

35、所述注意力计算单元用于对所述多模态特征序列进行注意力计算,学习模态间的交互关系;

36、所述池化单元和所述精炼单元用于对注意力计算结果进行处理,生成所述统一特征表征。

37、进一步地,所述解码层包括解码单元、分类单元和生成单元;

38、所述解码单元用于将所述统一特征表征解码为意图嵌入向量;

39、所述分类单元用于对所述意图嵌入向量进行处理,输出意图类别和置信度;

40、所述生成单元用于对所述意图嵌入向量进行处理,输出槽位信息和补充动作建议;

41、所述输出层用于根据所述意图类别、所述槽位信息和所述补充动作建议生成座舱控制指令。

42、进一步地,所述系统还包括记忆管理层,所述记忆管理层包括短期记忆缓存单元、长期记忆存储单元和记忆更新单元;

43、所述短期记忆缓存单元与所述记忆编码层连接,用于存储预设轮次的对话状态;

44、所述长期记忆存储单元与所述记忆编码层和所述记忆更新单元连接,用于存储用户画像向量;

45、所述记忆更新单元与所述解码模块连接,用于根据当前意图嵌入向量对所述用户画像向量进行梯度更新。

46、与现有技术相比,本发明具有如下有益效果:

47、本发明通过四模态统一编码架构,将语音、视觉、车辆状态和历史交互信息在统一的神经网络框架内进行表征学习,实现了异构数据源的深度融合。相比单一语音模态仅依赖文本语义的方式,本发明综合利用语音语气、用户表情肢体动作、车辆行驶状态、环境温度等多源信息,显著提升了复杂意图和模糊指令的识别准确性。例如,用户说"有点闷"时,系统结合用户擦汗动作和外部高温信息,准确判断用户真实意图为降温需求而非心情烦闷,避免了单一模态可能产生的误判。

48、本发明采用注意力机制进行多模态特征融合,通过自适应权重分配实现不同模态信息的互补增强。注意力机制能够自动学习不同模态特征之间的相关性,在不同场景下动态调整各模态的贡献度,使得信息互补更加充分。相比简单的特征拼接或分离处理后融合的方式,注意力机制实现了模态间的深度交互,提升了融合特征的表达能力。

49、本发明端到端双分支解码结构在单个神经网络中同步输出意图分类和槽位生成结果,避免了级联架构的多级串行处理和误差累积。级联架构中每个处理环节的误差会向后传递并累积,导致最终结果的准确性下降。本发明的端到端架构将语音识别、文本理解、意图分类、槽位填充等多个环节融合为统一的神经网络,各环节的参数联合优化,消除了误差累积问题。同时,端到端架构减少了网络传输和计算环节,显著降低了系统响应延迟,提升了实时性。

50、本发明通过短期对话缓存和长期用户画像的记忆增强机制,实现了多轮对话上下文理解和个性化意图识别。短期记忆缓存保留最近若干轮对话的状态信息,使得系统能够理解用户的指代关系和上下文依赖,避免了用户需要反复说明完整需求的繁琐交互。长期记忆机制为每个用户维护个性化画像,记录用户的长期偏好和习惯,通过在线学习持续优化用户画像,使得系统能够自动适应用户的个性化偏好,提升了系统的智能化水平。

51、本发明采用端侧轻量化模型部署,在网络受限场景下保持较高的准确率和可用率。传统的云端方案对网络连接依赖性强,在隧道、偏远地区等网络受限场景下,系统可用性显著下降。本发明通过轻量化模型设计和量化优化,实现了在车载芯片上的实时推理,在网络受限场景下仍能通过端侧模型提供基本的意图识别服务,显著提升了系统在特殊场景下的鲁棒性。