面向智能客服的多模态意图识别与问答方法及系统与流程
本发明涉及智能客服,尤其涉及面向智能客服的多模态意图识别与问答方法及系统。
背景技术:
1、在当前的智能客服技术领域中,常规做法主要依赖单一模态的输入数据进行意图识别与问答生成。例如,多数方案仅基于用户输入的文本信息,通过关键词匹配、规则模板或基于循环神经网络的语言模型来解析用户意图,并检索预先构建的知识库以提供应答。近年来,随着多模态交互的普及,部分方案开始尝试融合语音、图像或视频等额外信息,但通常的处理方式是分别提取各模态的浅层特征后直接拼接或加权平均,作为整体特征输入分类器。这种简单融合忽略了不同模态数据在语义层面的内在关联,例如语音中的语气与文本中的关键词存在冲突,图像中的表情与文字情感相互补充,但简单拼接无法有效建模这种复杂交互关系。
2、现有做法的一个显著缺陷在于模态间语义对齐的缺失。由于不同模态的特征空间天然存在异质性,直接拼接会导致语义信息碎片化,使得模型难以捕捉跨模态的一致性或互补性信息。例如,用户发送一张愤怒表情的图片同时输入“我很好”的文字,若仅依赖文本特征会误判为积极意图,而忽略图像中的负面情绪信号。这种语义鸿沟直接降低了意图识别的准确率,尤其在涉及情感、歧义或隐晦表达的复杂场景中表现尤为突出。
3、另一个缺陷是现有方案缺乏自适应调整能力。传统多模态融合方法通常采用固定的融合权重或规则,一旦训练完成不再改变。然而,实际用户交互中,不同模态的可靠性会随时间、上下文或用户偏好动态变化。例如,某个用户在嘈杂环境下频繁使用语音输入,其语音特征的信噪比会下降,但仍维持原有融合策略,导致错误率上升。此外,现有方案很少利用用户反馈信息来优化融合过程,使得模型无法从交互经验中持续改进,长期使用后性能会退化。这种静态设计限制了智能客服在真实应用中的鲁棒性和用户体验。
技术实现思路
1、本发明实施例提供面向智能客服的多模态意图识别与问答方法及系统,能够解决现有技术中的问题。
2、本发明实施例的第一方面,提供面向智能客服的多模态意图识别与问答方法,包括:
3、获取多模态交互数据,对所述多模态交互数据中的各模态数据分别进行特征提取,得到文本特征向量、语音特征向量和图像特征向量;
4、基于模态间的语义关联约束将所述文本特征向量、所述语音特征向量和所述图像特征向量映射至统一语义空间,得到对齐后的多模态融合特征表示;
5、根据所述多模态融合特征表示进行意图分类得到用户意图类别,根据所述用户意图类别和历史交互上下文信息从知识库中检索目标知识内容;
6、根据所述目标知识内容生成针对所述用户意图类别的应答内容,基于所述应答内容确定用户反馈信息,并根据所述用户反馈信息中的满意度标识对所述语义关联约束进行调整。
7、获取多模态交互数据,对所述多模态交互数据中的各模态数据分别进行特征提取,得到文本特征向量、语音特征向量和图像特征向量,包括:
8、对所述多模态交互数据中的文本模态数据进行语义解析得到文本语义表示,确定所述文本语义表示中的关键语义成分;
9、基于所述关键语义成分与历史对话轮次中的语义成分之间的指代消解关系对所述文本语义表示中的省略信息进行补全处理,得到补全后的文本语义表示,并将所述补全后的文本语义表示编码为所述文本特征向量;
10、对所述多模态交互数据中的语音模态数据进行声学分析得到声学特征序列,识别所述声学特征序列中的情感表达特征;
11、根据所述情感表达特征与所述文本特征向量中的语义极性之间的一致性判定结果调整所述声学特征序列中的特征权重分布,得到加权后的声学特征序列并编码为所述语音特征向量;
12、对所述多模态交互数据中的图像模态数据进行视觉分析得到视觉特征,将所述视觉特征编码为所述图像特征向量。
13、基于模态间的语义关联约束将所述文本特征向量、所述语音特征向量和所述图像特征向量映射至统一语义空间,得到对齐后的多模态融合特征表示,包括:
14、计算所述文本特征向量与所述语音特征向量之间的文本-语音语义相关度以及所述文本特征向量与所述图像特征向量之间的文本-图像语义相关度;
15、基于所述文本-语音语义相关度和所述文本-图像语义相关度确定跨模态语义关联图,在所述跨模态语义关联图中识别语义冲突的特征节点,根据所述语义冲突的特征节点对应的来源模态数据中的噪声特性确定冲突类型;
16、基于所述冲突类型确定针对所述语义冲突的特征节点的语义关联约束;
17、根据所述语义关联约束将所述文本特征向量、所述语音特征向量和所述图像特征向量投影至统一语义空间,得到对齐后的文本语义表示、对齐后的语音语义表示和对齐后的图像语义表示;
18、将所述对齐后的文本语义表示、所述对齐后的语音语义表示和所述对齐后的图像语义表示进行融合,得到所述多模态融合特征表示。
19、基于所述文本-语音语义相关度和所述文本-图像语义相关度确定跨模态语义关联图,在所述跨模态语义关联图中识别语义冲突的特征节点,根据所述语义冲突的特征节点对应的来源模态数据中的噪声特性确定冲突类型,包括:
20、将所述文本特征向量、所述语音特征向量和所述图像特征向量中的特征维度作为节点,根据所述文本-语音语义相关度和所述文本-图像语义相关度在不同模态的节点之间建立关联边,得到表征模态间语义关联关系的跨模态语义关联图;
21、遍历所述跨模态语义关联图中的关联边,针对关联边权重低于动态阈值的边所连接的节点对计算语义方向偏离度,当所述语义方向偏离度超过偏离判定条件时将所述节点对标记为语义冲突的特征节点;
22、对所述语义冲突的特征节点对应的来源模态数据进行分析,确定所述来源模态数据中的完整性缺失位置和噪声干扰位置,提取所述完整性缺失位置和所述噪声干扰位置的信号质量特征;
23、根据所述信号质量特征判定所述语义冲突的特征节点的冲突来源,其中,当所述冲突来源为模态缺失时确定冲突类型为缺失型冲突,当所述冲突来源为噪声污染时确定冲突类型为噪声型冲突。
24、根据所述多模态融合特征表示进行意图分类得到用户意图类别,根据所述用户意图类别和历史交互上下文信息从知识库中检索目标知识内容,包括:
25、对所述多模态融合特征表示进行意图空间投影得到意图表征向量,计算所述意图表征向量与预定义意图类别集合中各意图类别的语义中心之间的语义距离,将语义距离最小的意图类别作为候选意图类别;
26、提取所述候选意图类别的置信度,当所述置信度不满足置信判定条件时,从所述历史交互上下文信息中提取先前对话轮次的意图类别序列,根据所述意图类别序列修正所述候选意图类别得到所述用户意图类别;
27、根据所述用户意图类别确定知识库中的初始检索范围,从所述历史交互上下文信息中提取历史交互实体和历史交互关系,确定包含所述历史交互实体和所述历史交互关系的上下文关联结构;
28、基于所述上下文关联结构中的实体传播路径扩展所述初始检索范围,得到扩展检索范围,并在所述扩展检索范围内根据所述用户意图类别与知识条目的语义匹配度检索目标知识内容。
29、对所述多模态融合特征表示进行意图空间投影得到意图表征向量,计算所述意图表征向量与预定义意图类别集合中各意图类别的语义中心之间的语义距离,将语义距离最小的意图类别作为候选意图类别,包括:
30、对所述多模态融合特征表示进行处理得到跨模态共享语义成分和模态特有语义成分;
31、基于所述跨模态共享语义成分和所述模态特有语义进行加权融合得到加权融合表示,并将所述加权融合表示投影至意图空间得到意图表征向量;
32、针对所述预定义意图类别集合中的各意图类别,统计所述历史交互上下文信息中所述意图类别的历史出现频次,根据所述历史出现频次计算所述意图类别的上下文激活强度;
33、根据所述上下文激活强度调整所述意图类别的语义中心在意图空间中的位置,得到上下文自适应的语义中心;
34、计算所述意图表征向量与各所述上下文自适应的语义中心之间的语义距离,将语义距离最小的意图类别作为候选意图类别。
35、根据所述目标知识内容生成针对所述用户意图类别的应答内容,基于所述应答内容确定用户反馈信息,并根据所述用户反馈信息中的满意度标识对所述语义关联约束进行调整,包括:
36、根据所述目标知识内容中的知识属性和所述用户意图类别的表达需求确定应答生成策略;
37、基于所述应答生成策略组织所述目标知识内容中的知识要素,生成包含语义结构和表达形式的应答内容,并在所述应答内容中标记来源于不同模态特征的知识片段;
38、将所述应答内容输出至用户并接收用户反馈信息,根据所述用户反馈信息确定满意度标识;
39、当所述满意度标识为正向反馈时提取所述应答内容中被确认的知识片段对应的来源模态特征,当所述满意度标识为负向反馈时提取所述应答内容中被否定的知识片段对应的来源模态特征;
40、针对所述满意度标识为正向反馈的情况,在所述语义关联约束中增加所述来源模态特征与其他模态特征之间的关联边数量至正向调整边界值,针对所述满意度标识为负向反馈的情况,在所述语义关联约束中减少所述来源模态特征与其他模态特征之间的关联边数量至负向调整边界值。
41、本发明实施例的第二方面,提供一种面向智能客服的多模态意图识别与问答系统,包括:
42、特征提取单元,用于获取多模态交互数据,对所述多模态交互数据中的各模态数据分别进行特征提取,得到文本特征向量、语音特征向量和图像特征向量;
43、语义对齐单元,用于基于模态间的语义关联约束将所述文本特征向量、所述语音特征向量和所述图像特征向量映射至统一语义空间,得到对齐后的多模态融合特征表示;
44、意图检索单元,用于根据所述多模态融合特征表示进行意图分类得到用户意图类别,根据所述用户意图类别和历史交互上下文信息从知识库中检索目标知识内容;
45、反馈调整单元,用于根据所述目标知识内容生成针对所述用户意图类别的应答内容,基于所述应答内容确定用户反馈信息,并根据所述用户反馈信息中的满意度标识对所述语义关联约束进行调整。
46、本发明实施例的第三方面,提供一种电子设备,包括:
47、处理器;
48、用于存储处理器可执行指令的存储器;
49、其中,所述处理器被配置为调用所述存储器存储的指令,以执行前述所述的方法。
50、本发明实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现前述所述的方法。
51、本发明的多模态特征向量在统一语义空间中的对齐有效消除了不同模态间的语义鸿沟,显著提升了智能客服对用户意图的理解精度。文本、语音与图像特征的互补融合使得能够从用户的面部表情、语气语调及文字表述中捕捉完整语义信息,即使在单一模态数据不完整或存在干扰时仍能保持稳定的识别能力,极大增强了复杂交互场景下的鲁棒性。
52、本发明基于对齐后多模态融合特征的意图分类能够更准确地划分用户意图类别,结合历史交互上下文信息进行知识库检索后,智能客服可以快速定位与当前对话紧密相关的知识内容。这种上下文感知的检索机制避免了脱离上下文的僵化回答,生成的应答内容更贴合用户潜在需求,显著提升了人机对话的流畅性与自然度。
53、本发明通过用户反馈信息中满意度标识的引入实现了语义关联约束的动态调整机制,能够根据用户的隐性或显性评价持续优化模态间映射关系。随着交互数据的积累,语义空间的对齐精度与意图识别准确性呈现渐进式提升态势,长期运行中可有效适应语言习惯、场景偏好等变化,形成持续进化的智能问答闭环。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com