一种智能遥控器多模态交互意图的融合识别方法与流程

摘要: 本发明涉及图像识别,尤其涉及一种智能遥控器多模态交互意图的融合识别方法。背景技术:1、随着智能家居技术的发展,智能遥控器逐渐集成摄像头和麦克风,能够同时采集用户...
一种智能遥控器多模态交互意图的融合识别方法与流程

本发明涉及图像识别,尤其涉及一种智能遥控器多模态交互意图的融合识别方法。

背景技术:

1、随着智能家居技术的发展,智能遥控器逐渐集成摄像头和麦克风,能够同时采集用户的手势、视线、语音和按键等多模态交互数据,并通过融合多模态识别结果来确定用户的交互意图。现有的多模态意图融合识别方法通常直接以各单模态分类器输出的置信度作为融合权重,对各模态的识别结果进行加权融合。然而,单模态分类器输出的置信度仅反映该模态对自身识别结果的把握程度,并不能反映该模态在当前时刻、当前环境下的真实可信度。在光照不足、环境噪声较大等干扰条件下,手势、视线、语音等模态可能在输出错误识别结果的同时仍给出较高的置信度,从而导致融合结果出现偏差。

2、此外,当不同模态识别出互不相同的第一意图时,现有方法通常仅依据置信度的大小直接压制其中一方,而没有考虑冲突意图之间的语义关系。例如,当一个模态识别为音量增大、另一个模态识别为音量减小时,两者属于同一语义类别下的相近意图,仅凭置信度压制一方容易误压制用户的真实意图,降低交互意图识别的准确性。因此如何提升智能遥控器多模态交互意图识别的准确率,成为了亟待解决的问题。

技术实现思路

1、本发明提供一种智能遥控器多模态交互意图的融合识别方法,以解决上述背景技术中提出的问题。

2、为实现上述目的,本发明提供的一种智能遥控器多模态交互意图的融合识别方法,包括:

3、s1,采集用户通过智能遥控器产生的多模态交互数据,对所述多模态交互数据进行时间同步,得到时间同步后的多模态交互数据;

4、s2,对所述时间同步后的多模态交互数据中的每个模态分别进行特征提取和意图初步识别,得到各模态的意图概率分布、第一意图和置信度;

5、s3,基于各模态的所述第一意图计算各模态的时序自洽度和跨模态一致度,基于环境参数计算各模态的场景适应度,并将所述时序自洽度、所述跨模态一致度、所述场景适应度与所述置信度进行加权求和,得到各模态的模态可靠性,对各模态的所述模态可靠性进行归一化,得到各模态的动态融合权重;

6、s4,对各模态的所述第一意图进行冲突检测,在检测到不同模态的所述第一意图互不相同且对应模态的所述模态可靠性超过预设阈值时,判定发生跨模态意图冲突,基于预设的意图语义层级树计算发生冲突的所述第一意图之间的语义距离,根据所述语义距离与预设语义距离阈值的大小关系,结合用户历史使用频率,对各模态的所述意图概率分布进行消解,得到各模态的消解后意图概率分布;

7、s5,基于各模态的所述动态融合权重对所述消解后意图概率分布进行加权求和,得到融合意图概率分布,将所述融合意图概率分布中概率最大的意图类别作为最终交互意图并输出。

8、与现有技术相比,本发明具有以下有益效果:

9、1.本发明通过计算各模态的时序自洽度、跨模态一致度和场景适应度,结合置信度加权求和得到模态可靠性,并据此确定动态融合权重。所述时序自洽度反映模态识别结果在短时窗口内的稳定程度,所述跨模态一致度反映模态识别结果与其他模态之间的相互印证程度,所述场景适应度反映当前环境对该模态的干扰程度,三个指标从时间稳定性、跨模态印证和环境适应性三个维度综合评估模态的可信程度。当某一模态因环境干扰或瞬时跳变而输出错误识别结果时,该模态的模态可靠性被自动压低,其动态融合权重相应减小,对最终融合结果的影响被抑制,从而提高了多模态意图融合识别的准确率和鲁棒性,使融合结果在复杂环境下更加稳定可靠。

10、2.本发明通过构建意图语义层级树计算冲突意图之间的语义距离,根据语义距离区分严重冲突与轻度冲突,并结合用户历史使用频率进行冲突消解。对语义距离较远的严重冲突,以模态可靠性最高的一方为主导,保证冲突消解的确定性;对语义距离较近的轻度冲突,结合用户历史使用频率进行优选,避免误压制用户真实意图。通过区分冲突类型并采取对应的消解策略,提高了冲突场景下意图识别的准确性,使最终输出的交互意图更贴合用户真实操作意图,提升了用户的使用体验。

1.一种智能遥控器多模态交互意图的融合识别方法,其特征在于,所述方法包括:

2.如权利要求1所述的一种智能遥控器多模态交互意图的融合识别方法,其特征在于,采集用户通过智能遥控器产生的多模态交互数据,对所述多模态交互数据进行时间同步,得到时间同步后的多模态交互数据,包括:

3.如权利要求1所述的一种智能遥控器多模态交互意图的融合识别方法,其特征在于,对所述时间同步后的多模态交互数据中的每个模态分别进行特征提取和意图初步识别,得到各模态的意图概率分布、第一意图和置信度,包括:

4.如权利要求1所述的一种智能遥控器多模态交互意图的融合识别方法,其特征在于,基于各模态的所述第一意图计算各模态的时序自洽度和跨模态一致度,基于环境参数计算各模态的场景适应度,包括:

5.如权利要求1所述的一种智能遥控器多模态交互意图的融合识别方法,其特征在于,将所述时序自洽度、所述跨模态一致度、所述场景适应度与所述置信度进行加权求和,得到各模态的模态可靠性,对各模态的所述模态可靠性进行归一化,得到各模态的动态融合权重,包括:

6.如权利要求1所述的一种智能遥控器多模态交互意图的融合识别方法,其特征在于,对各模态的所述第一意图进行冲突检测,在检测到不同模态的所述第一意图互不相同且对应模态的所述模态可靠性超过预设阈值时,判定发生跨模态意图冲突,包括:

7.如权利要求1所述的一种智能遥控器多模态交互意图的融合识别方法,其特征在于,基于预设的意图语义层级树计算发生冲突的所述第一意图之间的语义距离,包括:

8.如权利要求1所述的一种智能遥控器多模态交互意图的融合识别方法,其特征在于,根据所述语义距离与预设语义距离阈值的大小关系,结合用户历史使用频率,对各模态的所述意图概率分布进行消解,得到各模态的消解后意图概率分布,包括:

9.如权利要求1所述的一种智能遥控器多模态交互意图的融合识别方法,其特征在于,基于各模态的所述动态融合权重对所述消解后意图概率分布进行加权求和,得到融合意图概率分布,包括:

10.如权利要求1所述的一种智能遥控器多模态交互意图的融合识别方法,其特征在于,将所述融合意图概率分布中概率最大的意图类别作为最终交互意图并输出,包括: