一种位置先验与多源冗余定位的情感耦合意图交互方法与流程

本发明涉及数据处理，尤其涉及一种位置先验与多源冗余定位的情感耦合意图交互方法。

背景技术：

1、智能语音交互作为人机自然交互的重要方式，广泛应用于智能家居、移动终端及服务机器人等领域。相关技术中，通过麦克风阵列与摄像头的协同作业，构建了基于设备中心坐标系的音视融合多说话人识别交互体系，具体地，该体系涵盖了声学定位、视觉定位、情感特征提取与语义意图解析等关键环节，并引入外部uwb/aoa定位辅助以提升全局空间感知能力。

2、然而，现有的交互方法中，直接采用设备中心固定空间判定机制，并没有构建人本位与设备中心双坐标系自适应切换架构，由此可能会导致便携移动终端移位后交互空间规则失效，或者声学与视觉定位在恶劣环境下可信度骤降，从而引发身份漂移、意图串户及模糊指代歧义难以消解等问题，严重影响多场景下个性化意图识别的准确性与系统鲁棒性。

技术实现思路

1、本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

2、为此，本发明的第一个目的在于提出一种位置先验与多源冗余定位的情感耦合意图交互方法。

3、本发明的另一个目的在于提出一种位置先验与多源冗余定位的情感耦合意图交互装置。

4、本发明的第三个目的在于提出一种计算机设备。

5、本发明的第四个目的在于提出一种非临时性计算机可读存储介质。

6、为达上述目的，本发明第一方面实施例提出了一种位置先验与多源冗余定位的情感耦合意图交互方法，包括：

7、s1，根据设备的位移和姿态波动数据自动判别设备的工作模式，在固定终端模式下启用设备中心坐标系，在便携移动终端模式下切换至人本位动态坐标系，并为每个注册用户构建包含身份标识、语音特征、行为偏好以及对应场景下高频意图集合的身份位置先验知识库；

8、s2，采集多模态信号，通过声学定位、视觉定位和外部定位三源冗余定位进行融合仲裁，在音视定位可信度达标时采用音视融合位置，否则自动切换至外部定位坐标作为可靠位置来源，并结合方位匹配度、人脸相似度和声纹相似度进行动态权重融合，完成说话人身份确权与临时身份标识绑定；

9、s3，根据当前工作模式对应的坐标系，对确权后的说话人进行自适应空间核验，在核验通过后查询所述身份位置先验知识库，在语义识别完成前预判当前场景下的高概率候选意图集合，以缩小语义检索范围；

10、s4，将单句话初步意图、多轮上下文逻辑约束、用户情绪修正项以及身份位置先验偏好约束作为四维推理约束，对所述候选意图集合进行深度耦合推理，并利用位置先验对模糊指代语句进行歧义裁决，输出最终意图。

11、在本发明的一个实施例中，所述s1，包括：

12、通过imu姿态传感器实时采集设备的位移和姿态波动数据，当设备坐标波动极小且位移未超过预设阈值时自动判定为固定终端模式并启用设备中心坐标系，当设备持续位移且姿态频繁变化时自动判定为便携移动终端模式并切换至人本位动态坐标系；

13、采集每个注册用户的语音特征、个人习惯特征，通过哈希加密生成唯一不可篡改的用户身份标识，并将该用户身份标识与固定模式下设备周边的合法方位和距离范围、移动模式下预设的随身交互空间自适应参数和不同运动状态下的行为偏好建立对应关系，存储于边缘本地；

14、将所述用户身份标识、所在区域或运动状态与对应的高频意图集合关联，构建包含静态先验分支和动态先验分支的身份位置先验知识库，其中静态先验分支存储用户身份标识与所在区域至该区域高频意图集合的映射，动态先验分支存储用户身份标识与运动状态至动态候选意图池的映射。

15、在本发明的一个实施例中，所述s2，包括：

16、对麦克风采集的多人混合说话声音执行回声消除、降噪和语音起止点检测，采用transformer结合cnn带注意力机制的分离算法将重叠语音拆分为单人纯净语音，并通过tdoa或srp-phat算法计算声源方位和距离，得到声学定位结果与声学可信度数值；

17、在摄像头正常启用时识别人脸并提取人脸特征，换算出人相对设备的空间角度，得到视觉定位结果，融合声学定位结果和视觉定位结果得到音视融合位置与综合可信度；

18、通过设备内置的imu、麦克风阵列、摄像头或蓝牙测距测向实时解算用户相对便携移动设备的局部坐标，结合通过终端内定位系统模块获得的设备自身实时位置，换算出用户全局实时坐标，并将动态相对位置最优的用户判定为主交互对象作为人本位体系的动态原点，同时实时接收外部定位标签输出的人员全局坐标、标签身份标识和定位置信度；

19、当光线充足、无遮挡且回声小、音视定位综合可信度达标时采用音视融合位置作为主位置，当镜头被遮挡、光线昏暗或房间回声严重、音视定位综合可信度偏低时自动切换至外部定位坐标作为可靠位置来源；

20、构建综合打分模型，动态调配方位匹配度、人脸相似度和声纹相似度的权重，计算综合匹配得分，初步绑定生成临时用户身份标识，并对连续位置执行卡尔曼平滑以抑制抖动；

21、当人脸移出画面或被遮挡时，依靠历史运动轨迹结合声纹聚类维持身份不中断，在人脸重新出现后平滑衔接会话；当外部定位标签身份确定可信时，将当前用户的语音片段和人脸图片存入缓冲区作为后续模型更新的备用样本。

22、在本发明的一个实施例中，还包括：通过设备内置的imu、麦克风阵列、摄像头或手机蓝牙测距测向实时解算用户相对便携移动设备的局部坐标，并将动态相对位置最优的用户判定为主交互对象作为人本位体系的动态原点，以确定人离设备有多近、在哪个方向，从而判断靠得最近的人最可能在下指令。

23、在本发明的一个实施例中，所述s3，包括：

24、在固定终端模式下，同时满足声纹匹配达标且说话位置在设备预设交互范围内时判定为合法用户；

25、在便携移动终端模式下，根据设备实时位置和用户相对坐标计算出的用户实时相对位置坐标判定当前主交互的用户并确定当前有效用户身份标识，其中当声源位于近身区且声纹确权为机主时给予最高意图先验并免唤醒直接进入主交互锁定，当相对距离大于预设阈值时即使识别出注册用户也将其交互强度先验判定为极低并归类为背景对话丢弃，当通过外部定位感知到另一注册用户从其他房间持续靠近设备时预先加载其用户档案以提高其在该相对区域即将出现的先验概率；

26、身份核验完成后、整句话尚未完整识别完毕时，查询所述身份位置先验知识库，列出该用户当前场景下的高概率候选意图集合以缩小语义检索范围；

27、对不属于已注册用户的说话声音分配临时用户身份标识，独立开辟信号处理通道和会话空间，并在会话结束后自动删除所有临时录音和特征数据。

28、在本发明的一个实施例中，所述s4，包括：

29、将单句话字面初步意图、多轮上下文前后逻辑约束、用户当下情绪修正项以及身份位置先验偏好约束作为四维推理约束，利用tsfl学习挖掘四者内在关联，对所述候选意图集合进行深度耦合推理以修正简单字面理解带来的片面问题；

30、对于模糊指代语句，在固定场景下根据所在区域对应的行为偏好打分从多个候选意图中择优输出最终意图，在便携移动场景下根据运动状态对应的行为偏好打分从多个候选意图中择优输出最终意图；

31、遇到模糊指令时，结合用户常用习惯生成个性化提问，并记录歧义处理样本以持续优化先验库与情感意图映射关系，对于紧急指令先执行基础操作再确认细节。

32、在本发明的一个实施例中，还包括：

33、为每个有效用户身份标识创建专属独立会话空间和上下文缓存，不同用户的聊天记录、待办任务和指代名词完全隔离；统计用户说话频繁程度，频繁使用时延长上下文保存时间，长期不用时自动释放内存资源；

34、当两个用户交替说话切换身份时自动保存上一个用户的对话进度，在切回时无缝接续；

35、当用户长时间停顿后再次说话时自动恢复之前对话上下文。

36、为达上述目的，本发明第二方面实施例提出了一种位置先验与多源冗余定位的情感耦合意图交互装置，包括：

37、模式坐标系切换模块，用于根据设备的位移和姿态波动数据自动判别设备的工作模式，在固定终端模式下启用设备中心坐标系，在便携移动终端模式下切换至人本位动态坐标系，并为每个注册用户构建包含身份标识、语音特征、行为偏好以及对应场景下高频意图集合的身份位置先验知识库；

38、多源定位身份确权模块，用于采集多模态信号，通过声学定位、视觉定位和外部定位三源冗余定位进行融合仲裁，在音视定位可信度达标时采用音视融合位置，否则自动切换至外部定位坐标作为可靠位置来源，并结合方位匹配度、人脸相似度和声纹相似度进行动态权重融合，完成说话人身份确权与临时身份标识绑定；

39、空间核验意图预筛选模块，用于根据当前工作模式对应的坐标系，对确权后的说话人进行自适应空间核验，在核验通过后查询所述身份位置先验知识库，在语义识别完成前预判当前场景下的高概率候选意图集合，以缩小语义检索范围；

40、四维耦合意图推理模块，用于将单句话初步意图、多轮上下文逻辑约束、用户情绪修正项以及身份位置先验偏好约束作为四维推理约束，对所述候选意图集合进行深度耦合推理，并利用位置先验对模糊指代语句进行歧义裁决，输出最终意图。

41、本发明实施例的一种位置先验与多源冗余定位的情感耦合意图交互方法及装置，能够兼容固定与移动终端，实现全场景通用交互；通过三源冗余定位提升恶劣环境下身份识别稳定性；利用身份位置先验知识库前置预判意图并消解歧义，提高个性化意图识别精度。

42、为达上述目的，本技术第三方面实施例提出了一种计算机设备，包括：处理器和存储器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如第一方面实施例所述的方法。

43、为达上述目的，本技术第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面实施例所述的方法。

44、本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。