实时知识补全提示方法、装置、设备及存储介质与流程

本技术涉及人工智能，尤其涉及实时知识补全提示方法、装置、设备及存储介质。

背景技术：

1、在会议发言、公开演讲、学术答辩、社交交谈等实时交互场景中，说话人经常出现“话到嘴边”（tip-of-the-tongue，tot）现象，即明明知晓某个词语、诗句、数据或专业术语，却在表达的关键时刻无法准确回忆。认知心理学研究表明，tot现象在成年人中的发生率约为每周1~2次，且随着年龄增长和认知负荷增加而显著上升。这种认知卡顿不仅打断表达的流畅度和连贯性，还容易造成社交尴尬、降低发言说服力，严重时甚至影响商业谈判和学术汇报的效果。

2、目前，针对上述认知卡顿问题，主要方案是通过语音识别将实时语音与预置文稿进行时间对齐，实现提词器内容的自动滚动跟随。然而，该方案仅适用于有预置文稿的场景，无法适配无预设文稿的场景，而日常生活与工作中的多数交互场景都不存在预先准备好的完整文稿，该类方案无法在这类场景下发挥作用。

技术实现思路

1、本技术的主要目的在于提供一种实时知识补全提示方法、装置、设备及存储介质，旨在解决目前对认知卡顿进行提示的方案无法适配不同场景的技术问题。

2、为实现上述目的，本技术提出一种实时知识补全提示方法，所述实时知识补全提示方法包括：

3、获取可穿戴设备上的多路异构传感器实时采集的用户生理行为数据；

4、基于所述用户生理行为数据进行认知卡顿检测；

5、在检测到用户存在认知卡顿时，获取当前对话上下文文本；

6、对所述当前对话上下文文本进行查询，确定对应的候选补全信息；

7、通过预设提示通道向所述用户输出所述候选补全信息。

8、在一实施例中，所述基于所述用户生理行为数据进行认知卡顿检测的步骤包括：

9、对所述用户生理行为数据进行预处理，得到多模态特征向量；

10、通过所述多模态特征向量对用户进行认知卡顿检测。

11、在一实施例中，所述用户生理行为数据包括：用户的音频数据、视线数据、动作数据以及面部数据；

12、所述对所述用户生理行为数据进行预处理，得到多模态特征向量的步骤包括：

13、对所述音频数据进行梅尔频率倒谱系数特征提取，得到声学迟疑特征；

14、根据所述视线数据提取用户的注视方差以及视线特征，得到视觉游移特征；

15、对所述动作数据进行平滑度分析，得到动作停顿特征；

16、对所述面部数据进行频谱分析，得到焦虑微表情特征；

17、将所述声学迟疑特征、所述视觉游移特征、所述动作停顿特征以及所述焦虑微表情特征进行时间同步对齐，构建多模态特征向量。

18、在一实施例中，所述通过所述多模态特征向量对用户进行认知卡顿检测的步骤包括：

19、将所述多模态特征向量输入至预训练的跨模态注意力融合模型中计算各模态特征向量之间的关联权重，并输出当前的认知卡顿概率值；

20、在所述认知卡顿概率值大于预设检测阈值的情况下，确定用户存在认知卡顿；

21、在所述认知卡顿概率值小于或等于所述预设检测阈值的情况下，确定用户不存在认知卡顿。

22、在一实施例中，所述通过预设提示通道向所述用户输出所述候选补全信息的步骤之后，还包括：

23、在所述认知卡顿概率小于预设恢复阈值的情况下，获取持续时间；

24、在所述持续时间大于预设时间阈值的情况下，控制所述候选补全信息在预设时长内淡出消失。

25、在一实施例中，所述对所述当前对话上下文文本进行查询，确定对应的候选补全信息的步骤包括：

26、将所述当前对话上下文文本编码为语义查询向量；

27、基于所述语义查询向量在本地知识库中进行检索，得到对应的候选补全信息。

28、在一实施例中，所述基于所述语义查询向量在本地知识库中进行检索，得到对应的候选补全信息的步骤包括：

29、获取检索参数和搜索宽度；

30、基于所述语义查询向量在本地知识库中使用所述检索参数和所述搜索宽度进行近似最近邻检索，得到匹配度符合预设条件的多个候选补全条目；

31、根据多个候选补全条目得到对应的候选补全信息。

32、在一实施例中，所述通过预设提示通道向所述用户输出所述候选补全信息的步骤包括：

33、获取当前的环境场景模式；

34、根据所述环境场景模式确定预设提示通道；

35、基于所述环境场景模式通过所述预设提示通道向所述用户输出所述候选补全信息。

36、在一实施例中，所述环境场景模式包括演讲模式，所述预设提示通道包括视觉显示通道；

37、所述基于所述环境场景模式通过所述预设提示通道向所述用户输出所述候选补全信息的步骤包括：

38、在所述环境场景模式为演讲模式的情况下，配置预设对比度及半透明的视觉渲染参数；

39、通过所述视觉显示通道在用户的视野边缘区域以所述视觉渲染参数显示所述候选补全信息。

40、在一实施例中，所述环境场景模式包括会议模式，所述预设提示通道包括骨传导音频通道；

41、所述基于所述环境场景模式通过所述预设提示通道向所述用户输出所述候选补全信息的步骤包括：

42、在所述环境场景模式为会议模式的情况下，配置低于环境背景音量的预设音量；

43、通过所述骨传导音频通道以所述预设音量播报所述候选补全信息。

44、在一实施例中，所述环境场景模式包括私密交谈模式，所述预设提示通道包括触觉反馈通道；

45、所述基于所述环境场景模式通过所述预设提示通道向所述用户输出所述候选补全信息的步骤包括：

46、在所述环境场景模式为私密交谈模式的情况下，并配置预设节律的振动参数；

47、通过所述触觉反馈通道向所述用户发送预设节律的振动参数以提示所述候选补全信息。

48、在一实施例中，所述多路异构传感器至少包括骨传导麦克风、眼动追踪传感器、惯性测量单元以及面部肌电传感器；

49、所述获取可穿戴设备上的多路异构传感器实时采集的用户生理行为数据的步骤包括：

50、获取通过所述骨传导麦克风采集用户的音频数据、所述眼动追踪传感器采集的用户的视线数据、所述惯性测量单元采集的用户的动作数据以及所述面部肌电传感器采集的用户的面部数据；

51、将所述音频数据、所述视线数据、所述动作数据以及所述面部数据汇总得到用户的生理行为数据。

52、在一实施例中，所述获取通过所述骨传导麦克风采集用户的音频数据、所述眼动追踪传感器采集的用户的视线数据、所述惯性测量单元采集的用户的动作数据以及所述面部肌电传感器采集的用户的面部数据的步骤包括：

53、获取通过所述骨传导麦克风采集用户的喉部振动音频信号，根据所述喉部振动音频信号得到音频数据；

54、获取通过所述眼动追踪传感器采集的用户的视线注视点坐标和瞳孔直径变化数据，根据所述视线注视点坐标和所述瞳孔直径变化数据得到视线数据；

55、获取通过所述惯性测量单元采集的用户的头部姿态角速度和肢体加速度数据，根据所述头部姿态角速度和所述肢体加速度数据得到动作数据；

56、获取通过所述面部肌电传感器采集的用户面部肌肉的微表情电信号，根据所述微表情电信号得到面部数据。

57、此外，为实现上述目的，本技术还提出一种实时知识补全提示装置，所述实时知识补全提示装置包括：

58、获取模块，用于获取可穿戴设备上的多路异构传感器实时采集的用户生理行为数据；

59、检测模块，用于基于所述用户生理行为数据进行认知卡顿检测；

60、所述获取模块，还用于在检测到用户存在认知卡顿时，获取当前对话上下文文本；

61、查询模块，用于对所述当前对话上下文文本进行查询，确定对应的候选补全信息；

62、输出模块，用于通过预设提示通道向所述用户输出所述候选补全信息。

63、在一实施例中，所述检测模块，还用于对所述用户生理行为数据进行预处理，得到多模态特征向量；

64、通过所述多模态特征向量对用户进行认知卡顿检测。

65、在一实施例中，所述用户生理行为数据包括：用户的音频数据、视线数据、动作数据以及面部数据；所述检测模块，还用于对所述音频数据进行梅尔频率倒谱系数特征提取，得到声学迟疑特征；

66、根据所述视线数据提取用户的注视方差以及视线特征，得到视觉游移特征；

67、对所述动作数据进行平滑度分析，得到动作停顿特征；

68、对所述面部数据进行频谱分析，得到焦虑微表情特征；

69、将所述声学迟疑特征、所述视觉游移特征、所述动作停顿特征以及所述焦虑微表情特征进行时间同步对齐，构建多模态特征向量。

70、在一实施例中，所述检测模块，还用于将所述多模态特征向量输入至预训练的跨模态注意力融合模型中计算各模态特征向量之间的关联权重，并输出当前的认知卡顿概率值；

71、在所述认知卡顿概率值大于预设检测阈值的情况下，确定用户存在认知卡顿；

72、在所述认知卡顿概率值小于或等于所述预设检测阈值的情况下，确定用户不存在认知卡顿。

73、在一实施例中，所述检测模块，还用于在所述认知卡顿概率小于预设恢复阈值的情况下，获取持续时间；

74、在所述持续时间大于预设时间阈值的情况下，控制所述候选补全信息在预设时长内淡出消失。

75、此外，为实现上述目的，本技术还提出一种实时知识补全提示设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如上文所述的实时知识补全提示方法的步骤。

76、此外，为实现上述目的，本技术还提出一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上文所述的实时知识补全提示方法的步骤。

77、此外，为实现上述目的，本技术还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上文所述的实时知识补全提示方法的步骤。

78、本技术提出的一个或多个技术方案，通过获取可穿戴设备上的多路异构传感器实时采集的用户生理行为数据；基于所述用户生理行为数据进行认知卡顿检测；在检测到用户存在认知卡顿时，获取当前对话上下文文本；对所述当前对话上下文文本进行查询，确定对应的候选补全信息；通过预设提示通道向所述用户输出所述候选补全信息。通过上述步骤，本技术可依托可穿戴设备上的多路异构传感器，从多个维度捕捉认知卡顿发生时用户的生理行为特征，无需依赖预先准备的完整文稿即可实现认知卡顿的自动检测与知识补全，能够适配无预设文稿的日常发言、社交交谈等各类实时交互场景；同时通过多模态感知实现认知卡顿的提前主动检测，无需用户手动触发求助，在保障隐私安全的同时提升了知识补全的时效性与交互自然度，有效解决了现有技术无法适配不同场景的技术问题。