一种面向多用户陪伴场景的交互方法、系统、介质及装置

本发明涉及人机交互、语音识别和人工智能，特别是涉及一种面向多用户陪伴场景的交互方法、系统、计算机可读存储介质、声纹身份识别装置、分层记忆管理装置及异步记忆抽取装置。

背景技术：

1、家庭陪伴、养老照护和个人助理设备正从单轮问答终端演变为能够长期共处、持续对话的交互智能体。这类设备常被放置在家庭、养老院等公共空间，由老人、子女、护理人员等多人共享。共享设备带来了三个相互耦合的核心问题：其一，身份识别与锁定问题：当前说话人的身份可能随家庭成员轮流使用而变化，但身份一旦在连续对话中频繁重新判定又会发生抖动，导致个性化服务中断或混乱；其二，隐私与记忆隔离问题：用户的长期偏好、照护背景、提醒和历史任务具有高度隐私性，身份判定错误或缺失会造成跨用户误读、误改或误播报私人信息；其三，上下文与并发管理问题：长时间陪伴需要跨会话记忆，但大语言模型上下文长度有限，若把原始历史和全部长期记忆直接注入会增加延迟并稀释当前任务，同时，语音交互、工具调用、提醒播报、用户打断等并发活动需要高效协同，避免冲突。

2、现有技术，例如ep1941411b1和us10452816b2，虽然公开了通过语音、人脸等方式识别用户并调取个性化画像的基本路径，但主要侧重于识别手段本身，未能提供一种从唤醒、身份锁定、连续对话、记忆管理到休眠释放的完整闭环状态机，尤其缺乏在处理多用户切换时保持身份稳定、避免跨用户记忆串用的工程机制。其他现有技术，如memorybank、memgpt等，提出了长期记忆的分层管理方案，但主要解决模型上下文窗口限制问题，未针对共享设备场景，将身份锁定、记忆目录访问权限、用户隔离和异步并发控制进行统一设计。

3、因此，亟需一种能够解决上述问题的技术方案，以实现共享设备在低干扰休眠、可靠唤醒、稳定身份、连续对话、可打断播报、异步提醒和再次休眠之间的闭环运行，并在该闭环中实现按个人隔离的长期记忆抽取、分类和分层注入。

技术实现思路

1、本发明旨在解决现有技术中，在面向多用户陪伴场景的共享设备上，因身份、记忆与交互三者动态耦合导致的稳定性、隐私性与效率难以兼顾的技术问题。具体而言，本发明通过解决以下技术问题来实现：

2、第一，如何在唤醒阶段准确绑定用户身份并在整个活跃周期内保持稳定，避免身份抖动；

3、第二，如何实现用户记忆的严格隔离，防止隐私泄露，同时确保有权限的用户能够访问其个人记忆；

4、第三，如何高效地管理上下文、并发任务和异步操作，以提升交互流畅性和响应速度，同时不干扰前台交互。

5、本发明的技术问题通过以下的技术方案予以解决：

6、第一方面，本发明提供一种面向多用户陪伴场景的交互方法，由交互系统执行，包括以下步骤：

7、s1、接收语音输入流；

8、s2、对所述语音输入流进行语音活动检测和自动语音识别，得到文本信息；

9、s3、当所述文本信息包含唤醒词时，进入唤醒状态，并获取与当前用户关联的身份标识信息；

10、s4、基于所述身份标识信息，根据预定的身份判定条件确定当前用户身份；若判定成功，则将当前活跃周期锁定到对应的已登记用户身份，并在所述当前活跃周期内拒绝执行任何新的身份重判定请求，直到结束所述当前活跃周期；若判定失败，则使用默认隔离身份，所述默认隔离身份无权访问任何已登记用户的长期记忆与个性化数据；

11、s5、基于当前用户身份进行对话管理、记忆注入和工具调用；

12、s6、当检测到告别词或空闲超时事件时，结束所述当前活跃周期，释放所述当前用户身份，并提交会话快照以供异步长期记忆抽取；

13、其中，所述身份标识信息包括生物特征信息和/或数字凭证信息；所述预定的身份判定条件包括：基于所述身份标识信息与已登记用户样本的综合匹配度，确定所述综合匹配度是否满足身份锁定条件。

14、在一些实施例中，还包括如下技术特征：

15、所述身份标识信息为声纹特征；步骤s4中将所述预定的身份判定条件，具体包括以下步骤：

16、s41、计算唤醒语音的声纹嵌入向量与已登记用户各声纹样本嵌入向量之间的余弦相似度，形成相似度矩阵；

17、s42、对于每个已登记用户，取其所有声纹样本的相似度中的最大值作为该已登记用户的得分；

18、s43、找出得分最高的最佳候选用户和得分次高的第二候选用户；

19、s44、判断最佳候选用户的得分是否大于或等于第一阈值，且最佳候选用户得分与第二候选用户得分的差值是否大于或等于第二阈值；

20、s45、若是，则判定锁定最佳候选用户身份；

21、s46、若否，则判定使用默认隔离身份。

22、在一些实施例中，所述第一阈值和所述第二阈值的值能根据环境噪声水平或所述交互系统设置的隐私模式进行动态调整。所述第一阈值的取值范围为0.65-0.75，所述第二阈值的取值范围为0.15-0.20。

23、在一些实施例中，所述身份标识信息为人脸特征；所述已登记用户样本为人脸图像样本库。

24、在一些实施例中，步骤s5中，注入的记忆是分层的，具体包括：

25、当前轮次的用户请求和助手答复；

26、近期若干轮次的原始对话历史；

27、更早轮次的对话压缩摘要；

28、当前会话的语义状态，包括开放事项、已解决事项和时间线索；

29、当前用户的长期记忆索引；

30、仅在当前请求相关时，按需注入长期记忆索引中指明的特定主题详情。

31、在一些实施例中，对于使用默认隔离身份的当前用户，不会注入任何已登记用户的长期记忆索引和主题详情。

32、在一些实施例中，步骤s5中所述工具调用，包括以下步骤：

33、s51、解析大语言模型输出的工具调用请求；

34、s52、对请求进行参数规范和权限校验；

35、s53、根据错误类型进行分类处理：对于缺少参数、权限不足的不可重试错误，直接返回错误码和用户可理解消息；

36、s54、对于网络超时、服务暂不可用的可重试错误，返回可重试标记；

37、s55、若大语言模型未对工具调用失败进行说明，则由所述交互系统直接播报预定义的、与错误码对应的用户可理解消息；

38、步骤s6中所述异步长期记忆抽取，包括以下步骤：

39、s61、接收提交的会话快照；

40、s62、基于预定义的过滤规则，过滤掉不应保存为长期记忆的候选内容；所述过滤规则至少包括：过滤主体用户非当前用户且非其授权照护对象的内容、过滤包含敏感标识符或原始生物特征的内容、过滤瞬时性的症状描述、过滤未经用户确认的医疗推断、以及过滤已由提醒工具保存的事项；

41、s63、将通过过滤的候选内容，分类保存至当前用户的长期记忆中；分类至少包括：用户信息类、行为反馈类、阶段项目类和参考位置类。

42、在一些实施例中，步骤s5中基于当前用户身份进行对话管理，具体包括：

43、语音输出采用流式合成与播放；在播放过程中，实时监测是否有符合能量门限的语音输入以及该输入是否包含打断关键词；若监测到有效的打断关键词，则立即停止当前语音播放；记录已播放的文本内容或播放比例；在下一轮对话开始前，根据实际已播放的内容重构对话历史；

44、步骤s6中，所述异步长期记忆抽取由独立的后台线程执行；对于同一用户，若在执行抽取任务期间收到新的会话快照，则保存该新的会话快照作为最新会话快照，并在当前任务结束后立即基于该最新会话快照再次启动抽取任务。

45、第二方面，本发明提供一种面向多用户陪伴场景的交互系统，包括：

46、处理器；

47、存储器，其上存储有计算机程序；

48、当所述计算机程序被所述处理器执行时，实现第一方面所述的交互方法。

49、第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现第一方面所述的交互方法。

50、第四方面，本发明提供一种用于面向多用户陪伴场景的交互系统的身份识别装置，包括：

51、标识信息获取模块，用于获取与当前用户关联的身份标识信息；

52、样本库，存储有已登记用户的身份标识样本；

53、匹配度计算模块，用于计算所述身份标识信息与样本库中各样本的匹配度，并找出最佳候选用户和第二候选用户；

54、判定模块，用于根据预定的身份判定条件判断是否锁定用户身份，并根据判断结果输出身份锁定指令或默认隔离指令；

55、其中，所述身份标识信息包括生物特征信息和/或数字凭证信息；所述预定的身份判定条件包括：基于最佳候选用户的匹配度及最佳候选用户与第二候选用户的匹配度差值，确定所述匹配度及匹配度差值是否满足身份锁定条件。

56、第五方面，本发明提供一种用于面向多用户陪伴场景的交互系统的分层记忆管理装置，包括：

57、短期记忆维护模块，用于在单个活跃周期内维护滚动更新的会话状态，包括近期对话历史、压缩摘要和开放事项；

58、长期记忆索引模块，按用户隔离存储，用于存储长期记忆的主题索引；

59、记忆注入模块，用于在每轮对话构建提示时，分层地注入短期记忆维护模块的内容和长期记忆索引模块中当前用户的索引，并仅在需要时按索引加载特定的主题详情；

60、其中，对于未识别用户，记忆注入模块不会注入任何已登记用户的长期记忆索引和主题详情。

61、第六方面，本发明提供一种用于面向多用户陪伴场景的交互系统的异步记忆抽取装置，包括：

62、快照接收模块，用于在活跃周期结束时接收会话快照；

63、规则过滤模块，用于基于预定义的硬性规则过滤掉会话快照中不应转为长期记忆的内容；

64、分类存储模块，用于将通过过滤的候选内容分类并存储到相应用户的长期记忆空间中；

65、并发控制模块，用于按用户对记忆抽取任务进行串行化处理，当处理某用户的任务时收到该用户的新快照，则保存新快照并在当前任务结束后基于新快照启动新一轮任务。

66、本发明与现有技术对比的有益效果包括：

67、本发明通过采用“活跃周期身份锁定+基于身份标识信息的身份判定+默认隔离身份”的技术方案，首先，在唤醒阶段通过预定的身份判定条件（例如，基于综合匹配度确定是否满足身份锁定条件）进行严格的身份判定，即使判定成功，也仅将身份锁定在一个“活跃周期”内，从而在根本上解决了多用户场景下身份频繁抖动和误判的问题。进而，由于身份在活跃周期内保持不变，系统能够基于该固定身份进行后续的对话管理、记忆注入和工具调用，确保了交互的连续性和个性化，避免了因身份变化导致的服务中断或混乱。同时，当身份判定条件不满足时，系统不会冒险绑定到最相似的用户，而是自动采用“默认隔离身份”，该身份无权访问任何已登记用户的私人记忆，有效防止了因识别错误导致的隐私泄露。

68、具体而言，上述技术特征之间存在紧密的协同关系：首先，通过所述身份判定条件，在唤醒阶段实现了高可靠性的身份识别，为所述活跃周期内的身份锁定提供了前提，从而解决了身份抖动问题，产生了身份识别鲁棒性的有益效果；其次，基于所述活跃周期内的身份锁定，确保了后续所有交互操作均基于固定的用户身份，从而实现了记忆的严格隔离，产生了用户隐私安全性的有益效果；最后，在保障身份稳定和隐私安全的基础上，所述交互系统能够基于固定身份高效地进行对话管理、记忆注入和工具调用，确保了交互的连续性和流畅性，产生了交互连续性的有益效果。这三个有益效果相互支撑、缺一不可，共同构成了本发明所实现的兼顾身份识别鲁棒性、用户隐私安全性和交互连续性的整体技术效果。

69、综上所述，本发明通过上述技术特征的相互配合，共同实现了在共享设备多用户场景下，一种兼顾了身份识别鲁棒性、用户隐私安全性和交互连续性的整体技术效果，这是仅靠单一技术特征（如单独使用声纹识别或单独使用用户画像）所无法达到的。

70、此外，在一些实施例中，还具有如下有益效果：

71、进一步地，通过采用声纹特征进行身份判定，并引入“计算相似度矩阵”、“取最大值作为得分”、“动态调整阈值”等具体步骤，使得身份识别过程更加精确、可靠，能够在嘈杂环境或不同隐私模式下自适应调整，提升了系统的鲁棒性和灵活性。

72、进一步地，通过采用人脸特征作为生物特征，并实现“分层记忆注入”（包括当前轮次、近期历史、压缩摘要、长期索引、按需主题详情），有效管理了模型上下文长度，既保留了当前任务的连续性，又实现了跨会话的长期记忆访问，同时对于未识别用户，严格禁止注入私人记忆，保障了信息隔离。

73、进一步地，通过定义“异步长期记忆抽取”的具体步骤，特别是“基于预定义过滤规则”的先过滤后分类机制，将机器可执行的确定性规则与llm的语义理解能力相结合，有效过滤了瞬时性、敏感性、未确认等不应保存的垃圾信息，提升了长期记忆的质量和安全性。

74、进一步地，通过在异步抽取过程中实施“按用户串行化”和“重跑合并”的并发控制策略，有效避免了同一用户记忆空间的并发写入冲突，确保了记忆数据的一致性和完整性，同时保证了前台用户交互的流畅性。

75、进一步地，通过提供工具调用的“分类错误处理”和“兜底播报”机制，使系统在遇到参数错误、权限不足、网络超时等异常时，能给出清晰、友好的用户反馈，而非直接崩溃或输出无意义的错误信息，提升了系统的稳定性和用户体验。

76、进一步地，通过实现“流式语音合成与打断”功能，并记录已播放内容的比例，使得用户能够随时打断过长或错误的播报，并且在后续对话中能够基于实际已听到的内容进行上下文重构，极大地提升了语音交互的自然度和可控性。

77、本发明实施例中的其他有益效果将在下文中进一步述及。