基于大模型的目标住户行为追踪方法、装置、设备及介质与流程

本发明属于人工智能，适用于康养养老领域，尤其涉及一种基于大模型的目标住户行为追踪方法、装置、设备及介质。

背景技术：

1、随着人口老龄化进程的加快，养老社区已成为老年人居住与护理的重要场所。在康养型养老社区中，入住有大量患有轻度认知障碍，例如早期阿尔茨海默病的目标住户，此类目标住户虽具备自主行动能力，但存在记忆力衰退、定向力减弱、判断力下降等问题，在接近社区出口、电梯厅等区域时存在较高的行为风险，对其人身安全构成严重威胁。现有行为追踪方案主要依靠电子手环定位或门禁刷卡系统，当目标住户接近出口时，系统自动播放标准化语音提示，例如请返回，以提醒目标住户止步。

2、然而，现有的标准化语音提示方案在实际应用中存在多方面的问题。首先，轻度认知障碍常因理解能力下降、注意力分散或对机械播报产生情绪抗拒，往往忽略此类标准化的语音提示，系统无法根据目标住户的实际反应进行主动交互与进一步引导，干预手段单一且被动。其次，现有视觉系统虽能通过人脸识别确认目标住户身份，但无法判断目标住户当前的认知状态，例如目标住户是否处于迷茫徘徊、情绪焦虑或被他人言语诱导等状态，导致干预策略僵化；当目标住户被访客带离时，系统亦无法验证目标住户是否具备自主离开意愿，存在管理盲区。再者，现有系统采用的通用语音合成技术缺乏个性化与情感适配，播放的提示语音对目标住户群体亲和力不足，难以与目标住户建立有效沟通，降低了语音引导的实际接受度。此外，现有方案无法对目标住户于出口区域长时间徘徊、对语音呼叫无应答且无家属陪同等高危复合情境进行识别，更无法启动分级干预措施，导致行为风险预警能力严重不足。

3、鉴于此，如何对目标住户进行精准的行为追踪，是一个亟待解决的技术问题。

技术实现思路

1、本发明提供一种基于大模型的目标住户行为追踪方法、装置、设备及介质，用以解决如何对目标住户进行精准的行为追踪的技术问题。

2、第一方面，本发明提供了一种基于大模型的目标住户行为追踪方法，包括：

3、实时检测预设预警区域的人脸图像，将检测到的人脸图像与住户数据库预存的目标住户的人脸图像进行匹配，若匹配成功，则加载目标住户对应的认知画像；

4、对预警区域内的目标住户进行目标跟踪，并基于目标跟踪的结果输出目标住户的行为状态信息；

5、对所述目标住户播放呼叫语音，采集所述目标住户的语音响应，并对采集的目标住户的语音响应进行分析；

6、将所述行为状态信息、所述认知画像以及语音响应分析结果输入至预训练的多模态大模型中进行联合推理，输出目标住户的行为风险等级；

7、基于所述目标住户的行为风险等级和所述认知画像，生成个性化引导文本，并将所述个性化引导文本转换为引导语音，对所述目标住户进行引导语音的定向播放。

8、第二方面，本发明提供了一种基于大模型的目标住户行为追踪装置，包括：

9、检测模块，实时检测预设预警区域的人脸图像，将检测到的人脸图像与住户数据库预存的目标住户的人脸图像进行匹配，若匹配成功，则加载目标住户对应的认知画像；

10、输出模块，用于对预警区域内的目标住户进行目标跟踪，并基于目标跟踪的结果输出目标住户的行为状态信息；

11、采集模块，用于对所述目标住户播放呼叫语音，采集所述目标住户的语音响应，并对采集的目标住户的语音响应进行分析；

12、推理模块，用于将所述行为状态信息、所述认知画像以及语音响应分析结果输入至预训练的多模态大模型中进行联合推理，输出目标住户的行为风险等级；

13、生成模块，用于基于所述目标住户的行为风险等级和所述认知画像，生成个性化引导文本，并将所述个性化引导文本转换为引导语音，对所述目标住户进行引导语音的定向播放。

14、第三方面，本发明提供了一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述基于大模型的目标住户行为追踪方法的步骤。

15、第四方面，本发明提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述基于大模型的目标住户行为追踪方法的步骤。

16、上述基于大模型的目标住户行为追踪方法、装置、设备及介质，所实现的方案中，可以通过客户端实时检测预设预警区域的人脸图像，将检测到的人脸图像与住户数据库预存的目标住户的人脸图像进行匹配，若匹配成功，则加载目标住户对应的认知画像；对预警区域内的目标住户进行目标跟踪，并基于目标跟踪的结果输出目标住户的行为状态信息；对所述目标住户播放呼叫语音，采集所述目标住户的语音响应，并对采集的目标住户的语音响应进行分析；将所述行为状态信息、所述认知画像以及语音响应分析结果输入至预训练的多模态大模型中进行联合推理，输出目标住户的行为风险等级；基于所述目标住户的行为风险等级和所述认知画像，生成个性化引导文本，并将所述个性化引导文本转换为引导语音，对所述目标住户进行引导语音的定向播放。本发明通过预训练的多模态大模型对视觉行为、认知画像与语音响应进行跨模态联合推理，能够精准识别目标住户单独徘徊且对呼叫无应答等高危复合情境，有效地提升了行为追踪的准确性。同时，基于认知画像生成包含目标住户习惯称呼和历史有效话术的个性化引导文本，并结合理解能力等级自适应调节合成语音的语速与音色，提升了引导语音的接受度，实现了对目标住户的主动感知与人性化分级干预。

1.一种基于大模型的目标住户行为追踪方法，其特征在于，包括：

2.根据权利要求1所述的基于大模型的目标住户行为追踪方法，其特征在于，所述实时检测预设预警区域的人脸图像，将检测到的人脸图像与住户数据库预存的目标住户的人脸图像进行匹配，若匹配成功，则加载目标住户对应的认知画像，包括：

3.根据权利要求1所述的基于大模型的目标住户行为追踪方法，其特征在于，所述对预警区域内的目标住户进行目标跟踪，并基于目标跟踪的结果输出目标住户的行为状态信息，包括：

4.根据权利要求1所述的基于大模型的目标住户行为追踪方法，其特征在于，所述对所述目标住户播放呼叫语音，采集所述目标住户的语音响应，并对采集的目标住户的语音响应进行分析，包括：

5.根据权利要求1所述的基于大模型的目标住户行为追踪方法，其特征在于，所述将所述行为状态信息、所述认知画像以及语音响应分析结果输入至预训练的多模态大模型中进行联合推理，输出目标住户的行为风险等级，包括：

6.根据权利要求1所述的基于大模型的目标住户行为追踪方法，其特征在于，所述基于所述目标住户的行为风险等级和所述认知画像，生成个性化引导文本，并将所述个性化引导文本转换为引导语音，对所述目标住户进行引导语音的定向播放，包括：

7.根据权利要求1所述的基于大模型的目标住户行为追踪方法，其特征在于，所述基于所述目标住户的行为风险等级和所述认知画像，生成个性化引导文本，并将所述个性化引导文本转换为引导语音，对所述目标住户进行引导语音的定向播放之后，所述方法还包括：

8.一种基于大模型的目标住户行为追踪装置，其特征在于，包括：

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的基于大模型的目标住户行为追踪方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于大模型的目标住户行为追踪方法的步骤。