一种基于多模态模型与个人记忆图谱的中西医融合认知辅助评估及干预系统

本发明属于人工智能与数字医疗，具体涉及一种基于多模态模型与个人记忆图谱的中西医融合认知辅助评估及干预系统。

背景技术：

1、随着人口老龄化程度不断加深，轻度认知障碍及阿尔茨海默病等认知衰退相关问题日益受到关注。现有认知评估多依赖简易精神状态检查量表、蒙特利尔认知评估量表等标准化量表，并由专业医师人工评分，存在耗时较长、依赖专业医师且难以在家庭或社区场景中高频开展等问题。

2、目前部分数字化认知筛查系统已将传统量表迁移至电子终端，但多数仍以文本问答或语音问答为主，对绘图轨迹、动作视频、语音表达、面部图像和舌部图像等多源异构数据利用不足，难以对视空间与执行功能、复杂指令执行等题项中的非文本行为信息进行统一采集、结构化处理和综合分析。

3、现有认知评估体系多以西医认知量表为核心，较少将中医望诊、体质辨识等信息纳入统一的辅助评估流程。中医面色、舌象、体质、睡眠和情志等信息能够从整体状态角度反映老年人身心功能变化，但相关信息在实际应用中往往依赖人工经验判断，难以形成稳定、可计算、可融合的结构化特征。

4、在认知干预方面，现有非药物干预方式多采用通用认知训练、图片回忆或一般性对话陪伴，难以与患者真实人生经历、家庭关系和情感记忆建立深度连接；普通文件夹式照片管理或关键词检索也难以表达人物、事件、地点、时间和多媒体资源之间的复杂关系。

5、随着大语言模型和多模态大模型的发展，利用人工智能生成评估解释和干预话术成为可能。然而，通用大模型在缺少患者个人事实约束时容易生成与真实经历不一致的内容；若将患者家庭照片、视频、语音、病史和亲属关系等敏感数据上传至云端处理，也可能带来隐私泄露风险。因此，亟需一种改进的认知辅助评估及个性化干预系统，以解决评估体系单一，干预内容缺乏患者个人记忆支撑、容易产生事实偏差的问题。

技术实现思路

1、本发明的目的在于提供一种基于多模态模型与个人记忆图谱的中西医融合认知辅助评估及干预系统，一方面，对中西医特征进行融合推理，提高辅助评估结果的综合性和解释性；另一方面，利用生成约束信息和个人记忆图谱约束个性化干预内容的生成，提高干预内容的个性化、真实性和可追溯性。

2、为实现上述目的，本发明提供了一种基于多模态模型的中西医融合认知辅助评估系统，包括：多源数据采集模块和中西医融合认知辅助评估模块；所述多源数据采集模块用于采集西医认知量表数据和中医评估相关数据；所述中医评估相关数据包括中医体质辨识量表数据、面部图像数据和舌部图像数据；

3、所述中西医融合认知辅助评估模块包括：

4、西医认知量表评估单元，用于根据所述西医认知量表数据进行题项评分，生成西医认知量表评估结果；

5、中医体质辨识单元，用于根据所述中医体质辨识量表数据进行题项评分，生成中医体质辨识结果；

6、中医面舌诊特征提取单元，用于对所述面部图像数据和舌部图像数据进行特征提取，得到中医面舌诊结构化特征；

7、融合推理单元，用于根据预设的推理规则对所述西医认知量表评估结果、体质辨识结果和面舌诊结构化特征进行融合推理，生成患者的认知水平辅助评估结果。

8、进一步的，所述西医认知量表评估单元先将所述西医认知量表数据的题项划分为规则评分题项和多模态辅助评分题项，所述规则评分题项为具有明确标准答案或评分规则的题项，所述多模态辅助评分题项为需要结合文本回答、语音表达、绘图结果、绘图轨迹、动作视频或视频帧序列进行判断的题项；

9、对所述规则评分题项根据预设规则生成题项得分；对所述多模态辅助评分题项进行预处理和结构化辅助特征提取，将提取的结构化辅助特征及对应的原始西医认知量表数据，与题项要求、评分规则和输出格式约束一起输入多模态大模型，生成包含西医认知量表的题项得分、总分、认知域得分、扣分原因、评分依据和异常题项提示的西医认知量表评估结果。

10、进一步的，所述中医体质辨识量表数据包括患者或照护者根据体质辨识量表题项输入的选择结果，以及与症状感受、睡眠情况、饮食情况、情志状态、寒热表现和体力状态相关的量表作答信息；所述中医体质辨识单元根据预设题项分值映射规则，对各体质维度进行分值计算和标准化处理，从而得到患者的中医体质辨识结果；所述中医体质辨识结果包括主要体质、倾向体质及相关体质特征结果；所述体质维度包括平和质、气虚质、阳虚质、阴虚质、痰湿质、湿热质、血瘀质、气郁质和特禀质。

11、进一步的，所述中医面舌诊特征提取单元先对所述面部图像数据和舌部图像数据进行预处理，然后进行目标区域定位、关键区域分割和特征分类，从所述面部图像数据中提取出包括面色、光泽、唇色、局部色泽变化的面诊结构化特征标签；从所述舌部图像数据中提取出包括舌色、苔色、舌形、舌苔厚薄、润燥程度、齿痕、裂纹的舌诊结构化特征标签。

12、进一步的，所述融合推理单元将所述西医认知量表评估结果、体质辨识结果和面舌诊结构化特征转换为融合特征集合，然后按照预设的认知域映射规则、特征权重规则、异常提示规则和自然语言生成规则，处理各类特征之间的关系，从而生成患者的认知水平辅助评估结果；

13、所述认知域映射规则包括：西医认知量表题项与认知域之间的对应关系，以及干预意图与认知域之间的关联关系；其中，西医认知量表题项与认知域之间的对应关系用于计算各认知域得分，干预意图与认知域之间的关联关系用于确定当前干预意图所关联的认知域及其关联权重；

14、所述认知水平辅助评估结果包括：认知水平辅助评估结论、认知风险分级提示、主要认知域表现、评估依据说明、异常题项提示、中医体质及面舌诊相关提示，以及非诊断性调理和干预建议。

15、本发明还提供一种基于多模态模型与个人记忆图谱的中西医融合认知干预系统，包括以上任一项所述的基于多模态模型的中西医融合认知辅助评估系统、个人记忆图谱构建模块和基于图检索增强生成的个性化干预模块；所述多源数据采集模块还用于采集患者个人经历相关的信息；

16、所述中西医融合认知辅助评估模块还包括与所述融合推理单元连接的生成约束信息构建模块；所述生成约束信息构建模块用于根据所述融合推理单元生成的患者认知水平辅助评估结果构建生成约束信息，所述生成约束信息用于约束所述个性化干预模块生成记忆唤醒话术、提示问题或陪伴式回答的过程；

17、所述个人记忆图谱构建模块用于对所述患者个人经历相关的信息进行实体抽取和关系抽取，构建个人记忆图谱；

18、所述个性化干预模块用于根据患者输入的信息对所述个人记忆图谱进行多跳检索，然后在所述生成约束信息的约束下，生成个性化干预内容，以实现与患者的交互干预。

19、进一步的，所述生成约束信息根据认知风险分级提示、认知域表现、异常题项提示、任务完成率、中医体质及面舌诊相关提示中的一种或多种生成；本发明所称的“生成约束信息”，是指由生成约束信息构建模块根据患者认知水平辅助评估结果构建、用于控制多模态大模型后续内容生成过程的结构化信息。所述生成约束信息包括问题难度、提示强度、语言复杂度、等待时长和多媒体展示方式中的一种或多种，并可在个性化干预过程中根据患者当前轮交互表现进行轮次级调整。

20、进一步的，所述问题难度、提示强度、语言复杂度和等待时长的获取方法包括：

21、根据当前干预意图所关联的认知域的实际得分、最高得分及关联权重确定认知缺损归一化系数，然后将所述认知缺损归一化系数、西医认知量表异常题项比例、任务完成率以及基于中医体质辨识结果和中医面舌诊结构化特征得到的整体状态辅助调整系数进行加权求和得到认知支持需求系数；

22、根据患者当前轮回答的错误情况、无回应情况和反应时长得到交互困难系数，然后根据所述认知支持需求系数和交互困难系数确定下一轮交互的提示强度、问题难度、语言复杂度和等待时长；

23、其中首轮交互时，所述交互困难系数设置为0；当所述西医认知量表的完成题项为0时，所述认知支持需求系数取预设初始值。

24、进一步的，所述认知支持需求系数根据下式得到：

25、

26、式中，

a为认知支持需求系数，

rc为所述认知缺损归一化系数，

ra为异常题项比例，

c为已完成任务数与应完成任务数之比，

z为所述整体状态辅助调整系数；、、和为非负权重且其总和为1；

27、所述交互困难系数根据下式得到：

28、

29、式中，为第t轮交互困难系数，为患者在第轮回答错误或回答内容明显偏离当前问题时取1、否则取0的指示量；为患者在预设最长参考反应时长内无回应或请求重复提示时取1、否则取0的指示量；为第轮实际反应时长；为预设最长参考反应时长，且；、和为非负权重且其总和为1；

30、则第轮的提示强度、问题难度、语言复杂度和等待时长根据下式得到：

31、

32、、、和分别为基准提示强度、基准问题难度、基准语言复杂度和基准等待时长，其中、和的取值范围为0至1，、和满足；、、、、和为无量纲的非负调节系数；和为采用与等待时长相同时间量纲的非负调节系数。

33、进一步的，所述患者个人经历相关的信息包括图片、视频、音频、文本资料及其描述性信息；

34、所述个人记忆图谱的实体节点包括人物节点、时间节点、地点节点、事件节点、物品节点、情感属性节点和多媒体资源节点中的一种或多种；边关系包括人物关系、事件参与关系、发生地点关系、发生时间关系、物品关联关系、情感关联关系、资源关联关系和事件先后关系中的一种或多种；

35、所述多媒体资源节点与对应的人物节点、时间节点、地点节点、事件节点或物品节点之间建立关联，用于使所述患者个人经历相关的信息作为所述个人记忆图谱的事实节点参与检索。

36、进一步的，所述个性化干预模块包括：

37、意图解析单元，用于对所述患者输入的信息进行意图解析，识别出人物、地点、时间、事件、物品、亲属称谓或问题意图，形成用于图谱多跳检索的查询信息；

38、评估结果及生成约束信息读取单元，用于读取所述认知水平辅助评估结果和生成约束信息并传输至所述生成上下文构建单元；

39、图谱多跳检索单元，用于根据所述查询信息在个人记忆图谱中进行图谱多跳检索，召回与患者输入的信息相关的记忆路径、图谱节点关系和关联多媒体资源；

40、生成上下文构建单元，用于将所述认知水平辅助评估结果、生成约束信息及所述图谱多跳检索的结果构建形成生成上下文；

41、多模态生成单元，用于基于所述生成上下文生成个性化干预内容，使生成的内容受到所述个人记忆图谱中真实节点、边关系和关联资源的约束；

42、多媒体同步输出单元，用于将生成的个性化干预内容与召回的图片、视频、音频或文本资料同步输出至用户终端，用户终端通过屏幕显示、语音播报、图片展示、视频播放或文本展示的方式向患者呈现干预内容。

43、总体而言，通过本发明所构思的以上技术方案与现有技术相比，主要具备以下的技术优点：

44、（1）本发明构建了面向认知辅助评估的多模态信息融合机制，系统综合采集患者完成中西医量表过程中形成的文本或语音问答数据、绘图结果及连续轨迹数据、动作视频数据，以及用于中医望诊的面部和舌部图像，使认知评估不再局限于单一文本问答或人工量表评分。将西医认知量表评估结果、中医体质辨识结果以及中医面舌诊结构化特征统一输入融合推理流程，形成患者认知水平辅助评估结果、认知风险分级提示及非诊断性调理和干预建议，提高辅助评估结果的综合性和解释性。

45、（2）本发明形成了认知辅助评估与个性化干预之间的闭环机制。系统根据患者当前认知水平辅助评估结果计算认知支持需求系数，并据此确定初始生成约束信息；系统还根据交互过程中的回答正确性、无回应情况和反应时计算交互困难系数，并基于所述认知支持需求系数和交互困难系数动态调整下一轮交互的提示强度、问题难度、语言复杂度和等待时长，使辅助评估结果和交互表现能够定量作用于后续生成过程。

46、（3）本发明通过个人记忆图谱和图检索增强生成机制提高干预内容的真实性和可追溯性。系统将患者个人经历、家庭关系、时间地点、事件及多媒体资源构建为个人记忆图谱，并在生成干预话术时召回相关记忆路径、节点关系和多媒体资料作为事实约束，便于生成个性化记忆唤醒话术、提示问题或陪伴式回答。

47、（4）本发明采用本地或受控私有化环境处理患者认知数据、中医图像数据、家庭多媒体资料和个人记忆图谱，减少敏感数据上传公共云端的需求，有助于降低患者个人信息和家庭记忆资料外泄的风险。