一种基于冻结大语言模型的认知障碍辅助筛查方法

本发明涉及医疗信息技术、计算机辅助筛查、多模态行为识别和深度学习，具体涉及一种基于冻结大语言模型的认知障碍辅助筛查方法。

背景技术：

1、由于认知障碍具有起病隐匿、病程缓慢发展的特点，若能够在疾病早期对受试者的认知状态进行准确筛查，对于疾病的早期干预、治疗方案制定以及延缓病情进展具有重要意义。近年来，基于人工智能技术的认知障碍辅助筛查方法逐渐成为研究热点，其中，通过分析受试者完成绘图、书写等认知任务过程中产生的行为数据，对认知状态进行智能评估，能够有效提高筛查效率并降低人工评估成本。

2、现有技术中，认知障碍辅助筛查方法通常基于书写轨迹、语音、图像或面部行为等单一模态数据，或者采用简单特征拼接的方式实现多模态融合，再结合深度学习模型完成认知状态分类。然而，由于书写行为、面部行为等不同模态数据在表达形式、特征空间及语义层次上存在较大差异，传统多模态融合方式难以充分挖掘不同模态之间的语义关联关系；同时，现有方法大多直接利用数值特征进行分类，未能充分利用预训练大语言模型所蕴含的丰富语义知识，导致模型对行为数据的语义理解能力有限。此外，直接对大语言模型进行微调通常需要大量标注样本，在认知障碍辅助筛查等医学场景中，小样本训练容易造成模型过拟合，并增加模型训练成本。

3、因此，如何在有限样本条件下充分利用预训练大语言模型的语义表示能力，实现书写行为与面部行为等多模态信息的深层语义融合，提高认知障碍辅助筛查模型对多模态行为信息的表达能力和分类准确性，成为本领域技术人员亟需解决的技术问题。

技术实现思路

1、为了解决以上技术问题，本发明提供了一种基于冻结大语言模型的认知障碍辅助筛查方法，所述方法包括以下步骤：

2、s100、获取目标对象执行预设认知任务过程中产生的书写轨迹数据和面部行为数据，对所述书写轨迹数据和面部行为数据进行特征提取，获得对应的书写特征和面部特征；

3、s200、基于所述书写特征和面部特征构建多模态监督学习样本，并对所述书写特征和面部特征进行统计聚合，获得书写数值特征和面部数值特征；

4、s300、根据所述书写数值特征和面部数值特征生成模板化文本，将所述模板化文本输入参数冻结的大语言模型编码器进行语义编码，获得语义增强表示；

5、s400、将所述语义增强表示与所述书写数值特征和面部数值特征对应的数值表示输入多模态融合模块进行融合处理，获得多模态融合表示；

6、s500、将所述多模态融合表示输入分类模块，根据分类输出结果确定目标对象对应的认知状态辅助筛查结果。

7、作为本发明的进一步改进，所述步骤s100具体包括以下步骤：

8、s110、采集目标对象执行预设认知任务过程中产生的书写轨迹数据，其中，所述书写轨迹数据包括书写轨迹坐标、时间信息、压力信息以及空中书写状态信息和纸面书写状态信息中的至少一种；

9、s120、采集目标对象执行所述预设认知任务过程中产生的面部行为数据，其中，所述面部行为数据包括面部动作单元激活信息、头部姿态信息以及面部关键点变化信息中的至少一种；

10、s130、对所述书写轨迹数据进行预处理，所述预处理包括异常数据去除、时间校正、坐标归一化以及书写状态识别中的至少一种处理；

11、s140、根据预处理后的书写轨迹数据提取书写特征，所述书写特征包括书写速度特征、压力特征、书写时间特征、笔画特征以及轨迹空间特征中的至少一种；

12、s150、对所述面部行为数据进行预处理，并根据预处理后的面部行为数据提取面部特征；其中，所述面部特征包括面部动作单元特征、头部姿态特征以及面部关键点变化特征中的至少一种。

13、作为本发明的进一步改进，所述步骤s200包括以下步骤：

14、s210、在完成所述书写特征和面部特征提取后，构建统一的多模态监督学习样本，所述多模态监督学习样本表示为：

15、

16、其中，表示多模态监督学习数据集；表示受试者总数；表示受试者编号；表示第名受试者经特征提取获得的书写特征序列；表示第名受试者经特征提取获得的面部行为特征序列；表示对应认知状态标签。

17、s220、分别对所述书写特征数据和面部特征数据进行统计聚合，获得书写数值特征和面部数值特征，其表示为：

18、

19、

20、其中，表示第名受试者经统计聚合后得到的书写数值特征向量；表示第名受试者经统计聚合后得到的面部数值特征向量；和分别表示书写模态和面部模态的统计聚合算子。

21、所述统计聚合算子包括均值、标准差、最大值、最小值、分位数或变化率中的至少一种，获得的样本可表示为：

22、

23、s230、当采用片段级样本构建方式时，将连续书写任务按照任务片段、书写单元或固定时间窗口划分为多个片段，并基于各片段对应的书写数值特征和面部数值特征构建片段级样本，其表示为：

24、

25、其中，表示第名受试者第个片段经统计聚合后得到的书写数值特征向量；表示第名受试者第个片段经统计聚合后得到的面部数值特征向量；表示第名受试者对应的认知状态标签；表示片段编号；表示第名受试者的片段数量。

26、s240、将所述书写数值特征和面部数值特征分别输入模板化文本生成分支和数值特征表示构建分支。所述模板化文本生成分支用于根据书写数值特征和面部数值特征生成对应的模板化文本，所述数值特征表示构建分支用于构建对应的数值表示。

27、作为本发明的进一步改进，步骤s300具体包括以下步骤：

28、s310、根据所述书写数值特征和面部数值特征分别构建对应的模板化文本，其中，根据书写模态对应的数值特征生成书写模态模板化文本，根据面部模态对应的数值特征生成面部模态模板化文本；

29、s320、将所述书写模态模板化文本和面部模态模板化文本输入参数冻结的大语言模型编码器，分别获得对应模态的语义嵌入：

30、

31、其中，表示参数保持冻结状态的大语言模型语义编码函数；表示由书写数值特征生成的书写模态模板化文本；表示由面部数值特征生成的面部模态模板化文本；表示书写模态语义嵌入；表示面部模态语义嵌入。

32、s330、对所述书写模态语义嵌入和面部模态语义嵌入进行拼接或映射，获得整体语义嵌入：

33、

34、其中，表示由书写模态语义嵌入和面部模态语义嵌入融合得到的整体语义嵌入。所述整体语义嵌入作为语义增强表示；所述大语言模型编码器的参数在训练过程中保持冻结状态，不参与梯度更新。

35、作为本发明的进一步改进，步骤s400具体包括以下步骤：

36、s410、获取所述书写数值特征和面部数值特征，并分别进行特征映射处理，将不同模态的数值特征映射至统一特征空间；

37、s420、根据映射后的书写数值特征和面部数值特征分别构建书写数值表示和面部数值表示；

38、s430、将所述数值表示与所述整体语义嵌入进行关联，并作为所述多模态融合模块的对应输入。

39、其中，所述数值特征表示构建分支用于保留书写模态和面部模态对应的数值特征信息，所述模板化文本生成分支用于利用参数冻结的大语言模型编码器提取对应的语义信息。

40、作为本发明的进一步改进，所述步骤s400中的多模态融合模块采用门控融合方式，具体包括以下步骤：

41、s440、将书写数值表示和面部数值表示形成的联合数值表示以及整体语义嵌入作为多模态融合模块的输入；

42、s450、根据不同模态特征之间的信息贡献关系确定对应的门控权重，并依据所述门控权重对不同模态特征进行自适应加权；

43、s460、根据加权后的各模态特征获得门控融合表示，并将所述门控融合表示作为多模态融合表示，输入分类模块。

44、作为本发明的进一步改进，所述步骤s400中的多模态融合模块采用跨模态transformer融合方式，具体包括以下步骤：

45、s470、将书写数值表示、面部数值表示以及整体语义嵌入分别映射至统一隐含空间，构建对应的模态标记，其表示为：

46、

47、其中，、和分别表示书写模态标记、面部模态标记和语义模态标记；、和分别表示线性映射参数；、和分别表示对应偏置项；表示书写数值表示；表示面部数值表示；表示整体语义嵌入。

48、s480、将所述书写模态标记、面部模态标记以及语义模态标记按照预设顺序组成标记序列：

49、

50、并将所述标记序列输入跨模态transformer编码层进行多头自注意力编码，获得更新后的标记序列：

51、

52、s490、对更新后的标记序列进行均值池化或注意力池化处理，获得跨模态融合表示：

53、

54、其中，表示由三类模态标记组成的标记序列；表示更新后的标记序列；表示跨模态融合表示；表示均值池化或注意力池化操作。

55、作为本发明的进一步改进，步骤s500包括以下步骤：

56、s510、将所述多模态融合表示输入分类模块，其中，所述多模态融合表示为门控融合表示或跨模态transformer融合表示；

57、s520、根据所述多模态融合表示计算分类输出，其表示为：

58、

59、其中，表示多模态融合表示；表示分类器权重参数；表示分类器偏置项；表示分类输出值。

60、s530、对所述分类输出值进行运算，获得目标对象属于各认知状态类别的预测概率：

61、

62、其中，表示各认知状态类别的预测概率向量。根据所述预测概率确定目标对象对应的认知状态辅助筛查结果。

63、作为本发明的进一步改进，所述步骤s500进一步包括：

64、s540、构建训练样本批次，根据分类模块输出获得各认知状态类别对应的预测概率，并根据预测概率与真实标签计算模型训练损失；

65、s550、采用交叉熵损失函数或类别加权交叉熵损失函数计算模型训练损失，并根据所述模型训练损失反向更新数值特征表示构建分支、多模态融合模块及分类模块的参数，同时保持所述大语言模型编码器的参数冻结；其中，类别加权交叉熵损失函数表示为：

66、

67、其中，表示当前训练样本批次包含的样本数量；表示训练批次中的样本编号；表示认知状态类别数量；表示第个样本是否属于第类的标签指示量；表示模型对第类的预测概率；表示第类对应的权重。

68、在此基础上，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被执行时，实现上述任一实施例所述的方法。

69、与现有技术相比，本发明的有益效果为：

70、本发明通过构建书写轨迹数据与面部行为数据的多模态监督学习样本，对不同模态行为特征进行统计聚合，并利用参数冻结的大语言模型编码器对模板化文本进行语义编码，在保留预训练语言模型语义表达能力的同时，避免了大语言模型参数微调带来的训练成本增加及小样本场景下的过拟合问题；进一步结合数值表示与语义增强表示进行融合建模，充分挖掘不同模态之间的互补信息及高阶语义关联，提高了多模态特征的表达能力，增强了模型对认知状态的识别准确性和泛化能力，从而实现了认知障碍的高精度辅助筛查，具有较好的实用价值与应用前景。