一种基于联邦学习的多模态艺术疗愈建模与隐私保护方法

本发明属于心理健康分析，具体是一种基于联邦学习的多模态艺术疗愈建模与隐私保护方法。

背景技术：

1、联邦学习、多模态建模、艺术疗愈心理干预分属分布式机器学习、多源数据处理、校园心理健康服务三类细分技术赛道，三者交叉落地面向高职院校学生群体的标准化落地体系长期处于空白状态。多模态建模依靠多类信息载体刻画人群心理偏好，联邦学习依托分布式节点协同训练规避原始数据跨节点传输，艺术疗愈依托视觉艺术素材疏导情绪，三者结合可搭建面向院校的非侵入式心理服务体系，当前校园心理数字化建设普遍拆分三类技术单独部署，缺少一体化整合实现路径。

2、首先，市面通用多模态联邦建模框架仅支持同类型数据融合运算，无法同步兼容量表数值、时序操作记录、图像视觉特征三类异构数据，模态融合仅采用向量简单拼接方式，不能建立心理状态与审美、操作行为之间的关联映射。各类院校本地产出的特征向量维度、数值尺度互不统一，全局服务器聚合运算时无法挖掘多模态深层关联，输出的用户需求向量仅能承载表层独立信息，无法生成分层量化的艺术疗愈需求表征，不存在以心理数值模态作为查询基准的跨模态注意力融合逻辑。

3、其次，通用联邦学习梯度隐私防护仅单独叠加固定幅度噪声，缺少梯度范数约束步骤，单样本带来的梯度数值波动区间不受管控，噪声无法完全覆盖梯度内部携带的样本特征线索。全局模型聚合仅按照各节点样本数量分配固定权重，未引入本地模型拟合指标参与权重动态调整，数据体量小但拟合效果优的节点梯度贡献被弱化，同时模型迭代仅采用静态一次性训练模式，无配套增量更新与历史参数固化逻辑，学生动态变化的心理审美状态无法持续同步至全局模型。

技术实现思路

1、针对上述情况，为克服现有技术的缺陷，本发明提供了一种基于联邦学习的多模态艺术疗愈建模与隐私保护方法，以至少部分解决上述技术问题。

2、本发明采取的技术方案如下：

3、本发明提出了一种基于联邦学习的多模态艺术疗愈建模与隐私保护方法，包括以下方法步骤：

4、步骤s1：构建联邦学习框架，包括全局聚合服务器与n个高职院校客户端节点，各客户端采集本地多模态数据，所述多模态数据包括心理量表评估数据、在线行为日志数据与艺术图像偏好数据，并对三类数据进行标准化预处理与特征编码；

5、步骤s2：在各客户端部署主动学习模块，基于样本不确定度对艺术图像偏好数据进行半自动标注，生成带标注的艺术偏好训练集，并将标注成本控制在预设阈值以内；

6、步骤s3：在各客户端本地构建跨模态协同注意力融合网络，将心理量表特征、行为日志特征与艺术偏好视觉特征进行跨模态交互建模，输出学生个性化艺术疗愈需求画像向量；

7、步骤s4：在联邦训练的本地模型梯度计算阶段，对梯度向量进行范数裁剪并添加满足差分隐私约束的拉普拉斯噪声，生成隐私保护梯度，将隐私保护梯度上传至全局聚合服务器；

8、步骤s5：全局聚合服务器根据各客户端的数据量占比与本地模型在验证集上的性能表现，计算自适应聚合权重，通过加权平均生成全局需求画像模型，并将全局模型下发至各客户端节点；

9、步骤s6：根据学生与艺术疗愈推荐系统的持续交互行为，周期性触发联邦模型的增量更新流程，基于新增交互数据对全局模型进行微调，实现需求画像的动态演化；

10、步骤s7：基于更新后的需求画像向量，通过疗愈内容匹配模块为学生推荐个性化的艺术疗愈方案，包括色彩疗愈、构图疗愈与风格疗愈三类推荐结果。

11、在本发明的一个实施方案中，所述步骤s1具体包括：

12、各高职院校客户端通过校园心理健康管理系统采集心理量表评估数据，通过艺术图像偏好标注系统采集学生对艺术图像的显式评分或隐式反馈数据，所述艺术图像标注数据涵盖色彩偏好、构图偏好与风格类别偏好三个维度；

13、对心理量表评估数据进行min-max归一化处理，将各量表得分映射至[0,1]区间：

14、

15、其中，为原始量表得分，为该量表的最小可能得分，为该量表的最大可能得分，为归一化后的量表特征值；

16、对在线行为日志数据进行滑动窗口统计与词嵌入编码，将连续行为序列转化为固定维度的行为特征向量：

17、

18、其中，为行为序列，为行为特征维度，为可学习的嵌入矩阵，为行为特征向量；

19、对艺术图像进行视觉特征提取，采用预训练的卷积神经网络提取色彩直方图特征、构图纹理特征与风格类别特征，生成艺术偏好视觉特征向量：

20、

21、其中，为艺术图像输入，为预训练cnn参数，为艺术偏好特征维度，为艺术偏好视觉特征向量。

22、在本发明的一个实施方案中，所述步骤s2中的主动学习模块实现方式为：

23、计算未标注艺术图像样本的预测不确定度，采用熵最大化准则筛选高价值标注样本：

24、

25、其中，为样本的不确定度，为艺术偏好类别总数（色彩、构图、风格），为当前模型对样本属于类别的预测概率，为当前客户端本地模型参数；

26、按不确定度从高到低排序，选取top-k个样本提交人工标注，其余样本采用当前模型的预测结果作为伪标签，实现半自动标注；

27、标注成本约束条件为：

28、

29、其中，为需人工标注的样本数量，为艺术图像样本总量，为标注成本阈值，典型取值为0.1-0.3。

30、在本发明的一个实施方案中，所述步骤s3中的跨模态协同注意力融合网络实现方式为：

31、将心理量表特征、行为日志特征与艺术偏好视觉特征分别输入各自模态的编码器，得到模态隐表示：

32、

33、其中，分别为三个模态编码器的可学习参数；

34、计算跨模态协同注意力权重，以心理量表特征为查询（query），以行为日志特征与艺术偏好特征为键（key）和值（value），进行跨模态注意力计算：

35、

36、其中，为注意力机制的投影矩阵，为键向量维度，为跨模态融合后的需求画像特征向量；

37、将融合特征向量输入多层感知机，输出最终的艺术疗愈需求画像向量：

38、

39、其中，为需求画像向量维度，典型取值为64-256，为学生的个性化艺术疗愈需求画像向量，各维度分别对应不同的疗愈需求强度。

40、在本发明的一个实施方案中，所述步骤s4中的差分隐私保护梯度处理包括：

41、在本地模型梯度上传至全局服务器之前，对梯度信息进行隐私化处理，具体包括：

42、梯度范数裁剪：计算当前训练批次的梯度向量，并基于预设裁剪阈值对其进行l2范数裁剪，即：当时，将梯度缩放为，以限制单样本对梯度的影响敏感度，防止梯度泄露导致学生原始数据特征被逆向推断，具体公式表示如下：

43、

44、其中，为原始梯度向量，为梯度裁剪阈值，表示l2范数，为裁剪后的梯度向量；

45、拉普拉斯噪声注入：根据预设的隐私预算和裁剪后梯度的敏感度，生成满足拉普拉斯分布的随机噪声，将噪声叠加到裁剪后的梯度向量上，形成满足-差分隐私的扰动梯度：

46、

47、其中，为梯度的l2敏感度（两个相邻数据集的梯度差异上限），为隐私预算（越小隐私保护越强，典型取值0.5-5），为位置参数、尺度参数的拉普拉斯分布，为隐私保护梯度；

48、将隐私保护梯度上传至全局聚合服务器，本地原始数据及本地模型参数均不离开客户端节点。

49、在本发明的一个实施方案中，所述步骤s5中的自适应聚合权重计算方式为：

50、全局聚合服务器接收各客户端上传的隐私保护梯度后，根据数据量占比与模型性能表现计算各客户端的聚合权重：

51、

52、其中，为第个客户端的聚合权重，为该客户端本地训练样本数量，为所有客户端样本总量，为第个客户端本地模型在验证集上的f1分数，为数据量与模型性能的权衡系数，典型取值为0.5；

53、全局模型参数更新公式为：

54、

55、其中，为第轮全局模型参数，为全局学习率，为第个客户端上传的隐私保护梯度。

56、在本发明的一个实施方案中，所述步骤s6中的动态需求画像更新机制包括：

57、①设定画像更新触发条件：当学生与艺术疗愈推荐系统的累计交互次数达到阈值，或距上次更新时间间隔超过阈值时，触发联邦模型增量更新；

58、②各客户端收集新增的交互行为数据，包括艺术内容点击记录、停留时长、评分反馈与分享行为，构建增量训练数据集；

59、③采用弹性权重固化机制进行增量学习，在更新模型适应新数据的同时，保护已学到的历史知识不被灾难性遗忘：

60、

61、其中，为当前任务的损失函数，为fisher信息矩阵对角元素（衡量参数对历史任务的重要性），为历史最优参数，为固化强度系数。

62、在本发明的一个实施方案中，所述步骤s7中的疗愈内容匹配方式为：

63、基于需求画像向量，计算其与艺术疗愈内容库中各类内容的匹配度，采用余弦相似度度量：

64、

65、其中，为第个艺术疗愈内容的特征向量（包含色彩特征、构图特征与风格特征），为匹配度得分；

66、按匹配度得分从高到低排序，选取top-n个艺术疗愈内容推荐给学生，n的典型取值为5-10。

67、本发明技术方案的有益效果在于：

68、本发明通过在各高职院校客户端节点部署数据采集模块，获取心理量表评估、在线行为日志与艺术图像偏好三类异构数据，并进行标准化归一化、词嵌入编码与视觉特征提取，解决多源异构数据的统一表示问题；

69、本发明通过引入基于不确定度采样的主动学习策略，自动筛选高信息量样本供人工标注，其余样本通过当前模型生成伪标签，在保证标注精度的前提下将人工标注量压缩至总量的10%-30%；以心理量表特征为查询（query）、行为日志与艺术偏好特征为键值（key-value）的跨模态注意力机制，实现三类模态的深度交互建模，生成包含多维疗愈需求强度的个性化画像向量；

70、本发明通过在联邦训练梯度上传阶段，通过梯度范数裁剪与自适应拉普拉斯噪声注入，即使攻击者截获梯度信息也无法逆向还原学生原始数据；全局服务器综合评估各客户端的数据规模与模型质量，动态分配聚合权重，生成高性能的全局需求画像模型；

71、本发明通过基于学生持续交互行为触发联邦模型增量更新，采用弹性权重固化机制避免灾难性遗忘，并根据最新画像向量为学生推荐个性化艺术疗愈方案。

72、本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。