基于元学习与超网络的隐私多模态少样本个性化方法与流程

本申请涉及数据处理，特别是涉及一种基于元学习与超网络的隐私多模态少样本个性化方法。

背景技术：

1、随着多模态大模型在个性化问答、视觉问答、智能终端助手和内容生成场景中的应用不断扩大，系统越来越需要同时处理文本指令、用户画像、交互历史以及图像等多源信息，才能输出与具体用户需求相匹配的结果。现有协同生成框架通常采用的思路是，利用云端大模型进行通用推理，在本地小模型接触隐私上下文，以降低敏感数据直接上传云端的风险。例如，在上下文感知指令跟随任务中，不暴露完整私有上下文的前提下，利用云端模型提供结构化先验，再由本地模型完成个性化补全，可以兼顾生成质量与隐私约束。

2、然而，当输入扩展到视觉信息后，用户的界面截图、拍摄图片、设备使用画面等内容往往包含更强的个人特征，若仍依赖统一模型进行完整微调或直接云端处理，将面临成本高、收敛慢和隐私暴露风险增大的问题。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种基于元学习与超网络的隐私多模态少样本个性化方法，能够在保障隐私保护的前提下，实现快速、稳定且可控的个性化适配。

2、第一方面，本发明公开了一种基于元学习与超网络的隐私多模态少样本个性化方法，包括：

3、获取用户对应的原始的图像、文本指令和终端侧产生的若干历史示例，针对用户信息执行敏感字段筛选以获取允许参与训练与推理的受限上下文；

4、训练阶段时，将任务对应的受限上下文中保留的图像和文本指令融合获取示例原型，结合受限上下文中保留的历史示例形成支持集和查询集；

5、基于支持集和查询集，采用元学习技术对视觉编码器和语言编码器进行参数更新，在参数更新过程中实施梯度裁剪、梯度加噪和限制参数漂移操作，结合超网络，获取共享适配器组和私有适配器组；

6、推理阶段时，将历史示例输入共享适配器，获取共享语义流，将受限上下文输入私有适配器组，获取私有语义流，对共享语义流和私有语义流进行加权融合，获取融合状态，对融合状态进行结合获取多模态结果。

7、在一个实施例中，基于支持集和查询集，采用元学习技术对视觉编码器和语言编码器进行参数更新包括：

8、针对当前任务，基于共享初始化参数在支持集上执行内层更新，获取面向任务的临时参数；

9、利用查询集对临时参数评价适配效果，并根据评价结果更新共享初始化参数；

10、基于更新后的共享初始化参数进入下一轮参数更新，直至元目标函数满足条件时，迭代停止；其中，迭代停止时对应的共享初始化参数作为共享适配器组的初始化参数。

11、在一个实施例中，当加入新用户时，方法包括：

12、获取新用户的小样本示例，按照任务类型将小样本示例划分为支持集和查询集；

13、基于迭代停止时对应的共享初始化参数和新用户对应的支持集，迭代更新面向新用户的临时参数，并基于新用户的临时参数和新用户的查询集评估迭代是否停止；其中，迭代停止时对应的临时参数作为私有适配器组的初始化参数。

14、在一个实施例中，方法还包括：

15、在迭代更新面向新用户的临时参数时，利用基于新用户对应的示例原型和任务表示生成的自适应步长进行更新。

16、在一个实施例中，在获取共享适配器组合私有适配器组的初始化参数后，方法还包括：

17、将历史示例输入超网络，获取共享适配器组的低秩矩阵；

18、将受限上下文输入超网络，获取私有适配器组的低秩矩阵；

19、利用低秩矩阵对共享适配器和私有适配器组进行参数更新，以供推理阶段使用。

20、第二方面，本申请还提供了一种计算机设备。该计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述方法实施例中的步骤。

21、第三方面，本申请还提供了一种计算机可读存储介质。该计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中的步骤。

22、第四方面，本申请还提供了一种计算机程序产品。计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述方法实施例中的步骤。

23、上述基于元学习与超网络的隐私多模态少样本个性化方法，其核心思路是在云端与终端侧协同架构基础上，引入面向视觉编码器和语言编码器的元学习初始化，使模型先在跨用户、跨任务分布上学习共享的参数状态，再在具体用户到来时通过少量样本完成快速个性化更新。同时，本发明在适配阶段引入受约束的参数更新机制，对梯度范数、参数改变量及噪声注入过程进行控制，避免模型在少量样本上过度记忆敏感视觉信息，从而提升隐私保护能力。此外，本发明还可结合轻量低秩适配或由示例嵌入驱动的用户特定适配器生成方式，使个体化能力集中于受控的小规模参数空间内，兼顾终端计算效率与部署灵活性。因此，本发明能够降低原始用户数据外传需求的同时提升少样本个性化适配效率、增强多任务场景下的部署可行性，并改善个性化生成过程的稳定性、可迁移性与资源开销控制能力。

1.一种基于元学习与超网络的隐私多模态少样本个性化方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述支持集和所述查询集，采用元学习技术对视觉编码器和语言编码器进行参数更新包括：

3.根据权利要求2所述的方法，其特征在于，当加入新用户时，所述方法包括：

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

5.根据权利要求3所述的方法，其特征在于，在获取所述共享适配器组合所述私有适配器组的初始化参数后，所述方法还包括：

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

9.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。