面向隐私保护协同生成的多模态置信度校准方法及系统

本发明涉及隐私保护，特别是涉及一种面向隐私保护协同生成的多模态置信度校准方法及系统。

背景技术：

1、随着大语言模型、多模态感知模型以及端云协同计算的发展，系统在处理带有个人画像、历史记录和环境信息的任务时，越来越需要同时利用文本、视觉等多源信号完成理解、生成与决策。在智能助手、个性化写作、视觉问答和多模态交互等场景中，云端大模型具备较强的推理与生成能力，但直接上传完整私有上下文又会带来隐私暴露风险；本地小模型虽然更接近用户侧数据，却受限于容量、泛化能力和复杂推理水平。为此，现有研究逐步形成端云协同的隐私保护生成框架，由云端负责提供通用推理或结构化草图，本地侧结合敏感上下文完成细化处理，从而在性能与隐私之间寻求平衡。然而，上述协同流程在实际部署时不仅要关注输出质量，还要关注置信度是否可靠。多模态模型常需依据视觉分量与语言分量的置信信息决定是否继续融合、是否向云端发送请求、以及是否触发人工复核。一旦模型置信度与真实正确率不匹配，就可能在高置信条件下作出错误路由或错误生成。尤其当输入经过匿名化、草图化、压缩等隐私处理后，原始信息分布被改变，系统不确定性会进一步放大，因此如何在隐私约束下实现可靠的不确定性估计，已成为该技术领域需要解决的核心问题。

2、现有技术通常可分为两类。第一类是隐私保护协同生成方案，其基本思路是将任务分解为云端推理与本地补全两个阶段；第二类是模型置信校准方案，其目标是使预测置信度更接近真实正确率，对神经网络输出进行后处理即可有效降低校准误差，现已成为分类与决策系统中的常用基线；在此基础上，针对多模态学习场景，多模态模型容易对局部模态产生过度自信，并提出面向多模态学习的校准方法，以提升融合预测的可靠性。而现有隐私保护协同生成方案更侧重任务分工与信息隔离，对置信度可靠性关注不足；传统校准方法多把系统视为单一预测器，对视觉分量与语言分量采用同一套校准参数，难以反映不同模态在噪声来源、表达粒度和错误模式上的差异；匿名化、草图化、压缩或特征裁剪等隐私处理会改变输入信息密度和语义完整性，但多数现有校准方案是在未处理数据或单一验证集上完成的，缺乏针对不同隐私级别分别重校准的机制；现有多模态校准研究通常聚焦分类精度或整体ece指标，对跨模态置信对齐和端云协同决策支持不足。

3、因此，传统的置信度校准方式由于忽略了多模态间的差异性以及隐私处理引发的分布漂移，往往存在置信度失真且跨模态决策不稳定的问题。

技术实现思路

1、基于此，为了解决上述技术问题，提供一种面向隐私保护协同生成的多模态置信度校准方法及系统，可以在不暴露敏感上下文的前提下提升协同生成的稳定性、置信输出的可靠性和系统部署可行性，并增强对不同隐私级别和任务分布变化的适配能力。

2、一种面向隐私保护协同生成的多模态置信度校准方法，所述方法包括：

3、云端大模型在仅接收脱敏后的任务指令而不接触本地私有上下文的条件下，生成不包含私有内容的结构化草图，并将所述结构化草图发送至本地侧；

4、本地侧接收所述结构化草图，并结合本地保存的所述本地私有上下文进行细化生成，得到候选响应以及对应的语言分量置信、视觉分量置信；

5、分别采用温度参数对所述语言分量置信、视觉分量置信进行校准，得到校准后的语言置信度和视觉置信度；根据当前隐私处理强度对所述校准后的语言置信度和视觉置信度进行重校准，得到隐私补偿后的模态置信度；

6、将所述隐私补偿后的模态置信度映射至共同置信空间进行对齐，得到联合置信度，并根据所述联合置信度结合隐私风险代价和通信代价，从候选动作集合中选择路由动作，确定目标输出动作；

7、基于预设时间窗口内的校准误差变化和置信度-正确率偏差计算漂移强度，当所述漂移强度超过预设阈值时触发增量重校准，更新所述温度参数并重新进行校准、重校准、映射对齐及路由选择。

8、在其中一个实施例中，云端大模型在仅接收脱敏后的任务指令而不接触本地私有上下文的条件下，生成不包含私有内容的结构化草图，并将所述结构化草图发送至本地侧，包括：

9、本地侧根据预设的隐私策略集合和允许上传的字段集合，对原始任务指令进行字段屏蔽、脱敏或压缩操作，生成脱敏后的任务指令并发送至云端大模型；

10、所述云端大模型接收所述脱敏后的任务指令并意图解析，确定任务目标；

11、所述云端大模型根据所述任务目标进行草图组织，构建响应骨架，并整理关键语义槽，生成结构化草图；

12、所述云端大模型计算所述结构化草图的质量得分，当所述质量得分低于预设阈值时，重新生成草图，否则将所述结构化草图发送至所述本地侧。

13、在其中一个实施例中，本地侧接收所述结构化草图，并结合本地保存的所述本地私有上下文进行细化生成，得到候选响应以及对应的语言分量置信、视觉分量置信，包括：

14、本地侧接收所述结构化草图，并从本地存储中调取与当前任务对应的用户画像、历史信息作为本地私有上下文；

15、提取所述结构化草图对应位置的结构嵌入和所述本地私有上下文对应位置的语义嵌入，根据草图引导强度系数对所述结构嵌入和语义嵌入进行加权融合，得到融合表示；

16、基于所述融合表示，以自回归方式逐标记预测生成最终响应，输出候选响应；

17、在生成所述候选响应的同时，分别输出语言分量的未校准对数几率向量和视觉分量的未校准对数几率向量，作为语言分量置信度和视觉分量置信度。

18、在其中一个实施例中，分别采用温度参数对所述语言分量置信、视觉分量置信进行校准，得到校准后的语言置信度和视觉置信度；根据当前隐私处理强度对所述校准后的语言置信度和视觉置信度进行重校准，得到隐私补偿后的模态置信度，包括：

19、获取所述语言分量置信的未校准对数几率向量和所述视觉分量置信未校准对数几率向量，分别采用语言温度参数和视觉温度参数，对语言分量置信的未校准对数几率向量和所述视觉分量置信未校准对数几率向量进行温度缩放，得到校准后的语言概率分布和校准后的视觉概率分布；

20、识别当前应用的隐私处理强度所对应的隐私级别；

21、根据所述隐私级别，调用与所述隐私级别对应的条件温度参数，对所述校准后的语言概率分布和所述校准后的视觉概率分布再次进行温度缩放，得到隐私补偿后的语言模态置信度和视觉模态置信度。

22、在其中一个实施例中，将所述隐私补偿后的模态置信度映射至共同置信空间进行对齐，得到联合置信度，包括：

23、分别从所述隐私补偿后的语言模态置信度和视觉模态置信度中提取出语言置信标量和视觉置信标量；

24、将所述语言置信标量和视觉置信标量映射至共同置信空间，得到可比较的语言置信度和视觉置信度，并根据所述隐私级别计算隐私补偿项；

25、将所述可比较的语言置信度和视觉置信度、隐私补偿项进行加权融合，得到联合置信度。

26、在其中一个实施例中，根据所述联合置信度结合隐私风险代价和通信代价，从候选动作集合中选择路由动作，确定目标输出动作，包括：

27、对于候选动作集中的每个候选动作，分别计算置信度收益、隐私风险代价和通信代价；

28、将所述置信度收益、隐私风险代价和通信代价按照预设的代价权重系数进行加权求和，得到每个候选动作的综合代价；

29、从所述候选动作集合中选择综合代价最小的候选动作作为路由动作，并根据所述路由动作确定目标输出动作。

30、在其中一个实施例中，基于预设时间窗口内的校准误差变化和置信度-正确率偏差计算漂移强度，包括：

31、计算当前预设时间窗口内的期望校准误差、平均联合置信度以及真实平均正确率；

32、计算所述当前预设时间窗口内的期望校准误差与前一窗口的期望校准误差之差的第一绝对值，并计算所述平均联合置信度与所述真实平均正确率之差的第二绝对值；

33、将所述第一绝对值、第二绝对值按照预设权重进行加权求和，得到漂移强度。

34、在其中一个实施例中，当所述漂移强度超过预设阈值时触发增量重校准，更新所述温度参数并重新进行校准、重校准、映射对齐及路由选择，包括：

35、将所述漂移强度与漂移预设阈值进行比较，当所述漂移强度大于或等于所述漂移预设阈值时，触发增量重校准；

36、以当前时间窗口的样本为训练数据，计算联合对齐损失和校准误差损失对全部可学习校准参数的梯度，沿梯度下降方向进行更新，得到更新后的可学习校准参数；

37、将所述更新后的可学习校准参数替换所述温度参数，用于后续推理中的置信度校准、重校准、联合对齐及路由选择。

38、一种面向隐私保护协同生成的多模态置信度校准系统，所述系统包括：

39、结构化草图生成模块，用于云端大模型在仅接收脱敏后的任务指令而不接触本地私有上下文的条件下，生成不包含私有内容的结构化草图，并将所述结构化草图发送至本地侧；

40、置信生成模块，用于本地侧接收所述结构化草图，并结合本地保存的所述本地私有上下文进行细化生成，得到候选响应以及对应的语言分量置信、视觉分量置信；

41、隐私感知校准模块，用于分别采用温度参数对所述语言分量置信、视觉分量置信进行校准，得到校准后的语言置信度和视觉置信度；根据当前隐私处理强度对所述校准后的语言置信度和视觉置信度进行重校准，得到隐私补偿后的模态置信度；

42、协同路由模块，用于将所述隐私补偿后的模态置信度映射至共同置信空间进行对齐，得到联合置信度，并根据所述联合置信度结合隐私风险代价和通信代价，从候选动作集合中选择路由动作，确定目标输出动作；

43、增量更新模块，用于基于预设时间窗口内的校准误差变化和置信度-正确率偏差计算漂移强度，当所述漂移强度超过预设阈值时触发增量重校准，更新所述温度参数并重新进行校准、重校准、映射对齐及路由选择。

44、上述面向隐私保护协同生成的多模态置信度校准方法及系统，通过云端大模型仅在接收脱敏后的任务指令而不接触本地私有上下文的条件下生成不包含私有内容的结构化草图，能够在本地私有上下文不外泄的前提下引入云端大模型的生成先验，规避私有内容泄露风险；本地侧结合本地私有上下文细化生成并输出候选响应及语言分量置信、视觉分量置信，分别采用温度参数对语言分量置信、视觉分量置信进行校准，并根据当前隐私处理强度重校准得到隐私补偿后的模态置信度，针对语言模态与视觉模态各自的置信偏差分别修正，避免高隐私场景下错误置信迁移；将隐私补偿后的模态置信度映射至共同置信空间对齐得到联合置信度，并结合隐私风险代价和通信代价选择路由动作，能够消除跨模态置信尺度不一致造成的决策失真；基于预设时间窗口内的校准误差变化和置信度-正确率偏差计算漂移强度，并在超过预设阈值时触发增量重校准、重新执行校准至路由，能够持续监测并修正随时间或隐私处理强度变化而退化的置信质量。