基于医学图像DP-SGD冷启动状态闭环控制的差分隐私训练方法
本技术涉及计算机视觉,特别是涉及一种基于医学图像dp-sgd冷启动状态闭环控制的差分隐私训练方法。
背景技术:
1、深度学习技术在医学图像分析领域取得了显著进展,广泛应用于疾病诊断、病理筛查、器官分割等临床辅助决策场景。由于医学影像数据通常包含患者的敏感健康信息,各国隐私保护法规对医疗数据的使用和共享提出了严格限制。差分隐私(differentialprivacy,dp)作为一种可证明的隐私保护框架,通过在训练过程中向梯度添加校准后的随机噪声,为机器学习模型提供了数学上可量化的隐私保证。具体而言,差分隐私随机梯度下降(dp-sgd,differentially private stochastic gradient descent)在标准梯度下降的基础上引入逐样本梯度裁剪和噪声注入机制,使得单个训练样本的存在与否对模型输出分布的影响被严格控制。
2、dp-sgd的梯度噪声和裁剪偏差可能降低医学图像模型的效用。而由于医学图像标注成本高,小样本数据集和三维图像任务中物理微批量常受显存限制,导致医学图像模型训练初期的梯度波动可能更加明显,可能让模型陷入更差的优化轨迹。因此,需要在明确的隐私预算约束下,根据实际训练状态协调噪声与有效批量配置。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种基于医学图像dp-sgd冷启动状态闭环控制的差分隐私训练方法。
2、第一方面,本技术提供了一种基于医学图像dp-sgd冷启动状态闭环控制的差分隐私训练方法。该方法包括:
3、初始化医学图像模型参数、联合控制量和rdp账本;其中,联合控制量包括控制窗口长度;
4、针对单个窗口,基于当前联合控制量和第次模型参数更新对应的医学图像模型参数,从由病变图像构建的训练记录获取第次模型参数更新对应的医学图像模型参数,并同步更新rdp账本,直至完成控制窗口长度次模型参数更新;
5、在窗口结束后提取冷启动状态向量,以判定是否触发冷启动退出事件,根据判定结果输出冷启动状态标记;
6、根据冷启动状态向量和冷启动状态标记,构造下一个窗口的候选联合控制量;
7、对每个候选联合控制量复制rdp账本副本,基于rdp账本副本滚动预测每个候选联合控制量对应的剩余隐私预测轨迹;
8、根据预测的剩余隐私预测轨迹,输出下一个窗口对应联合控制量,或输出医学图像模型。
9、在一个实施例中,联合控制量还包括执行噪声倍数、微批量裁剪梯度累积步数;
10、从由病变图像构建的训练记录获取第次模型参数更新对应的医学图像模型参数包括:
11、从训练记录中抽取若干条记录,并将被抽取的记录拆分为数量为微批量裁剪梯度累积步数个微批量,基于医学图像模型参数对每条记录逐微批量计算逐样本损失,获取累积裁剪梯度均值,根据执行噪声倍数和累积裁剪梯度均值获取加噪梯度,根据加噪梯度更新并获取第次模型参数更新对应的医学图像模型参数。
12、在一个实施例中,根据执行噪声倍数和累积裁剪梯度均值获取加噪梯度包括:
13、根据执行噪声倍数生成一次独立高斯噪声,根据高斯噪声和累积裁剪梯度均值获取加噪梯度。
14、在一个实施例中,更新rdp账本包括:
15、根据记录的抽样规则和邻接关系,以及执行噪声倍数、有效采样率,获取训练更新损失并写入rdp账本;
16、其中,有效采样率由训练记录的数量、微批量裁剪梯度累积步数和微批量的大小确定。
17、在一个实施例中,在窗口结束后提取冷启动状态向量包括:
18、在窗口结束后冻结医学图像模型参数,对每条训练记录形成拼接向量;其中,拼接向量包括按裁剪阈值归一化的裁剪梯度、裁剪梯度归一化范数所在分箱的独热向量、裁剪梯度范数是否大于裁剪阈值的指示值;
19、根据拼接向量加一次高斯噪声,获取隐私化后的状态向量,根据状态向量获取冷启动状态向量。
20、在一个实施例中,根据状态向量获取冷启动状态向量包括:
21、根据状态向量,获取投影梯度均值、修正直方图和裁剪饱和率;
22、根据投影梯度均值、修正直方图和裁剪饱和率,以及上一个窗口的历史梯度动量,获取当前窗口对应的梯度相干性、裁剪梯度稳健离散度,与裁剪饱和率共同构成冷启动状态向量,并更新历史梯度动量。
23、在一个实施例中,方法判定是否触发冷启动退出事件,根据判定结果输出冷启动状态标记包括:
24、将梯度相干性、裁剪梯度稳健离散度和裁剪饱和率与对应预设条件进行对比,若符合预设条件,则将稳定计数加1;否则,将稳定计数清零;并进入下一窗口;
25、当稳定计数首次达到连续窗口数时,触发冷启动退出事件,并更新冷启动状态标记。
26、在一个实施例中,根据冷启动状态向量和冷启动状态标记,构造下一个窗口的候选联合控制量包括:
27、根据候选噪声倍数集合、控制窗口长度集合、微批量裁剪梯度累积步数集合构造若干三元组;
28、根据冷启动状态向量对各三元组预测有效信噪比,根据预测的有效信噪比对三元组进行筛选,获取候选联合控制量。
29、在一个实施例中,基于rdp账本副本滚动预测每个候选联合控制量对应的剩余隐私预测轨迹包括:
30、针对候选联合控制量,枚举未来预测视域的候选控制量序列,在对应的rdp账本副本上依次加入预测视域内的控制窗口长度次训练更新损失及一次状态监测损失,获取累计rdp隐私损失,通过标准转换表达式将累计rdp隐私损失转化为累计隐私损失,在隐私预算约束下获取表示剩余隐私预测轨迹的可行序列。
31、在一个实施例中,根据预测的剩余隐私预测轨迹,输出下一个窗口对应联合控制量,或输出医学图像模型包括:
32、当更新步达到更新步数上限、收到停止标记、预算过滤失败或发生不可恢复的运行异常时,则输出医学图像模型;
33、否则,根据剩余隐私预测轨迹获取下一个窗口对应联合控制量,进行医学图像模型参数的更新。
34、第二方面,本技术还提供了一种基于医学图像dp-sgd冷启动状态闭环控制的差分隐私训练装置。该装置包括:
35、噪声与微批量裁剪梯度累积协同执行模块,初始化医学图像模型参数、联合控制量和rdp账本;其中,联合控制量包括控制窗口长度;针对单个窗口,基于当前联合控制量和第次模型参数更新对应的医学图像模型参数,从由病变图像构建的训练记录获取第次模型参数更新对应的医学图像模型参数,并同步更新rdp账本,直至完成控制窗口长度次模型参数更新;
36、训练状态感知与联合控制模块,用于在窗口结束后提取冷启动状态向量,以判定是否触发冷启动退出事件,根据判定结果输出冷启动状态标记;根据冷启动状态向量和冷启动状态标记,构造下一个窗口的候选联合控制量;
37、预测式隐私轨迹规划与核算模块,用于对每个候选联合控制量复制rdp账本副本,基于rdp账本副本滚动预测每个候选联合控制量对应的剩余隐私预测轨迹;根据预测的剩余隐私预测轨迹,输出下一个窗口对应联合控制量,或输出医学图像模型。
38、第三方面,本技术还提供了一种计算机设备。该计算机设备包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述基于医学图像dp-sgd冷启动状态闭环控制的差分隐私训练方法中的步骤。
39、第四方面,本技术还提供了一种计算机可读存储介质。该计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述基于医学图像dp-sgd冷启动状态闭环控制的差分隐私训练方法中的步骤。
40、第五方面,本技术还提供了一种计算机程序产品。计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述基于医学图像dp-sgd冷启动状态闭环控制的差分隐私训练方法中的步骤。
41、上述基于医学图像dp-sgd冷启动状态闭环控制的差分隐私训练方法,在当前窗口内执行逐样本梯度裁剪、微批量裁剪梯度累积、一次独立高斯噪声注入及医学图像模型参数更新;在窗口结束后,依据梯度相干性、裁剪梯度稳健离散度和裁剪饱和率构成的冷启动状态向量,识别冷启动退出事件,并联合确定下一窗口的执行噪声倍数、微批量裁剪梯度累积步数和控制窗口长度。同时根据微批量裁剪梯度累积步数对应的有效采样率和参数更新次数进行隐私核算,在预算约束下筛选未来候选控制量序列,以确定下个窗口的联合控制量。该方法形成状态感知、训练执行及隐私核算的反馈闭环,解决隐私预算约束下的控制策略问题,使整个训练闭环获得可证明的差分隐私保证,从而提升医学数据的安全性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com