抵御推断攻击的医疗诊断模型差分隐私联合训练方法与流程

1.本发明涉及数据处理技术领域，尤其涉及一种抵御推断攻击的医疗诊断模型差分隐私联合训练方法及装置。


背景技术：

2.医疗图像诊断模型的应用，有助于提高医疗机构的信息自动化流程，减轻诊断专家的压力和医疗机构运营成本。然而，单个医疗组织往往由于诊断病例不足难以训练得到较高精度的诊断模型；同时，隐私保护的问题限制了跨医疗机构的病例数据共享。如何在保护隐私的前提下，促进数据的流通共享是当前面临的一大挑战。联邦学习是一种新型的机器学习、深度学习模型训练范式，它将模型训练和数据存储保留在分布式网络的边缘，因其隐私保护的能力展示出其在诸多业务场景中的应用价值。
3.联邦学习一般由数据参与方和中央服务器组成。各数据参与方拥有自己的本地数据，这些数据可能不足以训练模型或者所的模型不够准确。为了提升模型精准度，各参与方寻求与其他拥有数据的参与方合作。当大于等于两方参与时，中央服务器启动联合建模。首先，中央服务器负责收集每个参与方上传的模型参数，并采用联邦聚合算法更新原模型。然后，中央服务器将更新后的模型分发给各参与方，准备下一轮的模型训练。这一过程会持续进行，直到模型达到收敛条件。
4.联邦学习使得基于多家医疗诊断病例的图像诊断模型联合建模成为可能，但是，扮演协调角色的中央服务器可能是半诚实、半可信的，可以从收集的模型参数推断私有信息，还原出诊断图像，隐私性较差。


技术实现要素：

5.本发明提供一种抵御推断攻击的医疗诊断模型差分隐私联合训练方法及装置，用以提高模型训练的隐私性，提高联合训练的鲁棒性和精度。
6.本发明提供一种抵御推断攻击的医疗诊断模型差分隐私联合训练方法，应用于半诚实中央服务器以及多个参与方组成的联合训练框架，所述半诚实中央服务器分别于多个参与方通信连接，各参与方在所述半诚实中央服务器的控制下共同训练目标医疗图像诊断模型，其中各参与方具有对应的局部诊断模型和本地数据集，各数据参与方基于中央服务器的全局分类模型、局部诊断模型和本地数据集执行局部诊断模型的私密训练，所述训练方法包括：对于本轮训练，该参与方基于给定的插值系数、该轮训练的全局模型参数以及上一轮执行局部私密训练输出的局部诊断模型初始化执行本轮训练的局部诊断模型；该参与方将本地数据集划分为多个批次，并利用前向传播和损失函数计算预测损失，基于预测损失确定局部诊断模型的参数梯度，并利用梯度下降法更新局部诊断模型参数；利用给定高斯分布对梯度下降更新后的局部诊断模型参数添加高斯噪声扰动；
所述半诚实中央服务器聚合由各参与方添加扰动后的局部诊断模型，以获得本轮训练的全局扰动模型。
7.可选的，该参与方基于给定的插值系数、该轮训练的全局模型参数以及上一轮执行局部私密训练输出的局部诊断模型初始化执行本轮训练的局部诊断模型满足：其中，是插值系数，取值为0到1之间，表示第k个参与方上一轮执行局部私密训练输出的局部诊断模型参数，表示本轮训练接收到的全局模型参数，表示第k个参与方本轮训练的初始化局部诊断模型参数。
8.可选的，基于预测损失确定局部诊断模型的参数梯度之后，还包括：利用预设裁剪方式对参数的梯度进行裁剪得到参数更新量满足：其中，clipfn表示剪裁函数，表示局部诊断模型的参数梯度，表示一次前向传播计算得到的预测损失，表示局部诊断模型参数的更新量。
9.可选的，利用梯度下降法更新局部诊断模型参数满足：其中，表示参与方k在第t轮的学习率，参与方的学习率的更新满足：其中，为初始学习率，γ为衰减系数，δt为更新间隔轮数。
10.可选的，利用给定高斯分布对梯度下降更新后的局部诊断模型参数添加高斯噪声扰动满足：其中，d表示模型参数维度，σ2表示高斯噪声方差，r表示常数，i表示时单位方阵，n表示正态分布。
11.可选的，所述半诚实中央服务器聚合由各参与方添加扰动后的局部诊断模型满足：其中，表示预设的聚合策略对n个参与方的局部扰动诊断模型进行聚合，得到下一轮的全局诊断模型。
12.可选的，所述半诚实中央服务器聚合由各参与方添加扰动后的局部诊断模型包括：采用联邦平均进行聚合满足：其中，m为所有参与方的样本总数，mk为第k个参与方的样本个数，n为参与方的个
数。
13.本发明还提出一种抵御推断攻击的医疗诊断模型差分隐私联合训练方法装置，应用于半诚实中央服务器以及多个参与方组成的联合训练框架，所述半诚实中央服务器分别于多个参与方通信连接，各参与方在所述半诚实中央服务器的控制下共同训练目标分类模型，其中各参与方具有对应的局部诊断模型和本地数据集，各数据参与方基于局部诊断模型和本地数据集执行局部诊断模型的私密训练，所述差分隐私联合训练装置包括处理器，其被配置为执行前述的抵御推断攻击的医疗诊断模型差分隐私联合训练方法。
14.本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现前述的抵御推断攻击的医疗诊断模型差分隐私联合训练方法的步骤。
15.本发明实施例采用差分隐私联邦学习的方式，通过对局部诊断模型参数添加随机噪声，使得半诚实中央服务器无法有效推断出数据参与方的私有数据信息，并且通过设计初始化执行本轮训练的局部诊断模型的方式降低了多轮迭代过程中噪声累积对模型精度的影响，提高了全局模型的精度。
16.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
17.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1为本发明实施例联邦训练框架示意图；图2为本发明实施例差分隐私联合训练方法的基本流程图。
具体实施方式
18.下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
19.本发明实施例提供一种抵御推断攻击的医疗诊断模型差分隐私联合训练方法，如图1所示，应用于半诚实中央服务器以及多个参与方组成的联合训练框架，所述半诚实中央服务器分别于多个参与方通信连接，各参与方在所述半诚实中央服务器的控制下共同训练目标分类模型，其中各参与方具有对应的局部诊断模型和本地数据集，各数据参与方基于局部诊断模型和本地数据集执行多轮的局部诊断模型的私密训练。本实例中，参与方的个数为n，第k个参与方的样本个数为mk，所有参与方的样本总数为m。所有参与方在半诚实中央服务器的协调下共同训练一个图像神经网络分类模型，模型参数表示为w，第t轮训练的全局模型参数为w
t
。如图2所示，所述训练方法包括：在步骤s201中，对于本轮训练，该参与方基于给定的插值系数、该轮训练的全局模
型参数以及上一轮执行局部私密训练输出的局部诊断模型初始化执行本轮训练的局部诊断模型。在一些实施例中，该参与方基于给定的插值系数、该轮训练的全局模型参数以及上一轮执行局部私密训练输出的局部诊断模型以初始化执行本轮训练的局部诊断模型，本技术的方法提出对半诚实中央服务器下发的全局模型参数进行弹性同步满足：其中，是插值系数，取值为0到1之间，表示第k个参与方上一轮执行局部私密训练输出的局部诊断模型参数，表示本轮训练接收到的全局模型参数，表示第k个参与方本轮训练的初始化局部诊断模型参数。
20.在确定本轮训练的全局模型参数之后，接着在步骤s202中，该参与方将本地数据集划分为多个批次，并利用前向传播和损失函数计算预测损失，基于预测损失确定局部诊断模型的参数梯度，并利用梯度下降法更新局部诊断模型参数。
21.在一些实施例中，基于预测损失确定局部诊断模型的参数梯度之后，还包括：利用预设裁剪方式对参数的梯度进行裁剪得到参数更新量。本实例中定义每一批训练样本为b，损失函数为l，一次前向传播计算得到的预测损失为。然后计算模型参数的梯度
∇
，根据选定的裁剪方式（表示为clipfn）对参数梯度进行裁剪得到参数更新量，满足：其中，clipfn表示剪裁函数，表示预测的局部诊断模型的参数梯度，表示一次前向传播计算得到的预测损失，表示局部诊断模型参数的更新量。
22.在一些实施例中，利用梯度下降法更新局部诊断模型参数满足：其中，表示参与方k在第t轮的学习率，参与方的学习率的更新满足：其中，为初始学习率，γ为衰减系数，δt为更新间隔轮数。
23.在步骤s203中，利用给定高斯分布对梯度下降更新后的局部诊断模型参数添加高斯噪声扰动。
24.在步骤s204中，所述半诚实中央服务器聚合由各参与方添加扰动后的局部诊断模型，以获得本轮训练的全局扰动模型。
25.本发明实施例采用差分隐私联邦学习的方式，通过对局部诊断模型参数添加随机噪声，使得半诚实中央服务器无法有效推断出数据参与方的私有数据信息，并且通过设计初始化执行本轮训练的局部诊断模型的方式降低了多轮迭代过程中噪声累积对模型精度的影响，提高了全局模型的精度。
26.在一些实施例中，利用给定高斯分布对梯度下降更新后的局部诊断模型参数添加高斯噪声扰动满足：其中，d表示模型维度，σ2表示高斯噪声方差，r表示常数，i表示时单位方阵，n表示
正态分布。本示例中利用给定的高斯分布对所述梯度下降更新后的本地模型参数添加较小的随机值，得到扰动的局部诊断模型参数。在添加高斯噪声扰动之后，能够使得半诚实中央服务器无法有效推断出数据参与方的私有数据信息，有效提高数据的隐私性。
27.在一些实施例中，所述半诚实中央服务器聚合由各参与方添加扰动后的局部诊断模型满足：其中，表示预设的聚合策略对n个参与方的局部扰动诊断模型进行聚合，得到下一轮的全局诊断模型。
28.作为另一种聚合的方式，所述半诚实中央服务器聚合由各参与方添加扰动后的局部诊断模型包括：采用联邦平均进行聚合满足：其中，m为所有参与方的样本总数，mk为第k个参与方的样本个数，n为参与方的个数。
29.采用本技术的方案可以通过多轮迭代完成基于医疗图像的诊断模型的训练，本技术的方法通过对局部诊断模型参数添加随机噪声，使得半诚实中央服务器无法有效推断出原始诊疗图片信息，保障了病人的隐私。本技术的方法让参与方对全局模型进行弹性更新，降低了多轮迭代过程中噪声累积对模型精度的影响，有效提升了全局诊断模型的精度。
30.本发明实施例还提供一种抵御推断攻击的医疗诊断模型差分隐私联合训练方法装置，应用于半诚实中央服务器以及多个参与方组成的联合训练框架，所述半诚实中央服务器分别于多个参与方通信连接，各参与方在所述半诚实中央服务器的控制下共同训练目标分类模型，其中各参与方具有对应的局部诊断模型和本地数据集，各数据参与方基于局部诊断模型和本地数据集执行局部诊断模型的私密训练，所述差分隐私联合训练装置包括处理器，其被配置为执行本公开各实施例所述的抵御推断攻击的医疗诊断模型差分隐私联合训练方法。
31.本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本公开各实施例所述的抵御推断攻击的医疗诊断模型差分隐私联合训练方法的步骤。
32.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
33.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
34.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做
出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如rom/ram、磁碟、光盘）中，包括若干指令用以使得一台终端（可以是手机，计算机，服务器或者网络设备等）执行本发明各个实施例所述的方法。
35.上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。