通过最小化噪声下的预期损失改进私有模型效用的制作方法

技术特征：
1.一种用于训练和利用模型以最小化噪声下的预期损失（elun）同时保持差分隐私的方法，所述方法包括：将噪声作为从噪声分布抽取的随机样本添加到机器学习模型的权重，所述噪声是根据隐私预算添加的；通过使用损失函数来最小化elun，所述损失函数预计添加到机器学习模型的权重的噪声，以在参数空间中找到一点，对于所述点，损失对于权重中的噪声是鲁棒的；迭代噪声的添加和elun的最小化，直到权重收敛并满足优化约束；和针对任意输入利用所述模型，同时保护用于训练所述模型的训练数据的隐私。2.根据权利要求1所述的方法，其中所述噪声包括拉普拉斯噪声。3.根据权利要求1所述的方法，其中所述噪声包括高斯噪声。4.根据权利要求1所述的方法，其中所述噪声经由从拉普拉斯分布抽取的随机样本来近似。5.根据权利要求1所述的方法，其中所述机器学习模型是线性机器学习模型。6.根据权利要求1所述的方法，其中所述机器学习模型包括支持向量机、卷积神经网络（cnn）或深度神经网络（dnn）中的一个或多个。7.根据权利要求1所述的方法，其中最小化elun包括根据梯度下降进行优化。8.根据权利要求1所述的方法，其中elun由标示，并由下式给出：，其中，是在模型参数和标记点之上定义的损失函数；并且是可能模型参数之上的噪声分布，以c为中心。9.一种用于训练和利用模型以最小化噪声下的预期损失（elun）同时维持差分隐私的系统，所述系统包括：存储机器学习模型的存储器；和计算设备，被编程为将噪声作为从噪声分布抽取的随机样本添加到机器学习模型的权重，所述噪声是根据隐私预算添加的；通过使用损失函数来最小化elun，所述损失函数预计添加到机器学习模型的权重的噪声，以在参数空间中找到一点，对于所述点，损失对于权重中的噪声是鲁棒的；迭代噪声的添加和elun的最小化，直到权重收敛并满足优化约束；和针对任意输入利用所述模型，同时保护用于训练所述模型的训练数据的隐私。10.根据权利要求9所述的系统，其中所述噪声包括拉普拉斯噪声或高斯噪声中的一个或多个。11.根据权利要求9所述的系统，其中所述噪声经由从拉普拉斯分布抽取的随机样本来近似。12.根据权利要求9所述的系统，其中所述机器学习模型包括线性机器学习模型、支持向量机、卷积神经网络（cnn）或深度神经网络（dnn）中的一个或多个。13.根据权利要求9所述的系统，其中最小化elun包括根据梯度下降进行优化。
14.根据权利要求9所述的系统，其中elun由标示，并由下式给出：，其中，是在模型参数和标记点之上定义的损失函数；并且是可能模型参数之上的噪声分布，以c为中心。15.一种非暂时性计算机可读介质，包括用于训练和利用模型以最小化噪声下的预期损失（elun）同时维持差分隐私的指令，所述指令当由处理器执行时，使得处理器执行操作，所述操作包括：将噪声作为从噪声分布抽取的随机样本添加到机器学习模型的权重，所述噪声是根据隐私预算添加的；通过使用损失函数来最小化elun，所述损失函数预计添加到机器学习模型的权重的噪声，以在参数空间中找到一点，对于所述点，损失对于权重中的噪声是鲁棒的；迭代噪声的添加和elun的最小化，直到权重收敛并满足优化约束；和针对任意输入利用所述模型，同时保护用于训练所述模型的训练数据的隐私。16.根据权利要求15所述的介质，其中所述噪声包括拉普拉斯噪声或高斯噪声中的一个或多个。17.根据权利要求15所述的介质，其中所述噪声经由从拉普拉斯分布抽取的随机样本来近似。18.根据权利要求15所述的介质，其中所述机器学习模型是线性机器学习模型。19.根据权利要求15所述的介质，其中最小化elun包括根据梯度下降进行优化。20.根据权利要求15所述的介质，其中elun由标示，并由下式给出：，其中，是在模型参数和标记点之上定义的损失函数；并且是可能模型参数之上的噪声分布，以c为中心。

技术总结
提供了通过最小化噪声下的预期损失改进私有模型效用。执行对模型的训练以在维持差分隐私的同时，使噪声下的预期损失（ELUN）最小化。噪声作为从噪声分布抽取的随机样本被添加到机器学习模型的权重，该噪声是根据隐私预算添加的。通过使用损失函数来最小化ELUN，该损失函数预计添加到机器学习模型的权重的噪声，以在参数空间中找到一点，对于该点，损失对于权重中的噪声是鲁棒的。噪声的添加和ELUN的最小化被迭代，直到权重收敛并满足优化约束。针对任意输入利用该模型，同时保护用于训练该模型的训练数据的隐私。型的训练数据的隐私。型的训练数据的隐私。


技术研发人员：K
受保护的技术使用者：罗伯特
技术研发日：2021.04.28
技术公布日：2021/10/28