模型评估方法、装置、电子设备和联邦系统与流程

1.本技术涉及隐私计算技术领域，具体而言，涉及一种模型评估方法、装置、电子设备和联邦系统。


背景技术：

2.联邦学习是能有效帮助多个数据方在满足用户隐私保护、数据安全要求下，进行数据使用和机器学习建模。联邦学习作为分布式的机器学习范式,可以有效解决数据孤岛问题,让参与方在不用共享数据的基础上联合建模,能从技术上打破数据孤岛,实现人工智能协作。
3.需要对通过联邦学习建立的模型进行评估时，需要将各个数据方的用户数据汇总进行处理。为了保护各个数据方的用户数据的隐私，需要通过加密的方式，用户数据进行加密后再进行汇总处理，这种处理方式数据处理量相对较大。


技术实现要素：

4.本技术的目的在于提供一种模型评估方法、装置、电子设备和联邦系统，以改善评估联邦学习得到的模型所存在的数据量处理量大的问题。
5.第一方面，本发明提供一种模型评估方法，包括：获取一个或多个数据方的初始密态数据组，所述初始密态数据组中包括一项和多项初始密态数据；所述初始密态数据为所述数据方使用目标模型对本地样本集进行识别得的数据；根据所述初始密态数据组，计算所述目标模型的密态评估数据。
6.第二方面，本发明提供一种模型评估方法，包括：使用目标模型对本地样本集进行验证，以得到初始密态数据；将所述初始密态数据发送给所述中心设备。
7.在可选的实施方式中，所述初始密态数据包括：验证分布数据；所述使用目标模型对本地样本集进行验证，以得到初始密态数据，包括：使用目标模型对本地样本集进行验证，以得到样本预测数据；根据预先设置的概率阈值，确定出所述样本预测数据对应的验证分布数据。
8.在可选的实施方式中，所述验证分布数据包括：真正例数、假正例数；所述根据预先设置的概率阈值，确定出所述样本预测数据对应的验证分布数据，包括：将所述样本预测数据中的各项样本的样本预测值与预先设置的概率阈值进行比较；将所述样本预测值大于所述概率阈值的样本的验证结果确定为第一类样本集；根据所述第一类样本集中各个样本的标签，确定出所述真正例数和所述假正例数。
9.第三方面，本发明提供一种模型评估装置，包括：获取模块，用于获取一个或多个数据方的初始密态数据组，所述初始密态数据组中包括一项和多项初始密态数据；所述初始密态数据为所述数据方使用目标模型对本地样本集进行识别得的数据；计算模块，用于根据所述初始密态数据组，计算所述目标模型的密态评估数据。
10.第四方面，本发明提供一种电子设备，包括：处理器、存储器，所述存储器存储有所
述处理器可执行的机器可读指令，当电子设备运行时，所述机器可读指令被所述处理器执行时执行如前述实施方式任一所述的方法的步骤。
11.在可选的实施方式中，所述电子设备中运行有密文计算引擎，所述电子设备通过所述密文计算引擎执行所述根据所述初始密态数据组，计算所述目标模型的密态评估数据的步骤。
12.第五方面，本发明提供一种联邦系统，包括：数据方和中心设备；
13.所述数据方用于执行如前述第二方面的实施方式任一所述的模型评估方法的步骤；
14.所述中心设备用于执行如前述第一方面的实施方式任一所述的模型评估方法的步骤。
15.第六方面，本发明提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如前述实施方式任一所述的方法的步骤。
16.本技术实施例的有益效果包括：通过获取各个数据方的使用目标模型对本地样本集进行识别得的数据，而不需要再获取原始的样本数据，可以降低数据的传输量，也可以提高样本数据的安全性，降低样本数据泄露的风险。进一步地，在对初始密态数据组进行计算的过程中都是处理的密态的数据，可以提高数据方的初始密态数据的安全性。
附图说明
17.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
18.图1为本技术实施例提供的联邦系统的交互示意图；
19.图2为本技术实施例提供的电子设备的方框示意图；
20.图3为本技术实施例提供的模型评估方法的流程图；
21.图4为本技术实施例提供的样本识别结果示意图；
22.图5为本技术实施例提供的模型评估方法的步骤420的详细流程图；
23.图6为本技术实施例提供的roc曲线示意图；
24.图7为本技术实施例提供的模型评估方法的步骤420的另一详细流程图；
25.图8为本技术实施例提供的模型评估装置的功能模块示意图；
26.图9为本技术实施例提供的模型评估方法的另一流程图；
27.图10为本技术实施例提供的模型评估方法的步骤610的详细流程图；
28.图11为本技术实施例提供的模型评估方法的步骤612的详细流程图；
29.图12为本技术实施例提供的模型评估方法的步骤610的另一详细流程图；
30.图13为本技术实施例提供的模型评估方法的再一流程图。
具体实施方式
31.下面将结合本技术实施例中附图，对本技术实施例中的技术方案进行描述。
32.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
33.经发明人研究了解到，机器学习方法训练各类识别或分类模型需要大量的数据。但是大多数的商业公司/机构所拥有的数据往往具有巨大的潜在价值，但是为了保护公司数据资产，无法直接将数据进行聚合，从而出现了数据孤岛的问题。在这种情况下联邦学习应运而生，联邦学习能够实现多个公司/机构在满足用户隐私保护、数据安全的要求下，打破数据孤岛，实现数据的联合使用，在多方数据上进行联合建模。采用联邦学习的方式实现联合建模后需要在多方数据上对模型效果进行评估。
34.为了保证各个数据方的数据安全，现有的评估方式一般是，各个数据方将其本地数据进行加密，然后将加密的数据发送给一个中心平台，以在该中心平台中使用获得的各个数据方的数据对联合建立的模型进行评估。但是，这种处理方式存在一些问题：(1)如果在巨大数据量的情况下，例如有百万、千万甚至上亿级别的数据量，各数据方均利用密码学机制加密的数据量过大，加密时间开销过大；(2)数据传输量也相对较大；(3)需要对这大规模的密文数据进行一系列的密文计算操作，密文计算的时间和空间开销也是随着密文数据量的增加而大幅度提升的，会导致计算效率过低、对机器内存要求高等问题。
35.基于上述现状，本技术提供了一种模型评估方法。本技术的模型评估方法能够实现在多方数据不暴露的情况下，秉持这数据方的样本数据不出本地的原则，在多个数据方的联合数据上进行模型评估数据的计算，从而得到对联合模型评估结果。进一步地，由于数据全部被加密上传至密文计算引擎，通过隐私计算的方式对数据进行处理，可以提高数据处理的安全性。
36.为便于对本实施例进行理解，首先对执行本技术实施例所公开的一种模型评估方法的电子设备或运行环境进行详细介绍。
37.如图1所示，是本技术实施例提供的联邦系统进行交互的示意图。该联邦系统包括数据方200和中心设备100，该中心设备100通过网络与一个或多个数据方200进行通信连接，以进行数据通信或交互。该中心设备100和数据方200可以是服务器、终端设备、服务器集群等。该服务器可以是网络服务器、数据库服务器等。该终端设备可以是个人电脑(personal computer，pc)、平板电脑、智能手机、个人数字助理(personal digital assistant，pda)等。
38.该数据方200中可以存储有多项用户数据，该用户数据可以作为样本输入目标模型进行计算，以得到该目标模型样本的预测值。
39.示例性地，该数据方200可以是服务器集群，该服务器集群中可以包括数据库服务器、处理服务器。该数据库服务器中可以用于存储数据方200的用户数据，该处理服务器可以用于对用户数据进行处理。该数据方200可以是服务器，该服务器中可以存储有本地的用户数据。
40.本实施例中，各个数据方200可以使用需要验证的目标模型对本地的用户数据进行识别处理，以确定出数据方200中的用户数据进行分类，确定出各个用户数据的识别结果数据。数据方200可以将该识别结果数据进行加密，确定出初始密态数据。数据方200可以再将给初始密态数据发送给中心设备100。
41.本实施例中，中心设备100可以将各个数据方200中的初始密态数据进行处理，以确定出目标模型的评估结果。
42.在一种可选的实施方式中，该中心设备100可以是多个数据方200中的一个数据方200，该中心设备100中也可以包括用户数据，该中心设备100还可以将其它数据方200的初始密态数据进行处理。
43.在另一种可选的实施方式中，该中心设备100也可以是能够与各个数据方200通信的设备，该中心设备100可以获得各个数据方200传输的密态数据。
44.该中心设备100可以对密态的数据进行隐私计算。
45.如图2所示，是电子设备的方框示意图。电子设备300可以包括存储器311和处理器313。本领域普通技术人员可以理解，图2所示的结构仅为示意，其并不对电子设备300的结构造成限定。例如，电子设备300还可包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置。图1所示的中心设备100可以包括图1所示的电子设备300的组件，当然，该中心设备100还可以包括比图2所示的电子设备300更多的组件。图1所示的数据方200可以包括图1所示的电子设备300的组件，当然，该数据方200还可以包括比图2所示的电子设备300更多的组件。
46.上述的存储器311和处理器313各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。上述的处理器313用于执行存储器中存储的可执行模块。
47.其中，存储器311可以是，但不限于，随机存取存储器(random access memory，简称ram)，只读存储器(read only memory，简称rom)，可编程只读存储器(programmable read-only memory，简称prom)，可擦除只读存储器(erasable programmable read-only memory，简称eprom)，电可擦除只读存储器(electric erasable programmable read-only memory，简称eeprom)等。其中，存储器311用于存储程序，所述处理器313在接收到执行指令后，执行所述程序，本技术实施例任一实施例揭示的过程定义的电子设备300所执行的方法可以应用于处理器313中，或者由处理器313实现。
48.上述的处理器313可能是一种集成电路芯片，具有信号的处理能力。上述的处理器313可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processor，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
49.可选地，该电子设备的存储器111中可以存储有密文计算引擎的相关计算机程序，该处理器113运行时，可以调用密文计算引擎的相关计算机程序，以实现计算机引擎的运行。该密文计算引擎可以用于对各种密态数据进行处理。
50.本实施例中的电子设备300可以用于执行本技术实施例提供的各个方法中的各个步骤。下面通过几个实施例详细描述模型评估方法的实现过程。
51.请参阅图3，是本技术实施例提供的模型评估方法的流程图。下面将对图3所示的具体流程进行详细阐述。
52.步骤410，获取一个或多个数据方的初始密态数据组。
53.该初始密态数据组中包括一项和多项初始密态数据。初始密态数据为该数据方使用目标模型对本地样本集进行识别得的数据。
54.示例性地，各个数据方可以将其本地样本集中的各样本输入该目标模型中进行识别，以得出各个样本的预测概率。该初始密态数据可以是对该预测概率进行一些处理后得到的初始密态数据。
55.该目标模型可以是通过联邦学习方法训练得到的模型，该目标模型也可以是通过其它方式训练得到的模型。
56.该目标模型可以是分类模型，该分类模型对样本进行计算，得到的结果可以是第一标签的值，也可以是第二标签的值。
57.本实施例中的方法可以应用于中心设备，该中心设备可以与各个数据方进行通信，该中心设备通过与各个数据方通信，以获得各个数据方的初始密态数据。
58.本实施例中的方法可以应用于中心设备，该中心设备可以为其中一个数据方。该中心设备对应的数据方的初始密态数据的获得方式可以为：对该中心设备的本地样本集进行识别得的识别结果数据，再将该识别结果数据进行处理后加密，得到初始密态数据。其它数据方的初始密态数据可以通过与其它数据方建立通信，以获得该其它数据方的初始密态数据。
59.步骤420，根据该初始密态数据组，计算该目标模型的密态评估数据。
60.本实施例中，可以通过隐私计算手段，对初始密态数据组中的各项初始密态数据进行计算，以确定出目标模型的评估数据。该目标模型的评估数据为密态的评估数据。
61.通过本技术实施例中的模型评估方法，通过获取各个数据方的使用目标模型对本地样本集进行识别得的数据，而不需要再获取原始的样本数据，可以降低数据的传输量，也可以提高样本数据的安全性，降低样本数据泄露的风险。进一步地，在对初始密态数据组进行计算的过程中都是处理的密态的数据，可以提高数据方的初始密态数据的安全性。
62.在一种实施方式中，初始密态数据包括：第一类样本数、第二类样本数、验证分布数据。
63.示例性地，第一样本可以是标签为第一标签的样本，该第二样本可以是标签为第二标签的样本。
64.以第一数据方的初始密态数据为例，该第一数据方的第一类样本数可以是第一数据方中用来评估目标模型的本地样本集中第一样本的数量，第一数据方的第二类样本数可以是第一数据方中用来评估目标模型的本地样本集中第二样本的数量。
65.可选地，该验证分布数据可以包括：真正例数、假正例数、真负例数和假负例数。该验证分布数据也可以仅包括：真正例数和假正例数。
66.在一个实例中，根据目标模型输出的预测值和各个样本的标签，以第一标签为正例标签，第二标签为负例标签为例，可以分为四类指标，分别为：
67.真正例(true positive，简称tp)：被目标模型判定为第一样本，样本的标签是第一标签的样本。例如，第一标签为1，第二标签为0，则真正例的标签为1，目标模型判定结果也为1；
68.真负例(true negative，简称：tn)：被目标模型判定为第二样本，且样本的标签是
第二标签的样本，真负例的标签为0，目标模型判定结果也为0；
69.假正例(false positive，简称：fp)：被目标模型判定为第一样本，但样本的标签为第二标签的样本，假正例的标签为0，目标模型判定结果为1；
70.假负例(false negative，简称：fn)：被目标模型判定为第二样本，但样本的标签为第一标签的样本，假负例的标签为1，目标模型判定结果为0；
71.如下表1所示：
[0072][0073]
表1
[0074]
以表1所示的实例为例，真正例数可以为本地样本集中被划分为tp的样本数，假正例数可以为本地样本集中被划分为fp的样本数，假负例数可以为本地样本集中被划分为fn的样本数，真负例数可以为本地样本集中被划分为tn的样本数。第一类样本数可以为p＝tp fn，第二类样本数可以为n＝fp tn。
[0075]
每一组初始密态数据中可以包括多组验证分布数据。每一组验证分布数据可以是根据不同分类标准确定出的真正例数、假正例数、真负例数和假负例数。
[0076]
若预先设定了n
bins
个分类标准，则每一组初始密态数据可以包括n
bins
组验证分布数据。
[0077]
示例性地，每一个分类标准可以是判定阈值，样本的预测概率不小于该判定阈值时，则可以将该样本被目标模型判定为正例，若该样本的标签为第一标签，则该样本被目标模型判定为真正例。在另一个实例中，每一个分类标准可以是判定阈值，样本的预测概率不小于该判定阈值时，则可以将该样本被目标模型判定为正例，若该样本的标签为第二标签，则该样本被目标模型判定为假正例。在另一个实例中，每一个分类标准可以是判定阈值，样本的预测概率小于该判定阈值时，则可以将该样本被目标模型判定为负例，若该样本的标签为第一标签，则该样本被目标模型判定为假负例。在另一个实例中，每一个分类标准可以是判定阈值，样本的预测概率小于该判定阈值时，则可以将该样本被目标模型判定为负例，若该样本的标签为第二标签，则该样本被目标模型判定为真负例。
[0078]
示例性地，该判定阈值的值不同，样本的判定结果也可能不同。
[0079]
示例性地，判定阈值可以用t表示，对于一个数据样本，样本标签设为y，y∈{0,1}，样本输入到目标模型后可以输出一个预测概率p∈[0,1]，根据判定阈值t∈[0,1]，可以将预测概率转化为预测值所以根据不同的判定阈值t，可以将预测概率转化为不同的预测值。
[0080]
在一个实例中，如图4所示，第一标签可以是1，第二标签可以是0。其中目标模型对其中十个样本进行预测，得到的预测概率分别为y
′i，分别为：0.9、0.8、0.7、0.6、0.5、0.4、0.3、0.1、0.05。十个样本的样本标签分别为：1、1、0、1、0、0、0、1、0、0。当判定阈值取值为0.6
时，则其中前四个样本被目标模型预测为第一类，后面六个样本被判定为第二类。由于第一个样本、第二个样本和第四个样本的标签为1，因此，该第一个样本、第二个样本和第四个样本可以被判定为真正例；第八个样本的标签为1，但是被目标模型判定为第二类，则该第八个样本为假负例；其他样本为的标签为0，则第三个样本为假正例，第五个样本、第六个样本、第七个样本、第九个样本、第十个样本为真负例。
[0081]
在图4所示的实例中，若判定阈值取值不为0.6时，十个样本的分类也可以不同。
[0082]
可选地，如图5所示，步骤420可以包括：步骤421至步骤423。
[0083]
步骤421，根据该初始密态数据组中各项初始密态数据中的该第一类样本数、该第二类样本数和该验证分布数据，计算得到第一类样本总数、第二类样本总数、验证总分布数据。
[0084]
可以将每一个数据方的第一类样本数之和作为该第一类样本总数，将每一个数据方的第二类样本数之和作为该第二类样本总数。
[0085]
示例性地，第i个数据方的初始密态数据中的该第一类样本数可以表示为[pi]，第i个数据方的初始密态数据中的该第二类样本数可以表示为[ni]。其中，增设中括号的数据为密态数据，例如，pi可以表示明文的第一类样本数，[pi]表示加密后的第一类样本数；ni可以表示明文的第二类样本数，[ni]表示加密后的第二类样本数。
[0086]
该第一类样本总数可以表示为：第一类样本总数可以表示为：
[0087]
示例性地，可以将同类数据相加，可以得到验证总分布数据。
[0088]
示例性地，验证分布数据包括真正例数、假正例数、真负例数和假负例数时，可以将每一组验证分布数据中的真正例数相加，将每一组验证分布数据中的假正例数相加，将每一组验证分布数据中的真负例数相加，将每一组验证分布数据中的假负例数相加。
[0089]
示例性地，验证分布数据包括真正例数和假正例数时，可以将每一组验证分布数据中的真正例数相加，将每一组验证分布数据中的假正例数相加。
[0090]
在一个实例中，验证分布数据中可以包括多组不同分类标准下的验证分布数据时，则可以将每一组验证分布数据相加。
[0091]
示例性地，第i个数据方的初始密态数据所包括的第一类样本数表示为pi；第二类样本数表示为ni；真正例数可以表示为tp_listi；假正例数可以表示为fp_listi。
[0092]
每一个数据方中的真正例数tp_listi中可以包括n
bins
个分类标准下的多项真正例数，可以表示为：其中，为第j个分类标准下，第i组初始密态数据中的真正例数量。
[0093]
示例性地，步骤410中可以获取到了p个数据方的初始密态数据时，该验证总分布数据中的真正例总数可以表示为：
[0094]
每一个数据方中的假正例数[fp_listi]可以包括n
bins
个分类标准下的多项假正例数，可以表示为：即即
[0095]
步骤422，根据该第一类样本总数、该第二类样本总数和该验证总分布数据，计算该目标模型验证的真假例率分布数据。
[0096]
该真假例率分布数据可以包括真例率分布数据和假例率分布数据。该真例率分布数据可以包括一项或多项真例率，该假例率分布数据可以包括一项或多项假例率。
[0097]
在一可选的实施方式中，该真例率可以是真正例率，该假例率可以是假正例率。
[0098]
可以根据该第一类样本总数和该验证总分布数据中的真正例数，确定出该真例率分布数据。真正例数为所有的第一样本中被该目标模型判定为第一样本的数量。
[0099]
该真正例率可以是所有的第一类样本中被判定为第一样本的比例。
[0100]
通过隐私计算方式，将第一类样本总数与真正例数，计算出真正例率。
[0101]
示例性地，以表1所示实例为例，真正例率分布数据可以表示为：
[0102]
根据该第一类样本总数和该验证总分布数据中的假正例数，确定出该假例率分布数据。假正例数为所有的第二样本中被该目标模型判定为第一样本的数量。该假正例率可以是所有的第二类样本中被判定为第一类样本的比例。
[0103]
可选地，可以通过隐私计算方式，将第二类样本总数与假正例数，计算出假正例率。
[0104]
示例性地，以表1所示实例为例，假正例率分布数据可以表示：示例性地，以表1所示实例为例，假正例率分布数据可以表示：
[0105]
在另一可选的实施方式中，该真例率可以是真负例率，该假例率假负例率。
[0106]
其中，真负例率可以为所有的第二样本中被目标模型判定为第二样本的比例；假负例率可以为所有的第一样本中被目标模型判定为第二样本的比例。
[0107]
步骤423，根据该真假例率分布数据，确定出该目标模型的密态评估数据。
[0108]
可选地，可以在由横坐标是假正例率，纵坐标是真正例率形成的坐标系上，构建真假例率分布数据分布图；可以根据该分布图确定出目标模型的密态评估数据。
[0109]
示例性地，该密态评估数据可以是曲线下面积(area under curve，简称auc)。可以计算真假例率分布数据分布图与坐标系所围成的面积作为该密态评估数据。
[0110]
在上述实现方式中，可以通过真假例率分布数据确定出目标模型的密态的评估数据，根据该密态评估数据可以更清楚地表征目标模型的优劣情况。
[0111]
在一种可选的实施方式中，步骤423可以包括：根据该真例率分布数据和该假例率分布数据，构建该目标模型的受试者操作特征曲线；根据该受试者操作特征曲线，计算该目标模型的密态评估数据。
[0112]
其中，受试者工作特征曲线(receiver operating characteristic curve，简称：roc)，受试者工作特征曲线的横坐标是假正例率(false positive rate，简称：fpr)，纵坐标是真正例率(true positive rate，简称：tpr)。
[0113]
可选地，可以通过受试者操作特征曲线的曲线下面积(area under curve，简称auc)，确定出目标模型的密态评估数据。
[0114]
其中，该曲线下面积(area under curve，简称auc)，该曲线下面积是指受试者工作特征曲线与坐标轴围成的面积，该曲线下面积可以作为目标模型的性能指标，可以用于衡量目标模型的表现优劣。
[0115]
可选地，如图6所示，图中示出的实例中包括横坐标假正例率fpr，纵坐标是真正例率tpr，坐标系上的多个由假正例率和真正例率组成的点。
[0116]
在一可选的实施方式中，坐标系上的多个由假正例率和真正例率组成的点可以依次连接，受试者操作特征曲线的曲线下面积可以呈图6所示的形状。受试者操作特征曲线的曲线下面积可以被划分成图示中的多个三角形和多个矩形，分别计算三角形和多个矩形的面积，并计算三角形和多个矩形的面积之后得到受试者操作特征曲线的曲线下面积。
[0117]
在一个实例中，根据真例率分布数据和假例率分布数据可以在图6所示的坐标系中描绘五个点，分别为：(0,0,)、(fpr1，tpr1)、(fpr2，tpr2)、(fpr3，tpr3)和(1,1)。
[0118]
曲线下面积中的三角形部分的面积可以表示为：即如图6中的阴影部分。
[0119]
曲线下面积中的矩形部分的面积可以表示为：
[0120]
然后将曲线下面积中的三角形部分的面积与曲线下面积中的矩形部分的面积相加，可以得到受试者操作特征曲线的曲线下面积。示例性地，可以表示为：[auc]＝[area
三角形
] [area
矩形
]。
[0121]
在一可选的实施方式中，坐标系上的多个由假正例率和真正例率组成的点进行曲线拟合，受试者操作特征曲线可以呈平滑曲线。该受试者操作特征曲线的曲线下面积可以
采用积分的方式计算。
[0122]
可选地，步骤420和步骤420所包含的子步骤可以在中心设备的密文计算引擎上执行，该密文计算引擎可以实现密态数据的计算，也可以提高被处理的数据的安全性。
[0123]
在上述实现方式中，通过在中心设备中处理各个数据方的初始密态数据，以确定出目标模型的评估数据，可以在提高各个数据方本地用户数据的安全性的同时，还能够实现使用各个数据方的用户数据对目标模型进行验证的目的。
[0124]
在一种可选的实施方式中，初始密态数据包括：第一类样本数、第二类样本数和真假例率子数据。
[0125]
真假例率子数据可以是各个数据方中计算的真假例率。该真假例率子数据可以包括：真例率子数据和假例率子数据。
[0126]
示例性地，第i数据方的初始密态数据的真例率子数据可以表示为：第i数据方的初始密态数据的假例率子数据可以表示为：第i数据方的初始密态数据的第一类样本数可以表示为：[pi]；第i数据方的第二类样本数可以表示为[ni]。
[0127]
如图7所示，步骤420可以包括：步骤424和步骤425。
[0128]
步骤424，根据该初始密态数据组的各组初始密态数据中的该第一类样本数、该第二类样本数和该真假例率子数据，确定出该目标模型的真假例率分布数据。
[0129]
可以根据各个数据方的第一类样本数，计算出第一类样本总数；可以根据各个数据方的第二类样本数，计算出第二样本总数。
[0130]
该第一类样本总数可以表示为：第二类样本总数可以表示为：
[0131]
示例性地，可以将每一组初始密态数据中的真假例率子数据进行加权求和，可以得到真假例率分布数据。
[0132]
该真假例率分布数据可以包括真例率分布数据和假例率分布数据。
[0133]
各组初始密态数据中的真例率子数据的权重可以由第一类样本总数和第一类样本数确定出。
[0134]
示例性地，第i数据方的真例率分布数据的权重可以为：[pi]/[p]；第i数据方的假例率分布数据的权重可以为：[ni]/[n]。
[0135]
示例性地，该真例率分布数据可以表示为：
[0136][0137]
示例性地，该假例率分布数据可以表示为：
[0138][0139]
步骤425，根据该真假例率分布数据，确定出该目标模型的密态评估数据。
[0140]
该步骤425中计算密态评估数据的方式可以与上述的步骤423类似，关于步骤425的具体实现方式可以参与步骤423中的描述，在此不再赘述。
[0141]
通过在各个数据方直接获取真假例率子数据，可以降低该中心设备所需的计算量，从而可以提高计算密态评估数据的效率。
[0142]
在步骤420之后，模型评估方法还包括：对该密态评估数据进行解密处理，以得到该目标模型的明文评估数据。
[0143]
示例性地，该解密方式可以是与得到初始密态数据的加密方式相对的。
[0144]
通过该明文评估数据可以更直观地呈现目标模型的性能状态，以方便相关用户能够了解到目标模型的优劣情况。
[0145]
在步骤420之后，模型评估方法还包括：将该密态评估数据传输给数据需求方，以供该数据需求方根据该密态评估数据。
[0146]
数据需求方包括：该数据方、第三方平台中的一方或多方平台。
[0147]
该数据需求方存储解密算法，该解密算法可以对密态评估数据进行解密处理。
[0148]
通过本技术实施例中的模型评估方法，可以实现在大规模数据集上进行高效求解，不需要将各个数据方的样本数全数加密上传到中心设备中的密文计算引擎进行计算，可以大大降低了数据加密的时间消耗。本技术实施例中只需要加密的数据量为p组第一类样本数pi、第二类样本数ni、tp列表和fp列表因此，可以从原来的加密样本数据集l，降低到现在的几个数值。在大规模样本集l可能是上百万、千万甚至上亿，但是本
申请的实施例中在nbins为1000，多方数据方的样本数据集都为200w的情况下，计算出来的auc精度在两百万的样本集上已经达到1e-6。
[0149]
进一步地，加密数据上传至中心设备的密文计算引擎的传输开销也会随着加密数据量的大小降低从而大大降低。
[0150]
进一步地，本技术实施例提供的模型评估方法中，各个数据方的原始数据可以不出本地，并且通过加密技术保护传输的需要用来计算评估数据的数据，传输给中心设备的数据是密态的，保护了原始数据的隐私信息。
[0151]
由于传输的数据仅仅是一些密态的中间计算结果数据，因此，中心设备的密文计算复杂度降低。直接将多个数据方总大小为l的原始数据全部加密上传至密文计算引擎进行计算，密文计算复杂度为：1.统计所有数据方的正负例总数o(l*e
加法
)，其中排序算法o(llogl*e
比较
)；3.计算tp、fp o(l*e
比较
l*e
加法
l*e
除法
)；4.计算auc o(l*e
减法
l*e
乘法
)。结合上述4种操作的计算复杂度为o(2l*e
加法
l*e
减法
l*e
乘法
l*e
除法
(llogl l)*e
比较
)。而本技术的实施例中的评估数据计算方法的密文计算复杂度为：1.加和p个数据方di得到的正标签样本数量pi、负标签样本数量ni、tp列表tp_listi、fp列表fp_listio((2p 2n
bins
2)*e
加法
)；2.计算tpr、fpr o(2n
bins
*e
除法
)；3.计算auc o(2n
bins
*e
减法
n
bins
*e
乘法
2n
bins
*e
加法
)。结合上述3种操作的计算复杂度为o((2p 4n
bins
2)*e
加法
2n
bins
*e
减法
n
bins
*e
乘法
2n
bins
*e
除法
)。由上述分析可以了解到，本技术实施例中的模型评估方法的计算量相对更低，计算难度也相对更低。
[0152]
基于同一申请构思，本技术实施例中还提供了与模型评估方法对应的模型评估装置，由于本技术实施例中的装置解决问题的原理与前述的模型评估方法实施例相似，因此本实施例中的装置的实施可以参见上述方法的实施例中的描述，重复之处不再赘述。
[0153]
请参阅图8，是本技术实施例提供的模型评估装置的功能模块示意图。本实施例中的模型评估装置中的各个模块用于执行上述方法实施例中的各个步骤。模型评估装置包括：获取模块510和计算模块520；其中各个模块如下所示：
[0154]
获取模块510，用于获取一个或多个数据方的初始密态数据组，该初始密态数据组中包括一项和多项初始密态数据；该初始密态数据为该数据方使用目标模型对本地样本集进行识别得的数据；
[0155]
计算模块520，用于根据该初始密态数据组，计算该目标模型的密态评估数据。
[0156]
一种可能的实施方式中，该初始密态数据包括：第一类样本数、第二类样本数、验证分布数据，计算模块520包括：第一计算单元、第二计算单元和确定单元。
[0157]
第一计算单元，用于根据该初始密态数据组中各项初始密态数据中的该第一类样本数、该第二类样本数和该验证分布数据，计算得到第一类样本总数、第二类样本总数、验证总分布数据；
[0158]
第二计算单元，用于根据该第一类样本总数、该第二类样本总数和该验证总分布数据，计算该目标模型验证的真假例率分布数据；
[0159]
确定单元，用于根据该真假例率分布数据，确定出该目标模型的密态评估数据。
[0160]
一种可能的实施方式中，该真假例率分布数据包括：真例率分布数据和假例率分布数据；确定单元，用于：
[0161]
根据该真例率分布数据和该假例率分布数据，构建该目标模型的受试者操作特征
曲线；
[0162]
根据该受试者操作特征曲线，计算该目标模型的密态评估数据。
[0163]
一种可能的实施方式中，第二计算单元，用于：
[0164]
根据该第一类样本总数和该验证总分布数据中的真正例数，确定出该真例率分布数据，该真正例数为所有的第一样本中被该目标模型判定为第一样本的数量；
[0165]
根据该第一类样本总数和该验证总分布数据中的假正例数，确定出该假例率分布数据，该假正例数为所有的第二样本中被该目标模型判定为第一样本的数量。
[0166]
一种可能的实施方式中，该初始密态数据包括：第一类样本数、第二类样本数和真假例率子数据；计算模块520，用于：
[0167]
根据该初始密态数据组的各组初始密态数据中的该第一类样本数、该第二类样本数和该真假例率子数据，确定出该目标模型的真假例率分布数据；
[0168]
根据该真假例率分布数据，确定出该目标模型的密态评估数据。
[0169]
一种可能的实施方式中，模型评估装置还包括：
[0170]
解密模块，用于对该密态评估数据进行解密处理，以得到该目标模型的明文评估数据。
[0171]
一种可能的实施方式中，模型评估装置还包括：传输模块，用于将该密态评估数据传输给数据需求方，以供该数据需求方根据该密态评估数据；该数据需求方包括：该数据方、第三方平台中的一方或多方平台。
[0172]
请参阅图9，是本技术实施例提供的模型评估方法的流程图。下面将对图9所示的具体流程进行详细阐述。本实施例中的模型评估方法与图3所示的模型评估方法类似，其不同之处在于，本实施例的方法应用于能够与中心设备通信的数据方。本实施例中的模型评估方法包括以下步骤。
[0173]
步骤610，使用目标模型对本地样本集进行验证，以得到初始密态数据。
[0174]
每一数据方的初始密态数据中可以包括第一类样本数、第二类样本数和验证分布数据。
[0175]
示例性地，各个数据方可以先计算出明文的第一类样本数、明文的第二类样本数和明文的验证分布数据，然后，将该第一类样本数、第二类样本数和验证分布数据进行加密处理，得到初始密态数据。
[0176]
该验证分布数据的确定方式可以为：各个数据方可以将其本地样本集中的各个样本输入目标模型中进行计算，以得到样本的预测概率，然后根据该预测概率以及预设的判定阈值确定出样本的预测值。该预测值可以是第一标签的值，也可以是第二标签的值。
[0177]
示例性地，可以第一样本的第一标签的值可以是1，第二样本的第二标签的值可以是0。
[0178]
在第i数据方中，可以将所有样本的标签的值相加，可以得到第一类样本数，该第一类样本数可以表示为pi，该第i数据方中所包含的本地样本集中的样本数量为li，第i数据方中的本地样本集中的第j个样本的标签可以表示为第一类样本数可以表示为：第二类样本数可以表示为：ni＝l
i-pi。
[0179]
本实施例中，数据方可以对使用目标模型对本地样本集进行了处理之后得到的数
据，进行加密处理，以得到初始密态数据。
[0180]
步骤620，将该初始密态数据发送给该中心设备。
[0181]
可选地，该初始密态数据包括：验证分布数据。如图10所示，步骤610可以包括：步骤611和步骤612。
[0182]
步骤611，使用目标模型对本地样本集进行验证，以得到样本预测数据。
[0183]
该本地样本集可以是数据方本地存储的用户数据。
[0184]
预测数据可以包括各个样本的预测概率。
[0185]
以第i个数据方的处理流程为例进行后续描述。其中，其他数据方也可以按照第i个数据方的处理流程对本地用户数据进行处理。
[0186]
可选地，可以将第i个数据方的li个样本分别输入目标模型中进行计算，以得到li个样本的预测概率，得到预测概率向量且第i个数据方的li个样本的标签向量可以表示为
[0187]
可选地，可以将第i个数据方的li个样本分别输入目标模型中进行计算，以得到li个样本的预测概率，并将li个样本的预测概率进行排序，得到预测概率向量可以按照li个样本的预测概率的排序，调整li个样本标签向量
[0188]
步骤612，根据预先设置的概率阈值，确定出该样本预测数据对应的验证分布数据。
[0189]
可以根据预先设定的多个判定阈值、预测概率向量以及样本标签向量，确定出验证分布数据。
[0190]
示例性地，可以将设置n
bins
项判定阈值，可以根据各项判定阈值和预测概率向量确定出验证分布数据。
[0191]
该验证分布数据可以包括：真正例数、假正例数、真负例数和假负例数。
[0192]
第i个数据方di可以将[0,1]等分n
bins
份，得到判定阈值列表份，得到判定阈值列表第i个数据方di可以根据判定阈值列表t和第i个数据方的预测概率y
′i，确定出数据方di对应的tp和fp，得到对应阈值列表的tp列表和fp列表
[0193]
本实施例中，可以在得到该tp列表tp_listi，和fp列表fp_listi后，对两个列表进行加密处理，得到密态的tp列表[tp_listi]，和密态的fp列表[fp_listi]。
[0194]
可选地，验证分布数据包括：真正例数、假正例数。如图11所示，步骤612可以包括：步骤6121至步骤6123。
[0195]
步骤6121，将该样本预测数据中的各项样本的样本预测值与预先设置的概率阈值进行比较。
[0196]
步骤6122，将该样本预测值大于该概率阈值的样本的验证结果确定为第一类样本集。
[0197]
步骤6123，根据该第一类样本集中各个样本的标签，确定出该真正例数和该假正例数。
[0198]
示例性地，可以从该第一类样本集中确定出标签为第一标签的样本数量为真正例数，可以从该第一类样本集中确定出标签为第二标签的样本数量为假正例数。
[0199]
若设置了多个判定阈值，针对每个判定阈值，可以通过步骤7121至步骤7123确定出每个判定阈值下的真正例数和假正例数。
[0200]
验证分布数据还可以包括：真负例数、假负例数。示例性地，可以将该样本预测值大于该概率阈值的样本的验证结果确定为第二类样本集，根据该第二类样本集中各个样本的标签，确定出真负例数和假负例数。
[0201]
可选地，可以通过以下方式对得到每个判定阈值下的tp和fp：
[0202]
将y
′i中的第j项预测概率与tj进行比较，若大于tj，则判断的标签值，若该的标签值为1，则将该tp加1；若大于tj，则判断的标签值，若该的标签值为0，则将该fp加1；
[0203]
进行了上述判断步骤后，将j重新赋值，令j＝j 1，其中该j的初始值为1；循环上述步骤，直到j的取值为li。
[0204]
示例性地，若得到的预测概率的向量y
′i是按照各个预测概率的大小进行排序后的预测向量。则第i数据方di对判定阈值列表t中的每个判定阈值tj都进行如下计算，得到每个判定阈值下的tp和fp：
[0205]
步骤a，模型预测概率向量y
′i和阈值tj进行比较y
′i》ti；
[0206]
步骤b，将y
′i》tj比较结果向量加和，得到判定阈值tj在预测概率向量y
′i的切分位置i＝sum(y
′i》tj)；
[0207]
步骤c，加和样本标签数据yi在切分位置之前的数据得到在阈值tj的条件下真正例数量tp＝sum(yi[:i])；
[0208]
步骤d，阈值tj在预测概率向量y
′i的切分位置i代表的是预测的正例数量(tp fp)，所以可得fp＝i-tp。
[0209]
示例性地，若得到的预测概率的向量y
′i未排序的预测向量。则第i数据方di对判定
阈值列表t中的每个判定阈值tj都进行如下计算，得到每个判定阈值下的tp和fp：
[0210]
步骤e，模型预测概率向量y
′i和阈值tj进行比较y
′i》ti；
[0211]
步骤f，将y
′i》tj比较结果向量加和，得到在判定阈值tj的条件下，预测正例数i＝sum(y
′i》tj)；
[0212]
步骤g，计算在阈值tj的条件下真正例数量数量其中为向量按元素进行的乘法；
[0213]
步骤h，由(tp fp)＝i，所以可得fp＝i-tp。
[0214]
在另一可选的实施方式中，该初始密态数据包括：验证分布数据。如图12所示，步骤610可以包括：步骤613至步骤615。
[0215]
步骤613，使用目标模型对本地样本集进行验证，以得到样本预测数据。
[0216]
其中，步骤613的实现方式可以与步骤611的实现方式类似，关于步骤613的具体实现方式，可以参阅步骤611中的描述，在此不再赘述。
[0217]
步骤614，根据预先设置的概率阈值，确定出该样本预测数据对应的验证分布数据。
[0218]
其中，步骤614的实现方式可以与步骤612的实现方式类似，关于步骤614的具体实现方式，可以参阅步骤612中的描述，在此不再赘述。
[0219]
步骤615，根据该验证分布数据，确定出真假例率子数据。
[0220]
示例性地，真假例率子数据可以是各个数据方中计算的真假例率。该真假例率子数据可以包括：真例率子数据和假例率子数据。
[0221]
示例性地，第i数据方的真例率子数据可以表示为：示例性地，第i数据方的真例率子数据可以表示为：第i数据方的假例率子数据可以表示为：其中，
[0222]
示例性地，在得到明文的真例率子数据和明文的假例率子数据后，可以对该明文的真例率子数据和明文的假例率子数据进行加密处理，得到第i数据方的密态的真例率子数据：以及得到第i数据方的密态的假例率子数据：
[0223]
通过上述步骤，可以将先在数据方进行一部分数据处理，可以在保证数据方的原始数据的安全性的情况下，还能够降低中心设备的数据处理量，从而提高中心设备处理确定出评估数据的效率。
[0224]
请参阅图13，是本技术实施例提供的模型评估方法的流程图。下面将对图13所示的具体流程进行详细阐述。本实施例中的模型评估方法与图3所示的模型评估方法类似，其不同之处在于，本实施例的方法应用于联邦系统，该联邦系统可以包括：一个或多个数据方和中心设备。本实施例中的模型评估方法包括以下步骤。
[0225]
步骤710，每个该数据方使用目标模型对本地样本集进行验证，以得到初始密态数据。
[0226]
步骤710的实现方式与前面实施例中的步骤610的实现方式类似，关于本实施例中的步骤710的其他细节，可以参与前面实施例中步骤610的描述，在此不再赘述。
[0227]
步骤720，数据方将该初始密态数据发送给中心设备。
[0228]
图中示出了两个数据方可以向该中心设备发送初始密态数据，在实际使用中，可以有更多的数据方将初始密态数据发送给中心设备。
[0229]
步骤730，中心设备根据包括一项或多项该初始密态数据的初始密态数据组，计算该目标模型的密态评估数据。
[0230]
步骤730的实现方式与前面实施例中的步骤420的实现方式类似，关于本实施例中的步骤730的其他细节，可以参与前面实施例中步骤420的描述，在此不再赘述。
[0231]
通过上述方法，可以在数据方中处理本地样本集，不需要将本地样本集发送给中心设备，可以提高各数据方的本地样本集的安全性。在中心设备中又采用隐私计算方法对数据方提供的密态数据进行处理，也能够更好地保持各数据方的安全。
[0232]
此外，本技术实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的模型评估方法的步骤。
[0233]
本技术实施例所提供的模型评估方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的模型评估方法的步骤，具体可参见上述方法实施例，在此不再赘述。
[0234]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本技术的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基
于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0235]
另外，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
[0236]
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0237]
以上所述仅为本技术的优选实施例而已，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0238]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。