数据处理方法、系统、设备及存储介质与流程

1.本发明涉及通信技术领域，特别涉及一种数据处理方法、系统、设备及存储介质。


背景技术：

2.随着通信技术的发展，数据的收集变得越来越容易，网络用户能够分析处理的数据越来越多。在数据处理设备模型训练质量的角度而言，用于模型训练的数据量越大，则模型的精度和泛化指标越良好。目前，数据处理设备会根据需要，通过网络从不同的数据控制设备获取原始采集数据以训练模型，其中，不同的数据控制设备可以遍布在不同地区且用于采集并存储其所在区域的数据。比如，不同地区的电力物联网系统可以理解为不同的数据控制设备，而电力物联网系统用于实际执行电力调度方案的电子设备可以理解为数据处理设备；又比如，不同地区的医疗系统可以理解为不同的数据控制设备，医疗系统的调度部门可以理解为数据处理设备。
3.由于数据处理设备能够接触到由数据控制设备上传的大量的原始采集数据，可能导致一系列问题，譬如个人隐私信息或者地区的机密信息被泄露等。


技术实现要素：

4.本发明实施例的目的在于提供一种数据处理方法、系统及存储介质。
5.为解决上述技术问题，本发明的实施例提供了一种数据处理方法，应用于数据处理设备，数据处理设备分别与n个数据控制设备通信连接；方法包括：接收n个数据控制设备上传的n个中间模型；其中，n个中间模型由n个数据处理设备利用本地的训练数据对待训练基础模型进行训练得到；根据n个中间模型生成综合模型。
6.本发明的实施例还提供了一种数据处理方法，应用于数据控制设备，数据控制设备与数据处理设备通信连接；方法包括：利用本地的训练数据训练待训练基础模型，得到中间模型；将中间模型上报至数据控制设备，供数据控制设备生成综合模型。
7.本发明的实施例还提供了一种模型训练系统，包括：设置在数据处理设备中的中心模块以及分别设置在n个数据控制设备的n个代理模块；其中，中心模块与n个代理模块分别通信连接；中心模块，用于接收n个数据控制设备上传的n个中间模型；其中，n个中间模型由n个数据处理设备利用本地的训练数据对待训练基础模型进行训练得到；根据n个中间模型生成综合模型；代理模块，用于利用本地的训练数据训练待训练基础模型，得到中间模型；将中间模型上报至数据控制设备，供数据控制设备生成综合模型。
8.本发明的实施例还提供了一种设备，包括：至少一个处理器，以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上述的数据处理方法。
9.本发明的实施例还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现如上述的数据处理方法。
10.本发明实施例相对于现有技术而言，首先由n个数据控制设备分别利用存储的训
练数据对待训练基础模型进行训练得到中间模型，然后n个数据控制设备分别将训练得到的中间模型上传至数据处理设备，数据处理设备将接收到的n个中间模型进行融合得到综合模型。在模型的整体训练过程中，数据处理者并不直接接触任何训练数据，避免了隐私数据的泄露风险。同时，模型仍能够利用所有数据控制设备的数据来进行训练，不影响训练所得综合模型的精度和泛化指标。
附图说明
11.一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定。
12.图1是根据本发明第一实施例中应用于数据处理设备的数据处理方法的流程图；
13.图2是根据本发明第二实施例中应用于数据处理设备的数据处理方法的流程图；
14.图3是根据本发明第三实施例中应用于数据控制设备的数据处理方法的流程图；
15.图4是根据本发明第四实施例中应用于数据控制设备的数据处理方法的流程图；
16.图5是根据本发明第五实施例中应用于数据控制设备的数据处理方法的流程图；
17.图6是根据本发明第五实施例中应用于数据控制设备的数据处理方法的流程图；
18.图7是根据本发明第六实施例中模型训练系统的结构示意图；
19.图8是根据本发明第七、八实施例中数据控制设备的结构示意图。
具体实施方式
20.为了使本技术的目的、技术方案及优点更加清楚明白，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施例中，为了使读者更好地理解本技术而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本技术所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个是合理在不矛盾的前提下可以相互结合相互引用。
21.需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
22.本发明的第一实施例涉及一种数据处理方法，应用于数据处理设备，数据处理设备是用于利用经过海量数据训练后的模型来进行数据分析处理的终端设备；数据控制设备是用于模型训练以及对存储数据进行管理的终端设备。本实施例中所提到的训练数据分别分布在n个数据控制设备中，n为大于等于1的自然数。数据处理设备分别与n个数据控制设备通信连接；数据处理设备接收n个数据控制设备上传的n个中间模型；其中，n个中间模型由n个数据控制设备利用本地的训练数据对待训练基础模型进行训练得到；根据n个中间模型生成综合模型。
23.下面结合附图对本实施例中数据处理方法的实施细节进行具体的说明，以下内容仅为方便理解提供的实施细节，并非实施本方案的必须。本实施例可以广泛应用在分布式数据存储的架构中，用来保证大量数据的数据隐私安全；分布式数据存储结构可以用来存
储医疗系统中的病患信息、教育系统中的学生信息、交通预测系统中的车辆信息、电力系统中的环境数据等。以电网架构为例，不同地区具有独立的电力物联网系统，电力物联网系统是基于物联网设备构成的，通过读取并保存摄像头、声音传感器、气体传感器、温度湿度传感器、压力传感器、光传感器、磁场传感器、运动传感器、rfrd射频识别系统以及gps终端等物联网设备所采集的信息，来实现该地区内的电力调度。由于电力系统调度需要合理的调度方案，因此采用大量数据来训练出一个电力调度模型作为调度方案能够大大提升电网的使用效率。在现有技术中，电力物联网系统获取各地区的特征数据，并利用获取到的各地区的特征数据训练模型；但特征数据传输中存在数据泄密风险。
24.数据处理设备既可以是独立于数据控制设备的另一设备，也可以是从多个数据控制设备中选出的一个数据控制设备，选出的该数据控制设备执行数据处理设备的功能。同样以电力物联网系统为例，可以将各个地区的电力物联网系统作为数据控制设备，电力调度部门中负责执行电力调度方案的电子设备可以是与各个地区的电力物联网系统完全独立的一个设备；或者，也可以从各个地区的电力物联网系统中选定一个电力物联网系统作为电力调度部门，即执行数据处理设备的功能。如果数据处理设备是从多个数据控制设备中选择出来的，可以通过预设的规则来挑选出合适的数据控制设备作为数据处理设备，例如选硬件性能最佳的数据控制设备来作为数据处理设备。
25.本实施例中的数据处理方法的执行主体为数据处理设备，具体流程如图1所示，包括：
26.步骤101，通过网络接收n个数据控制设备上传的n个中间模型。
27.具体地说，数据处理设备接收的n个中间模型分别由n个数据控制设备训练得到。训练用的数据分布在n个数据控制设备中，各数据控制设备分别利用本地存储的训练数据对待训练基础模型进行训练，得到中间模型后将中间模型上传至数据处理设备。其中，待训练基础模型可以由数据处理设备预先通过模型训练任务携带并下发至数据控制设备，模型训练任务用于指示数据控制设备进行模型训练。
28.待训练基础模型步骤102，基于融合算法，将n个中间模型融合生成综合模型。
29.具体地说，由于各个数据控制设备所存储的训练数据不同，因此训练所得到的中间模型的精度与泛化指标也有差异，为了得到一个精度与泛化指标均能够满足需求的模型，数据处理设备将n个中间模型进行融合，来生成得到最终用于进行数据分析处理的综合模型。与现有技术相比，本实施例中用于模型训练的训练数据以去中心化的方式根据数据的主体分别存储在不同的数据控制设备中，将模型训练的过程设置由数据控制设备进行，数据处理设备仅进行综合模型的融合生成而无法直接接触到数据控制设备所管理的训练数据，从而使得训练数据实现了物理隔离，有效地达到了数据隐私保护的目的。同时，用于模型训练的训练数据总量没有发生改变，最终用于数据处理设备所获得的模型的精度和泛化指标也能够得到保证。
30.本发明的第二实施例涉及一种数据处理方法，本实施例的执行主体为数据处理设备。在本实施例中，数据处理设备会在生成综合模型后对综合模型的精度等指标进行评估。
31.下面结合附图对本实施例中数据处理方法的实施细节进行具体的说明，具体流程如图2所示，包括：
32.步骤201，通过网络向n个数据控制设备下发模型训练任务。
33.具体的说，数据处理设备向数据控制设备下发用于指示数据控制设备进行模型训练的模型训练任务，模型训练任务中包含以下至少其中之一：策略指导信息、待训练基础模型。策略指导信息用于指导所述数据处理设备确定训练所述待训练基础模型所采用的训练策略。
34.在一个例子中，模型训练任务中的策略指导信息由解析后的操作指令构成。数据处理设备在向n个数据控制设备下发模型训练任务之前，会根据预存的数据字典与数据控制设备的映射关系，确定n个数据控制设备对应的数据字典。然后根据数据控制设备对应的数据字典解析预设的操作指令，得到策略指导信息。
35.进一步地说，解析后的操作指令为操作原语，例如：
36.进行冗余数据移除操作的原语：数据表名：username；冗余数据移除比例：自适应冗余数据移除参数：value1,value2；期望完成时间：1秒；
37.执行压缩点生成操作的原语：执行数据表：userinfo；压缩比率设置：自适应；期望完成时间：1秒；
38.执行某数据表的数据训练操作的原语为：数据表名：userinfodemo字段列表：f1、f2、f3；标签字段：l；算法：逻辑回归；期望完成时间：10秒。
39.由于在实际应用中各个数据控制设备的数据主体不同，所以各个数据控制设备所能够识别的操作原语的类型也不相同。因此数据处理设备在解析预设的操作指令之前，需要获取各个数据控制设备的数据字典，然后并将数据控制设备与数据字典之间的映射关系进行保存，当数据处理设备对预设的操作指令进行解析时，会在数据控制设备与数据字典之间的映射关系查找对应的数据字典，然后将操作指令转换为数据控制设备能够识别的操作原语，使得数据处理设备能够兼容所有不同的数据控制设备。
40.步骤202，通过网络接收n个数据控制设备上传的n个中间模型。
41.该步骤与本发明第一实施例中的步骤101类似，相关的实施细节已在第一实施例中具体说明，在此不再赘述。
42.步骤203，基于融合算法，将n个中间模型融合生成综合模型。
43.具体地说，本实施例中，数据处理设备根据预设的融合算法来合并数据控制设备上传的各中间模型，具体的合并过程收到融合参数的影响。
44.在一个例子中，数据处理设备在合并中间模型前接收到数据控制设备上传的n个中间模型的训练策略，中间模型的训练策略是指对所述待训练基础模型进行训练所采用的训练策略。在中间模型合并的过程中，首先根据n个中间模型的训练策略确定n个中间模型在预设的融合算法中的融合参数。然后根据n个中间模型的融合参数以及融合算法将n个中间模型进行融合，得到综合模型。数据处理设备在合并中间模型时，将数据处理设备中间模型的训练策略纳入考量，根据中间模型的训练策略确定各中间模型在融合算法中的融合参数，使得模型最终的精度以及泛化指标受到数据控制设备的实际训练策略的影响，可以提高融合得到的综合模型的准确度。
45.在另一个例子中，数据控制设备可以在向数据处理设备上传中间模型的同时上传训练策略，即，数据处理设备同时接收到中间模型以及中间模型的训练策略。
46.在一个例子中，融合算法可以采用加权算法，此时融合参数为各个中间模型在加权算法中的权重值，各个中间模型的权重值根据训练策略来确定。当数据控制设备所采用
的训练策略为单一策略时，则仅根据单一的训练策略来确定各个中间模型在加权算法中的权重值；若采用多种策略来进行模型训练，则综合考虑各个训练策略来确定各个中间模型在加权算法中的权重值。采用加权算法能够使得融合所得的综合模型具有更好的精度。
47.进一步说，中间模型的训练策略可以包括：隐私保护策略、数据训练策略、压缩点生成策略、冗余数据移除策略、性能指标比计算策略以及自适应资源分配策略。
48.数据控制设备可以采用性能指标比计算策略来获取各个数据控制设备当前的可用硬件资源指标。该策略通过使用系统api监控当前数据控制设备的各种可用资源，例如网络带宽，硬盘i/o情况，cpu使用率等，来获得当前数据控制设备的性能指标。为了获得当前数据控制设备相对于其他数据控制设备的性能状况，更好的提高整体系统的效率。代理模块会将本地的硬件资源状况定时发送给数据处理设备，数据处理设备汇总所有的资源指标之后，计算出每个代理模块的相对资源指标，即性能指标比，最后发送回数据控制设备。当使用加权算法时进行模型融合时，若数据控制设备的性能指标比较高，则会使数据控制设备训练所得的中间模型在融合算法中的权重值较高。
49.此外，若数据控制设备在进行中间模型的训练时还采用了其他的训练策略，例如用于对数据进行压缩的压缩点生成策略。压缩点包括两种，分别是粗粒度压缩点和细粒度压缩点。其中一个粗粒度压缩点对应着多个细粒度压缩点，当粗粒度压缩点不足以判断当前压缩点对于融合参数更新的影响时，则计算该粗粒度压缩点对应的细粒度压缩点，得到更加精确的融合参数。
50.在一个例子中，采用的融合算法为加权算法，基于中间模型的训练策略设置中间模型的权重值，可以包括如下方式：对于采用了压缩点生成策略训练得到的中间模型而言，其权重值可以设置得相对低一些；或者，对于两个中间模型，如果都采用了压缩点生成策略训练得到，采用细粒度压缩点方式训练得到的中间模型，相对于采用粗粒度压缩点方式训练得到的中间模型而言，权重值要设置得更小些。
51.下面对本实施例中所提到的其他训练策略进行说明：
52.数据训练策略：可以指定代理模块进行数据训练时所用的算法，并且执行该算法。该策略的具体选择多种多样，比如选择卷积神经网络，逻辑回归，强化学习等算法。数据控制者可以依据需要自行设定，同时也接受数据处理设备发送的策略指导信息。首先，该策略需要确定当前的训练策略，确定当前需要使用的数据训练算法。然后按照设定调配资源，进行训练操作。通过数据训练策略最终可以生成的中间模型。
53.冗余数据移除策略：利用压缩点生成策略生成的粗粒度压缩点和细粒度压缩点进行冗余数据移除策略。首先计算出所有粗粒度压缩点对数据训练参数更新的影响值，依据这个影响值来判断这个压缩点的数据是否冗余。遍历所有的粗粒度压缩点，保留影响值较大的压缩点。同时对于影响值较小的粗粒度压缩点进行细粒度压缩，生成多个细粒度压缩点，然后判断当前细粒度压缩点的对于参数更新的影响值，去除冗余数据，保留有价值的数据。
54.自适应资源分配策略：利用当前数据控制设备的性能指标比来计算当前代理模块进行数据训练时所应当使用的资源以及训练数据量。本策略可以解决代理模块之间数据训练进度不同步的问题，实现了总体的训练效率的提升。
55.步骤204，对所述综合模型进行评估，判断综合模型的精度是否满足预设阈值；若
综合模型的精度满足预设阈值，则保留综合模型；若综合模型的精度不满足预设阈值，则执行步骤201。
56.具体地说，为了使得最终用于数据分析处理的综合模型能够满足需求。在数据处理设备合并中间模型得到综合模型后，会对综合模型进行评估，判断模型的精度或泛化指标等是否满足预设的阈值。当综合模型的精度满足预设阈值时，则保留所述综合模型，可以将该综合模型下发给各数据控制设备，数据控制设备可以采用该综合模型来进行数据分析处理。当综合模型的精度不满足预设阈值时，则将该综合模型作为待训练基础模型加入到模型训练任务中下发至数据控制设备，供数据控制设备再次进行模型训练，以进一步提高模型的精度或泛化指标等。
57.在具体的实现中，当本实施例应用在不同业务场景下时，模型精度评估方式不定相同，如果是指标预测场景，可采用rmse(均方根误差)、mae(平均绝对误差)、r方等评估指标；如果是分类场景，可采用精确率、召回率、准确率、错误率、f1等评估指标；如果是聚类，可采用davies-bouldin index(戴维森堡丁指数)、dunn validity index(邓恩指数)等评估指标。上述指标只是纯数学方面的，实际应用中，精度评估指标有很多变种，例如下文提到的关于电力物联网系统的应用场景中，可以采用一段时间内无效发电量的波动率来作为电力方案的评估指标。从电力系统的特点上来说，即，当电力系统在一段时间内的无效发电量较小，且没有大的起伏的情况下，则表示作为综合模型的电力调度方案的精度较好。
58.在一个例子中，若模型训练任务中包含策略指导信息，数据处理设备在模型训练任务中加入之前生成的综合模型作为待训练基础模型的同时，可以继续沿用上一次模型训练任务中的策略指导信息；也可以根据数据分析处理的需求对策略指导信息进行修改，以更好地提高模型训练的效率以及训练所得的中间模型的精度或泛化指标。
59.下面以电力物联网系统为应用场景进一步对本实施例进行解释。
60.本例子中，数据处理设备是电力物联网系统中执行电力调度方案的电子设备；数据控制设备是不同地区的电力系统。
61.首先数据控制设备从数据处理设备处获取支持数据操作原语定义、数据处理者的接入识别符、策略描述符等信息；数据控制设备设置数据处理设备的等级、操作原语对应的执行动作流和数据获取屏蔽规则等策略；数据处理设备从多个数据控制设备获取数据字典信息。
62.数据处理设备以当前的电力调度方案作为待训练基础模型，以模型训练任务携带待训练基础模型发送至各个数据控制设备。具体的说，对于多个地区而言，由于其发电量是由本地区的电厂决定的，故需要对电力调度进行合理的分配，以适应普通民众的生活用电以及各种生产部门(例如工厂等)的生产用电。因此我们将默认的电力调度方案作为待训练基础模型，把待训练基础模型和任务启动信息发送至各个数据控制设备。
63.数据控制设备在接收到数据处理设备下发的待训练基础模型后，首先按照该模型中电力调度方法部署本地区的电力调度方案，这保证了每次数据控制设备获得了新的模型之后都能及时部署电力调度方案。然后根据模型训练任务中的策略指导信息以及本地的规则进行数据训练。其中使用的数据集为本地区电力物联网系统感知层收集到的信息；数据训练策略由数据控制设备自适应选择，可用的策略有以下几种：压缩点生成策略，冗余数据移除策略，性能指标比计算策略等；数据方法由数据处理设备统一指定，例如分类算法，聚
类算法，多层的神经网络算法等。
64.数据控制设备在进行了一次数据训练之后，得到了当前训练的中间模型以及训练使用的策略。首先数据控制设备对中间模型使用自适应隐私保护策略进行隐私保护操作，这样做的目的时为了防止本地的电力使用情况、电力调度方案在传输过程中泄露出去，导致隐私的不安全。然后每一个数据控制设备将本地的中间模型传输到数据处理设备，以便数据处理设备合并各个中间模型，保证最后获得的综合模型的泛化性。
65.接着数据处理设备合并模型并评测模型，当数据处理设备获得了当前所有的数据控制设备的中间模型之后，将中间模型合并，得到综合模型。利用数据处理设备的测试数据对综合模型(即电力调度方案)进行评测。如果综合模型符合要求，则将综合模型下发；否则再次下发模型训练任务，由数据控制设备根据新的策略指导信息重新训练出新的中间模型。
66.需要说明的是，本实施例中的上述各示例均为方便理解进行的举例说明，并不对本发明的技术方案构成限定。
67.与现有技术相比，本实施例中用于模型训练的训练数据以去中心化的方式根据数据的主体分别存储在不同的数据控制设备中，将模型训练的过程设置由数据控制设备进行，数据处理设备仅进行综合模型的融合生成而无法直接接触到数据控制设备所管理的训练数据。此外，在合并中间模型时，将中间模型的训练策略纳入考量，根据中间模型的训练策略确定各中间模型在融合算法中的融合参数，使得模型最终的精度以及泛化指标受到数据控制设备的控制，进一步提高了数据控制设备所存储数据的隐私安全性。
68.本发明的第三实施例涉及一种数据处理方法，应用于数据控制设备，数据控制设备是用于模型训练以及对存储数据进行管理的终端设备；数据处理设备是用于利用经过海量数据训练后的模型来进行数据分析处理的终端设备。本实施例中所提到的训练数据分别分布在n个数据控制设备中，n为大于等于1的自然数。数据控制设备与数据处理设备通信连接；所述方法包括：利用本地的训练数据训练待训练基础模型，得到中间模型；将中间模型上报至数据控制设备，供数据控制设备生成综合模型。
69.下面结合附图对本实施例中数据处理方法的实施细节进行具体的说明，以下内容仅为方便理解提供的实施细节，并非实施本方案的必须。
70.本实施例中的数据处理方法的执行主体为数据控制设备，具体流程如图3所示，包括：
71.步骤301，利用本地的训练数据训练待训练基础模型，得到中间模型。
72.具体地说，数据控制设备在本地存储着大量用于进行模型训练的训练数据。待训练基础模型是数据控制设备预存的初始模型，在向待训练基础模型输入训练数据进行训练后，得到中间模型。
73.在一个例子中，待训练基础模型由数据处理设备生成并下发，数据控制设备对待训练基础模型进行训练得到中间模型。
74.步骤302，将中间模型上报至数据处理设备，供数据处理设备生成综合模型。
75.具体地说，由于多个数据控制设备的数据主体不同，训练数据的样本也不同，因此不同的数据控制设备训练所得的中间模型的精度和泛化指标均有所差异。为了使数据处理设备最终采用的模型的精度以及泛化指标数据分析处理的需求，各数据控制设备将训练所
得的中间模型上传至数据处理设备，供数据处理设备将各中间模型进行合并来生成综合模型。
76.可以发现，本实施例是与本发明第一实施例以及第二实施例相互配合实施的、应用于数据控制设备的数据处理方法，在本发明第一实施例中所提到的技术细节在本实施例中也同样可以实现，为了减少重复，在这里不再赘述。
77.与现有技术相比，本实施例中用于模型训练的训练数据以去中心化的方式根据数据的主体分别存储在不同的数据控制设备中，将模型训练的过程设置由数据控制设备进行，数据处理设备仅进行综合模型的融合生成而无法直接接触到数据控制设备所管理的训练数据，从而使得训练数据实现了物理隔离，有效地达到了数据隐私保护的目的。同时，用于模型训练的训练数据总量没有发生改变，最终用于数据处理设备所获得的模型的精度和泛化指标也能够得到保证。
78.本发明的第四实施例涉及一种数据处理方法，本实施例与本发明第三实施例的主要区别在于，数据控制设备在利用训练数据对待训练基础模型进行训练时，会根据本地的策略执行规则来确定中间模型的训练策略，训练完成后，还会将训练所得的中间模型的训练策略上传至数据处理模块。
79.本实施例中的数据处理方法的执行主体为数据控制设备，具体流程如图3所示，包括：
80.步骤401，接收数据处理设备下发的模型训练任务。
81.具体地说，本实施例中，数据控制设备在训练待训练基础模型之前，接收数据处理设备下发的模型训练任务，模型训练任务中可以携带策略指导信息和待训练基础模型。当数据控制设备所训练的待训练基础模型由数据处理设备生成时，待训练基础模型由模型训练任务携带下发。
82.步骤402，利用本地的训练数据训练待训练基础模型，得到中间模型。
83.具体的说，当数据控制设备接收到模型训练任务后，若模型训练任务中仅包含策略指导信息，则根据策略指导信息以及本地预设的策略执行规则来确定出待训练基础模型的训练策略，此时待训练基础模型为数据控制设备本地预设的模型。
84.在一个例子中，若模型训练任务仅包含待训练基础模型，则数据控制设备根据本地预设的策略执行规则确定待训练基础模型的训练策略，然后根据训练策略对模型训练任务中的待训练基础模型进行训练。
85.在一个例子中，若模型训练任务中同时包含策略指导信息以及待训练基础模型，则数据控制设备同时根据策略指导信息以及本地预设的策略执行规则确定出待训练基础模型的训练策略，然后根据训练策略对模型训练任务中的待训练基础模型进行训练。
86.步骤403，将中间模型上报至数据处理设备，供数据处理设备生成综合模型。
87.具体的说，在本实施例中，数据控制设备将中间模型和中间模型的训练策略均上报至数据处理设备。数据控制设备可以预先将中间模型的训练策略上报至数据处理设备，也可以同时将中间模型以及中间模型的训练策略上报至数据处理设备。数据处理设备根据中间模型的训练策略确定出中间模型在融合算法中的融合参数。即，数据处理设备在合并中间模型时，将数据处理设备中间模型的训练策略纳入考量，根据中间模型的训练策略确定各中间模型在融合算法中的融合参数，使得模型最终的精度以及泛化指标受到数据控制
设备的实际训练策略的影响，进一步提高了数据控制设备所存储数据的隐私安全性。
88.本发明的第五实施例涉及一种数据处理方法，本实施例的执行主体为数据控制设备。本实施例与本发明第三实施例的区别在于，数据控制设备在生成中间模型后会对中间模型的精度进行评估，来判断是否继续训练出精度更高的中间模型来进行数据控制设备本地的数据分析处理。
89.下面结合附图对本实施例中数据处理方法的实施细节进行具体的说明，具体流程如图5所示，包括：
90.步骤501，利用本地的训练数据训练待训练基础模型，得到中间模型。
91.具体地说，本实施例中的初始的待训练基础模型是数据控制设备本地预设的，数据控制设备首先根据边缘智能的需求对本地预设的待训练基础模型进行训练，得到中间模型。
92.在一个实施例中，用于模型训练的训练策略包括：性能指标比计算策略、压缩点生成策略、冗余数据移除策略以及隐私保护策略等。其中，采用性能指标比计算策略能够更好地提高整体系统进行模型训练的效率；采用压缩点生成策略能够对训练数据进行压缩，压缩点有两种，包括：粗粒度压缩点和细粒度压缩点；冗余数据移除策略用来去除不必要的数据以提高模型训练的效率，具体的，首先需要判断所有的粗粒度压缩点对于融合参数更新的影响值，该影响值可以通过模型训练时融合参数获得，例如模型参数梯度，保留影响值高的粗粒度压缩点，去除影响值低的。对于那些不容易判断的压缩点，考虑其细粒度压缩点对于融合参数更新的影响值，保留影响值高的，去除影响值低的，最后得到了去除冗余数据的训练数据样本；采用隐私保护策略则在上传中间模型时，对中间模型进行隐私保护操作，例如进行中间模型的噪声添加操作。
93.数据处理模块可以在下发的模型训练任务中携带模型训练任务，从而实现指导数据处理设备确定训练待训练基础模型所采用的训练策略。但由于数据的具体训练过程仅受到数据控制设备的控制，因此策略指导信息只能起到参考作用，最终实际执行训练策略不一定完全满足数据处理设备的需求，因此数据控制设备本地的策略执行规则会对训练所得的中间模型的精度产生一定影响。
94.步骤502，将中间模型上报至数据处理设备，供数据处理设备生成综合模型。
95.具体地说，数据处理设备在每一次训练出中间模型后，均会将中间模型上传至数据处理设备由数据处理设备根据各个数据控制设备上传的中间模型来生成综合模型。
96.在一个例子中，在数据控制设备将中间模型上报至数据处理设备时，还会将本次对待训练基础模型进行训练所采用的训练策略也上传到数据处理设备，供数据处理设备根据训练策略来确定出中间模型在融合算法中的融合参数。以加权算法为例，融合参数为加权算法的权重值，在其他训练策略相同的前提下，根据性能指标比计算策略所确定的性能指标比会影响中间模型在加权算法中的权重值。
97.步骤503，对中间模型进行精度评估，判断中间模型的精度是否满足预设阈值；若中间模型的精度满足阈值，则保存中间模型进行数据分析处理；若中间模型的精度不满足阈值，则执行步骤504，向数据处理设备拉取综合模型。然后以拉取的综合模型作为待训练基础模型进行模型训练。
98.具体地说，在边缘智能的场景下，边缘智能节点均需要承担数据处理的责任，因此
本实施例中的数据控制设备除了利用本地的训练数据对待训练基础模型进行训练得到中间模型以外，还需要利用训练所得的中间模型来进行数据的分析处理。因此，各个数据控制设备均对本地的中间模型的精度或泛化指标有一定需求。在训练得到中间模型后，会对中间模型的精度等指标进行评估，当中间模型的精度满足阈值，则保存中间模型进行数据分析处理；当中间模型的精度不满足阈值，则向数据处理设备拉取综合模型，以拉取的综合模型作为待训练基础模型再次利用本地的训练数据进行模型训练。
99.在另一个例子中，当对中间模型进行精度评估后，中间模型的精度满足预设阈值时，本实施例中的数据处理方法如图6所示，包括：
100.步骤601，利用本地的训练数据训练待训练基础模型，得到中间模型。
101.该步骤与本实施例中的步骤601类似，相关的实施细节已经说明，在此不再赘述。
102.步骤602，当中间模型的精度满足预设阈值，对中间模型进行低精度处理，得到低精度的中间模型。
103.步骤603，将低精度的中间模型上报至数据处理设备。
104.具体的说，低精度模型的主要作用是在不泄露本地数据前提下，将训练出来的模型提交到中心模块，以保证最后训练模型的泛化性和准确性。而高精度模型则是边缘智能用于本地的预测，分类等实际用途中。
105.需要说明的是，本实施例中的上述各示例均为方便理解进行的举例说明，并不对本发明的技术方案构成限定。
106.与现有技术相比，本实施例中用于模型训练的训练数据以去中心化的方式根据数据的主体分别存储在不同的数据控制设备中，将模型训练的过程设置由数据控制设备进行，数据处理设备仅进行综合模型的融合生成而无法直接接触到数据控制设备所管理的训练数据。此外，数据处理设备在上传中间模型的同时会上传中间模型的训练策略，在合并中间模型时，将中间模型的训练策略纳入考量，根据中间模型的训练策略确定各中间模型在融合算法中的融合参数，使得模型最终的精度以及泛化指标受到数据控制设备的控制，进一步提高了数据控制设备所存储数据的隐私安全性。
107.本发明的第六实施例涉及一种数据处理系统，如图6所示，包括：
108.数据处理设备601，以及设置在数据处理设备中的中心模块6011；
109.分别设置在n个数据控制设备602的n个代理模块6021，其中，中心模块6011与n个代理模块分别通信连接。
110.中心模块6011，用于接收n个代理模块上传的n个中间模型；其中，n个中间模型由所述n个代理模块6021利用本地的训练数据对待训练基础模型进行训练得到；根据n个中间模型生成综合模型。
111.代理模块6021，用于利用本地的训练数据训练待训练基础模型，得到中间模型；将中间模型上报至中心模块6011，供所述中心模块6011生成综合模型。
112.本发明的第七实施例涉及一种数据处理设备，如图8所示，包括至少一个处理器801；以及，至少一个存储器802；其中，存储器802存储有可被至少一个处理器701执行的指令，指令被至少一个处理器801执行，以使至少一个处理器801能够执行第一或第二实施例中的数据处理方法。
113.其中，存储器802和处理器801采用总线方式连接，总线可以包括任意数量的互联
的总线和桥，总线将一个或多个处理器801和存储器802的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器801处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器801。处理器801负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器802可以被用于存储处理器801在执行操作时所使用的数据。
114.本发明的第八实施例涉及一种数据控制设备，同样如图8所示，包括至少一个处理器801；以及，至少一个存储器802；其中，存储器802存储有可被至少一个处理器801执行的指令，指令被至少一个处理器801执行，以使至少一个处理器801能够执行第一、二、第三、第四或第五实施例中的数据处理方法。
115.其中，存储器802和处理器801采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器801和存储器802的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器801处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器801。处理器801负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器802可以被用于存储处理器801在执行操作时所使用的数据。
116.本发明第八实施例涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
117.即，本领域技术人员可以理解，实现上述方法实施例中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
118.本领域的普通技术人员可以理解，上述是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。