一种应用于隐私计算任务的资源协调系统的制作方法

1.本发明涉及隐私计算技术领域，具体是一种应用于隐私计算任务的资源协调系统。


背景技术：

2.目前，隐私计算技术正处于快速迭代的发展阶段，可解决企业和机构面临的数据合规难题，为数据安全制度落地提供有力的技术支撑。然而，隐私计算在安全、性能和数据的互联互通等方面仍存在挑战，这些难题在一定程度上制约了隐私计算的推广和应用。由于隐私计算交叉融合了密码学、人工智能、计算机硬件等众多学科，逐渐形成以多方安全计算、联邦学习、可信执行环境为代表，混淆电路、秘密分享、不经意传输等作为底层密码学技术，同态加密、零知识认证、差分隐私等作为辅助技术的相对成熟的技术体系，为数据安全合规流通提供了技术保障。多种学科的融合，也间接的造成隐私计算目前也没有通用的技术框架。
3.综上所述为了解决现有存在的问题，我们提出一种应用于隐私计算任务的资源协调系统。


技术实现要素：

4.本发明的目的在于提供一种应用于隐私计算任务的资源协调系统，以解决隐私计算过程中资源管理和协调，通过节点资源管理模块、数据资源管理模块、算法资源管理模块、模型资源管理模块、服务资源管理模块该发明比较完整的定义了隐私计算技术框架中的相关资源管理。
5.为实现上述目的，本发明提供如下技术方案：一种应用于隐私计算任务的资源协调系统，包括：
6.节点资源管理模块，所述节点资源管理模块用于对执行节点发现、注册管理调以及信息存证；
7.数据资源管理模块，所述数据资源管理模块用于控制节点资源管理模块的数据接入；
8.算法资源管理模块，所述算法资源管理模块用于进行节点资源的算法资源管理；
9.模型资源管理模块，所述模型资源管理模块用于对及节点资源中的模型资源进行管理；
10.服务资源管理模块，所述服务资源管理模块用于对节点资源构建服务创建、版本管理、服务监控和测试。
11.作为本发明的一种优选实施方案，所述节点资源管理模块包括：
12.节点注册子模块，所述节点注册子模块用于进行注册；
13.节点发现子模块，所述节点发现子模块用于发现接节点；
14.节点授权交易子模块，所述节点授权交易子模块用于进行节点的授权以及交易操
作；
15.信息存证子模块，用于进行信息存证。
16.作为本发明的一种优选实施方案，所述节点注册子模块注册的节点包括数据节点、计算节点和调度节点。
17.作为本发明的一种优选实施方案，所述数据资源管理模块包括：
18.结构化数据子模块，所述结构化数据子模块用于接入结构化数据；
19.半结构化数据子模块，所述半结构化数据子模块用于接入半结构化数据；
20.非架构化数据子模块，所述非结构化数据子模块用于接入非架构化数据；
21.二进制数据子模块，所述二进制数据子模块用于接入二进制数据。
22.作为本发明的一种优选实施方案，所述算法资源管理模块包括：
23.算法创建子模块，所述算法创建子模块用于创建算法；
24.算法版本管理子模块，所述算法版本管理子模块用于管理算法版本；
25.算法上架审核子模块，所述算法上架管理子模块用于对上架算法进行审核；
26.算法下架子模块，所述算法下架子模块用于下架算法；
27.算法使用记录子模块，所述算法使用记录子模块用于记录算法的使用情况。
28.作为本发明的一种优选实施方案，所述模型资源管理模块包括：
29.模型创建子模块，所述模型创建子模块用于创建算法模型；
30.模型版本管理子模块，所述模型版本管理子模块用于管理模型版本；
31.模型使用记录子模块，所述模型使用记录子模块用于记录模型使用情况。
32.作为本发明的一种优选实施方案，所述服务资源管理模块包括：
33.服务创建子模块，所述服务创建子模块用于创建服务项目；
34.服务版本管理子模块，所述服务版本管理子模块用于管理服务版本；
35.服务监控子模块，所述服务监控子模块用于监控服务运行情况。
36.作为本发明的一种优选实施方案，所述服务资源管理模块还包括测试子模块，所述测试子模块用于进行服务测试。
37.作为本发明的一种优选实施方案，所述测试子模块采用ab测试方案进行测试。
38.作为本发明的一种优选实施方案，在任务调度时的资源分配中，在资源管理中每个节点可以自定义自身的最小可使用资源单位。
39.与现有技术相比，本发明的有益效果是：本发明解决隐私计算过程中资源管理和协调，通过节点资源管理模块、数据资源管理模块、算法资源管理模块、模型资源管理模块、服务资源管理模块该发明比较完整的定义了隐私计算技术框架中的相关资源管理。
附图说明
40.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。
41.图1为本发明的系统框图。
42.图2为本发明的任务调度时的资源分配原理图。
具体实施方式
43.为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
44.本发明提供一种应用于隐私计算任务的资源协调系统，包括：
45.节点资源管理模块100，所述节点资源管理模块100用于对执行节点发现、注册管理调以及信息存证；
46.数据资源管理模块200，所述数据资源管理模块200用于控制节点资源管理模块100的数据接入；
47.算法资源管理模块300，所述算法资源管理模块300用于进行节点资源的算法资源管理；
48.模型资源管理模块400，所述模型资源管理模块400用于对及节点资源中的模型资源进行管理；
49.服务资源管理模块500，所述服务资源管理模块500用于对节点资源构建服务创建、版本管理、服务监控和测试。
50.进一步的，所述节点资源管理模块100包括：
51.节点注册子模块，所述节点注册子模块用于进行注册；
52.节点发现子模块，所述节点发现子模块用于发现接节点；
53.节点授权交易子模块，所述节点授权交易子模块用于进行节点的授权以及交易操作；
54.信息存证子模块，用于进行信息存证。
55.进一步的，所述节点注册子模块注册的节点包括数据节点、计算节点和调度节点。
56.进一步的，所述数据资源管理模块200包括：
57.结构化数据子模块，所述结构化数据子模块用于接入结构化数据，所述结构化数据具体涉及关系型数据库：mysql、mariadb、oracle、 sqlserver、oceanbase、tidb等；
58.半结构化数据子模块，所述半结构化数据子模块用于接入半结构化数据，所述半结构化数据包括：
59.files：csv、excel、txt、json、xml等
60.api
61.hdfs：hive、hbase等
62.nosql：redis、mongodb、es、kafka等；
63.非架构化数据子模块，所述非结构化数据子模块用于接入非架构化数据，所述非结构化数据包括：
64.email
65.文档：word、pdf等
66.图数据：neo4j等；
67.二进制数据子模块，所述二进制数据子模块用于接入二进制数据，所述二进制收据包括files：
68.图像、音频、视频
69.hdfs
70.对象数据库：s3、ceph等。
71.进一步的，所述算法资源管理模块300包括：
72.算法创建子模块，所述算法创建子模块用于创建算法；
73.算法版本管理子模块，所述算法版本管理子模块用于管理算法版本；
74.算法上架审核子模块，所述算法上架管理子模块用于对上架算法进行审核；
75.算法下架子模块，所述算法下架子模块用于下架算法；
76.算法使用记录子模块，所述算法使用记录子模块用于记录算法的使用情况。
77.进一步的，所述模型资源管理模块400包括：
78.模型创建子模块，所述模型创建子模块用于创建算法模型；
79.模型版本管理子模块，所述模型版本管理子模块用于管理模型版本；
80.模型使用记录子模块，所述模型使用记录子模块用于记录模型使用情况。
81.进一步的，所述服务资源管理模块500包括：
82.服务创建子模块，所述服务创建子模块用于创建服务项目；
83.服务版本管理子模块，所述服务版本管理子模块用于管理服务版本；
84.服务监控子模块，所述服务监控子模块用于监控服务运行情况。
85.进一步的，所述服务资源管理模块500还包括测试子模块，所述测试子模块用于进行服务测试；所述测试子模块采用ab测试方案进行测试，本方案中所述ab测试是为web或app界面或流程制作两个(a/b)或多个(a/b/n)版本，在同一时间维度，分别让组成成分相同(相似)的访客群组(目标人群)随机的访问这些版本，收集各群组的用户体验数据和业务数据，最后分析、评估出最好版本，正式采用；其一般实施步骤如下：
86.1.现状分析：分析业务数据，确定当前最关键的改进点。
87.2.假设建立：根据现状分析作出优化改进的假设，提出优化建议。
88.3.设定目标：设置主要目标，用来衡量各优化版本的优劣；设置辅助目标，用来评估优化版本对其他方面的影响。
89.4.界面设计：制作2(或多)个优化版本的设计原型。
90.5.技术实现：
91.网站、app(android/ios)、微信小程序和服务器端需要添加各类a/b测试平台提供的sdk代码，然后制作各个优化版本。
92.web平台、android和ios app需要添加各类a/b测试平台提供的sdk代码，然后通过编辑器制作各个优化版本。
93.通过编辑器设置目标，如果编辑器不能实现，则需要手工编写代码。
94.使用各类a/b测试平台分配流量。初始阶段，优化方案的流量设置可以较小，根据情况逐渐增加流量。
95.6.采集数据：通过各大平台自身的数据收集系统自动采集数据。
96.7.分析a/b测试结果：统计显著性达到95％或以上并且维持一段时间，实验可以结束；如果在95％以下，则可能需要延长测试时间；如果很长时间统计显著性不能达到95％甚至90％，则需要决定是否中止试验。
97.进一步的，在任务调度时的资源分配中，在资源管理中每个节点可以自定义自身
的最小可使用资源单位，在资源管理中每个节点可以自定义自身的最小可使用资源单位,这里我们用slot标识,如图某个节点对自己内部的计算服务的总资源[memory:32gb；kernel:16 cpu]进行切分成16个slot其中每个slot代表[memory:2gb；kernel: 1cpu],注意slot是允许小数点的,资源切分剩余不足一个slot可以表示为0.x个slot的。这时一个大小为[memory:7gb；kernel: 2cpu],这时经计算该节点剩余资源为8slot,而该任务所需slot 为4,则该节点的资源将剩余分配4slot出去。而有任务结束时其占有的slot也将被释放。
[0098]
实施例：请参阅图1-2，一种应用于隐私计算任务的资源协调系统，包括：
[0099]
节点资源管理模块100，所述节点资源管理模块100用于对执行节点发现、注册管理调以及信息存证；
[0100]
数据资源管理模块200，所述数据资源管理模块200用于控制节点资源管理模块100的数据接入；
[0101]
算法资源管理模块300，所述算法资源管理模块300用于进行节点资源的算法资源管理；
[0102]
模型资源管理模块400，所述模型资源管理模块400用于对及节点资源中的模型资源进行管理；
[0103]
服务资源管理模块500，所述服务资源管理模块500用于对节点资源构建服务创建、版本管理、服务监控和测试；
[0104]
在本实施例中，资源管理主要用于管理机构或个人拥有的资源，包括但不限于节点、数据、算法、模型、服务等，资源管理 (resourcemanager)模块管理着隐私计算平台相关资源信息，在隐私计算平台调度服务调度的时候返回可用的资源给到调度服务调度进行任务计算。计算服务的上报引擎也会实时将任务的资源使用实况上报给调度服务发的资源管理模块,由资源管理模块去更新调度服务本地的可用资源表项；通过节点资源管理模块100发现节点，并对节点进行注册；同时授权节点的使用以及交易，并通过将节点使用情况进行信息存证；在数据接入中，通过数据资源管理模块200讲数据按结构化数据、半结构化数据、非结构化数据和二进制数据分享接入；针对算法资源管理，通过算法资源管理模块300执行算法创建，版本信息管理，上架审核，下架审核并在各项进行的时候记录使用情况；针对模型资源，通过模型资源管理模块400管理模型的创建爱你、模型服务版本管理同时对模型使用情况进行记录；对于服务资源通过服务资源管理模块500，对服务资源创建、版本管理，并对服务的使用进行监控，同时还可对其进行ab测试。
[0105]
示例性的，处理器从存储器中逐条取出指令、分析指令，然后根据指令要求完成相应操作，产生一系列控制命令，使计算机各部分自动、连续并协调动作，成为一个有机的整体，实现程序的输入、数据的输入以及运算并输出结果，这一过程中产生的算术运算或逻辑运算均由运算器完成；所述存储器包括只读存储器(read-only memory，rom)，所述只读存储器用于存储计算机程序，所述存储器外部设有保护装置。
[0106]
示例性的，计算机程序可以被分割成一个或多个模块，一个或者多个模块被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在终端设备中的执行过程。
[0107]
本领域技术人员可以理解，上述服务设备的描述仅仅是示例，并不构成对终端设
备的限定，可以包括比上述描述更多或更少的部件，或者组合某些部件，或者不同的部件，例如可以包括输入输出设备、网络接入设备、总线等。
[0108]
所称处理器可以是中央处理单元(central processing unit， cpu)，还可以是其他通用处理器、数字信号处理器(digital signalprocessor，dsp)、专用集成电路(application specific integratedcircuit，asic)、现成可编程门阵列(field-programmable gate array， fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，上述处理器是上述终端设备的控制中心，利用各种接口和线路连接整个用户终端的各个部分。
[0109]
上述存储器可用于存储计算机程序和/或模块，上述处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现上述终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如信息采集模板展示功能、产品信息发布功能等)等；存储数据区可存储根据泊位状态显示系统的使用所创建的数据(比如不同产品种类对应的产品信息采集模板、不同产品提供方需要发布的产品信息等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card，smc)，安全数字(securedigital，sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0110]
终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例系统中的全部或部分模块/单元，也可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个系统实施例的功能。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。
[0111]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0112]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。