一种基于云原生技术的建模实验系统的制作方法

1.本发明涉及云原生技术的建模技术领域，特别涉及一种基于云原生技术的建模实验系统。


背景技术：

2.建模是指把具体问题抽象成某一类问题并用数学模型表示，目的是得到某种数学模型能够解决某类问题，过程是通过算法、算法超参和数据计算得到数学模型。例如，一个佩戴口罩识别的算法和一组佩戴口罩图片，通过建模得到一种数学模型，用这种模型可以识别出一张图片是否佩戴口罩。一次实验n(》＝1)次建模，每一次的建模有相同的算法、数据和不同的算法超参，输出数学模型和指标，一次结束后开始下一次建模，直到n次，最后根据指标选择最优的数学模型，而cloud native翻译为云原生，是matt stine提出的一个概念，它是一个思想的集合，包括devops、持续交付、微服务、敏捷基础设施、康威定律等，以及根据商业能力对公司进行重组。cloud native既包含技术(微服务，敏捷基础设施)，也包含管理(devops，持续交付，康威定律，重组等)。cloud native也可以说是一系列技术、企业管理方法的集合。
3.然而现如今的建模实验系统存在一次实验n次建模，n值比较大时，完成实验所需要的时间就会较久，导致效率非常低，也难以对其中的单次建模进行暂停、恢复、停止和超时放弃等操作，总而言之，效率低，而且难以对单次建模进行更多特定的操作，无法提供一个稳定、高效和可控制的建模实验环境。
4.为解决上述问题。为此，提出一种基于云原生技术的建模实验系统。


技术实现要素：

5.本发明的目的在于提供一种基于云原生技术的建模实验系统，首先搭建的搭建kubernetes集群、搭建mysql集群和搭建ceph集群；然后，使用kbuilder快速创建kubernetes的crd：实验资源和建模资源，编写核心功能实验资源控制器与建模资源控制器，实验资源控制器监听实验资源和建模资源的状态变化并作出响应，建模资源控制器监听kubernetes原生的job资源并作出响应；其次，创建manager服务接收建模实验请求；其次，对实验请求进行参数验证，并保存到mysql；其次，创建scheduling服务获取mysql的实验请求，根据实验请求调用kubernetes创建实验资源；其次，创建webhook，注入下载容器和采集容器，分别用于下载算法容器所需要的数据及采集算法容器的结果上报manager，让算法容器专注于建模，而不用去处理数据来自ceph还是hive，以及往哪里上报结果，webhook还可以修改pod里面容器的入参来达到动态改变算法超参；其次，manager服务接收实验资源控制器与建模资源控制器的反馈结果，包括实验当前的状态，建模当前的状态和实验结束后的数据，并把结果保存到mysql和ceph，可以解决上述背景技术中提出的问题。
6.为实现上述目的，本发明提供如下技术方案：一种基于云原生技术的建模实验系统，包括以下步骤：
7.s1：算法镜像：使用docker把算法生成算法镜像，然后把算法镜像提交到仓库，有可以访问的算法镜像地址；
8.s2：数据地址：使用ceph或hive把数据保存下来，有可以访问的数据地址；
9.s3：算法超参：初始化的算法超参；
10.s4：建模控制配置：实验中建模的次数n，可同时执行的建模个数，实验最长执行时间，单次建模的最长时间，最多可失败的建模次数等；
11.s5：提交算法镜像、数据地址和建模控制配置到建模实验系统；
12.s6：建模实验系统提供接口进行查询实验的进展和结果，以及对实验中单个建模进行暂停、恢复和停止等操作。
13.进一步地，s1-s6的具体实施步骤如下：
14.s101：搭建集群；
15.s102：使用kbuilder快速创建kubernetes的crd：实验资源和建模资源，编写核心功能实验资源控制器与建模资源控制器，实验资源控制器监听实验资源和建模资源的状态变化并作出响应，建模资源控制器监听kubernetes原生的job资源并作出响应；
16.s103：创建manager服务接收建模实验请求；
17.s104：对实验请求进行参数验证，并保存到mysql；
18.s105：创建scheduling服务获取mysql的实验请求，根据实验请求调用kubernetes创建实验资源；
19.s106：创建webhook，注入下载容器和采集容器，分别用于下载算法容器所需要的数据及采集算法容器的结果上报manager，让算法容器专注于建模，而不用去处理数据来自ceph还是hive，以及往哪里上报结果，webhook还可以修改pod里面容器的入参来达到动态改变算法超参；
20.s107：manager服务接收实验资源控制器与建模资源控制器的反馈结果。
21.进一步地，s101中搭建的集群分别为搭建kubernetes集群、搭建mysql集群和搭建ceph集群。
22.进一步地，s102中实验资源crd有如下字段：实验类型、搜索空间、优化器配置、建模总数、实验最长执行时间、并行执行的建模个数和最多可失败几次建模。
23.进一步地，s102中建模资源crd有如下字段：暂停、恢复、放弃和完成后是否保留job资源。
24.进一步地，s105中因为有实验资源被创建，此时实验资源控制器会做出响应，根据实验资源内容创建出建模资源，并监听建模资源的状态变化做出响应，比如请求总共需要4个建模资源，同时执行的建模资源是2个，那实验资源控制器会先创建出2个建模资源，等待完成后再创建出2个。
25.进一步地，s105中因为有建模资源被创建，此时建模资源控制器会做出响应，根据建模资源内容创建出job资源，并监听job资源的状态变化做出响应，kubernetes根据job资源创建出相应的pod资源。
26.进一步地，pod资源内部有存储模块、数据筛分模块、下载容器模块、算法容器模块和收集容器模块构成，存储模块、数据筛分模块、下载容器模块、算法容器模块和收集容器模块依次相互连接。
27.进一步地，存储模块用于将job控制器传输的数据进行全部储存，然后数据筛分模块筛分出只是算法容器所需要的数据，再由下载容器模块下载，并被算法容器模块所运用，收集容器模块采集算法容器的结果并上报manager。
28.进一步地，s107中的反馈结果包括实验当前的状态，建模当前的状态和实验结束后的数据，并把结果保存到mysql和ceph。
29.与现有技术相比，本发明的有益效果是：
30.1.本发明提出的一种基于云原生技术的建模实验系统，通过扩展云原生技术功能，只需要简单的配置，就可以提高实验的效率，更快的完成实验，并且对实验中的建模有更多的控制能力，包括暂停、恢复和停止等，还能设置一次实验最长的执行时间和最多能有几次建模失败，总之，本发明的系统，能对建模实验提供一个稳定、高效和可控制的环境。
31.2.本发明提出的一种基于云原生技术的建模实验系统，创建webhook，注入下载容器和采集容器，分别用于下载算法容器所需要的数据及采集算法容器的结果上报manager；pod资源内部有存储模块、数据筛分模块、下载容器模块、算法容器模块和收集容器模块构成，存储模块用于将job控制器传输的数据进行全部储存，然后数据筛分模块筛分出只是算法容器所需要的数据，再由下载容器模块下载，并被算法容器模块所运用，收集容器模块采集算法容器的结果并上报manager让算法容器专注于建模，而不用去处理数据来自ceph还是hive，以及往哪里上报结果，webhook还可以修改pod里面容器的入参来达到动态改变算法超参。
附图说明
32.构成本技术的一部分的附图用来提供对本技术的进一步理解，使得本技术的其它特征、目的和优点变得更明显。本技术的示意性实施例附图及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
33.图1为本发明基于云原生技术的建模实验系统的整个系统流程框图；
34.图2为本发明基于云原生技术的建模实验系统的系统工作流程图；
35.图3为本发明基于云原生技术的建模实验系统的系统详细工作流程图；
36.图4为本发明基于云原生技术的建模实验系统的pod资源内部模块示意图。
具体实施方式
37.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
38.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清
楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
39.在本技术中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本技术及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
40.并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本技术中的具体含义。
41.另外，术语“多个”的含义应为两个以及两个以上。
42.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
43.实施例一
44.参阅图1-2，一种基于云原生技术的建模实验系统，包括以下步骤：
45.步骤一：算法镜像：使用docker把算法生成算法镜像，然后把算法镜像提交到仓库，有可以访问的算法镜像地址；
46.步骤二：数据地址：使用ceph或hive把数据保存下来，有可以访问的数据地址；
47.步骤三：算法超参：初始化的算法超参；
48.步骤四：建模控制配置：实验中建模的次数n，可同时执行的建模个数，实验最长执行时间，单次建模的最长时间，最多可失败的建模次数等；
49.步骤五：提交算法镜像、数据地址和建模控制配置到建模实验系统；
50.步骤六：建模实验系统提供接口进行查询实验的进展和结果，以及对实验中单个建模进行暂停、恢复和停止等操作。
51.通过扩展云原生技术功能，只需要简单的配置，就可以提高实验的效率，更快的完成实验，并且对实验中的建模有更多的控制能力，包括暂停、恢复和停止等，还能设置一次实验最长的执行时间和最多能有几次建模失败，总之，本发明的系统，能对建模实验提供一个稳定、高效和可控制的环境。
52.参阅图1和图3，一种基于云原生技术的建模实验系统，上述系统的具体实施步骤如下：
53.第一步：搭建集群，搭建的集群分别为搭建kubernetes集群、搭建mysql集群和搭建ceph集群；
54.第二步：使用kbuilder快速创建kubernetes的crd：实验资源和建模资源，编写核心功能实验资源控制器与建模资源控制器，实验资源控制器监听实验资源和建模资源的状态变化并作出响应，建模资源控制器监听kubernetes原生的job资源并作出响应；
55.实验资源crd有如下字段：实验类型、搜索空间、优化器配置、建模总数、实验最长执行时间、并行执行的建模个数和最多可失败几次建模；
56.建模资源crd有如下字段：暂停、恢复、放弃和完成后是否保留job资源；
57.第三步：创建manager服务接收建模实验请求；
58.第四步：对实验请求进行参数验证，并保存到mysql；
59.第五步：创建scheduling服务获取mysql的实验请求，根据实验请求调用
kubernetes创建实验资源；
60.因为有实验资源被创建，此时实验资源控制器会做出响应，根据实验资源内容创建出建模资源，并监听建模资源的状态变化做出响应，比如请求总共需要4个建模资源，同时执行的建模资源是2个，那实验资源控制器会先创建出2个建模资源，等待完成后再创建出2个；
61.因为有建模资源被创建，此时建模资源控制器会做出响应，根据建模资源内容创建出job资源，并监听job资源的状态变化做出响应，kubernetes根据job资源创建出相应的pod资源；
62.第六步：创建webhook，注入下载容器和采集容器，分别用于下载算法容器所需要的数据及采集算法容器的结果上报manager，让算法容器专注于建模，而不用去处理数据来自ceph还是hive，以及往哪里上报结果，webhook还可以修改pod里面容器的入参来达到动态改变算法超参；
63.第七步，manager服务接收实验资源控制器与建模资源控制器的反馈结果，包括实验当前的状态，建模当前的状态和实验结束后的数据，并把结果保存到mysql和ceph。
64.实施例二
65.参阅图1-2，一种基于云原生技术的建模实验系统，包括以下步骤：
66.步骤一：算法镜像：使用docker把算法生成算法镜像，然后把算法镜像提交到仓库，有可以访问的算法镜像地址；
67.步骤二：数据地址：使用ceph或hive把数据保存下来，有可以访问的数据地址；
68.步骤三：算法超参：初始化的算法超参；
69.步骤四：建模控制配置：实验中建模的次数n，可同时执行的建模个数，实验最长执行时间，单次建模的最长时间，最多可失败的建模次数等；
70.步骤五：提交算法镜像、数据地址和建模控制配置到建模实验系统；
71.步骤六：建模实验系统提供接口进行查询实验的进展和结果，以及对实验中单个建模进行暂停、恢复和停止等操作。
72.通过扩展云原生技术功能，只需要简单的配置，就可以提高实验的效率，更快的完成实验，并且对实验中的建模有更多的控制能力，包括暂停、恢复和停止等，还能设置一次实验最长的执行时间和最多能有几次建模失败，总之，本发明的系统，能对建模实验提供一个稳定、高效和可控制的环境。
73.参阅图1和图3，一种基于云原生技术的建模实验系统，上述系统的具体实施步骤如下：
74.第一步：搭建集群，搭建的集群分别为搭建kubernetes集群、搭建mysql集群和搭建ceph集群；
75.第二步：使用kbuilder快速创建kubernetes的crd：实验资源和建模资源，编写核心功能实验资源控制器与建模资源控制器，实验资源控制器监听实验资源和建模资源的状态变化并作出响应，建模资源控制器监听kubernetes原生的job资源并作出响应；
76.实验资源crd有如下字段：实验类型、搜索空间、优化器配置、建模总数、实验最长执行时间、并行执行的建模个数和最多可失败几次建模；
77.建模资源crd有如下字段：暂停、恢复、放弃和完成后是否保留job资源；
78.第三步：创建manager服务接收建模实验请求；
79.第四步：对实验请求进行参数验证，并保存到mysql；
80.第五步：创建scheduling服务获取mysql的实验请求，根据实验请求调用kubernetes创建实验资源；
81.因为有实验资源被创建，此时实验资源控制器会做出响应，根据实验资源内容创建出建模资源，并监听建模资源的状态变化做出响应，比如请求总共需要4个建模资源，同时执行的建模资源是2个，那实验资源控制器会先创建出2个建模资源，等待完成后再创建出2个；
82.因为有建模资源被创建，此时建模资源控制器会做出响应，根据建模资源内容创建出job资源，并监听job资源的状态变化做出响应，kubernetes根据job资源创建出相应的pod资源；
83.第六步：创建webhook，注入下载容器和采集容器，分别用于下载算法容器所需要的数据及采集算法容器的结果上报manager；
84.参阅图4，pod资源内部有存储模块、数据筛分模块、下载容器模块、算法容器模块和收集容器模块构成，存储模块用于将job控制器传输的数据进行全部储存，然后数据筛分模块筛分出只是算法容器所需要的数据，再由下载容器模块下载，并被算法容器模块所运用，收集容器模块采集算法容器的结果并上报manager让算法容器专注于建模，而不用去处理数据来自ceph还是hive，以及往哪里上报结果，webhook还可以修改pod里面容器的入参来达到动态改变算法超参；
85.第七步，manager服务接收实验资源控制器与建模资源控制器的反馈结果，包括实验当前的状态，建模当前的状态和实验结束后的数据，并把结果保存到mysql和ceph。
86.综上所述：本发明一种基于云原生技术的建模实验系统，通过算法镜像：使用docker把算法生成算法镜像，然后把算法镜像提交到仓库，有可以访问的算法镜像地址；数据地址：使用ceph或hive把数据保存下来，有可以访问的数据地址；算法超参：初始化的算法超参；建模控制配置：实验中建模的次数n，可同时执行的建模个数，实验最长执行时间，单次建模的最长时间，最多可失败的建模次数等；提交算法镜像、数据地址和建模控制配置到建模实验系统；建模实验系统提供接口进行查询实验的进展和结果，以及对实验中单个建模进行暂停、恢复和停止等操作，考验扩展云原生技术功能，只需要简单的配置，就可以提高实验的效率，更快的完成实验，并且对实验中的建模有更多的控制能力，包括暂停、恢复和停止等，还能设置一次实验最长的执行时间和最多能有几次建模失败，总之，本发明的系统，能对建模实验提供一个稳定、高效和可控制的环境，创建webhook，注入下载容器和采集容器，分别用于下载算法容器所需要的数据及采集算法容器的结果上报manager；pod资源内部有存储模块、数据筛分模块、下载容器模块、算法容器模块和收集容器模块构成，存储模块用于将job控制器传输的数据进行全部储存，然后数据筛分模块筛分出只是算法容器所需要的数据，再由下载容器模块下载，并被算法容器模块所运用，收集容器模块采集算法容器的结果并上报manager让算法容器专注于建模，而不用去处理数据来自ceph还是hive，以及往哪里上报结果，webhook还可以修改pod里面容器的入参来达到动态改变算法超参。
87.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实
体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
88.以上所述仅为本技术的优选实施例而已，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。