流计算处理引擎的参数配置方法和相关设备与流程

1.本发明涉及流计算处理引擎技术领域，尤其涉及一种流计算处理引擎的参数配置方法和相关设备。


背景技术：

2.flink是一种当下流行的流计算处理引擎。
3.flink的配置文件可由安装使用者设置。例如，除了flink自身的配置文件，flink的高可用文件、安全文件、分布式文件、日志文件等等一系列文件可被使用者配置。
4.现有技术中，将不同的配置文件放到一个系统文件夹中，但将所有配置文件放置到系统文件夹下不利于多用户对flink的参数配置，也即flink不支持多个用户的参数配置。


技术实现要素：

5.本发明提供一种流计算处理引擎的参数配置方法和相关设备，用以解决flink不支持多个用户的参数配置的问题。
6.一方面，本发明提供一种流计算处理引擎的参数配置方法，包括：
7.在接收到配置请求时，显示与所述配置请求对应的用户组别匹配的配置界面，其中，不同用户组别对应的配置界面不同；
8.在接收到用户通过所述配置界面输入的配置参数时，验证所述配置参数是否合理；
9.在所述配置参数合理时，将所述配置参数存储到内存中；
10.从所述内存中读取所述配置参数，并将所述配置参数映射成对应的flink参数；
11.将所述配置参数对应的flink参数进行重构解析后持久化存储。
12.在一实施例中，所述将所述配置参数对应的flink参数进行重构解析后持久化存储的步骤包括，包括：
13.根据所述配置请求对应的用户组别，确定所述配置参数对应的flink参数的类别；
14.将所述配置参数对应的flink参数进行重构解析后存储至所述类别对应的持久化存储区域，其中，不同类别的flink参数存储至不同的持久化存储区域。
15.在一实施例中，所述将所述配置参数对应的flink参数进行重构解析后存储至所述类别对应的持久化存储区域的步骤包括：
16.对所述配置参数对应的flink参数进行合理性校验以及冲突性校验；
17.在所述配置参数对应的flink参数通过所述合理性校验以及冲突性校验时，将所述配置参数对应的flink参数进行重构解析后存储至所述类别对应的持久化存储区域。
18.在一实施例中，所述在所述配置参数对应的flink参数通过所述合理性校验以及冲突性校验时，将所述配置参数对应的flink参数进行重构解析后存储至所述类别对应的持久化存储区域的步骤包括：
19.在所述配置参数对应的flink参数通过所述合理性校验以及冲突性校验时，对所述配置参数对应的flink参数进行序列化处理；
20.将序列化处理后的所述flink参数，存储至所述类别对应的持久化存储区域。
21.在一实施例中，将所述配置参数映射成对应的flink以及将所述配置参数对应的flink参数进行重构解析均在所述内存中进行，所述将所述配置参数对应的flink参数进行重构解析后持久化存储的步骤之后，还包括：
22.将重构解析后的所述flink参数传输至流计算处理引擎对应的启动容器。
23.在一实施例中，所述将所述配置参数对应的flink参数进行重构解析后持久化存储的步骤之后，还包括：
24.获取所述用户触发的查询请求；
25.从持久化存储区域中查询所述查询请求对应的flink参数，并显示查询得到的flink参数，所述持久化存储区域用于持久化存储所述flink参数。
26.在一实施例中，在接收到配置请求时，显示与所述配置请求对应的用户组别匹配的配置界面，包括：
27.在接收到所述配置请求时，根据所述配置请求中包括的用户信息确定所述配置请求对应的用户组别；
28.根据所述配置请求对应的用户组别确定所述用户的配置权限，并根据所述配置权限确定所述用户可配置的参数类型；
29.根据所述参数类型生成所述配置界面，并显示所述配置界面。
30.另一方面，本发明还提供一种流计算处理引擎的参数配置装置，包括：
31.显示模块，用于在接收到配置请求时，显示与所述配置请求对应的用户组别匹配的配置界面，其中，不同用户组别对应的配置界面不同；
32.验证模块，用于在接收到用户通过所述配置界面输入的配置参数时，验证所述配置参数是否合理；
33.存储模块，用于在所述配置参数合理时，将所述配置参数存储到内存中；
34.读取模块，用于从所述内存中读取所述配置参数，并将所述配置参数映射成对应的flink参数；
35.所述存储模块，还用于将所述配置参数对应的flink参数进行重构解析后持久化存储。
36.另一方面，本发明还提供一种流计算处理引擎的参数配置设备，包括：存储器以及处理器；
37.所述存储器存储计算机执行指令；
38.所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如上所述的流计算处理引擎的参数配置方法。
39.另一方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上所述的流计算处理引擎的参数配置方法。
40.本发明提供的流计算处理引擎的参数配置方法和相关设备，在接收到配置请求时，显示与配置请求对应的用户组别匹配的配置界面，用户组别对应的配置界面不同，在接
收用户通过配置界面输入的配置参数，并验证配置参数是否合理，若是合理，将配置参数存储至内存中，再从内存中读取配置参数，且将配置参数映射陈flink参数，最后将flink参数进行重构解析后持久化存储。本发明中，通过可视化的显示不同用户组别所对应的配置界面以供用户在配置界面对flink的配置参数，且在配置flink的参数后，需要验证配置参数是否合理，避免用户对flink配置不合理的参数，也即本发明支持多个用户对flink配置合理的参数。
附图说明
41.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
42.图1为本发明实现流计算处理引擎的参数配置方法的系统构架图；
43.图2为本发明流计算处理引擎的参数配置方法第一实施例的流程示意图；
44.图3为本发明流计算处理引擎的参数配置方法第二实施例中步骤s30的细化流程示意图；
45.图4为本发明流计算处理引擎的参数配置方法第三实施例的流程示意图；
46.图5为本发明流计算处理引擎的参数配置方法第四实施例中步骤s10的细化流程示意图；
47.图6为本发明流计算处理引擎的参数配置方法的简要流程示意图；
48.图7为本发明流计算处理引擎的参数配置装置的模块示意图；
49.图8为本发明流计算处理引擎的参数配置设备的硬件结构示意图。
50.通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
51.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
52.本发明提供一种流计算处理引擎的参数配置方法，可以通过图1所示的系统构架图实现。如图1所示，流计算处理引擎的参数配置100显示配置界面110，配置界面110与用户200所属的用户组别相关，也即，流计算处理引擎的参数配置100确定配置flink的参数的用户200所属的用户组别，再显示与用户组别对应的配置界面。流计算处理引擎的参数配置100获取用户200在配置界面120输入的配置参数，验证配置参数是否合理，若是合理，将配置参数存储于内存中。流计算处理引擎的参数配置100将配置参数映射成可被flink识别的flink参数，再重构解析后的flink进行持久化存储。
53.下面以具体地实施例对本发明的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
54.参照图2，图2为本发明流计算处理引擎的参数配置方法的第一实施例，流计算处理引擎的参数配置方法包括以下步骤：
55.步骤s10，在接收到配置请求时，显示与配置请求对应的用户组别匹配的配置界面，其中，不同用户组别对应的配置界面不同。
56.在本实施例中，执行主体是流计算处理引擎的参数配置装置，为了便于描述，以下以装置指代流计算处理引擎的参数配置装置。装置可以是网络终端，也即为web端。用户可以向装置发送配置请求。具体的，装置中设置有flink的参数配置图标，若是检测到图标的点击操作，装置即接收到配置请求。配置请求中携带有配置flink的参数的用户的信息。例如，用户需要在装置中输入账号以及密码以对flink进行个性化的参数配置。
57.装置可以根据用户的配置权限进行用户组别的分类。例如，配置权限分为1、2、3、4四个级别，则用户组别为4个，配置权限1级的用户属于用户组别a、配置权限2级的用户属于用户组别b、配置权限3级的用户属于用户组别c、配置权限4级的用户属于用户组别d。配置权限包括用户添加、删除以及修改flink配置项的权限。用户组别不同，则配置界面不同。
58.装置在接收到配置请求时，显示于配置请求对应的用户组别匹配的配置界面，以供用户在配置界面上进行flink的参数配置。
59.步骤s20，在接收到用户通过配置界面输入的配置参数时，验证配置参数是否合理。
60.装置在接收到用户通过配置界面输入的配置参数后，会对配置参数进行验证，也即验证配置参数是否设置合理。例如，可以获取配置参数的格式，若是格式与预设格式匹配，则配置参数配置合理。
61.步骤s30，在配置参数合理时，将配置参数存储到内存中。
62.装置在确定配置参数合理时，将配置参数存储至内存中。配置参数可以是较为简单的参数，但flink并不能识别出配置参数，因此，需要将配置参数转化为可被flink识别的参数。而配置参数的转化可在内存中进行，因此，需要将配置参数存储至内存中。
63.步骤s40，从内存中读取配置参数，并将配置参数映射成对应的flink参数。
64.装置再将配置参数存储至内存中后，将配置参数映射成对应的flink参数，flink参数可被flink识别。
65.步骤s50，将配置参数对应的flink参数进行重构解析后持久化存储。
66.装置在得到flink参数后，再将flink参数进行重构解析，以便于flink参数能够被持久化存储。装置再将重构解析后的flink参数进行持久化存储。持久化存储的介质可以是关系型数据库或者非关系型数据库，也可以是任何磁盘或者ssd(solid state disk，固态电子存储阵列硬盘)硬盘。
67.需要说明的是，将配置参数映射成对应的flink以及将配置参数对应的flink参数进行重构解析均在内存中进行，也即装置对参数的解析工作均在内存中一次性完成。装置再将重构解析后的flink参数传输至流计算处理引擎对应的启动容器。装置可以通过http rest接口发送到flink的启动容器。通过在内存中完成对参数的解析工作，且将flink参数传输至启动容器，使得装置的一切操作无法被用户所感知，达到了高级别的使用优化。
68.现有技术中，采用shell脚本的方式来传递和flin参数，此种方式会存在系统安全性问题，且flink参数较多，linux的终端也会有输入字符串长度限制，并且用户输入的错误
率也比较大，极易发现参数输入不正确导致系统崩溃的风险。
69.相比现有技术而言，本实施例用web端配置化的方式替代shell脚本，去除参数输入长度限制，并且支持多用户个性化的配置参数。
70.在本实施例提供的技术方案中，在接收到配置请求时，显示与配置请求对应的用户组别匹配的配置界面，用户组别对应的配置界面不同，在接收用户通过配置界面输入的配置参数，并验证配置参数是否合理，若是合理，将配置参数存储至内存中，再从内存中读取配置参数，且将配置参数映射陈flink参数，最后将flink参数进行重构解析后持久化存储。本发明中，通过可视化的显示不同用户组别所对应的配置界面以供用户在配置界面对flink的配置参数，且在配置flink的参数后，需要验证配置参数是否合理，避免用户对flink配置不合理的参数，也即本发明支持多个用户对flink配置合理的参数。
71.参照图3，图3为本发明流计算处理引擎的参数配置方法第二实施例，基于第一实施例，步骤s30包括：
72.步骤s31，根据配置请求对应的用户组别，确定配置参数对应的flink参数的类别。
73.步骤s32，将配置参数对应的flink参数进行重构解析后存储至类别对应的持久化存储区域，其中，不同类别的flink参数存储至不同的持久化存储区域。
74.在本实施例中，装置会识别不同的flink参数的作业并且将不同类型的flink参数进行分类归档，也即不同类型的flink参数存储于不同的区域。
75.具体的，用户组别与配置界面相关，用户仅能配置配置界面所提供参数类型的参数。装置基于配置请求获取用户组别，基于用户组别即可确定flink参数的类别。
76.每个类别关联有持久化存储区域。装置先对flink参数进行重构解析，在确定flink参数的类别所对应的持久化存储区域，最后将重构解析的flink参数存储至类别所对应的持久化存储区域。
77.此外，装置还具备对flink参数的校验功能。装置在获取flink参数后，对flink参数进行合理性校验以及冲突性校验，也即验证flink参数的合理性和逻辑性是否符合规范。例如，需要传递int参数的时候传递了string参数，则flink参数设置不合理，也即无法通过合理性校验。flink中存储有多个已配置的flink参数，已配置的flink参数是当前用户之前配置的或者其他用户配置，装置需要校验当前的flink参数是否与已配置的flink参数是否发送冲突，也即进行冲突性校验。若是当前的flink参数与已配置的flink参数不发生冲突，则冲突性校验通过。在在配置参数对应的flink参数通过合理性校验以及冲突性校验时，将配置参数对应的flink参数进行重构解析后存储至类别对应的持久化存储区域。
78.进一步的，在配置参数对应的flink参数通过合理性校验以及冲突性校验时，对配置参数对应的flink参数进行序列化处理；将序列化处理后的flink参数，存储至类别对应的持久化存储区域。flink参数序列化处理即为flink参数的重构解析。
79.本实施例中，针对不同的用户组别进行对应的flink参数的配置，实现了flink参数的个性化配置。而不同flink参数存储于不同的持久化存储区域，实现了对flink参数的隔离化的管理，区分不同用户可以使用的配置管理权限和看到的配置项信息，保障flink配置管理的安全性。
80.参照图4，图4为本发明流计算处理引擎的参数配置方法第三实施例，基于第一或第二实施例，步骤s50之后，还包括：
81.步骤s60，获取用户触发的查询请求。
82.步骤s70，从持久化存储区域中查询查询请求对应的flink参数，并显示查询得到的flink参数，持久化存储区域用于持久化存储flink参数。
83.在本实施例中，用户可以对配置的参数进行搜索查询。具体的，装置在存储flink参数后，会提示用户配置完成。用户可在装置进行查询操作，从而向装置发送查询请求，也即装置即可获取用户触发的查询请求。查询请求有用户的查询操作触发。
84.持久化存储区域中存储有flink参数。装置从持久化存储区域中查询查询请求对应的flink参数，并显示查询得到的flink参数，也即装置将当前用户所配置的flink参数进行展示。
85.在本实施例中，用户可以查询自身所配置的flink参数，以确定自己所配置的flink参数是否正确。
86.参照图5，图5为本发明流计算处理引擎的参数配置方法第四实施例，基于第一至第三中任一实施例，步骤s10包括：
87.步骤s11，在接收到配置请求时，根据配置请求中包括的用户信息确定配置请求对应的用户组别。
88.步骤s12，根据配置请求对应的用户组别确定用户的配置权限，并根据配置权限确定用户可配置的参数类型。
89.步骤s13，根据参数类型生成配置界面，并显示配置界面。
90.在本实施例中，配置请求中包括有用户信息。用户信息例如为用户登录装置的账号，账号关联有用户的用户组别。
91.用户组别关联有配置权限，装置基于确定的用户组别即可确定用户的配置权限。配置权限表征用户可以配置的参数的类型，因此，装置可以根据配置权限确定用户可配置的参数类型，最后基于参数类型生成配置配置，并显示配置界面。
92.在本实施例中，装置基于用户的配置权限显示对应的配置界面，从而使得用户在配置界面中配置配权限范围内的flink参数。
93.参照图6，本发明流计算处理引擎的参数配置方法包括如下步骤：
94.1、用户输入配置项
95.用户从ui界面输入配置项相应的配置参数，配置参数可以根据装置的要求输入相应类型的参数；
96.2、配置项输入验证
97.装置会验证用户输入的配置项所对应的配置参数是否符合参数要求，若符合，进行下一步；
98.3、配置项功能解析
99.配置项的配置参数从前端传入后台模块之后，模块会进行参数解析，将对应的配置参数放入内存当中；
100.4、配置参数映射
101.将配置项参数映射成对应的flink参数，并对其进行重构解析；
102.5、flink参数存储
103.将解析之后的flink参数进行持久化存储，以便后续查询使用；
104.6、flink参数输出到启动容器
105.持久化存储之后，通过http rest接口发送到flink的启动容器，完成配置参数传递。
106.本发明还提供一种流计算处理引擎的参数配置装置，参照图7，流计算处理引擎的参数配置装置700包括：
107.显示模块710，用于在接收到配置请求时，显示与配置请求对应的用户组别匹配的配置界面，其中，不同用户组别对应的配置界面不同；
108.验证模块720，用于在接收到用户通过配置界面输入的配置参数时，验证配置参数是否合理；
109.存储模块730，用于在配置参数合理时，将配置参数存储到内存中；
110.读取模块740，用于从内存中读取配置参数，并将配置参数映射成对应的flink参数；
111.存储模块730，用于将配置参数对应的flink参数进行重构解析后持久化存储。
112.在一实施例中，计算处理引擎的参数配置装置700包括：
113.确定模块，用于根据配置请求对应的用户组别，确定配置参数对应的flink参数的类别；
114.存储模块730，用于将配置参数对应的flink参数进行重构解析后存储至类别对应的持久化存储区域，其中，不同类别的flink参数存储至不同的持久化存储区域。
115.在一实施例中，计算处理引擎的参数配置装置700包括：
116.校验模块，用于对配置参数对应的flink参数进行合理性校验以及冲突性校验；
117.存储模块730，用于在配置参数对应的flink参数通过合理性校验以及冲突性校验时，将配置参数对应的flink参数进行重构解析后存储至类别对应的持久化存储区域。
118.在一实施例中，计算处理引擎的参数配置装置700包括：
119.处理模块，用于在配置参数对应的flink参数通过合理性校验以及冲突性校验时，对配置参数对应的flink参数进行序列化处理；
120.存储模块730，用于将序列化处理后的flink参数，存储至类别对应的持久化存储区域。
121.在一实施例中，计算处理引擎的参数配置装置700包括：
122.传输模块，用于将重构解析后的flink参数传输至流计算处理引擎对应的启动容器。
123.在一实施例中，计算处理引擎的参数配置装置700包括：
124.获取模块，用于获取用户触发的查询请求；
125.查询模块，用于从持久化存储区域中查询查询请求对应的flink参数，并显示查询得到的flink参数，持久化存储区域用于持久化存储flink参数。
126.在一实施例中，计算处理引擎的参数配置装置700包括：
127.确定模块，用于在接收到配置请求时，根据配置请求中包括的用户信息确定配置请求对应的用户组别；
128.确定模块，用于根据配置请求对应的用户组别确定用户的配置权限，并根据配置权限确定用户可配置的参数类型；
129.生成模块，用于根据参数类型生成配置界面，并显示配置界面。
130.图8是根据一示例性实施例示出的一种流计算处理引擎的参数配置设备的硬件结构图。
131.流计算处理引擎的参数配置设备800可以包括：处理801，例如cpu，存储器802以及收发器803。本领域技术人员可以理解，图8中示出的结构并不构成对流计算处理引擎的参数配置设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
132.处理器801可以调用存储器802内存储的计算机程序，以完成上述的流计算处理引擎的参数配置方法的全部或部分步骤。
133.收发器803用于接收外部设备发送的信息以及向外部设备发送信息。
134.一种非临时性计算机可读存储介质，当该存储介质中的指令由流计算处理引擎的参数配置设备的处理器执行时，使得流计算处理引擎的参数配置设备能够执行上述流计算处理引擎的参数配置方法。
135.一种计算机程序产品，包括计算机程序，当该计算机程序由流计算处理引擎的参数配置设备的处理器执行时，使得流计算处理引擎的参数配置设备能够执行上述流计算处理引擎的参数配置方法。
136.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本发明旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。
137.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。