一种数据元件资源空间的适配方法与流程

1.本发明涉及计算机技术领域，特别是涉及一种数据元件资源空间的适配方法。


背景技术：

2.现有针对租户进行不同的空间的资源隔离，通常是使用物理集群，如申请在spark集群通过手工申请，手工创建集群，或者使用on yarn模式的集群，但是现有物理隔离并不能有效满足用户对资源空间的实际需要，存在资源空间不能有效的问题。


技术实现要素：

3.本发明提供了一种数据元件资源空间的适配方法，以解决现有技术中不能有效根据不同类型用户的不同生产需求来适配数据元件资源空间的问题。
4.本发明提供了一种数据元件资源空间的适配方法，该方法包括：对每一个系统角色均设置与该系统角色相唯一对应的身份id，所述系统角色包括应用开发商、数据元件开发商以及运营商；根据当前数据元件处理所对应的系统角色的身份id、数据元件所处的生产阶段、整个数据元件生产过程中涉及到的数据量大小、数据调用频率、空间类型、数据使用周期以及数据质量来适配资源空间，使得所适配的资源空间能够满足处理所述数据元件的使用需要，并基于所适配的资源空间完成对所述数据元件处理；其中，所述数据元件的生产阶段包括：数据元件开发阶段、数据元件预生产阶段、数据元件中试阶段、数据元件生产阶段、数据元件审核阶段以及数据元件生产发布阶段，所述空间类型包括空间开发区类型和空间生产区类型。
5.可选地，所述根据当前数据元件处理所对应的系统角色的身份id、数据元件所处的生产阶段、整个数据元件生产过程中涉及到的数据量大小、数据调用频率、空间类型、数据使用周期以及数据质量来适配资源空间，包括：预设不同系统角色的权重、数据元件所处的不同生产阶段的权重、整个数据元件生产过程中涉及到的不同数据量大小的权重、数据调用频率权重、空间类型权重、数据使用周期权重以及数据质量权重；基于当前数据元件处理所对应的系统角色权重、数据元件所处的生产阶段权重、整个数据元件生产过程中涉及到的数据量大小权重、数据调用频率权重、空间类型权重、数据使用周期权重以及数据质量权重，计算得到所有权重的综合值；当所述综合值大于预设综合阈值，则为当前所处理的数据元件分配独立的资源空间，否则为当前所处理的数据元件分配共享的资源空间。
6.可选地，当所述系统角色是应用开发商，为当前数据元件处理适配资源空间，包括：根据应用开发商开发应用所依赖的数据元件的数据质量、数据标准、数据安全、数据规格是否满足预设条件，来为当前所处理的数据元件分配独立的资源空间或共享的资源空间。
7.可选地，所述根据应用开发商开发应用所依赖的数据元件的数据质量、数据标准、数据安全、数据规格是否满足预设条件，来为当前所处理的数据元件分配独立的资源空间或共享的资源空间，包括：当所述应用开发商开发应用所依赖的数据质量大于预设质量检查阈值、数据标准检查的成功率大于标准检查阈值、数据安全检查的成功率大于预设成功率阈值且数据规格大于预设规格阈值；当所述应用开发商开发应用所依赖的数据质量的得分、数据标准检查的成功率、数据安全检查成功率以及数据规格，在最近预设周期内的排名均在各自对应排名的预设比例以内；当满足以上任一预设条件后，则为当前所处理的数据元件分配独立的资源空间，否则为当前所处理的数据元件分配共享的资源空间。
8.可选地，当所述系统角色是数据元件开发商，为当前数据元件处理适配资源空间，包括：预设整个数据元件生产过程中涉及到的数据量大小阈值、数据调用频率阈值、数据使用周期阈值以及数据质量阈值，基于数据元件所处的生产阶段和空间类型，并结合整个数据元件生产过程中涉及到的数据量大小阈值、数据调用频率阈值、数据使用周期阈值以及数据质量阈值，来为当前数据元件处理适配资源空间。
9.可选地，当所述数据元件开发商的整个数据元件生产过程中涉及到的数据量大小、数据调用频率、数据使用周期以及数据质量中任一条件小于对应的阈值条件，则为该数据元件分配共享的资源空间，否则分配独立的资源空间。
10.可选地，在数据元件中试阶段，为当前数据元件处理适配资源空间，包括：基于所述数据元件的真实全部数据输出验证来匹配最小独占资源空间。
11.可选地，在数据元件的生产发布阶段，为当前数据元件处理适配资源空间，包括：为所述数据元件匹配资源空间，并支持基于定时或人工触发来抢占资源空间，以最大化利用所述资源空间。
12.可选地，在适配资源空间后，所述方法还包括：实时监控分配后的资源空间的使用情况，当监控到在预设周期内，分配后的资源空间持续满足预设升级条件，则将所述资源空间升级为独立资源空间，否则，则将所述资源空间降级为共享资源空间。
13.可选地，所述预设升级条件为资源空间利用率大于第一预设利用率阈值；所述预设降级条件为资源空间利用率小于第二预设利用率阈值。
14.本发明有益效果如下：本发明是基于系统角色、数据元件所处的生产阶段、整个数据元件生产过程中涉及到的数据量大小、数据调用频率、空间类型、数据使用周期以及数据质量等等来共同综合适配资源空间，也因为本发明适配资源所考虑的因素更全面，从而使得本发明所适配的资源空间能够满足生产所述数据元件的使用需要，也即本发明是根据不同类型用户的不同生产需求来综合适配数据元件资源空间，这使得本发明所选择的资源空间更准确，从而有效避免资源空间适配不合理所导致的资源空间浪费和资源空间不够用等问题。
15.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
16.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1是本发明实施例提供的一种数据元件资源空间的适配方法的流程示意图。
具体实施方式
17.本发明实施例针对现有无法准确选择资源空间的问题，通过系统角色、数据元件所处的生产阶段、整个数据元件生产过程中涉及到的数据量大小、数据调用频率、空间类型、数据使用周期以及数据质量等等来共同适配资源空间，也即本发明是根据不同类型用户的不同生产需求来综合适配数据元件资源空间，这使得本发明所选择的资源空间更准确，从而有效避免资源空间适配不合理所导致的资源空间浪费和资源空间不够用等问题。以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。
18.本发明实施例提供了一种数据元件资源空间的适配方法，参见图1，该方法包括：s101、对每一个系统角色均设置与该系统角色相唯一对应的身份id；具体来说，本发明实施例是对每个系统角色都设置对应的身份id，通过该身份id来对各个系统角色进行标识，以便于后续适配资源使用，当然在具体实施时，本领域技术人员也可以对每个系统角色下的不同厂商也设置对应的身份id，以通过该身份id对不同厂商进行识别，从而实现在后续将不同的厂商也作为适配资源空间的条件。
19.本发明实施例中所述系统角色包括应用开发商、数据元件开发商以及运营商等等，具体本领域技术人员可以根据需要进行设置，本发明对此不作具体限定。
20.s102、根据当前数据元件处理所对应的系统角色的身份id、数据元件所处的生产阶段、整个数据元件生产过程中涉及到的数据量大小、数据调用频率、空间类型、数据使用周期以及数据质量来适配资源空间，使得所适配的资源空间能够满足处理所述数据元件的使用需要；s103、基于所适配的资源空间完成对所述数据元件处理。
21.需要说明的是，本发明实施例中所述数据元件的生产阶段包括：数据元件开发阶段、数据元件预生产阶段、数据元件中试阶段、数据元件生产阶段、数据元件审核阶段以及数据元件生产发布阶段，所述空间类型包括空间开发区类型和空间生产区类型。并且本发明实施例中上述的适配资源空间的条件仅仅是一个示例，在具体实施时，本领域技术人员可以根据具体需要来自行进行设置其他各种适配资源空间的条件，本发明对此不作具体限定。
22.总体来说，本发明实施例就是综合考虑系统角色、数据元件所处的生产阶段、整个数据元件生产过程中涉及到的数据量大小、数据调用频率、空间类型、数据使用周期以及数据质量等等来适配资源空间，也正是由于本发明实施例根据不同类型用户的不同生产需求来综合适配数据元件资源空间，所以使得本发明能够更为准确地选择的资源空间，从而有效避免资源空间适配不合理所导致的资源空间浪费和资源空间不够用等问题。
23.具体实施时，本发明实施例所述步骤102具体包括：
预设不同系统角色的权重、数据元件所处的不同生产阶段的权重、整个数据元件生产过程中涉及到的不同数据量大小的权重、数据调用频率权重、空间类型权重、数据使用周期权重以及数据质量权重；基于当前数据元件处理所对应的系统角色权重、数据元件所处的生产阶段权重、整个数据元件生产过程中涉及到的数据量大小权重、数据调用频率权重、空间类型权重、数据使用周期权重以及数据质量权重，计算得到所有权重的综合值；当所述综合值大于预设综合阈值，则为当前所处理的数据元件分配独立的资源空间，否则为当前所处理的数据元件分配共享的资源空间。
24.也即，本发明实施例是对各个适配资源空间的条件均设置对应的权重，然后通过整体计算得到所有权重的综合值，再将该综合值与预设综合阈值进行比较，从而确定为当前数据元件分配独立的资源空间还是共享的资源空间。
25.这种分配资源空间的方式比较简单直观，通过在实施过程中不断调整各个条件的权重，最后肯定能够达到准确分配资源空间的目的。
26.另外，这种分配资源空间的方式，用户可以随时根据需要来调整某一个或多个条件的权重，也会使得所分配的资源空间更符合用户的要求。
27.当所述系统角色是应用开发商，为当前数据元件处理适配资源空间，包括：基于所述应用开发商开发应用所依赖的数据元件、数据元件的角色类型、数据元件的编排要求来适配资源空间；具体来说，本发明实施例是在根据应用开发商开发应用所依赖的数据元件的数据质量、数据标准、数据安全、数据规格是否满足预设条件，来为当前所处理的数据元件分配独立的资源空间或共享的资源空间。
28.具体实施时，本发明实施例当所述应用开发商开发应用所依赖的数据质量大于预设质量检查阈值、数据标准检查的成功率大于标准检查阈值、数据安全检查的成功率大于预设成功率阈值且数据规格大于预设规格阈值；当所述应用开发商开发应用所依赖的数据质量大于预设质量检查阈值，数据标准检查的成功率大于标准检查阈值、数据安全检查成功率大于预设成功率阈值且数据规格大于预设规格阈值；当所述应用开发商开发应用所依赖的数据质量的得分、数据标准检查的成功率、数据安全检查成功率以及数据规格，在最近预设周期内的排名均在各自对应排名的预设比例以内；例如，当所述应用开发商开发应用所依赖的数据质量得分在最近预设周期内的排名在预设质量检查比例以内，同理，数据标准检查的成功率、数据安全检查成功率以及数据规格在最近预设周期内的排名也均在对应的预设比例以内，需要说明的是，在具体实施时，数据质量的得分对应的预设比例、数据标准检查的成功率所对应的预设比例，以及数据安全检查成功率和数据规格所对应的预设比例，可以均设置为同一数值，也可以分别根据需要进行设置，本发明对此不作具体限定；当满足以上任一预设条件后，则为当前所处理的数据元件分配独立的资源空间，否则为当前所处理的数据元件分配共享的资源空间。
29.例如，当所述应用开发商开发应用所依赖的数据质量》90分、数据标准成功率大于80%、数据安全成功率大于80%且数据规格》80%；
当所述应用开发商开发应用所依赖的数据质量》80分，数据标准成功率大于90%、数据安全成功率大于90%且数据规格》90%；当所述应用开发商开发应用所依赖的数据质量得分在最近一个月排名在10%以内，数据标准成功率、数据安全成功率以及数据规格在最近一个月排名在20%以内；当所述应用开发商开发应用所依赖的数据质量得分在最近一个月排名在20%以内，数据标准成功率、数据安全成功率以及数据规格均满足各个指标所对应的预设配置阈值；当满足以上任一预设条件后，则为当前所处理的数据元件分配独立的资源空间，否则为当前所处理的数据元件分配共享的资源空间。
30.也就是说，本发明实施例可以通过对每个所依赖判定的要素的具体阈值来确定使用共享的资源空间或独立的资源空间，也可以各个各个要素的排名情况来选择共享的资源空间或独立的资源空间，而各个比例以及阈值都是可以根据具体需要进行设置的，本发明对此不作具体限定。另外，本发明实施例所述的预设周期也是可以根据需要进行设定的。
31.进一步地，当所述系统角色是数据元件开发商，本发明实施例为当前数据元件处理适配资源空间，包括：预设整个数据元件生产过程中涉及到的数据量大小阈值、数据调用频率阈值、数据使用周期阈值以及数据质量阈值，基于数据元件所处的生产阶段和空间类型，并结合整个数据元件生产过程中涉及到的数据量大小阈值、数据调用频率阈值、数据使用周期阈值以及数据质量阈值，来为当前数据元件处理适配资源空间。
32.具体实施时，可以设置，当所述数据元件开发商的整个数据元件生产过程中涉及到的数据量大小、数据调用频率、数据使用周期以及数据质量中任一条件小于对应的阈值条件，则为该数据元件分配共享的资源空间，否则分配独立的资源空间。
33.通过本发明的上述设置可以使得资源分配能够根据数据元件开发商的数据情况来分配资源空间，使得所分配的资源空间能够更为合理，从而满足数据元件开发商的使用需求。
34.另外，本发明实施例通过设置，使得在数据元件中试阶段，能够基于所述数据元件的真实全部数据输出验证来匹配最小独占资源空间。以及在数据元件的生产发布阶段，为所述数据元件匹配资源空间，并支持基于定时或人工触发来抢占资源空间，以最大化利用所述资源空间。
35.同时，本发明实施例还在适配资源空间后，实时监控分配后的资源空间的使用情况，当监控到在预设监控周期内，分配后的资源空间持续满足预设升级条件，则将所述资源空间升级为独立资源空间，否则，则将所述资源空间降级为共享资源空间。
36.也即，本发明实施例在合理分配资源空间后，还实时监控资源空间的使用情况，并根据具体的使用情况来调整资源空间的级别，如在资源空间利用率大于第一预设利用率阈值，则进行独立资源升级，反之则进行资源空间降级。
37.具体实施时，本发明实施例所述预设升级条件为资源空间利用率大于第一预设利用率阈值；所述预设降级条件为资源空间利用率小于第二预设利用率阈值。
38.也就是说，本发明实施例是基于资源空间的利用率来进行资源空间升级和降级处理，从而实现资源空间的最大化利用率，具体可以设置第一预设利用率阈值和第二预设利用率阈值，大于第一预设利用率阈值则升级为独立资源空间，小于第二预设利用率阈值则
降级为共享资源空间，而在第一预设利用率阈值和第二预设利用率阈值之间，则继续进行监控。
39.下面将通过一个具体的例子来对本发明实施例所述的方法进行详细的解释和说明：本发明实施例为所有的系统角色比如元件开发商创建唯一的身份id，作为可以识别的标识。当需要完成角色对应功能的时候，基于角色对应的上下文环境，系统计算匹配对应的最合适资源空间；系统角色会有应用开发商、元件开发商、运营商等，整体的业务流程主要是元件开发，元件预生产，元件生产，元件审核，数据质量检测，应用开发商基于元件结果进行应用的开发设计处理。整个生产业务过程中涉及到的不同的数据量大小、调用频率、空间类型（开发区、生产区）、周期，系统会结合业务过程、系统角色、依赖的上下文各不相同的特点、不同的需求，进行综合分析计算，从而给出对应的空间选择。比如：基于开发商类型、业务过程阶段、数据量、频率、周期等多个特征的指标进行智能判断，满足条件则推荐合适的空间。
40.如果是应用开发商的处理请求，基于应用的依赖元件、角色类型、编排要求自动选择应用的资源空间；如果应用开发商依赖的元件质量检查、标准检查、安全检查、元件规格质量满足条件阈值，比如必须满足质量检查的得分大于90分、标准检查成功率、安全检查成功率、元件规格质量，系统会结合元件数据质量审核的结果进行综合计算处理，针对不同质量的得分进行分情况处理划综合分析：条件一、质量检查》90分，标准成功率大于80%且安全成功率大于80%且规则质量》80%；条件二、质量检查》80分，标准成功率大于90%且安全成功率大于90%且规则质量》90%；条件三、质量检查得分在最近一个月排名10%，其他任何指标在最近一个月排名20%；条件四、质量检查得分在最近一个月排名20%，其他任何指标在必须满则得分满足配置阈值，且满足任何指标在配置的百分比；当综合分析结果满足以上任一条件后，系统判定分配独立的空间，否则会优先推荐到共享的应用空间。
41.在具体实施时，本发明实施例会定时监控分配后的使用情况，系统按照天的频率进行持续的检查，如果在30天内满足持续升级、降级的条件次数达到对应的规则配置，那么则会在判定成功后进行空间的自动升级、降级。
42.如果是元件开发商等在开发元件过程中，本发明实施例是基于样本的数据量、调用频率等特征选择开发区资源空间;对样本数据量设定阈值、调用频率设定阈值，当元件开发商任一条件小于阈值，则分配公共开发空间。否则会分配独立的开发资源空间；同时针对分配独立开发资源空间的元件开发商进行监控，如果特定周期内（默认3个月）使用活跃度不满足条件，则降为公共空间。具体活跃的计算为满足周期内的总调用频率、周使用频率是否同时满足规则阈值。
43.进一步地，本发明实施例还会基于元件开发，元件预生产，元件生产，元件审核，数据质量这个是整个元件的成产过程，系统会针对不同的业务过程进行不同的阶段、不同的
诉求分别综合处理：如果是中试、生产发布的场景，会基于资源独占性、隔离性、数据的变化性等特征综合判断计算，匹配选择生产区资源空间；如果是中试场景，基于真实全部数据输出验证，系统会匹配最小独占资源空间，此空间不会被抢占；如果是生产发布的场景，支持定时、手工触发，此时系统匹配租户空间，但是调度的策略会进行租户空间抢占，最大化利用租户空间，租户空间不是完全的资源独占；针对数据变化不频繁的数据，系统会自动识别，提前进行预处理，计算任务分配到预计算空间；在具体实施时，本发明实施例提供选择大数据计算引擎对应版本进行开发测试生产，同时提供选择不同开发语言(java,scala,python等)进行开发测试生产，并且还提供选择不同计算集群模式(虚拟固定集群，弹性伸缩集群等)进行开发测试生产，也会提供选择开发，测试，生产环境。
44.通过本发明实施例所述的方法，能够实现不同的租户可以选择不同的资源，并且本发明实施例中的计算资源和应用资源分离，本发明可以支持弹性扩容和不同的引擎版本，不同开发语言，不同的集群模式，不同的应用环境，最重要的是，本发明实施例可以基于租户角色的功能需要自动选择资源空间；总体来说，本发明可以根据开发的身份id以及角色等信息匹配最适合的资源空间，并且本发明的开发区资源空间计算，是利于系统使用方id、样本数据、频率计算匹配对应的开发去资源空间，所以本发明所计算得到的资源空间更准确合理。另外，本发明在生产区资源选择，中试资源、定时、手动触发资源选择对应的生产区资源空间。而且本发明可以选择不同的开发语言，计算引擎版本，集群模式，开发测试生产环境，这些都使得本发明能够更好的满足用户的不同资源空间的需要。
45.尽管为示例目的，已经公开了本发明的优选实施例，本领域的技术人员将意识到各种改进、增加和取代也是可能的，因此，本发明的范围应当不限于上述实施例。