基于多目标优化的数据处理与资源配置方法和系统与流程

本发明涉及数据处理领域，特别涉及基于多目标优化的数据处理与资源配置方法和系统。

背景技术：

1、企业等具有复杂工作体系的运行端，其下属具有大量服务器，这些服务器能够独立执行业务，或者多个服务器形成业务架构共同执行业务。来自不同客户的业务具有不同的处理需求，导致各业务在运行端内所需经历的业务流传输路径和所需调用的业务架构层级存在显著差异。目前，为了适配各业务的差异化处理需求，运行端通常需要针对不同业务类型临时搭建或调整相应的业务处理架构，这种按业务逐个适配的方式不仅增加了运行端的配置复杂度，更严重的是，由于缺乏对运行端既有业务流传输路径和业务架构的统一建模与复用机制，导致运行端无法在多业务并发场景下快速为各业务匹配最优的处理路径。

2、同时，在多业务并发场景下，运行端需要同时兼顾多个优化目标，包括但不限于业务处理延迟最小化、系统吞吐量最大化、各业务间的资源占用均衡化等。然而，上述多个优化目标之间往往存在相互制约的关系，例如降低处理延迟可能需要占用更多内存资源，而提高吞吐量又可能需要增加算力投入。现有技术中缺乏一种能够在上述多个冲突目标之间进行有效权衡的路径选择机制，导致资源调配决策往往顾此失彼，难以实现全局最优。

3、此外，不同业务在处理过程中所需的资源类型和数量也各不相同，且业务的资源需求随运行端实时负载的变化而动态波动。现有资源配置策略通常基于固定规则或事后报警触发，即在资源瓶颈已经发生、业务性能已经下降之后才被动进行调整，这种事后应对模式无法满足对业务处理时效性要求较高的场景需求。如何精准预测资源瓶颈趋势并提前实施资源调配，对于提高资源分配可靠性和利用效率具有重要意义。

4、综上所述，针对运行端在多业务场景下面临的业务路径适配困难、多目标权衡复杂以及资源瓶颈事后应对滞后等问题，亟需一种能够统一构建运行端业务处理模型、实现多目标优化路径选择以及预测性资源配置的技术方案。

技术实现思路

1、鉴于上述问题，本发明提供基于多目标优化的数据处理与资源配置方法，包括：

2、监听运行端的实时运行状况，以此确定对所述运行端的运行数据采集模式；根据所述运行数据采集模式，生成标签化的若干运行数据子集，并预处理各运行数据子集；

3、根据所述运行端的业务处理属性，构建运行端业务模型；其中，所述业务处理属性包括业务流路径子属性和业务架构子属性；对所述运行端业务模型设定多目标引擎，根据所述多目标引擎的优化算法确定若干数据处理路径；

4、筛选一部分运行数据子集输入至各数据处理路径，根据所述数据处理路径的输出结果，预测所述运行端的资源瓶颈趋势；根据所述资源瓶颈趋势，预测性调整资源配置策略。

5、优选的，监听运行端的实时运行状况，以此确定对所述运行端的运行数据采集模式；根据所述运行数据采集模式，生成标签化的若干运行数据子集，并预处理各运行数据子集，包括：

6、监听运行端下属各业务线程的实时执行状况；其中，所述实时执行状况包括各业务线程的数据实时处理速率和结果实时输出速率；根据所述实时执行状况，确定各业务线程的有效运行时间区间分布；

7、根据各业务线程的有效运行时间区间分布和所在虚拟区间位置，确定对所述运行端的运行数据采集模式；其中，所述运行数据采集模式包括采集时间与采集所在进程地址；

8、根据所述运行数据采集模式，收集来自各业务线程的原始运行数据队列；对各原始运行数据队列进行来源与模态标签化处理，生成若干运行数据子集；

9、根据各运行数据子集的模态标签和数据量，对各运行数据子集进行去噪和去重预处理。

10、优选的，根据所述运行端的业务处理属性，构建运行端业务模型；对所述运行端业务模型设定多目标引擎，根据所述多目标引擎的优化算法确定若干数据处理路径，包括：

11、从所述运行端的历史日志获取所述运行端的业务流传输路径信息和历史业务架构配置信息；

12、对所述业务流传输路径信息进行路径使用情况识别，得到业务流路径子属性；其中，所述业务流路径子属性包括处于正常工作状态的业务流传输路径分布位置；

13、对所述历史业务架构配置信息进行架构层级完整性识别，得到业务架构子属性；其中，所述业务架构子属性包括处于有效完整状态的业务架构类型；

14、根据所述业务流路径子属性和所述业务架构子属性，形成业务流传输路径集和业务架构集，以此构建运行端业务模型；其中，所述运行端业务模型包括用于处理业务的业务流传输路径和嵌入运算插件的业务架构；

15、对客户需求解析，得到客户期望获取的业务处理结果类型；根据所述业务处理结果类型，生成多目标引擎；

16、根据所述多目标引擎筛选所述运行端业务模型下属所有业务流传输路径，确定一组候选数据处理路径；所述多目标引擎用于在所述候选数据处理路径中，基于各优化目标之间的权衡关系，求解满足帕累托最优条件的最佳路径或路径组合。

17、优选的，筛选一部分运行数据子集输入至各数据处理路径，根据所述数据处理路径的输出结果，预测所述运行端的资源瓶颈趋势；根据所述资源瓶颈趋势，预测性调整资源配置策略，包括：

18、解析客户需求以确定目标业务场景；筛选与所述目标业务场景的特征相匹配的运行数据子集，并将所述一部分运行数据子集一一对应输入至各数据处理路径；

19、获取所述数据处理路径与所述运行端业务模型下属业务架构对接的若干中间端口各自的输出结果，对所述输出结果进行可信度识别，以预测所述运行端在各中间端口对应位置处的资源瓶颈趋势；

20、对所述资源瓶颈趋势进行追溯，确定所述资源瓶颈趋势的预测发生位置和资源缺口属性，预测性调整对所述业务架构的资源配置策略；其中，所述资源配置策略包括算力资源和/或内存资源的调度位置和/或调度数量。

21、优选的，所述根据所述数据处理路径的输出结果，预测所述运行端的资源瓶颈趋势，包括：

22、获取所述数据处理路径上各中间端口的当前待处理队列长度、当前资源占用率、当前平均响应延迟、历史峰值队列长度、资源占用警戒阈值和基准响应延迟；

23、分别根据各中间端口各自的当前待处理队列长度、当前资源占用率、当前平均响应延迟、历史峰值队列长度、资源占用警戒阈值和基准响应延迟，确定各中间端口各自的资源瓶颈紧迫指数；

24、其中，每个中间端口的资源瓶颈紧迫指数的计算公式为：

25、；

26、其中，所述资源瓶颈紧迫指数用于表征所述中间端口发生资源瓶颈的紧迫程度，所述资源瓶颈紧迫指数的值越大，表示该中间端口发生资源瓶颈的紧迫程度越高；为该中间端口的当前待处理队列长度；表示该中间端口的当前资源占用率；表示该中间端口的资源占用警戒阈值；为该中间端口的当前平均响应延迟；为该中间端口的基准响应延迟；表示队列压力权重系数，表示资源压力权重系数，表示延迟压力权重系数，且满足；表示延迟敏感度系数；表示防除零容错因子；

27、根据各所述中间端口的所述资源瓶颈紧迫指数由高至低的排序结果，确定存在资源瓶颈风险的中间端口及其风险等级；

28、优选的，所述确定存在资源瓶颈风险的中间端口及其风险等级之后，还包括：

29、筛选所述资源瓶颈紧迫指数超过预设风险阈值的中间端口，作为待进行资源缺口评估的目标中间端口；

30、所述确定所述资源瓶颈趋势的预测发生位置和资源缺口属性，预测性调整对所述业务架构的资源配置策略，包括：

31、获取各目标中间端口的预测资源净缺口、瓶颈剩余时间间隔和系统调度响应窗口；

32、根据每个目标中间端口各自的预测资源净缺口、瓶颈剩余时间间隔和系统调度响应窗口计算目标中间端口各自的资源缺口预警值；其中，每个目标中间端口的资源缺口预警值的计算公式为：

33、；

34、其中，所述资源缺口预警值的值越大，表示该目标中间端口所需补充的资源越多且调度越紧迫；其中，表示该目标中间端口的预测资源净缺口；表示该目标中间端口的瓶颈剩余时间间隔；表示该目标中间端口所属运行端的系统调度响应窗口；表示该目标中间端口的资源类型调节系数；表示该目标中间端口的时间紧迫基准幅度；表示该目标中间端口的衰减速率系数；

35、根据各该目标中间端口的所述资源缺口预警值由高至低的排序结果，依次对各该目标中间端口执行资源配置策略的预测性调整。

36、基于多目标优化的数据处理与资源配置系统，包括：

37、采集模式确定模块，用于监听运行端的实时运行状况，以此确定对所述运行端的运行数据采集模式；

38、数据子集处理模块，用于根据所述运行数据采集模式，生成标签化的若干运行数据子集，并预处理各运行数据子集；

39、业务模型构建模块，用于根据所述运行端的业务处理属性，构建运行端业务模型；其中，所述业务处理属性包括业务流路径子属性和业务架构子属性；

40、路径确定模块，用于对所述运行端业务模型设定多目标引擎，根据所述多目标引擎的优化算法确定若干数据处理路径；

41、资源配置模块，用于筛选一部分运行数据子集输入至各数据处理路径，根据所述数据处理路径的输出结果，预测所述运行端的资源瓶颈趋势；根据所述资源瓶颈趋势，预测性调整资源配置策略。

42、优选的，所述采集模式确定模块用于监听运行端的实时运行状况，以此确定对所述运行端的运行数据采集模式，包括：

43、监听运行端下属各业务线程的实时执行状况；其中，所述实时执行状况包括各业务线程的数据实时处理速率和结果实时输出速率；根据所述实时执行状况，确定各业务线程的有效运行时间区间分布；

44、根据各业务线程的有效运行时间区间分布和所在虚拟区间位置，确定对所述运行端的运行数据采集模式；其中，所述运行数据采集模式包括采集时间与采集所在进程地址；

45、所述数据子集处理模块用于根据所述运行数据采集模式，生成标签化的若干运行数据子集，并预处理各运行数据子集，包括：

46、根据所述运行数据采集模式，收集来自各业务线程的原始运行数据队列；对各原始运行数据队列进行来源与模态标签化处理，生成若干运行数据子集；

47、根据各运行数据子集的模态标签和数据量，对各运行数据子集进行去噪和去重预处理。

48、优选的，所述业务模型构建模块用于根据所述运行端的业务处理属性，构建运行端业务模型，包括：

49、从所述运行端的历史日志获取所述运行端的业务流传输路径信息和历史业务架构配置信息；

50、对所述业务流传输路径信息进行路径使用情况识别，得到业务流路径子属性；其中，所述业务流路径子属性包括处于正常工作状态的业务流传输路径分布位置；

51、对所述历史业务架构配置信息进行架构层级完整性识别，得到业务架构子属性；其中，所述业务架构子属性包括处于有效完整状态的业务架构类型；

52、根据所述业务流路径子属性和所述业务架构子属性，形成业务流传输路径集和业务架构集，以此构建运行端业务模型；其中，所述运行端业务模型包括用于处理业务的业务流传输路径和嵌入运算插件的业务架构；

53、所述路径确定模块用于对所述运行端业务模型设定多目标引擎，根据所述多目标引擎的优化算法确定若干数据处理路径，包括：

54、对客户需求解析，得到客户期望获取的业务处理结果类型；根据所述业务处理结果类型，生成多目标引擎；

55、根据所述多目标引擎筛选所述运行端业务模型下属所有业务流传输路径，确定一组候选数据处理路径；所述多目标引擎用于在所述候选数据处理路径中，基于各优化目标之间的权衡关系，求解满足帕累托最优条件的最佳路径或路径组合。

56、优选的，所述资源配置模块用于筛选一部分运行数据子集输入至各数据处理路径，根据所述数据处理路径的输出结果，预测所述运行端的资源瓶颈趋势；根据所述资源瓶颈趋势，预测性调整资源配置策略，包括：

57、解析客户需求以确定目标业务场景；筛选与所述目标业务场景的特征相匹配的运行数据子集，并将所述一部分运行数据子集一一对应输入至各数据处理路径；

58、获取所述数据处理路径与所述运行端业务模型下属业务架构对接的若干中间端口各自的输出结果，对所述输出结果进行可信度识别，以预测所述运行端在各中间端口对应位置处的资源瓶颈趋势；

59、对所述资源瓶颈趋势进行追溯，确定所述资源瓶颈趋势的预测发生位置和资源缺口属性，预测性调整对所述业务架构的资源配置策略；其中，所述资源配置策略包括算力资源和/或内存资源的调度位置和/或调度数量。

60、本发明实施例中提供的上述技术方案的有益效果至少包括：

61、本发明上述实施例所提供的基于多目标优化的数据处理与资源配置方法及系统，通过监听运行端的实时运行状况自适应地确定运行数据采集模式，并对采集的运行数据进行标签化处理，实现了对运行端运行状态的有效感知与数据治理；在此基础上，基于运行端的业务流传输路径历史信息和业务架构配置信息构建运行端业务模型，将运行端的既有业务处理能力进行数字化抽象与复用，充分利用运行端已有的业务流传输路径资源和业务架构资源，避免了重复性的架构配置工作；进一步地，通过在运行端业务模型上设定包含多个优化目标函数及帕累托最优求解算法的多目标引擎，从业务流传输路径集合中筛选出能够兼顾处理延迟、吞吐量、资源占用均衡等多个相互制约目标的候选数据处理路径，有效解决了多目标之间的矛盾权衡问题；最后，通过将目标业务场景匹配的运行数据子集输入各数据处理路径进行仿真运行，基于中间端口输出结果的性能指标偏差及逻辑约束关系进行可信度识别，从而在资源瓶颈实际发生前预测性地调整算力资源和/或内存资源的调度位置与调度数量，实现从被动响应到主动预防的资源配置模式转变。本发明各步骤环环相扣，从运行状态感知、业务能力建模、多目标路径优化到预测性资源调配，形成了一套完整的闭环技术方案，能够系统性地提升运行端在多业务并发场景下的业务处理效率、资源利用率和多目标综合优化水平。

62、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

63、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。