一种基于重要性排序的工作流编排系统及其方法与流程

1.本发明涉及服务资源整合技术，具体涉及一种基于重要性排序的工作流编排系统及其实现方法。


背景技术：

2.面向服务的工作流虽然能够实现业务过程在计算环境下的自动化，但是随着应用领域的扩大以及应用功能需求的增多，工作流节点数量迅速增长，依赖关系愈趋复杂，带来了工作流服务集成管理的困难。尤其是云计算环境下，大规模服务资源、存储等资源分布于不同的集群或服务器，功能属性相同的资源往往具有不同的系统架构、部署模式、运行状态、访问性能等，增加了工作流资源选择与编排的难度。现有系统由于设计缺陷，在多源工作流服务持续接入与集成使用方面，面临一些新的问题。针对工作流服务多模式、多依赖、多实例的运行场景，现有平台缺少系统级别的智能化的编排辅助支撑机制。更重要的是，大多数平台只关注领域相关的数据、服务资源的静态信息，却忽略了资源使用状态与运行时信息对服务性能和平台资源利用效率的影响。由于云计算尤其容器云环境随机性较大，导致资源负载波动甚至资源稳定性问题，不合理的资源选择编排直接影响工作流的整体服务性能。综上所述，目前在相关领域内缺少面向服务的工作流智能编排管理方法和系统的研究，即在资源运行时分析的基础上建立基于资源重要性评价排序的智能化的编排辅助支撑机制。


技术实现要素：

3.本发明的目的在于提出一种基于重要性排序的工作流编排系统及其实现方法。
4.实现本发明目的的技术解决方案为：一种基于重要性排序的工作流服务编排系统，包括：
5.资源信息聚合分析模块，用于工作流依赖资源信息的聚合分析，支撑工作流依赖资源重要性评价排序过程，包括资源注册与发现、资源运行时监控、资源指标聚合分析三个子功能模块。首先，建立资源目录和路由机制，实现资源信息的汇聚与共享；然后，建立在线监控机制，实现资源运行信息的采集。对于服务资源，进一步通过解析工作流服务调用的上下文日志信息重塑调用链路，采集服务响应时间、调用次数等访问信息。最后，通过资源聚合，实现资源运行信息、访问信息等的聚合分析，以此作为资源重要性评价的决策因素，为依赖资源重要性评价排序模块提供数据支撑。
6.资源重要性评价排序模块，用于工作流依赖资源的重要性评价排序，自动推荐优质资源实例支撑工作流资源智能编排过程，包括服务资源重要性评价排序和存储资源重要性评价排序两个子功能模块。所述服务资源重要性评价排序包括服务预选、服务优选和服务排序三个步骤。首先，服务预选通过构造服务特征空间，基于孤立森林模型进行服务资源异常分析，剔除异常服务以防止异常服务资源参与编排带来工作流性能隐患。然后，在服务预选的基础上进行服务优选，通过熵权法改进多准则决策方法的指标权重，综合考虑服务
各项特征的作用，实现更为准确的服务重要性评价。最后，根据服务资源重要性大小排序服务并进行top-k操作，通过建立与在线工作流编排模块的服务推送机制，提供近实时的服务资源推荐功能；所述存储资源重要性评价排序包括存储评价和存储排序两个步骤。在构建存储特征空间的基础上，使用改进的多准则决策方法评价存储资源的重要性。根据存储资源重要性大小排序存储并进行top-k推荐。
7.在线工作流智能编排模块，用于工作流依赖资源的智能化编排，实现工作流服务能力集成，包括服务资源编排、存储资源编排、配置资源编排、计算资源编排四个子功能模块。首先，提供图形化交互界面构建工作流模型。然后，采用递归工作流模型的方式自动进行工作流依赖资源的组装。对于服务资源编排，通过服务资源数据库检索可选服务资源实例，存在则进行服务资源重要性评价排序，自动组装推荐的服务资源实例，否则先对依赖服务自身进行编排，编排完成后再回溯到当前编排服务；对于存储资源编排，通过存储资源数据库检索可选存储资源实例，存在则进行存储资源重要性评价排序，自动组装推荐的存储资源实例，不存在则根据存储模板自动创建；对于配置资源编排，通过配置资源数据库检索相关配置实例集合，存在则获取当前激活的配置实例，并且将编排完成的依赖服务资源和存储资源的连接信息更新到所述配置实例，使用配置挂载方法注入服务容器。不存在则根据配置模板自动创建；对于计算资源编排，通过聚类分析自适应分配计算资源，配置运行参数，完成工作流的自动编排过程。
8.一种基于重要性排序的工作流服务编方法，通过所述的基于重要性排序的工作流服务编排，实现基于重要性排序的工作流服务编排。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，利用所述的基于重要性排序的工作流服务编排，实现基于重要性排序的工作流服务编排。。
10.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，通过所述的基于重要性排序的工作流服务编排，实现基于重要性排序的工作流服务编排。
11.本发明与现有技术相比，其显著优点为：通过优质资源的在线推荐实现工作流编排的智能化过程，提升了工作流发布的效率和工作流服务的性能。
附图说明
12.图1是本发明基于重要性排序的工作流编排系统架构图。
13.图2是工作流模型示意图。
14.图3是服务资源重要性评价排序示意图。
15.图4是服务资源重要性评价排序算法流程图。
16.图5是存储资源重要性评价排序算法流程图。
17.图6是工作流自动编排流程图。
具体实施方式
18.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不
用于限定本技术。
19.本发明通过整合服务评价排序技术、服务智能编排技术等，实现了云计算环境下工作流的自动编排管理过程，系统架构如图1所示，工作流模型示意如图2所示。所述工作流由服务节点(圆形)和存储节点(正方形)组成，箭头方向为任务流向。工作流自动编排通过对云环境中服务资源和存储资源评价，根据工作流模型结构选择优质资源组装成工作流实例。一种基于重要性排序的工作流编排系统及其方法，包括资源信息聚合分析模块、依赖资源重要性评价排序模块、在线工作流智能编排模块。工作流服务编排系统的执行流程包括：
20.a、资源信息聚合与分析模块，建立资源目录和路由机制实现资源信息汇聚，通过在线监控机制实现资源运行指标采集，通过运行指标的聚合分析实现资源状态表征，支撑依赖资源重要性评价评价排序过程。
21.b、依赖资源重要性评价排序模块，通过服务资源重要性评价排序算法和存储资源重要性评价排序算法实现优质资源筛选，通过优质资源推荐支撑在线工作流智能编排过程。
22.c、在线工作流智能编排模块，根据需求构建工作流模型，结合资源重要性评价排序算法，递归进行依赖服务资源、存储资源、配置资源、计算资源的自动编排过程。
23.下面结合附图2-6对各模块的组成和功能进行详细说明。
24.所述资源信息聚合与分析模块用于服务资源、存储资源信息的聚合分析，支撑依赖资源重要性评价排序过程，包括资源注册与发现、资源运行时监控、资源指标聚合分析三个子功能模块。参照图1所示的资源信息聚合分析模块部分。具体实施步骤如下：
25.(1)资源注册与发现
26.建立资源目录和路由机制，资源提供者通过主动或被动的方式将访问地址注册到资源目录，实现资源信息的汇聚。所述资源信息包括服务资源和存储资源。
27.(2)资源运行时监控
28.通过在线监控机制，实时采集资源运行指标。对于服务资源，采集cpu占用率、内存占用率、磁盘占用率、网络带宽占用率等基础指标，并且通过解析工作流服务调用的上下文日志信息重塑服务调用链路，采集服务响应时间、服务调用次数(包括调用失败次数)等基础指标；对于存储资源，采集存储使用量、每秒处理查询数、每秒处理事务数、每秒处理磁盘i/o操作数等基础指标。
29.(3)资源指标聚合分析
30.进行服务资源、存储资源基础指标信息的聚合分析，作为资源重要性评价的决策因素，为依赖资源重要性评价排序模块提供数据支撑。在步骤(2)所示基础指标的基础上，进一步构建资源聚合指标。服务资源聚合指标包括平均资源占用率(rur)，资源使用失衡度(rid)，服务吞吐量(th)，平均响应时间(rt)、服务等级协议违反率(sla)和访问错误率(err)等。所述rur聚合指标定义为各类资源(包括cpu、内存等)占用率的均值。所述rid聚合指标定义为各类资源占用率的方差。所述th聚合指标定义为服务在观测时间窗口内的总访问数。所述sla聚合指标定义为服务响应违反时间与平均响应时间rt的比值，设置服务响应阈值δ，平均响应时间rt大于δ即为违反，违反时间定为rt-δ。所述err指标定义为观测时间窗口内服务请求的成功访问数与总访问数的比值；存储资源聚合指标包括工作流存储的剩余可用容量(cap)、平均处理查询数(qps)、平均处理事务数(tps)和平均处理磁盘i/o操作
数(iops)。其中，cap聚合指标定义为观测时间窗口内存储资源配额与存储资源使用量的差值。其他聚合指标包括qps、tps、iops定义为观测时间窗口内相应指标的均值。
31.所述资源重要性评价排序模块用于工作流依赖资源的重要性评价，通过自动推荐优质资源实例支撑工作流的智能编排过程，包括服务资源重要性评价排序和存储资源重要性评价排序两个子功能模块。服务资源重要性评价排序示意图参照图3，服务资源重要性评价排序的算法流程参照图4，存储资源重要性评价排序的算法流程参照图5，具体实施步骤如下：
32.(1)服务资源重要性评价排序
33.服务资源重要性评价与排序，通过算法分析相同功能服务资源的重要性价值，自动推送价值大的服务资源参与工作流编排。参照图3、4，包括服务资源预选、服务资源优选和服务资源排序三个步骤。总体流程为：首先，通过服务资源预选剔除异常服务实例。然后，通过服务资源优选评估服务重要性价值。最后，通过根据重要性价值大小进行服务实例排序，推送重要性价值最大的实例参与工作流服务资源编排。详细实施步骤如下：
34.a、服务资源预选
35.基于孤立森林模型进行服务资源异常分析，剔除异常服务以防止异常服务资源参与编排带来工作流性能隐患。异常服务相较于正常服务通常表现出资源消耗大、响应时间长、sla违反率高等特点，具有较为明显的离群性。所提基于孤立森林模型的服务资源预选方法，通过多次切分服务特征空间以孤立样本离群点，进而实现服务异常的检测。参照图4，具体实施步骤如下：
36.④
构造服务特征空间
37.在资源信息聚合分析的基础上，选取六类典型聚合特征构建工作流服务特征空间sf，如式(1)，以此作为服务资源异常分析的决策因素。式中rur,rid,sla,qps,rt,err分别为工作流服务的平均资源占用率、资源使用失衡度、sla违反率、服务吞吐量、服务平均响应时间、和服务访问错误率。
38.sf＝(rur,rid,sla,qps,rt,err)
ꢀꢀ
(1)
39.基于式(1)所述服务特征空间，采集历史环境下服务特征样本数据构建训练集s
t
，用于孤立森林模型的训练。为了消除量纲不同带来的影响，s
t
已进行特征归一化处理，即：特征原始值/特征最大值。同理，采集当前环境下服务特征样本数据构建测试集si，作为待评价服务集合。
40.⑤
构造基于孤立森林的异常检测模型
41.使用训练集s
t
构造具有t棵子树，子树大小为的孤立森林，每棵子树的高度限制l与子树大小的关系为所述孤立森林模型的构造包括如下四个步骤：
42.步骤1：从s
t
随机采样个样本，作为一棵孤立树的根节点。
43.步骤2：随机选择一个属性q∈sf，在属性q取值范围内，随机产生一个切割点p。此切割点的选取生成了一个超平面，将当前节点的数据空间切分为2个子空间。把当前节点数据中属性值小于p的数据构建为左分支，把大于等于p的数据构建为右分支。
44.步骤3：在节点的左分支和右分支递归步骤2，不断构造新的叶子节点，直到叶子节点上只有一个样本数据或树已经生长到限制高度l。
45.步骤4：迭代步骤1～3，构建一个具有t棵子树的孤立森林模型，以此作为工作流服务的异常检测模型。
46.⑥
异常服务检测过滤
47.引入异常值函数用于检测服务的异常状态，如式(2)。e(h(sf))为当前检测服务的特征向量sf在孤立森林子树中路径长度的期望值。为孤立森林中包含个样本数据的孤立树的平均路径长度，如式(3)，ξ为欧拉常数。当即异常分数接近1时，服务被判定为异常。
[0048][0049][0050]
通过式(2)评估并标记测试集si中样本的异常状态(“1”表示正常，
“‑
1”表示异常)，进一步剔除异常服务后获得预选服务特征集合s'。
[0051]
b、服务资源优选
[0052]
在服务资源预选的基础上，进一步通过改进多准则决策方法评估服务资源的重要性，实现服务资源优选。由于传统方法使用服务特征值加权法评估服务重要性，可能出现个别属性值相对较优导致服务排名靠前的现象。因此，所提方法使用熵权法改进多准则决策法的指标权重系数，综合考虑各项特征的作用，实现更为准确的服务重要性评价。参照图4，具体实施步骤如下：
[0053]
③
计算服务特征权重系数
[0054]
首先，使用式(4)通过预选服务特征集合s'计算服务特征信息熵ej。式中n为预选服务特征集合s'的容量，p
ij
为预选服务特征的概率。
[0055][0056]
然后，根据服务特征信息熵，使用式(5)计算服务特征权重系数wj。式中k为服务特征空间维数。
[0057][0058]
④
改进多准则决策方法评价服务重要性
[0059]
首先，使用步骤
①
中所述的服务特征权重wj作为多准则决策方法中决策指标的权重系数，实现方法的增强。然后，使用改进后的多准则决策法进行服务重要性评价，包括如下五个步骤：
[0060]
步骤1：使用预选服务特征集合s'构建n行k列的服务重要性决策矩阵dmn×k，n为s'的容量，k为特征空间维数。dmn×k矩阵元素值g
ij
为归一化的服务特征值。矩阵每一行为一个预选服务的特征向量，也称为评价对象。
[0061]
步骤2：计算正则化的服务重要性决策矩阵ndmn×k，ndmn×k矩阵元素
[0062]
步骤3：确定最优方案和最劣方案最优方案的确定方法为：对于正向特征取所有样本中相应特征的最大值，对于负向特征取取所有样本中相应特征的最小值。比如，资源占用率指标rur为负向特征，则取所有样本中所述指标的最小值作为最优方案的相应特征值。最劣方案则相反，正向特征取最小值，负向特征取最大值。
[0063]
步骤4：计算各评价对象与最优方案的距离d
i
、最劣方案的距离d
i-，如式(6)，式中wj为式(5)所述的服务特征权重系数。
[0064]
步骤5：根据最优、最劣距离计算服务重要性价值vi，如式(7)。vi越大说明服务越重要，反之则越不重要。
[0065][0066][0067]
通过式(7)评价后，预选服务特征集合s'被转换为优选服务特征集合s”。
[0068]
c、服务资源排序
[0069]
根据步骤b所述的服务重要性价值从大到小对优选服务特征集合s”进行服务重要性排序，选取重要性价值最大的k1个服务作为推荐服务集合s。同时，建立与在线工作流组装模块的服务推送机制，提供近实时的服务资源推荐功能。
[0070]
(2)存储资源重要性评价排序
[0071]
存储资源重要性评价与排序，通过算法分析相同功能存储资源的重要性价值，自动推送价值大的存储资源参与工作流编排。参照图5，包括存储评价和存储排序两个步骤，具体实施步骤如下：
[0072]
a、存储资源评价
[0073]
在存储特征空间构建的基础上，使用改进的多准则决策方法评价存储资源的重要性。参照图5，具体实施步骤如下：
[0074]
①
构造存储特征空间
[0075]
在存储资源信息聚合分析的基础上，选取四类典型指标特征构建工作流存储特征空间，如式(8)，以此作为存储资源异常分析的决策因素。式中cap,qps,tps,iops分别为工作流存储的容量、平均处理查询数、平均处理事务数、平均处理磁盘i/o操作数。
[0076]
df＝(cap,qps,tps,iops)
ꢀꢀ
(8)
[0077]
基于式(8)所述存储特征空间，采集当前环境存储特征样本数据集di，作为存储资源评价集合。
[0078]
②
计算存储特征权重系数
[0079]
使用熵权法计算特征权重系数。包括使用特征样本数据集计算存储特征信息熵，基于特征信息熵计算存储特征权重系数两个步骤。具体参照服务特征权重系数的计算方法。
[0080]
③
多准则决策方法评价存储重要性
[0081]
使用基于熵权法的特征权重系数改进多准则决策方法以评价存储资源的重要性。包括使用存储特征样本数据集构建存储重要性决策矩阵，进行存储重要性决策矩阵正则
化，确定最优方案和最劣方法，计算评价对象与最优方案、最劣方案的距离，以及计算存储资源重要性价值五个步骤。具体参照服务资源重要性评价方法，此处不再赘述。
[0082]
b、存储排序
[0083]
根据步骤a所述的存储资源重要性价值从大到小对存储特征样本集di进行存储重要性排序，选取重要性价值最大的k2个存储作为推荐存储集合d。同时，建立与在线工作流组装模块的存储推送机制，提供近实时的存储资源推荐功能。
[0084]
所述在线工作流智能组装模块用于工作流依赖资源的智能化编排，包括服务资源编排、存储资源编排、配置资源编排、计算资源编排四个子功能模块。参照图6，具体实施步骤如下：
[0085]
首先，提供图形化交互界面构建工作流模型。参照图2，所述工作流模型包含服务节点和存储节点，节点之间通过资源标识建立关联关系，箭头指向被依赖资源；然后，基于可视化的工作流模型，采用递归工作流模型的方式自动编排工作流依赖的各类资源，包括：
[0086]
(1)服务资源编排
[0087]
参照图6中路径
①
，通过依赖服务资源标识svcid检索服务资源数据库是否存在可选服务资源实例，存在则通过资源评价排序模块进行服务资源重要性评价排序，自动组装推荐的重要性价值最大的服务资源实例(记录所述服务资源实例的访问地址，其后注入编排服务的配置文件)。若没有检索到相关服务资源实例，则先对依赖服务自身进行编排，编排完成后再回溯到当前编排服务。
[0088]
(2)存储资源编排
[0089]
参照图6中路径
②
，通过依赖存储资源标识dataid检索存储资源数据库是否存在可选存储资源实例，存在则通过资源评价排序模块进行存储资源重要性评价排序，自动组装推荐的重要性价值最大的存储资源实例(记录所述存储资源实例的访问地址，其后注入编排服务的配置文件)。若没有检索到相关存储资源实例，则根据服务自身提供的存储模板创建存储实例。
[0090]
(3)配置资源编排
[0091]
参照图6中路径
③
，通过配置资源标识cfgid检索配置资源数据库是否存在已被激活的配置实例，并将步骤(1)(2)所述的依赖服务资源和存储资源的连接信息注入所述配置实例，使用配置挂载方法注入服务容器。若没有检索到相关配置实例，则进行新建。
[0092]
(4)计算资源编排
[0093]
参照图中路径
④
，通过对工作流中未部署的服务节点分配计算资源、配置运行参数，使用容器技术部署运行；对于已部署的服务节点则更新服务配置，刷新依赖资源连接信息。服务节点计算资源分配q'通过相同类型的历史服务计算资源的平均使用量确定，关系为调节系数δ根据实际应用场景确定。
[0094]
本发明还提出一种基于重要性排序的工作流服务编方法，通过所述的基于重要性排序的工作流服务编排，实现基于重要性排序的工作流服务编排。
[0095]
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，利用所述的基于重要性排序的工作流服务编排，实现基于重要性排序的工作流服务编排。。
[0096]
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执
行时，通过所述的基于重要性排序的工作流服务编排，实现基于重要性排序的工作流服务编排。
[0097]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0098]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。