软件业务组件评价方法、装置、终端和介质

摘要: 本申请涉及数据处理,尤其涉及一种软件业务组件评价方法、装置、终端和介质。背景技术:1、随着智慧系统的发展,业务系统已演化为由大量软件组件、算法模型与数据服务构成...
软件业务组件评价方法、装置、终端和介质

本申请涉及数据处理,尤其涉及一种软件业务组件评价方法、装置、终端和介质。

背景技术:

1、随着智慧系统的发展,业务系统已演化为由大量软件组件、算法模型与数据服务构成的复杂系统。这些组件的干预优化对功能的准确率、预警的时效性等业务效益有重要影响。

2、然而,现有的软件业务组件需7×24小时连续运行,无法暂停服务设置空白对照组,导致组件干预后的真实业务贡献难以量化评估,其缺陷主要体现在以下方面:不能为评估而并行维护一套旧版本作为对照,现有技术在此场景下失效,即无法应对无对照组场景;即使对比干预前后指标,也无法区分效益提升是源自组件优化,还是业务本身随时间自然改善的趋势,即难以分离自然趋势与干预效应;无法构建“假设未干预”的效益基线,因而无法归因计算组件干预带来的净贡献。

技术实现思路

1、本申请的主要目的在于提供一种软件业务组件评价方法、装置、终端和介质,旨在无对照组的连续运行场景下,精准评价软件业务组件的干预对业务效益的影响,并直观展示软件业务组件的归因贡献。

2、为实现上述目的,本申请提供一种软件业务组件评价方法,所述方法包括:

3、将软件业务组件对应的原始数据转化为业务效益序列,其中,所述业务效益序列用于表征软件业务组件在每个时间点所得到的业务效益指标值;

4、基于所述业务效益序列,生成干预变量,其中,所述干预变量用于表征软件业务组件在干预前、干预时以及干预后对业务场景的影响;

5、基于所述业务效益序列以及所述干预变量,通过预设回归模型,计算得到预设回归模型对应的拟合优度;

6、基于所述业务效益序列以及所述拟合优度,得到软件业务组件对应的目标评价结果。

7、具体地,所述原始数据包括温度预报值以及温度观测值,所述业务效益序列为温度准确率序列,所述温度准确率序列包括至少一个温度准确率;

8、所述将软件业务组件对应的原始数据转化为业务效益序列,包括:

9、通过预设正则表达式,从所述温度预报值以及所述温度观测值中的温度预报值对应的数值部分以及温度观测值对应的数值部分;

10、基于所述温度预报值对应的数值部分以及所述温度观测值对应的数值部分,计算得到绝对误差值;

11、基于所述绝对误差值,通过预设分段函数,生成所述温度准确率序列。

12、具体地,所述基于所述业务效益序列以及所述干预变量,通过预设回归模型,计算得到预设回归模型对应的拟合优度,包括:

13、以所述干预变量为预设回归模型对应的自变量,以所述业务效益序列中的业务效益指标值为预设回归模型对应的因变量,执行拟合操作,得到预设回归模型对应的系数值;

14、将所述系数值以及所述干预变量代入所述预设回归模型,计算得到预设回归模型对应的预测值;

15、基于所述预设回归模型对应的预测值以及所述业务效益指标值,计算得到所述拟合优度。

16、具体地,所述干预变量包括干预设计矩阵以及干预点,所述干预设计矩阵包括时间序列、干预指示序列以及交互序列,所述时间序列用于表征干预前业务效益指标随时间的固有变化趋势,所述干预指示序列用于表征软件业务组件上线瞬间带来的效益即时跳跃,所述交互序列用于表征干预后业务效益指标变化斜率相对于干预前的改变量,所述干预点用于表征干预发生的时间分界点;

17、所述预设回归模型通过下列计算表达式表示:

18、

19、其中,表示所述预设回归模型对应的预测值,表示截距系数,所述截距系数用于表征软件业务组件干预前起始点对应的基线效益,表示所述时间序列,表示所述干预指示序列,表示所述交互序列,、以及分别表示第一系数、第二系数以及第三系数,所述第一系数、所述第二系数以及所述第三系数分别与所述时间序列、所述干预指示序列以及所述交互序列相对应。

20、具体地,所述目标评价结果包括目标综合得分;

21、所述基于所述业务效益序列以及所述拟合优度,得到软件业务组件对应的目标评价结果,包括:

22、基于所述业务效益序列中干预点前的部分序列,计算得到干预前的业务效益指标平均值;

23、基于所述干预前的业务效益指标平均值以及所述拟合优度,计算得到所述目标综合得分。

24、具体地,所述目标评价结果还包括目标维度贡献分,所述目标维度贡献分用于表征对于软件业务组件在各个预设维度上的评价,所述预设维度包括准确性、稳定性以及性能;

25、所述方法还包括:

26、基于所述目标综合得分以及预设维度对应的权重,计算得到目标维度贡献分。

27、具体地,所述方法还包括:

28、基于所述截距系数以及所述第一系数,生成反事实基线,其中,所述反事实基线用于表征假设软件业务组件未干预的业务效益指标值对应的自然趋势曲线;

29、基于所述反事实基线、所述预设回归模型对应的预测值、所述业务效益序列、所述干预点以及所述目标维度贡献分,生成目标展示图,其中,所述目标展示图用于表征有无所述软件业务组件的归因贡献的趋势对比。

30、为实现上述目的,本申请还提供一种软件业务组件评价装置,所述装置包括:

31、第一单元,用于将软件业务组件对应的原始数据转化为业务效益序列,其中,所述业务效益序列用于表征软件业务组件在每个时间点所得到的业务效益指标值;

32、第二单元,用于基于所述业务效益序列,生成干预变量,其中,所述干预变量用于表征软件业务组件在干预前、干预时以及干预后对业务场景的影响;

33、第三单元,用于基于所述业务效益序列以及所述干预变量,通过预设回归模型,计算得到预设回归模型对应的拟合优度;

34、第四单元,用于基于所述业务效益序列以及所述拟合优度,得到软件业务组件对应的目标评价结果。

35、为实现上述目的,本申请还提供一种终端,包括存储器存储有多条指令;所述处理器从所述存储器中加载指令,以执行本申请所提供的任一种方法中的步骤。

36、为实现上述目的,本申请还提供一种介质,所述介质存储有多条指令,所述指令适于处理器进行加载,以执行本申请所提供的任一种方法中的步骤。

37、本申请提供的一种软件业务组件评价方法、装置、终端和介质,可以首先将软件业务组件对应的原始数据转化为业务效益序列;基于所述业务效益序列,生成干预变量;基于所述业务效益序列以及所述干预变量,通过预设回归模型,计算得到预设回归模型对应的拟合优度;基于所述业务效益序列以及所述拟合优度,得到软件业务组件对应的目标评价结果,以在无对照组的连续运行场景下,精准评价软件业务组件的干预对业务效益的影响,并直观展示软件业务组件的归因贡献。

1.一种软件业务组件评价方法,其特征在于,所述方法包括:

2.如权利要求1所述的方法,其特征在于,所述原始数据包括温度预报值以及温度观测值,所述业务效益序列为温度准确率序列,所述温度准确率序列包括至少一个温度准确率;

3.如权利要求1所述的方法,其特征在于,所述基于所述业务效益序列以及所述干预变量,通过预设回归模型,计算得到预设回归模型对应的拟合优度,包括:

4.如权利要求1所述的方法,其特征在于,所述干预变量包括干预设计矩阵以及干预点,所述干预设计矩阵包括时间序列、干预指示序列以及交互序列,所述时间序列用于表征干预前业务效益指标随时间的固有变化趋势,所述干预指示序列用于表征软件业务组件上线瞬间带来的效益即时跳跃,所述交互序列用于表征干预后业务效益指标变化斜率相对于干预前的改变量,所述干预点用于表征干预发生的时间分界点;

5.如权利要求4所述的方法,其特征在于,所述目标评价结果包括目标综合得分;

6.如权利要求5所述的方法,其特征在于,所述目标评价结果还包括目标维度贡献分,所述目标维度贡献分用于表征对于软件业务组件在各个预设维度上的评价,所述预设维度包括准确性、稳定性以及性能;

7.如权利要求6所述的方法,其特征在于,所述方法还包括:

8.一种软件业务组件评价装置,其特征在于,所述装置包括:

9.一种终端,其特征在于,包括处理器和存储器,所述存储器存储有多条指令;所述处理器从所述存储器中加载指令,以执行如权利要求1~7任一项所述方法中的步骤。

10.一种介质,其特征在于,所述介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1~7任一项所述方法中的步骤。