一种电力边端模型的性能分析方法、装置及存储介质与流程

1.本发明涉及电力边端模型应用技术领域，特别是一种电力边端模型的性能分析方法、装置及存储介质。


背景技术：

2.随着电网走进万物互联的数字时代，各种设备、软件数量的增长呈现十分迅猛的态势。计算能力广泛分布于端边侧，造成了资源和算力闲置浪费，未来随着边缘端设备的大量部署，模型的边缘部署与应用需求将会激增。模型的云边端共享对于企业人工智能的发展起着重要的作用，模型性能分析技术是衡量模型质量的核心工作，对人工智能建设有至关重要的作用。然而不同于云端，边端设备具有数量大、分布广、算力弱、能耗低等特点，而目前已有的模型评估技术和理论往往是针对于云端的模型的评估，对边端的模型的性能分析研究较少，而对于云边端环境下众多模型的管控方法的研究则更为匮乏。


技术实现要素：

3.本发明的目的是提供一种电力边端模型的性能分析方法、装置及存储介质，能够对电力边端模型进行准确可靠的性能分析，为边端模型的优化提供参考依据，以更好的用于电力应用中，提升电网安全运行质量。本发明采用的技术方案如下。
4.一方面，本发明提供一种电力边端模型的性能分析方法，包括：获取电力边端模型数据文件及其模型类型信息；根据模型类型信息获取用于模型测试的测试样本数据，以及查询预设的关联性能参数表，确定电力边端模型关联的测试过程参数；其中所述关联性能参数表定义有模型类型与测试过程参数的关联关系；调用及运行预先构建的适用于电力边端模型的运行环境，在运行环境中加载电力边端模型数据文件；将测试样本数据作为已加载的所述电力边端模型的输入数据，多次运行所述电力边端模型，得到每次模型运行所输出的分类结果；按照已确定的测试过程参数，采集所述电力边端模型每次运行过程的测试过程参数数据；根据对模型多次运行过程所采集的测试过程参数数据，确定所述电力边端模型的性能。
5.可选的，所述电力边端模型为部署在电力行业场景的边端设备中的图像处理类模型；模型类型包括非目标检测模型和目标检测模型；所述模型类型信息由外部通过人机交互接口输入；所述预先构建的适用于电力边端模型的运行环境为模拟待分析电力边端模型运行场景的软件环境和硬件环境。
6.可选的，对于目标检测模型，所关联的测试过程参数包括模型对测试样本进行分
类的ap值、f1值、auc值、误检率、查全率、查准率、检测速率，以及模型分类过程中的硬件使用率；对于非目标检测模型，所关联的测试过程参数包括模型对测试样本进行分类的f1值、auc值、误检率、检出率、检测速率，以及模型分类过程中的硬件使用率；所述硬件使用率包括cpu使用率、内存使用率和硬盘使用率。
7.可选的，所述采集所述电力边端模型每次运行过程的测试过程参数数据包括：在模型分类过程中，采集硬件使用率数据，在模型分类得到结果后，根据分类结果计算其它测试过程参数数据。
8.可选的，所述根据所采集的测试过程参数数据，确定所述电力边端模型的性能包括：对采集到的测试过程参数数据进行标准化处理；基于标准化处理后的模型多次运行的测试过程参数数据，利用熵值法对每种测试过程参数计算权重系数；基于标准化处理后的测试过程参数数据以及测试过程参数的权重系数，根据预先设置的性能评分规则计算电力边端模型的性能评分。
9.可选的，所述性能评分规则为：模型的性能评分结果等于所有标准化处理后的每种测试过程参数数据的平均值与权重的乘积之和。
10.可选的，方法还包括：获取外部输入的权重配置信息，根据权重配置信息配置各测试过程参数数据的权重；其中，所述权重配置信息由外部根据电力边端模型运行场景确定；所述根据所采集的测试过程参数数据，确定所述电力边端模型的性能包括：将每种测试过程参数在模型多次运行中的数据平均值与测试过程参数的权重相乘，所得乘积相加后得到的数据作为电力边端模型的性能评分结果。
11.第二方面，本发明提供一种电力边端模型的性能分析装置，包括：模型获取模块，被配置用于获取电力边端模型数据文件及其模型类型信息；样本及性能参数确定模块，被配置用于根据模型类型信息获取用于模型测试的测试样本数据，以及查询预设的关联性能参数表，确定电力边端模型关联的测试过程参数；其中所述关联性能参数表定义有模型类型与测试过程参数的关联关系；模型加载模块，被配置用于调用及运行预先构建的适用于电力边端模型的运行环境，在运行环境中加载电力边端模型数据文件；模型运行模块，被配置用于将测试样本数据作为已加载的所述电力边端模型的输入数据，多次运行所述电力边端模型，得到每次模型运行所输出的分类结果；参数采集模块，被配置用于按照已确定的测试过程参数，采集所述电力边端模型每次运行过程的测试过程参数数据；以及，模型性能确定模块，被配置用于根据对模型多次运行过程所采集的测试过程参数数据，确定所述电力边端模型的性能。
12.可选的，所述模型性能确定模块根据所采集的测试过程参数数据，确定所述电力边端模型的性能，包括：对采集到的测试过程参数数据进行标准化处理；基于标准化处理后的模型多次运行的测试过程参数数据，利用熵值法对每种测试
过程参数计算权重系数；基于标准化处理后的测试过程参数数据以及测试过程参数的权重系数，根据预先设置的性能评分规则计算电力边端模型的性能评分。
13.其中，所述性能评分规则为：模型的性能评分结果等于所有标准化处理后的测试过程参数数据的平均值与权重的乘积之和。
14.第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如第一方面所述的电力边端模型的性能分析方法。
15.有益效果本发明的电力边端模型性能分析方法，能够适用于各种电力行业场景的目标检测及非目标检测类电力边端模型的性能分析，可为模型的优化以及模型运行软硬件环境的优化提供数据参考，以更好的提升电力边端模型的可靠性，为电力运行控制提供可靠的数据源，保障电力设备及电网的安全稳定运行。
16.同时，本发明采用熵值法根据模型多次运行产生的数据的离散性为各测试过程参数进行权重赋值，实现了客观赋权，避免人为赋权的主观影响，能够反应各测试过程参数在模型整体性能中的可信度，提升电力边端模型分析结果的准确度。
附图说明
17.图1所示为本发明电力边端模型的性能分析方法的一种实施例流程示意图图2所示为本发明电力边端模型的性能分析方法的一种实施例中熵值赋权流程示意图。
具体实施方式
18.以下结合附图和具体实施例进一步描述。
19.对于图像处理类电力边端模型，通常可计算的指标有：ap值、f1值、auc值、误检率、查全率、查准率，其中：ap值是pr曲线与x轴围成的图形面积，pr曲线的横轴recall也就是tpr，反映了分类器对正例的覆盖能力，纵轴precision的分母是识别为正例的数目（不是实际正例数目），precision反映分类器预测正例的准确程度；f1值：是统计学中用来衡量二分类模型精确度的一种指标。它同时兼顾了分类模型的精确率和召回率。f1分数可以看作是模型精确率和召回率的一种调和平均，它的最大值是1，最小值是0；auc值，area under curve，是roc曲线下的面积，介于0.1和1之间。roc曲线的横轴是fprate，纵轴是tprate，当fprate和tprate相等时，表示的意义是：对于不论真实类别是1还是0的样本，分类器预测为1的概率是相等的。auc作为数值可以直观的评价分类器的好坏，值越大越好；误检率：一组预测为正样本的图片中，结果为负样本的图片所占的比例；查全率：所有真的是正样本的图片中，被成功预测出来的图片所占的比例；查准率：一组预测为正样本的图片中，真的是正样本的图片所占的比例。
20.实施例1
本实施例介绍一种电力边端模型的性能分析方法，参考图1，方法包括：获取待分析的电力边端模型数据文件及其模型类型信息；根据模型类型信息获取用于模型测试的测试样本数据，以及查询预设的关联性能参数表，确定电力边端模型关联的测试过程参数；其中所述关联性能参数表定义有模型类型与测试过程参数的关联关系；调用及运行预先构建的适用于电力边端模型的运行环境，在运行环境中加载电力边端模型数据文件；将测试样本数据作为已加载的所述电力边端模型的输入数据，多次运行所述电力边端模型，得到每次模型运行所输出的分类结果；按照已确定的测试过程参数，采集所述电力边端模型每次运行过程的测试过程参数数据；根据对模型多次运行过程所采集的测试过程参数数据，确定所述电力边端模型的性能。
21.上述电力边端模型为部署在电力行业场景的边端设备中的图像处理类模型；模型类型包括非目标检测模型和目标检测模型；模型类型信息由外部通过人机交互接口输入；预先构建的适用于电力边端模型的运行环境为模拟待分析电力边端模型运行场景的软件环境和硬件环境。
22.具体的，本实施例进行电力边端模型性能分析的内容如下。
23.一、模型运行条件准备为了能够支持目标检测类及非目标检测类的图像处理电力边端模型，首先需要根据电力边端模型的实际运行场景，模拟相应的软硬件环境，对此可参考现有技术实现。
24.同时还需要对应每类电力边端模型分别准备测试样本集，并预先配置对于每一类模型在运行中以及运行结束后需要采集的测试过程参数，可通过关联参数表记录模型类型与测试过程参数的关联关系。
25.本实施例中，对于目标检测模型，所关联的测试过程参数包括模型对测试样本进行分类的ap值、f1值、auc值、误检率、查全率、查准率、检测速率，以及模型分类过程中的硬件使用率；对于非目标检测模型，所关联的测试过程参数包括模型对测试样本进行分类的f1值、auc值、误检率、检出率、检测速率，以及模型分类过程中的硬件使用率；硬件使用率包括cpu使用率、内存使用率和硬盘使用率。
26.在采集测试过程参数数据时为分阶段采集，即，在模型分类过程中，采集硬件使用率数据，在模型分类得到结果后，根据分类结果计算其它测试过程参数数据。
27.在确定每一类模型关联的测试过程参数同时，还可进一步设定模型的性能评分规则，本实施例中预先设定：非目标检测类电力边端模型：模型的性能评分= f1值*f1值权重 auc值*auc值权重 （1-误检率）*误检率权重 检出率*检出率权重 检测速率*检测速率权重 硬件使用率*硬件使用率权重；目标检测类电力边端模型：模型的性能评分 = ap值* ap值权重 f1值*f1值权重 auc值*auc值权重 （1-误检率）*误检率权重 查全率*查全率权重 检出率*检出率权重 检测速率*检测速率权重 （1-硬件使用率）*硬件使用率权重。
28.二、电力边端模型运行测试在确定需要进行性能分析的电力边端模型时，用户可将待分析的电力边端模型数据文件输入计算机，模型类型信息可通过人机交互接口一并输入。此后用户可操作计算机将模型文件加载至预先构建的模型软硬件环境平台。
29.计算机获取模型类型信息后，可识别模型是否为目标检测类模型，进而确定用于模型测试的测试样本数据以及需要检测的测试过程参数和性能评分规则。
30.模型运行时，以所确定的测试样本数据作为输入，每次模型运行得到相应的分类结果，运行模型多次即可得到多个分类结果。本实施例在每次模型运行过程中采集硬件使用率，即cpu使用率、内存使用率和硬盘使用率，在得到分类结果后计算其他测试过程参数数据。
31.三、根据测试过程参数进行模型性能分析本实施例首先采用熵权法根据测试过程参数数据对各测试过程参数赋权重，进而根据所采集的测试过程参数数据，确定所述电力边端模型的性能，具体包括以下步骤：对采集到的测试过程参数数据进行标准化处理；基于标准化处理后的模型多次运行的测试过程参数数据，利用熵值法对每种测试过程参数计算权重系数，参考图2所示，权重赋值过程包括：
①
计算每种测试参数每次运行所得的数据在所有次运行数据中的比重；
②
根据所得比重计算信息熵冗余度；
③
根据信息熵冗余度计算测试参数的权重系数。步骤
②
和
③
的具体计算方法可参考现有熵权法内容；基于标准化处理后的测试过程参数数据以及测试过程参数的权重系数，根据预先设置的性能评分规则计算电力边端模型的性能评分。
32.模型的性能评分结果即等于所有标准化处理后的每种相关联的测试过程参数数据的平均值与权重的乘积之和，也即，将每种测试过程参数在模型多次运行中的标准化数据平均值与测试过程参数的权重相乘，所得乘积相加后得到的数据作为电力边端模型的性能评分结果。
33.此外，各测试过程参数的权重系数也可获取自外部输入的权重配置信息，根据权重配置信息配置各测试过程参数数据的权重；权重配置信息可实现由外部根据电力边端模型运行场景确定，同样可利用熵权法来确定或者根据经验和需要赋值。
34.实施例2本实施例介绍一种电力边端模型的性能分析装置，包括：模型获取模块，被配置用于获取电力边端模型数据文件及其模型类型信息；样本及性能参数确定模块，被配置用于根据模型类型信息获取用于模型测试的测试样本数据，以及查询预设的关联性能参数表，确定电力边端模型关联的测试过程参数；其中所述关联性能参数表定义有模型类型与测试过程参数的关联关系；模型加载模块，被配置用于调用及运行预先构建的适用于电力边端模型的运行环境，在运行环境中加载电力边端模型数据文件；模型运行模块，被配置用于将测试样本数据作为已加载的所述电力边端模型的输入数据，多次运行所述电力边端模型，得到每次模型运行所输出的分类结果；参数采集模块，被配置用于按照已确定的测试过程参数，采集所述电力边端模型每次运行过程的测试过程参数数据；
以及，模型性能确定模块，被配置用于根据对模型多次运行过程所采集的测试过程参数数据，确定所述电力边端模型的性能。
35.本实施例中，各功能模块的具体功能实现参考实施例1的相关内容，特别指出的是，模型性能确定模块采用熵值法进行电力边端模型的性能评价，具体的，所述根据所采集的测试过程参数数据，确定所述电力边端模型的性能，包括：对采集到的测试过程参数数据进行标准化处理；基于标准化处理后的模型多次运行的测试过程参数数据，利用熵值法对每种测试过程参数计算权重系数；基于标准化处理后的测试过程参数数据以及测试过程参数的权重系数，根据预先设置的性能评分规则计算电力边端模型的性能评分。
36.其中，所述性能评分规则为：模型的性能评分结果等于所有标准化处理后的测试过程参数数据的平均值与权重的乘积之和。
37.实施例3本实施例介绍一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如实施例1中介绍的电力边端模型的性能分析方法。
38.综上实施例，通过在模型测试过程中，采用熵值法为各测试过程参数进行权重赋值，实现了客观赋权，能够反应各测试过程参数在模型整体性能中的可信度，提升电力边端模型分析结果的准确度。且本发明能够适用于各种电力行业场景的目标检测及非目标检测类电力边端模型的性能分析，助力保障电力设备及电网的安全稳定运行。
39.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。
40.本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
41.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
42.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
43.以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体
实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。