一种人工智能自动训练方法、系统、装置及存储介质与流程

1.本发明属于人工智能领域，涉及一种面向电力多场景的人工智能自动训练系统的构建方法，尤其是一种人工智能自动训练方法、系统、装置及存储介质。


背景技术：

2.深度学习模型虽然降低了特征提取的难度，但却带来了两大类的超参数：与训练有关的学习率、动量、批大小；与网络结构有关的网络宽度、卷积核的数量、卷积层的多少等。这些超参数构成了一个巨大的搜索空间。而调试这些错综复杂的算法参数，算法的使用者不仅需要专业的知识，往往要花费大量的时间和经历去尝试。从近期的发展趋势来看，用算力换算法的思路来解决调参的问题越来越受到研究者的青睐。
3.虽然深度学习取得了这么多巨大的进步，但它离全自动化的机器学习系统距离还有很远。每一个机器学习应用，如特征工程、模型选择、算法选择都需要定制化。如何将这些模型开发人员从这些繁琐的任务中解放出来，让他们从事更具有创新性的工作成为了一项极有价值的任务。
4.目前，针对电力业务的数据分析与挖掘应用，主要包括以下现有技术方案：（1）业务理解针对电力业务的数据分析与挖掘应用开始于业务需求分析数据分析人员要学习并理解业务领域的相关知识，与业务人员和关键利益相关方进行多次分析讨论共同制定业务需求，形成业务问题；与业务应用人员共同确定项目的分析目标，即最终要实施的应用场景，并编制相应的功能设计方案；同时，还需评估可用于项目实施的人员、技术、时间和数据。
5.（2）分析方法选择此步的重点在于把业务问题转化为分析问题，并形成初始的分析假设，初步确定需要使用的分析挖掘方法，以便根据分析目标确定要采用的人工智能算法。
6.（3）数据准备根据业务需求分析结果，对潜在的数据源进行调研，并根据业务规则对可获得的数据进行理解。结合分析目标，分析数据需求和可能用到的电力系统内外部数据。由于设备异常、传输干扰或人为因素等造成数据质量参差不齐，存在大量的空值、异常值和错误值等情况，因而数据预处理成为数据分析挖掘的决定性工作。需要结合业务规则和数据分布情况对数据进行清洗；基于统一数据模型对数据数据准备进行集成和融合；根据设定的分析挖掘方法，对清洗过的数据进行规约、变换、离散化等预处理，以提高分析算法的性能。
7.根据算法模型的训练需要对部分数据进行数据标注，形成规范化算法可识别的数据，支撑算法模型训练。
8.（4）数据建模根据分析假设和数据情况，对初步确定的分析方法进行模型训练、参数调优和算法验证。通过数据探索和变量选择，进行描述性统计分析和探索性建模分析以理解变量间
的关系。基于分析假设、分析目标和数据探索情况，选择一种或一类具体的分析方法，针对大规模全量数据进行分析挖掘时，采用新型分析挖掘工具中的分布式算法，进行模型训练。在分析挖掘过程中，很多机器学习算法需要进行并行化改造和实现，这目前在学术界和工业界仍是一个挑战。在模型训练过程中，需根据分析方法的结果对模型参数进行调优。
9.（5）模型评估此步骤是在实际数据（非训练时采用的数据）上对分析方法进行验证，根据验证结果迭代优化分析挖掘模型。结合项目分析目标和设计的业务场景，对数据维度或属性进行筛选，根据目的和用户群选用相应的展现方式。
10.（6）应用开发将分析流程和分析方法等固化为模型，然后基于模型开发业务应用模块，提供标准io接口与业务系统进行互联。根据分析项目需求，采取先试点应用再全面推广的实施策略。在实施过程中收集反馈信息，并根据结果反馈情况确定是否需要进行模型修正。
11.上述现有技术存在以下缺陷：在整个数据分析流程中涉及较多的算法分析选择、模型训练环境、模型评估等人员需要参与的工作。
12.在算法分析选择方面，针对特定的电力业务需要从大量的算法中去选择适用于电力特定任务的模型，需要分析挖掘人员具有较高的算法分析技术水平，同时工作量也较大。
13.在模型训练方面，需要分析挖掘人员亲自去构建算法模型的软硬件环境，一方面要亲自搭建软件环境，另一方面通常不具备较好的硬件条件，导致模型训练时间长、效果差问题。
14.在模型评估方面，需要分析挖掘人员人为定义算法模型评价指标，并编写相关评价程序，实现模型评价。


技术实现要素：

15.本发明的目的在于解决现有技术中的问题，提供一种人工智能自动训练方法、系统、装置及存储介质，实现样本数据管理、模型自适应选择、模型自动化训练等功能，实现人工智能模型自动化训练，降低人工智能模型开发难度，解决传统人工智能算法中特征选择、模型评价等依靠个人经验和繁琐耗时的问题，提高人工智能模型开发效率。
16.为达到上述目的，本发明采用以下技术方案予以实现：一种人工智能自动训练方法，包括以下步骤：接收上传的样本数据，并对样本数据进行人工或自动化辅助标注；根据样本数据的标注信息，选择与所述标注信息对应的目标业务领域；根据所述目标业务领域，从与所述目标业务领域对应的模型训练任务中选择目标模型训练任务；根据所述目标模型训练任务匹配目标深度学习模型；针对所述目标深度学习模型，进行自动化模型训练和参数预训练；根据模型训练任务类型和评价方法，实现自动化模型评价。
17.一种人工智能自动训练系统，包括：样本数据管理模块，所述样本数据管理模块用于接收上传的样本数据，并对样本
数据进行人工或自动化辅助标注；业务领域选择模块，所述业务领域选择模块用于根据样本数据的标注信息，选择与所述标注信息对应的目标业务领域；目标模型训练任务选择模块，所述目标模型训练任务选择模块用于根据所述目标业务领域，从与所述目标业务领域对应的模型训练任务中选择目标模型训练任务；目标深度学习模型匹配模块，所述目标深度学习模型匹配模块用于根据所述目标模型训练任务匹配目标深度学习模型；模型和参数训练模块，所述模型和参数训练模块用于针对所述目标深度学习模型，进行自动化模型训练和参数预训练；模型评价模块，所述模型评价模块用于根据模型训练任务类型和评价方法，实现自动化模型评价。
18.一种人工智能自动训练装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方法的步骤。
19.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法的步骤。
20.与现有技术相比，本发明具有以下有益效果：本发明人工智能自动训练方法，面向电力多场景的图像、文本等模型自动化训练，具有操作简单、模型训练高效等特点，可有效支撑电网调度、运检、安监、营销等业务图像识别、文本分析、语音识别等模型训练，实现了业务与深度学习模型的自动匹配。
21.进一步的，本发明使用神经架构自动化搜索技术时，采用基于信息传递机制的图卷积神经网络架构搜索，采用稀疏过滤器和密集过滤器，来胜任粗细粒度的特征过滤任务，设计跟电力模型结构相适应的基本操作子，探索可行的模型搜索策略。
22.进一步的，本发明通过设计基本操作子，使用强化学习、可微分学习等参数更新方式，实现较少人工干预下的网络自动化训练。
23.进一步的，本发明在梯度下降算法进行网络结构搜索时，为了解决网络深度加深时的计算量增大和稳定性下降的问题：一是搜索空间近似，即在网络层数增加时减少可选操作的数量，从而降低计算量；二是搜索空间正则化，即通过操作层的随机丢弃和减少跳跃连接的次数，从而避免跳跃连接在操作层占据主导地位。
24.本发明通过建立面向电力多场景的全自动模型训练系统，为模型开发人员提供方便、易用、高效的模型训练环境，较大的降低模型开发技术门槛、缩短模型开发时间，有效构建适合电力多场景的算法模型，有力支撑电力业务智能化发展。
附图说明
25.为了更清楚的说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
26.图1为本发明自动化模型训练的流程图。
27.图2为本发明图卷积神经网络的搜索空间示意图。
具体实施方式
28.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
29.因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
30.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
31.在本发明实施例的描述中，需要说明的是，若出现术语“上”、“下”、“水平”、“内”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
32.此外，若出现术语“水平”，并不表示要求部件绝对水平，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。
33.在本发明实施例的描述中，还需要说明的是，除非另有明确的规定和限定，若出现术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
34.调试深度学习模型的超参数要花费大量的时间和经历去尝试。从近期的发展趋势来看，用算力换算法的思路来解决调参的问题越来越受到研究者的青睐。
35.自动化训练技术（automl）正是在这样的背景下被提出的。它的提出是希望能够自动化的解决一切人为的工作，让机器学习的门槛更低，让更多人有机会去使用机器学习。automl是一种端到端的应用机器学习的过程。在一个典型的机器学习任务中，automl将模型、优化、评价这些重要的步骤自动化的学习，使机器学习模型无需人工干预即可被应用。automl主要问题是选择合适的特征、选择合适的模型族和选择合适的模型参数。迁移学习是把已学训练好的模型参数迁移到新的模型来帮助新模型训练。考虑到大部分数据或任务是存在相关性的，所以通过迁移学习我们可以将已经学到的模型参数（也可理解为模型学到的知识）通过某种方式来分享给新模型从而加快并优化模型的学习效率，不用像大多数网络那样从零学习。迁移学习可以加速训练过程，还可以解决目标领域训练样本数据少的问题。
36.本发明面向电力多场景的人工智能自动训练系统包括样本数据管理、业务领域选
择、自适应模型匹配、模型训练、模型评估、模型封装等功能模块。针对模型训练任务设计面向卷积神经网络、递归神经网络、图卷积神经网络等网络搜索框架，设计模型训练任务结构相适应的基本操作子，探索可行的模型搜索策略，实现电网应用场景下多任务的自动化训练。自动化模型训练通过设计基本操作子，使用强化学习、可微分学习等参数更新方式，实现较少人工干预下的网络自动化训练。
37.下面结合附图对本发明做进一步详细描述：参见图1，本发明实施例公开了一种人工智能自动训练方法，包括以下步骤：（1）样本数据管理面向电力多场景的人工智能自动训练平台样本数据管理包括样本数据上传、样本数据标注、样本数据管理等。样本数据上传提供本地上传、服务器上传等。样本数据标注提供人工标注和自动化辅助标注两种方式，自动化辅助标注通过样本数据自动标注工具实现样本数据自动标注，提高样本数据标注效率。样本数据管理实现样本数据的全流程标准化管理，支撑模型自动化训练。
38.用户上传样本数据时可选择样本数据类型，平台基于样本数据类型实现样本数据自动标注，基于自动标注结果通过人工校核，样本数据可应用于模型训练。自动标注的样本数据类型包括输变电、安监等图像、视频、文本信息等，其中输变电图像标注包括异物、绝缘子、细小金具、导地线等；安监视频标注包括越线闯入、未戴安全帽、未穿工装、吸烟、未携带正确工具、人脸识别、未佩戴绝缘手套、带电设备附近用非绝缘物品等；文本信息标注包括电力设备、线路、变电站、组织机构、地点、人名等。
39.（2）电力自适应模型匹配根据样本数据确定业务领域，通过样本内容相似度计算确定细分业务领域应用；例如：自适应模型匹配首先根据应用（样本）类型是属于图像或文本（自然语言处理）或语音大类，然后再匹配属于运检鸟窝识别还是绝缘子破裂还是违章未系安全带等。针对运检、调度、安监、营销等业务领域，主要包括图像识别、语音识别、文本分析、知识图谱等模型训练任务。知识图谱、情感分析都是基于自然语言文本处理应用，属于自然语言处理类型；语音合成、声纹识别属于语音处理应用，属于语音识别类。调度领域涉及知识图谱构建、文本分析、语音识别、语音合成等模型训练任务；运检领域涉及图像识别、声纹识别、知识图谱等模型训练任务；安监领域主要涉及视频分析、违章识别等，营销领域涉及语音识别、情感分析、知识图谱等模型训练任务。图像识别、语音识别属于人工智能应用大类，像杆塔鸟窝识别、绝缘子破裂等运检以及未系安全带、抽烟等违章识别都属于图像识别。
40.自适应模型匹配根据电力业务运检、安监、调度、营销等的图像识别、文本分析、语音识别等类型，自动匹配最优的深度学习模型。针对图像识别、自然语言处理、语音等匹配卷积神经网络、循环神经网络、图卷积神经网络等深度学习模型。
41.（3）网络架构搜索针对电力运检、安监、调度、营销业务领域的具体业务，实现深度学习模型的自动化模型训练和参数预训练，基于可微分网络搜索框架，将两者嵌入到统一框架进行协同学习，设计有效的网络架构搜索技术，在自动化搜索出最优模型结构的同时，优化出最优的训练参数。
42.（4）使用神经架构自动化搜索技术时，设计跟电力模型结构相适应的基本操作子，
探索可行的模型搜索策略。自动化网络训练理论通过设计基本操作子，使用强化学习、可微分学习等参数更新方式，实现较少人工干预下的网络自动化训练。如图1所示，本实施例采用基于搜索空间正则化的卷积神经网络和循环神经网络架构搜索，以及基于信息传递机制的图卷积神经网络架构搜索。
43.①
基于搜索空间正则化的卷积神经网络和循环神经网络架构搜索改进网络搜索策略，对搜索空间进行正则化来提高网络搜索性能，如图2所示。基于梯度的网络搜索存在训练不稳定的问题：一是目标任务精确度对随机初始化过于敏感；二是在代理数据集上搜索到的最优子结构在目标数据集上达不到满意的性能。这种不稳定问题是由优化差距（optimization gap）造成的，即在代理数据集上搜索最优子结构却在其他数据集上重新训练子网络间的差距。即使目标数据集和代理数据集是同一个，也无法保证多次堆叠cell后的网络是最优的子网络。
44.通过对搜索空间进行正则化来解决优化差距的问题。将离散搜索空间松弛为连续、可微分的函数，并基于梯度下降算法进行网络结构搜索。搜索空间由cell表示，每个cell是一个包含n个节点和若干边的有向无环图。cell中每个节点代表一个特征层，节点与节点之间的边代表特征变换操作o(
∙
)∈o。对于每一个中间节点xj，将它与所有前驱节点{x1,x2,
…
,x
(j-1)
}进行稠密链接，连接的边分别表示为e
(i,j)
，(i《j)。darts对每一条边上的所有操作计算权重参数α
(i,j)
，并通过softmax函数进行归一化后用于对各操作进行加权聚合，从而将离散的搜索空间松弛成连续可微。为了解决网络深度加深时的计算量增大和稳定性下降的问题：一是搜索空间近似，即在网络层数增加时减少可选操作的数量，从而降低计算量；二是搜索空间正则化，即通过操作层的随机丢弃和减少跳跃连接的次数，从而避免跳跃连接在操作层占据主导地位。
45.②
基于信息传递机制的图卷积神经网络架构搜索设计基于新设计的搜索空间和基于梯度的搜索策略的图神经结构搜索方法，以自动学习在图上具有最优消息传递深度的更好的结构。构建具有树状拓扑计算过程和两种类型的细粒度基本操作子(特征过滤和邻居聚合)的图神经结构范式来构造强大的图网络搜索空间，其中，特征过滤执行自适应特征选择，邻居聚合捕获结构信息并计算邻居的统计量。
46.首先，设计适合网络架构搜索任务的图神经结构范式，将图神经结构计算图的拓扑结构定义为一颗有向树。其中每个节点代表潜在的图嵌入表示，每条边代表一个操作（特征过滤或邻居聚合）。其中特征过滤操作通过采用门控机制来控制信息流的方法执行特征的自适应选择；设计了两种过滤器——稀疏过滤器和密集过滤器，以胜任粗细粒度的特征过滤任务。用公式表示为：fs(h)=diag(mq([h,h
in
]))h,fd(h)=mz([h,h
in
])
⊙hꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中，fs(h)表示稀疏过滤器，fd(h)表示密集过滤器，h表示待过滤的图嵌入，h
in
表示整个图神经结构计算树的初始输入。
[0047]
其次，使用与可微分的网络搜索架构相同的方法来使搜索空间连续。然后松弛一个特定操作为所有可能操作的softmax，公式表示发下：(2)
其中o表示所有可能操作的集合。松弛之后，优化的目标是共同学习所有混合操作中的架构参数α和权重参数w。α和w可以使用基于梯度的方法进行有效优化。
[0048]
最后，在确定搜索框架过程中，可以通过将每个混合操作替换为最可能的操作，公式表示如下：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)（5）模型评估模型评估根据训练任务类型和评价方法，实现自动化模型评价。模型评估方法包括准确率、召回率、f值等。
[0049]
所述准确率如下：准确率=识别出的正确实体数/识别出的实体数所述召回率如下：召回率=识别出的正确实体数/样本数据中的实体数准确率和召回率的取值在0和1之间，数值越接近1，准确率或召回率就越高；当准确率和召回率出现矛盾时，f值为：f值=(2
×
准确率
×
召回率)/(准确率 召回率)其中，f值为准确率和召回率的加权调和平均值。
[0050]
（6）模型封装根据模型应用场景和部署方式不同将训练好的模型进行封装，支持模型以云端api、设备端sdk等多种方式发布使用。
[0051]
本发明还公开了一种人工智能自动训练系统，包括：样本数据管理模块，所述样本数据管理模块用于接收上传的样本数据，并对样本数据进行人工或自动化辅助标注；业务领域选择模块，所述业务领域选择模块用于根据样本数据的标注信息，选择与所述标注信息对应的目标业务领域；目标模型训练任务选择模块，所述目标模型训练任务选择模块用于根据所述目标业务领域，从与所述目标业务领域对应的模型训练任务中选择目标模型训练任务；目标深度学习模型匹配模块，所述目标深度学习模型匹配模块用于根据所述目标模型训练任务匹配目标深度学习模型；模型和参数训练模块，所述模型和参数训练模块用于针对所述目标深度学习模型，进行自动化模型训练和参数预训练；模型评价模块，所述模型评价模块用于根据模型训练任务类型和评价方法，实现自动化模型评价。
[0052]
为支撑人工智能模型训练，本发明人工智能自动训练系统，还包括以下模块：1）服务器管理模块，实现对cpu服务器和gpu服务器的管理，将训练任务分到分布式的计算节点上执行计算。
[0053]
2）训练框架集成模块，实现对训练过程的抽象，确定相关数据和参数即可启动训练任务并监控和分析训练过程。
[0054]
3）池化计算资源管理模块，将gpu资源云化，实现启动训练任务时平台会自动把训
练任务分配到合适的gpu上。
[0055]
4）资源隔离和环境管理模块，实现对大规模计算节点中的资源和环境高效管理，兼容不同型号的gpu、不同版本的cuda/cudnn和不同的深度学习框架。
[0056]
本发明一实施例提供的人工智能自动训练装置。该实施例的人工智能自动训练装置包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序。所述处理器执行所述计算机程序时实现上述各个方法实施例中的步骤。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。
[0057]
所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。
[0058]
所述人工智能自动训练装置可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述人工智能自动训练装置可包括，但不仅限于，处理器、存储器。
[0059]
所述处理器可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
[0060]
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述人工智能自动训练装置的各种功能。
[0061]
所述人工智能自动训练装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（rom，read-onlymemory）、随机存取存储器（ram，randomaccessmemory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0062]
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。