一种电网边缘计算卸载分配方法及系统

1.本发明涉及移动边缘计算技术领域，尤其涉及一种电网边缘计算卸载分配方法及系统。


背景技术：

2.随着融合5g的电网快速发展，电力业务终端的数量和产生的流量越来越大，这对于现有电网架构提出了很大的挑战。边缘计算作为一种新的计算模式，使数据在源头附近就能得到及时有效的处理，从而为解决电网中海量数据处理提供了新的解决方案。
3.为保证电网服务质量，目前大多数优化方案，采用将计算任务卸载到移动边缘计算（mobile edge computing，简称mec）服务器的方式，这显著减轻了核心网络负载压力，大大减少用户请求的传输距离。然而，当面临海量电力用户终端请求时，仅依靠mec服务器进行任务处理，将导致因计算缓存资源不足所带来的额外的排队延迟，以及多用户终端对通信资源的竞争，仍然使得mec的内容传输面临网络拥塞的挑战。
4.随着电力终端设备能力的提升，终端辅助计算成为了很有潜力的解决方案。终端间距离较近，明显降低远距离传输延迟，此外，多节点并行计算，计算效率显著提升。但是，现有针对临近终端的边缘计算卸载分配方案还不够完善，无法得到较为准确的边缘计算卸载分配方案。因此，现在亟需一种电网边缘计算卸载分配方法及系统来解决上述问题。


技术实现要素：

5.针对现有技术存在的问题，本发明提供一种电网边缘计算卸载分配方法及系统。
6.本发明提供一种电网边缘计算卸载分配方法，包括：获取智能电网中每个电力终端在当前时刻的网络状态信息；将目标电力终端对应的网络状态信息，输入到电网边缘计算卸载分配模型，得到所述目标电力终端中待处理计算任务的边缘计算卸载分配策略；根据所述边缘计算卸载分配策略，将所述待处理计算任务进行分割，并将分割后的待处理计算任务缓存到对应的电力终端和/或移动边缘计算服务器，以对所述待处理计算任务进行边缘计算卸载；其中，所述电网边缘计算卸载分配模型是由样本网络状态信息和所述样本网络状态信息对应的任务缓存比例和任务卸载位置，对多智能体强化学习网络进行训练得到的。
7.根据本发明提供的一种电网边缘计算卸载分配方法，所述电网边缘计算卸载分配模型通过以下步骤训练得到：基于每个电力终端的历史网络状态信息，构建各个电力终端对应智能体的样本网络状态信息，并根据所述样本网络状态信息，构建第一样本观测状态；获取所述样本网络状态信息对应的任务缓存比例和任务卸载位置，并根据所述任务缓存比例和所述任务卸载位置，构建每个智能体的动作；基于每个电力终端在进行边缘计算卸载时的能耗和时延，以每个电力终端的能耗
最小化为优化目标，构建智能体的奖励；根据所述第一样本观测状态、所述动作和所述奖励，构建训练样本集；通过所述训练样本集，对多智能体强化学习网络进行训练，得到电网边缘计算卸载分配模型。
8.根据本发明提供的一种电网边缘计算卸载分配方法，所述基于每个电力终端在进行边缘计算卸载时的能耗和时延，以每个电力终端的能耗最小化为优化目标，构建智能体的奖励，包括：根据每个电力终端的计算能耗和传输能耗，获取每个电力终端在进行边缘计算卸载时的能耗；根据每个电力终端的传输时延和计算时延，获取每个电力终端在进行边缘计算卸载时的时延；将每个电力终端在进行边缘计算卸载时的时延作为约束条件，以每个电力终端的能耗最小化为优化目标，构建电力终端边缘计算卸载能耗优化模型；基于所述电力终端边缘计算卸载能耗优化模型，将每一轮训练过程中电力终端的能耗相反数作为对应智能体的奖励。
9.根据本发明提供的一种电网边缘计算卸载分配方法，在所述通过所述训练样本集，对多智能体强化学习网络进行训练，得到电网边缘计算卸载分配模型之前，所述方法还包括：将所述样本网络状态信息输入到生成对抗网络，输出第二样本观测状态；根据所述第二样本观测状态，对所述训练样本集进行更新，得到更新后的训练样本集；所述通过所述训练样本集，对多智能体强化学习网络进行训练，得到电网边缘计算卸载分配模型，包括：通过所述更新后的训练样本集，对多智能体强化学习网络进行训练，得到电网边缘计算卸载分配模型。
10.根据本发明提供的一种电网边缘计算卸载分配方法，所述电力终端边缘计算卸载能耗优化模型的公式为：其中，表示第i个电力终端在t时刻进行边缘计算卸载时的能耗，表示第i个电力终端的待计算任务在第j个电力终端的缓存比例；为任务卸载动作，表示第i个电力终端的待计算任务在第j个电力终端的计算动作；约束条件为：；；；
；；； ；；；其中，表示第i个电力终端与第j个电力终端之间的网络连接状态，表示完成第i个电力终端的待计算任务的边缘计算卸载和传输的时延，表示预设时延阈值，表示第i个电力终端的待计算任务中需要被缓存的任务量，表示移动边缘计算服务器的缓存总容量，表示任意电力终端的缓存总容量。
11.根据本发明提供的一种电网边缘计算卸载分配方法，所述样本网络状态信息包括网络连接状态、计算能力、缓存能力、待缓存卸载任务计算量和缓存卸载后任务传输量。
12.本发明还提供一种电网边缘计算卸载分配系统，包括：电力终端网络状态采集模块，用于获取智能电网中每个电力终端在当前时刻的网络状态信息；电网边缘计算卸载分配策略生成模块，用于将目标电力终端对应的网络状态信息，输入到电网边缘计算卸载分配模型，得到所述目标电力终端中待处理计算任务的边缘计算卸载分配策略；边缘计算卸载模块，用于根据所述边缘计算卸载分配策略，将所述待处理计算任务进行分割，并将分割后的待处理计算任务缓存到对应的电力终端和/或移动边缘计算服务器，以对所述待处理计算任务进行边缘计算卸载；其中，所述电网边缘计算卸载分配模型是由样本网络状态信息和所述样本网络状态信息对应的任务缓存比例和任务卸载位置，对多智能体强化学习网络进行训练得到的。
13.根据本发明提供的一种电网边缘计算卸载分配系统，所述系统还包括：样本构建模块，用于基于每个电力终端的历史网络状态信息，构建各个电力终端对应智能体的样本网络状态信息，并根据所述样本网络状态信息，构建第一样本观测状态；动作构建模块，用于获取所述样本网络状态信息对应的任务缓存比例和任务卸载位置，并根据所述任务缓存比例和所述任务卸载位置，构建每个智能体的动作；智能体奖励构建模块，用于基于每个电力终端在进行边缘计算卸载时的能耗和时延，以每个电力终端的能耗最小化为优化目标，构建智能体的奖励；训练集生成模块，用于根据所述第一样本观测状态、所述动作和所述奖励，构建训练样本集；训练模块，用于通过所述训练样本集，对多智能体强化学习网络进行训练，得到电
网边缘计算卸载分配模型。
14.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述电网边缘计算卸载分配方法的步骤。
15.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述电网边缘计算卸载分配方法的步骤。
16.本发明提供的一种电网边缘计算卸载分配方法及系统，通过构建移动边缘计算服务器与电力终端协作的混合式缓存与卸载框架，使用多智能体强化学习求解算法进行边缘计算卸载分配决策，充分利用电力终端设备的缓存和计算资源，得到更为准确且高效的边缘计算卸载分配方案，从而解决以往多任务请求时，单一依靠移动边缘计算服务器进行边缘计算，而面临的资源不足与网络拥塞等问题，并且终端间的近距离协作，可有效降低远距离移动边缘计算服务器的传输时延。
附图说明
17.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图进行简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1为本发明提供的电网边缘计算卸载分配方法的流程示意图；图2为本发明提供的电网边缘计算卸载分配系统的结构示意图；图3为本发明提供的电子设备的结构示意图。
具体实施方式
19.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
20.随着电力终端设备能力的提升，临近终端辅助计算成为了很有潜力的解决方案。由于每个电力终端之间的距离较近，可明显降低远距离传输延迟；此外，多个电力终端作为节点并行计算，计算效率显著提升，使得电力终端终端设备从资源消耗者变为资源提供者，改善了系统资源利用率。同时，为了平衡计算与通信资源消耗，电力终端设备以及mec服务器可预先缓存相关资源，在后续进行边缘计算卸载时，可以直接对这些资源进行计算处理，并将计算结果传输到发起边缘计算卸载任务的目标电力终端。
21.在现有方案中，主要是将一些固有的新技术引入边缘计算任务卸载分配中，但是没有考虑在电网中设备计算与存储资源，以及服务请求动态变化的环境，大部分的决策过程都是以整个电网的最低能耗作为目标，导致实际的边缘计算任务卸载决策中，出现计算卸载分配不均匀，可能会出现部分节点分配较多的计算卸载任务，而有些节点分配到较少的计算卸载任务。因此，现有方案在进行边缘计算任务卸载决策时，算法的收敛速度和性能还有待得到进一步提高。
22.针对现有技术中存在的问题，本发明提供了一种智能电网中多智能体终端与mec协作的计算缓存联合优化机制。在本发明中，依据电力终端用户请求和网络状态信息，对于任意一个电力终端设备中待处理的计算任务内容，可预先在mec服务器、临近用户终端（即临近电力终端，与待进行计算任务的电力终端之间网络连接）和本地节点（即待进行计算任务的电力终端）等三个位置进行缓存分割、计算内容传输（包括待进行处理的计算任务以及已完成计算的计算任务结果）以及计算处理，其缓存计算策略共分为：本地节点（缓存）和本地节点（计算），mec服务器（缓存）和mec服务器/本地节点（计算），临近终端（缓存）和临近终端/本地节点（计算）。本发明采用多智能体强化学习，求解智能电网中任意一个电力终端的计算任务对应的最优缓存卸载策略，该问题可以归结为资源分配和任务卸载的联合优化，是一个合作与竞争的混合问题。此外，本发明为了使多智能体框架能够考虑全面以及极端情况，高效应对不同环境状态下的策略制定，提出了一种基于生成对抗网络（generative adversarial network，简称gan）的有经验智能体训练方法，从而进一步提高算法的收敛速度和性能。
23.图1为本发明提供的电网边缘计算卸载分配方法的流程示意图，如图1所示，本发明提供了一种电网边缘计算卸载分配方法，包括：步骤101，获取智能电网中每个电力终端在当前时刻的网络状态信息。
24.在本发明中，实时获取电力终端的网络状态信息，其中，网络状态信息包括电力终端之间的网络连接状态，电力终端的cpu频率（即该电力终端的计算能力），电力终端的缓存容量，电力终端的待缓存卸载任务计算量（即电力终端中待处理的计算任务需要被缓存的计算内容大小），电力终端的卸载后任务传输量（即电力终端i缓存到其他节点的卸载任务，在其他节点完成计算后传输到电力终端i的计算任务结果总量）。需要说明的是，本发明除了获取电力终端之间的网络状态信息时，还可以获取电力终端与mec服务器之间的网络状态信息，即获取电力终端与mec服务器之间的网络连接状态，以及mec服务器的cpu频率等。
25.由于本发明提供的电网边缘计算卸载分配模型在进行边缘计算卸载分配时，同时也考虑了mec服务器的网络状态。因此，该模型在训练过程时，结合了电力终端和mec服务器的网络状态信息，使得模型根据电力终端在当前时刻的网络状态信息，在考虑是否将计算任务卸载到临近电力终端（也可能将计算任务在本地终端处理完成）的同时，还考虑是否需要将计算任务卸载到mec服务器处理。
26.步骤102，将目标电力终端对应的网络状态信息，输入到电网边缘计算卸载分配模型，得到所述目标电力终端中待处理计算任务的边缘计算卸载分配策略。
27.在本发明中，将拥有计算任务的电力终端作为目标电力终端，通过上述实施例获取到目标电力终端对应的网络状态信息之后，将该网络状态信息输入到电网边缘计算卸载模型中，其中，在本发明中，目标电力终端对应的网络状态信息，除了目标电力终端自身的网络状态信息之外，还包括与目标电力终端临近的其他电力终端的网络状态信息（这些临近的电力终端的网络状态信息主要包括网络连接状态，电力终端的cpu频率等）。该电网边缘计算卸载模型用于实现电网中任务最优缓存与卸载策略，涉及到缓存以及计算等资源的合理分配。模型从体验质量（quality of experience，简称qoe）和设备功率有限的角度出发，选择延迟和能耗作为优化目标。因此，在实际应用中，每个电力终端在进行边缘计算卸载时，只关注自身的业务质量（即时延）和能源消耗。
28.进一步地，电网边缘计算卸载模型基于目标电力终端的网络状态信息，决策出最优的边缘计算卸载分配策略，该分配策略涉及到目标电力终端中待进行计算任务的任务分割比例，以及待缓存的节点位置（即分割后的任务需要缓存到哪些临近电力终端进行任务处理）。
29.步骤103，根据所述边缘计算卸载分配策略，将所述待处理计算任务进行分割，并将分割后的待处理计算任务缓存到对应的电力终端和/或移动边缘计算服务器，以对所述待处理计算任务进行边缘计算卸载；其中，所述电网边缘计算卸载分配模型是由样本网络状态信息和所述样本网络状态信息对应的任务缓存比例和任务卸载位置，对多智能体强化学习网络进行训练得到的。
30.在本发明中，根据目标电力终端与其他节点（包括mec服务器以及至少1个临近电力终端）的网路连接状态、计算能力、缓存能力和任务特征等信息，采用多智能体强化学习（multi-agent deep deterministic policy gradient，简称maddpg）框架生成的高效资源分配和任务卸载决策，实现每个电力终端在进行边缘计算卸载传输的能耗最小化目标，从而确定目标电力终端中的待处理计算任务，在对应临近电力终端和/或mec服务器中的缓存比例，以进行任务的缓存与卸载计算。
31.本发明提供的电网边缘计算卸载分配方法，通过构建移动边缘计算服务器与电力终端协作的混合式缓存与卸载框架，使用多智能体强化学习求解算法进行边缘计算卸载分配决策，充分利用电力终端设备的缓存和计算资源，得到更为准确且高效的边缘计算卸载分配方案，从而解决以往多任务请求时，单一依靠移动边缘计算服务器进行边缘计算，而面临的资源不足与网络拥塞等问题，并且终端间的近距离协作，可有效降低远距离移动边缘计算服务器的传输时延。
32.在上述实施例的基础上，所述电网边缘计算卸载分配模型通过以下步骤训练得到：基于每个电力终端的历史网络状态信息，构建各个电力终端对应智能体的样本网络状态信息，并根据所述样本网络状态信息，构建第一样本观测状态；所述样本网络状态信息包括网络连接状态、计算能力、缓存能力、待缓存卸载任务计算量和缓存卸载后任务传输量；获取所述样本网络状态信息对应的任务缓存比例和任务卸载位置，并根据所述任务缓存比例和所述任务卸载位置，构建每个智能体的动作；基于每个电力终端在进行边缘计算卸载时的能耗和时延，以每个电力终端的能耗最小化为优化目标，构建智能体的奖励；根据所述第一样本观测状态、所述动作和所述奖励，构建训练样本集；通过所述训练样本集，对多智能体强化学习网络进行训练，得到电网边缘计算卸载分配模型。
33.在本发明中，maddpg网络以集中学习和分散执行的方式工作，即每个智能体根据自身策略得到当前状态执行的动作，并与环境交互，从而得到经验存入自身的经验缓存池。待所有智能体与环境交互后，每个智能体从经验池（即训练样本集）中随机抽取经验，训练各自的神经网络。在本发明中，maddpg网络中的多智能体、状态、动作以及奖励函数的设计如下：
智能体：所有用户终端，即电力终端。
34.动作：根据电力终端任务的缓存比例，即待处理计算任务经过分割之后分配到每个节点的缓存比例；以及卸载位置，即任务是否在对应节点进行计算，构成动作。因为maddpg用于解决连续变量求解，但模型中卸载位置为离散变量，所以，本发明将变量转化为：；因此，。
35.状态：每个智能体的本地状态（即网络状态信息）包括终端间的网络连接状态、计算能力、缓存能力缓存内容大小（目标电力终端中待缓存到其他节点进行计算的卸载任务计算量）以及计算内容大小（目标电力终端缓存到其他节点的卸载任务，在完成计算后通过返回到目标电力终端进行整合，得到的缓存卸载任务计算结果，即通过边缘计算卸载后传输的结果数据的大小），即：。
36.所有智能体在时隙t，即第t个时刻的联合状态为：。
37.奖励：为实现能耗最小化，进行边端协作优化任务缓存与卸载的目标，将每个智能体的奖励r设为其对应终端用户的能耗相反数，即。
38.进一步地，在训练过程中，为加速智能体的学习过程，在本发明中，critic网络的输入主要包括其他智能体的观察状态和采取的动作，通过最小化损失以更新critic 网络参数，进而通过梯度下降法计算更新动作网络的参数。
39.具体地，在maddpg算法中，智能体i的连续策略通过关于的目标函数梯度进行优化：；其中，是集中式的actor-value函数；为动作，为奖励；为所有智能体的新状态，即下一轮训练过程中的智能体对应的观测状态；表示经验存储，该元组被存储在经验回放池中，即构建用于训练的样本集；表示个智能体的策略集合；表示个智能体策略的参数；表示所有智能体的观测状态。每个智能体可以根据本地观测状态，做出独立的决策，即。
40.因此，每个critic网络就可以获得所有智能体的状态和动作行为。然后，根据损失函数更新智能体i的集中动作值函数, 即 critic网络的训练通过如下loss函数：；
。
41.在上述实施例的基础上，所述基于每个电力终端在进行边缘计算卸载时的能耗和时延，以每个电力终端的能耗最小化为优化目标，构建智能体的奖励，包括：根据每个电力终端的计算能耗和传输能耗，获取每个电力终端在进行边缘计算卸载时的能耗；根据每个电力终端的传输时延和计算时延，获取每个电力终端在进行边缘计算卸载时的时延；将每个电力终端在进行边缘计算卸载时的时延作为约束条件，以每个电力终端的能耗最小化为优化目标，构建电力终端边缘计算卸载能耗优化模型；基于所述电力终端边缘计算卸载能耗优化模型，将每一轮训练过程中电力终端的能耗相反数作为对应智能体的奖励。
42.在本发明中，在对多智能体强化学习网络进行训练的场景中，该场景包含1个mec服务器，以及多个电力终端。具体地，本发明设计了三种缓存卸载模式：模式1，本地缓存/卸载，即计算任务在本地终端进行处理；模式2，临近终端缓存/卸载，即将计算任务在相邻的1个或多个邻近终端进行处理；模式3，mec缓存/卸载，将计算任务在终端所属的mec服务器进行处理。在本发明中，为了实现资源的合理利用，减少任务处理时延，每个电力终端的计算任务将动态划分为不同比例进行缓存和卸载最优模式选择。
43.具体地，在电网边缘计算卸载分配模型的应用场景中，，表示第i个电力终端（为了方便描述，第i个电力终端可作为目标电力终端）的任务在第j个节点（节点可以是本地电力终端或其他临近电力终端，也可以是mec服务器）的缓存比例，因此，第i个电力终端计算任务在其他节点的缓存比例可表示为：他节点的缓存比例可表示为：进一步地，表示第i个电力终端的计算任务在节点j计算动作：表示第i个电力终端的计算任务在节点j计算动作：表示第i个电力终端的计算任务在节点j计算动作：其中，表示第i个电力终端的计算任务在节点j计算；否则，。
44.表示节点之间的网络连接状态，表示第i个电力终端与节点j连接，可以进行任务的缓存与卸载计算；否则，。
45.进一步地，构建训练场景中的缓存模型：假设第i个电力终端的任务需要被缓存的内容为，缓存内容经计算后形成的输出内容为，对于需要被缓存的内容，具体约束条件为：
；；其中，表示mec服务器的最大缓存容量，表示电力终端的最大缓存容量，以上公式表示目标电力终端缓存到其他节点的计算内容，不能超过mec服务器和电力终端的最大缓存容量。
46.进一步地，，该公式表示第i个电力终端的任务所对应的计算内容被系统（即用于计算卸载的节点，包括本地终端、临近终端和mec服务器）完整缓存。
47.进一步地，构建训练场景中每个节点的计算模型：表示mec服务器的cpu频率（单位：cycle/s）；表示电力终端的cpu频率。节点i（即第i个电力终端）的任务将由mec服务器以及临近终端协作完成，其计算能耗由对应的各部分计算能耗组成，表示如下：；其中， 表示每cycle消耗的能耗，k为与cpu相关常数，；为常数，表示计算每bit需要多少cycle。
48.对于节点i的任务，在进行边缘计算卸载时，计算时延的公式表示如下：；进一步地，构建训练场景中节点的通信模型：第i个电力终端的任务缓存内容，或计算完成内容将由mec服务器和临近终端进行内容传输。节点j与节点i之间的传输速率计算如下：；；其中，表示节点j与节点i之间的传输带宽，表示节点j与节点i之间的信干噪比，表示节点j的发射功率，表示节点j与节点i之间信道增益，为白噪声。
49.如果，表示节点j无缓存无计算，所以不会产生内容传输，无传输能耗；如果，表示节点j有缓存无计算，所以缓存内容将传输给本地节点i计算，那么对于节点i卸载的任务，节点j的传输能耗计算公式如下：；
如果，无论值为多少，节点j计算形成的内容都将传输给本地节点i进行整合，传输能耗如下所示：；综上所述，节点i的在进行边缘计算卸载时，传输能耗为：；节点i的传输时延取决于并行传输过程中最长的时延，具体公式如下所示：；进一步地，节点i总能耗由计算能耗和传输能耗组成，公式如下：；节点i总时延为所有处理其任务的节点j的传输时延与计算时延之和的最大值，公式为：式为：；
进一步地，为了实现计算任务的缓存与卸载优化，以及分布式网络中的终端节能。本发明以每个业务终端的能耗最小化为目标，在上述实施例的基础上，构建电力终端边缘计算卸载能耗优化模型，所述电力终端边缘计算卸载能耗优化模型的公式为：其中，表示第i个电力终端在t时刻进行边缘计算卸载时的能耗，表示第i个电力终端的待计算任务在第j个电力终端的缓存比例；为任务卸载动作，表示第i个电力终端的待计算任务在第j个电力终端的计算动作；约束条件为：；公式（1）公式（2）；公式（3）公式（4）公式（5）公式（6）， 公式（7）公式（8）公式（9）其中，表示第i个电力终端与第j个电力终端之间的网络连接状态，表示完成第i个电力终端的待计算任务的边缘计算卸载和传输的时延，表示预设时延阈值，表示第i个电力终端的待计算任务中需要被缓存的任务量，表示移动边缘计算服务器的缓存总容量，表示任意电力终端的缓存总容量。具体地，在上述约束条件中，公式（1）表示第i个电力终端的待计算任务被完整缓存，公式（2）表示待计算任务只能缓存卸载到与本地节点存在网络连接的节点，公式（3）表示任意一个电力终端i都有至少一个节点进行任务计算，公式（4）表示节点j无缓存内容时将不进行计算，公式（5）表示保证每个节点最多处理一个任务，公式（6）表示每个任务的传输时延与处理时延不能超过预设时延阈值，公式（7）表示约束变量取值范围，公式（8）和公式（9）表示所有任务的缓存不能超过总缓存容量。
50.最后，为实现每个电力终端能耗进行边端协作优化任务缓存与卸载的能耗最小化，将每个智能体的奖励设为其对应终端用户的能耗相反数，即。
51.在上述实施例的基础上，在所述通过所述训练样本集，对多智能体强化学习网络
进行训练，得到电网边缘计算卸载分配模型之前，所述方法还包括：将所述样本网络状态信息输入到生成对抗网络，输出第二样本观测状态；根据所述第二样本观测状态，对所述训练样本集进行更新，得到更新后的训练样本集；所述通过所述训练样本集，对多智能体强化学习网络进行训练，得到电网边缘计算卸载分配模型，包括：通过所述更新后的训练样本集，对多智能体强化学习网络进行训练，得到电网边缘计算卸载分配模型。
52.gan的主要结构包括一个生成器g（generator）和一个判别器d（discriminator），其中，生成器g用于生成数据，其分布类似于真实数据分布z；鉴别器d 用于尝试区分样本是来自生成器g生成的数据，还是真实数据分布z。为减少实际应用中经验学习不均衡，使得maddpg算法中每个智能体能够充分学习到全面的不同状态下的经验，即在不同网络连接状态以及计算能力等状态下，终端任务的缓存与卸载决策。因此，本发明提出了基于分布式gan-maddpg的框架，通过gan网络使用maddpg经验池中的观测状态（包含电力网络连接状态以及网络资源信息的真实数据集），生成包含极端状态的合成状态；然后，将合成状态对应的合成经验（即第二观测状态）与真实经验（即第一观测状态）共同输入maddpg的智能体进行训练，通过利用gan来学习极端事件和消除数据集偏差，对智能体观察状态进行增强，以训练更有经验的智能体，创建一个有全面经验的多智能体代理，从而高效应对不同环境状态下的策略制定，具有快速收敛速度和良好性能等优点。
53.具体地，每个智能体在maddpg的actor-critic架构的基础上增加有一个gan网络，用于对其观测状态（即第二样本观测状态）进行生成，其生成的观测状态，与由maddpg网络的actor网络生成相应的动作、奖励及下一时隙观测状态组成完整经验存入经验回放池，这使得经验池存储的经验更加全面，用于智能体的训练。因此，gan的目标即优化发生器g和鉴别器d，用公式表示如下:；其中，表示真实样本与生成样本之间的差异程度；表示固定生成器g，尽可能地让判别器能够最大化地判别出样本来自于真实数据还是生成的数据；令，表示在固定判别器d的条件下得到生成器g，这个g要求能够最小化真实样本与生成样本的差异。通过上述min max的博弈过程，使得收敛于生成分布，拟合于真实分布，从而在智能体训练过程中，使用gan网络对电力网络环境状态进行模拟，通过不同状态下的经验增强智能体的经验，进而有效保证了电网中最优缓存与卸载策略，实现终端节能的优化目标。
54.本发明提出了一种基于gan-maddpg的有经验智能体训练机制，将每个电力终端作为智能体以实现自身能耗最小化为目标，采用maddpg多智能体强化学习算法求解最优任务缓存与卸载决策；然后，使用gan网络对智能体的观测状态进行生成，相应的合成经验有效弥补了真实经验分布不均的缺点，使得训练出更有经验的智能体，在面对从未遇到的网络与资源状态，能够高效准确的给出优化策略，具有更快收敛速度和更高的样本效率。
55.下面对本发明提供的电网边缘计算卸载分配系统进行描述，下文描述的电网边缘计算卸载分配系统与上文描述的电网边缘计算卸载分配方法可相互对应参照。
56.图2为本发明提供的电网边缘计算卸载分配系统的结构示意图，如图2所示，本发明提供了一种电网边缘计算卸载分配系统，包括电力终端网络状态采集模块201、电网边缘计算卸载分配策略生成模块202和边缘计算卸载模块203，其中，电力终端网络状态采集模块201用于获取智能电网中每个电力终端在当前时刻的网络状态信息；电网边缘计算卸载分配策略生成模块202用于将目标电力终端对应的网络状态信息，输入到电网边缘计算卸载分配模型，得到所述目标电力终端中待处理计算任务的边缘计算卸载分配策略；边缘计算卸载模块203用于根据所述边缘计算卸载分配策略，将所述待处理计算任务进行分割，并将分割后的待处理计算任务缓存到对应的电力终端和/或移动边缘计算服务器，以对所述待处理计算任务进行边缘计算卸载；其中，所述电网边缘计算卸载分配模型是由样本网络状态信息和所述样本网络状态信息对应的任务缓存比例和任务卸载位置，对多智能体强化学习网络进行训练得到的。
57.本发明提供的电网边缘计算卸载分配系统，通过构建移动边缘计算服务器与电力终端协作的混合式缓存与卸载框架，使用多智能体强化学习求解算法进行边缘计算卸载分配决策，充分利用电力终端设备的缓存和计算资源，得到更为准确且高效的边缘计算卸载分配方案，从而解决以往多任务请求时，单一依靠移动边缘计算服务器进行边缘计算，而面临的资源不足与网络拥塞等问题，并且终端间的近距离协作，可有效降低远距离移动边缘计算服务器的传输时延。
58.在上述实施例的基础上，所述系统还包括样本构建模块、动作标签标记模块、智能体奖励构建模块、训练集生成模块和训练模块，其中，样本构建模块用于基于每个电力终端的历史网络状态信息，构建各个电力终端对应智能体的样本网络状态信息，并根据所述样本网络状态信息，构建第一样本观测状态；动作标签标记模块用于获取所述样本网络状态信息对应的任务缓存比例和任务卸载位置，并根据所述任务缓存比例和所述任务卸载位置，构建每个智能体的动作；智能体奖励构建模块用于基于每个电力终端在进行边缘计算卸载时的能耗和时延，以每个电力终端的能耗最小化为优化目标，构建智能体的奖励；训练集生成模块用于根据所述第一样本观测状态、所述动作和所述奖励，构建训练样本集；训练模块用于通过所述训练样本集，对多智能体强化学习网络进行训练，得到电网边缘计算卸载分配模型。
59.本发明提供的系统是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。
60.图3为本发明提供的电子设备的结构示意图，如图3所示，该电子设备可以包括：处理器（processor）301、通信接口（communications interface）302、存储器（memory）303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信。处理器301可以调用存储器303中的逻辑指令，以执行电网边缘计算卸载分配方法，该方法包括：获取智能电网中每个电力终端在当前时刻的网络状态信息；将目标电力终端对应的网络状态信息，输入到电网边缘计算卸载分配模型，得到所述目标电力终端中待处理计算任务的边缘计算卸载分配策略；根据所述边缘计算卸载分配策略，将所述待处理计算任务进行分割，并将分割后的待处理计算任务缓存到对应的电力终端和/或移动边缘计算服
务器，以对所述待处理计算任务进行边缘计算卸载；其中，所述电网边缘计算卸载分配模型是由样本网络状态信息和所述样本网络状态信息对应的任务缓存比例和任务卸载位置，对多智能体强化学习网络进行训练得到的。
61.此外，上述的存储器303中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
62.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的电网边缘计算卸载分配方法，该方法包括：获取智能电网中每个电力终端在当前时刻的网络状态信息；将目标电力终端对应的网络状态信息，输入到电网边缘计算卸载分配模型，得到所述目标电力终端中待处理计算任务的边缘计算卸载分配策略；根据所述边缘计算卸载分配策略，将所述待处理计算任务进行分割，并将分割后的待处理计算任务缓存到对应的电力终端和/或移动边缘计算服务器，以对所述待处理计算任务进行边缘计算卸载；其中，所述电网边缘计算卸载分配模型是由样本网络状态信息和所述样本网络状态信息对应的任务缓存比例和任务卸载位置，对多智能体强化学习网络进行训练得到的。
63.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的电网边缘计算卸载分配方法，该方法包括：获取智能电网中每个电力终端在当前时刻的网络状态信息；将目标电力终端对应的网络状态信息，输入到电网边缘计算卸载分配模型，得到所述目标电力终端中待处理计算任务的边缘计算卸载分配策略；根据所述边缘计算卸载分配策略，将所述待处理计算任务进行分割，并将分割后的待处理计算任务缓存到对应的电力终端和/或移动边缘计算服务器，以对所述待处理计算任务进行边缘计算卸载；其中，所述电网边缘计算卸载分配模型是由样本网络状态信息和所述样本网络状态信息对应的任务缓存比例和任务卸载位置，对多智能体强化学习网络进行训练得到的。
64.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
65.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指
令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
66.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。