一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种基于深度强化学习算法的资源分配方法及装置与流程

2022-11-28 14:02:55 来源:中国专利 TAG:


1.本发明涉及机器学习技术领域,尤其是涉及一种基于深度强化学习算法的资源分配方法及装置。


背景技术:

2.需求侧管理是提高电能利用效率的方法之一,在电力市场环境下,能源互联网用户侧实施过程中的最优决策管理是需求侧管理的重要方面。电力需求响应是实现能源互联网的关键技术,是指当电力批发市场价格升高或系统可靠性受威胁时,电力用户在接收到供电方发出的诱导性减少负荷的直接补偿通知或者电力价格上升信号后,改变其固有的习惯用电模式,达到减少或推移某时段的用电负荷而响应电力供应,从而保障电网稳定,并抑制电价上升的短期行为。
3.现有通过深度强化学习来进行电力需求响应分析的方案,通常是在本地服务器上执行,不能满足能源互联网中对电力需求响应的时效性要求。随着近年来移动边缘网络的发展,电力需求响应这类计算密集型任务可以被有效解决。在有限的计算资源和网络资源条件下,如何为大量的能源互联网用户规划出合理的资源分配策略是能源互联网中需要解决的重要问题。


技术实现要素:

4.本发明的目的是提供一种基于深度强化学习算法的资源分配方法及装置,以解决现有技术不能满足能源互联网中对电力需求响应的时效性要求的技术问题。
5.本发明的目的,可以通过如下技术方案实现:
6.一种基于深度强化学习算法的资源分配方法,包括:
7.获取低压用户群中每个低压用户在各种负荷类型上的电力负荷数据,所述负荷类型包括不可控负荷、可转移负荷和可中断负荷;
8.基于深度强化学习算法,根据所述电力负荷数据和资源配置信息得到最优总时延和对应的最优资源分配策略;其中,所述资源配置信息包括信道带宽总量和5g基站的边缘计算服务器的总计算频率,所述最优资源分配策略包括最优边缘计算频率值和最优信道带宽值,所述最优资源分配策略满足功耗指标、时延指标和可靠性指标;
9.根据所述最优边缘计算频率值将所述总计算频率分配给每个所述低压用户,以便每个所述低压用户将所述电力负荷数据作为计算任务卸载到所述边缘计算服务器上进行边缘计算;
10.根据所述最优信道带宽值将所述信道带宽总量分配给每个所述低压用户,以实现所述电力负荷数据的实时传输。
11.可选地,所述功耗指标包括:边缘计算功耗和传输功耗。
12.可选地,所述边缘计算功耗为:
[0013][0014]
式中,为u
nm
的边缘计算功耗,x
nm
为卸载计算任务的决策变量,0《x
nm
≤1,s
nm
为u
nm
的计算任务数据大小,y
nm
为u
nm
每比特数据的计算复杂度,κ为边缘计算服务器的电容开关参数,为边缘计算服务器分配给u
nm
的计算资源的计算频率,u
nm
为第n个低压用户在第m个电力负荷的电力负荷数据。
[0015]
可选地,所述传输功耗为:
[0016][0017]
式中,为u
nm
的传输功耗,p
nm
为u
nm
的数据传输功率,r
nm
为u
nm
的数据传输速率,b
nm
为u
nm
的信道带宽,d
nm
为u
nm
到边缘计算服务器的距离,α表示路径损耗指数,h
nm
为u
nm
的信道增益,n为噪声功率。
[0018]
可选地,所述时延指标包括:边缘计算时延和传输时延。
[0019]
可选地,所述边缘计算时延为:
[0020][0021]
式中,为u
nm
的边缘计算时延。
[0022]
可选地,所述传输时延为:
[0023][0024]
式中,为u
nm
的传输时延。
[0025]
可选地,所述可靠性指标用边缘计算服务器的正常工作概率表示:
[0026][0027]
式中,r
nm
为u
nm
所卸载的边缘计算服务器的正常工作概率,an表示第n个用户通信传输模型的决策准确率,表示边缘计算服务器的故障参数,为u
nm
的边缘计算时延,u
nm
为第n个低压用户在第m个电力负荷的电力负荷数据。
[0028]
可选地,约束条件是指:
[0029]

[0030]
式中,r
nm
为u
nm
所卸载的边缘计算服务器的正常工作概率,为u
nm
能容忍的最低可靠性,e
nm
为u
nm
的总功耗,为u
nm
的边缘计算功耗,为u
nm
的传输功耗,为u
nm
设定的最大功耗,u
nm
为第n个低压用户在第m个电力负荷的电力负荷数据。
[0031]
本发明还提供了一种基于深度强化学习算法的资源分配装置,包括:
[0032]
负荷数据获取模块,用于获取低压用户群中每个低压用户在各种负荷类型上的电
力负荷数据,所述负荷类型包括不可控负荷、可转移负荷和可中断负荷;
[0033]
最优资源分配策略确定模块,用于基于深度强化学习算法,根据所述电力负荷数据和资源配置信息得到最优总时延和对应的最优资源分配策略;其中,所述资源配置信息包括信道带宽总量和5g基站的边缘计算服务器的总计算频率,所述最优资源分配策略包括最优边缘计算频率值和最优信道带宽值,所述最优资源分配策略满足功耗指标、时延指标和可靠性指标;
[0034]
计算资源分配模块,用于根据所述最优边缘计算频率值将所述总计算频率分配给每个所述低压用户,以便每个所述低压用户将所述电力负荷数据作为计算任务卸载到所述边缘计算服务器上进行边缘计算;
[0035]
通信资源分配模块,用于根据所述最优信道带宽值将所述信道带宽总量分配给每个所述低压用户,以实现所述电力负荷数据的实时传输。
[0036]
有鉴如此,本发明带来的有益效果是:
[0037]
本发明可以在有限的计算资源、网络资源条件下,为低压用户合理分配边缘计算资源及通信资源,保持能耗与可靠性处于可接受的稳定值,并获取最优的时延值,能实现电力负荷数据的及时处理和实时传输,为电力需求响应提供高带宽、低功耗、高可靠性、高稳定性的数据处理和通信支持。本发明利用边缘计算服务器即时处理低压用户的海量电力数据,可以有效地减少低压用户的计算任务时延,在提升用户体验的同时提高资源利用率,实现降低时延、优化流量、增强安全、节省成本的目标,能满足能源互联网中对电力需求响应的时效性要求。
附图说明
[0038]
图1为本发明方法的流程示意图;
[0039]
图2为本发明装置的结构示意图;
[0040]
图3为本发明的通信传输结构示意图;
[0041]
图4为本发明的通信传输模型示意图;
[0042]
图5为本发明的dqn算法框架示意图;
[0043]
图6为本发明的dqn算法流程示意图。
具体实施方式
[0044]
本发明实施例提供了一种基于深度强化学习算法的资源分配方法及装置,以解决现有技术不能满足能源互联网中对电力需求响应的时效性要求的技术问题。
[0045]
为了便于理解本发明,下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的首选实施例。但是,本发明可以以许多不同的形式来实现,并不限于本文所描述的实施例。相反地,提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
[0046]
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
[0047]
随着人类对能源需求的迅猛增长,能源短缺及环境问题给全球各地带来了困扰。
人们对电能的需求逐年攀升,短时电力供需失衡现象普遍存在,如何有效缓解这一矛盾并促使电力能源的充分高效利用仍是当下需要解决的问题重点。
[0048]
低压居民用电作为电网能源消耗的重要组成部分,拥有着大量分散的可控性负荷资源,随着智能电网技术的发展,可以通过电力负荷聚合商需求响应手段将其集中起来并深入挖掘其资源潜力。但分散的低压用户挖掘自身需求响应潜力的能力有限,响应的程度不够高,终端传输网络数据过多,业务通信质量难以保证。导致低压用户的可调节资源无法在电网的供需平衡调节中发挥有效作用,无法很好的实现电力资源的综合优化配置。
[0049]
第五代移动通信技术(5g通信)拥有高带宽、低延时、高密度连接、高可靠性等特性。边缘计算就近提供最近端服务。其应用程序在边缘侧发起,产生更快的网络服务响应,满足互动响应在实时电力业务、智能家居、安全与隐私保护等方面的基本需求。本发明能整合电网台区低压用户的可调节负荷资源,并实现资源分类、聚合、管理和优化配置,并能够实时保证用户数据与电网响应策略的双向稳定传输。
[0050]
随着各种智能终端的普及,不断增长的终端数据极大地增大了网络消耗和传输时延,5g边缘计算实时性、安全性、开销低的特点能有效运用在电力用户侧终端平台。
[0051]
请参阅图1,本发明提供了一种基于深度强化学习算法的资源分配方法的实施例,包括:
[0052]
s100:获取低压用户群中每个低压用户在各种负荷类型上的电力负荷数据,所述负荷类型包括不可控负荷、可转移负荷和可中断负荷;
[0053]
s200:基于深度强化学习算法,根据所述电力负荷数据和资源配置信息得到最优总时延和对应的最优资源分配策略;其中,所述资源配置信息包括信道带宽总量和5g基站的边缘计算服务器的总计算频率,所述最优资源分配策略包括最优边缘计算频率值和最优信道带宽值,所述最优资源分配策略满足功耗指标、时延指标和可靠性指标;
[0054]
s300:根据所述最优边缘计算频率值将所述总计算频率分配给每个所述低压用户,以便每个所述低压用户将所述电力负荷数据作为计算任务卸载到所述边缘计算服务器上进行边缘计算;
[0055]
s400:根据所述最优信道带宽值将所述信道带宽总量分配给每个所述低压用户,以实现所述电力负荷数据的实时传输。
[0056]
本实施例中,每个低压用户都配有智能电表,在一定范围内的多个低压用户构成低压用户群,每个低压用户群都配有本地智能控制器;每个5g通信基站都配有边缘计算服务器,5g基站与低压用户群的本地智能控制器采用tcp/ip协议连接。每个电力负荷聚合商配有中心智能控制器,将5g基站的边缘计算服务器所服务的低压用户群中所有的低压用户终端设备按照管理要求接入电力负荷聚合商,电力负荷聚合商分别与低压用户群中的每一个低压用户签订了电力需求响应协议;电力负荷聚合商按照管理要求接入由所在地区电网台区,并与当地电网公司和低压用户签订了三方电力需求响应协议。
[0057]
本实施例中,低压用户的负荷类型包括:不可控负荷、可转移负荷和可中断负荷;其中,不可控负荷如照明、电脑等;可转移负荷如电动汽车、定时家电等;可中断负荷如热水器,空调等。通过智能控制终端(如智能电表)对低压用户的电力负荷进行分类负荷监控,获取低压用户群中每个低压用户在各种负荷类型上的电力负荷数据。
[0058]
本实施例中,网络通信接口三个模块:
[0059]
(1)低压用户侧接口,按照管理要求接入低压用户智能电表,并分别与每一家低压用户签订电力需求响应协议。电力负荷聚合商所服务的所有低压用户,签订协议内容包括:低压用户的信息、签署的削峰填谷策略、数据输入输出监控、可转移负荷可中断负荷资源管理、负荷运行策略反馈等。由负荷聚合商的终端平台进行统一监控、运行和管理。
[0060]
(2)负荷聚合商内部系统接口,实现售电系统数据如实时电价的上传同步,同时为售电平台提供用户负荷预测数据,为保证电网供需平衡对低压用户策略性调整意见。
[0061]
(3)电网公司侧接口,按照管理要求接入由所在地区电网台区,并与当地电网公司签订电力需求响应协议。
[0062]
低压用户群的本地智能控制器负责收集低压用户电网能耗即电力负荷数据、电网节点的实时电价等信息,并通过5g基站通信传送至电力负荷聚合商的中心智能控制器。电力负荷聚合商利用5g的高速传输,将本地智能控制器采集的数据完整高速传输给电力负荷聚合商的中心智能控制器,再将数据传输给电网公司,最终配合电网公司将制定好的需求响应指令传输给低压用户的智能手机以实现双向通讯。
[0063]
电力负荷聚合商根据电网削峰填谷的需求响应以及来自各网点的实时电价完成电力数据的实时传输。本实施例中,智能电表记录了低压用户在各种电力负荷上的电力负荷数据,可以将智能电表携带的计算任务即电力负荷数据卸载到5g基站配置的边缘计算服务器上,边缘计算服务器利用边缘计算技术处理低压用户的海量数据。本地智能控制器负责收集低压用户电网能耗、电网节点电价等信息并通过5g通信传送至电力负荷聚合商的中心智能控制器。电力负荷聚合商将用户数据传输给电网企业,电网企业颁布实时削峰填谷策略通过聚合商传输给低压用户,低压用户通过调整能耗响应电力负荷聚合商的决策,以实现基于低压用户接入控制的智能需求响应。
[0064]
在未来活跃的售电市场中,连接在各低压用户电网节点中的电力负荷聚合商通过电网系统颁布不同的实时电价。5g通信为用户提供通信服务,边缘计算已经被证明可以有效降低网络的核心负载率,降低网络传输所带来的能源消耗,从而延长互动响应终端物联网设备的生命周期。
[0065]
对于与负荷聚合商签订了需求响应协议的低压用户群,负荷聚合商基于深度强化学习算法,根据所述电力负荷数据和资源配置信息得到最优总时延和对应的最优资源分配策略;其中,最优资源分配策略包括最优边缘计算频率值和最优信道带宽值。
[0066]
然后,负荷聚合商根据最优资源分配策略为低压用户群中的每位低压用户进行资源分配,包括:根据最优边缘计算频率值分配计算资源和根据最优信道带宽值分配通信资源。具体的,包括:(1)负荷聚合商根据最优边缘计算频率值将边缘计算服务器的总计算频率分配给低压用户群中的每个低压用户,以便每个低压用户将电力负荷数据作为计算任务卸载到边缘计算服务器上进行边缘计算;(2)负荷聚合商根据最优信道带宽值将信道带宽总量分配给每个低压用户,以实现电力负荷数据的实时传输。
[0067]
负荷聚合商还能根据来自各电网台区网点的实时电价等信息,合理规划通信网络空间中的通信资源及低压用户的电力分配,低压用户通过调整能耗响应电力负荷聚合商的决策,以实现基于低压用户接入控制的智能需求响应。
[0068]
需要说明的是,最优资源分配策略能保证每位低压用户具有通信传输的最优时延值,以便于实现低压用户的电力负荷数据能实时传输,同时能保证低压用户群中的所有低
压用户的总体传输速率降低,总体传输时延降低,具有较高的稳定性和可靠性。
[0069]
本实施例中,采用强化深度学习算法dqn(deep q-learning)合理分配资源建立节能高速的传输模型。智能电表记录了低压用户的电力负荷数据,传输到5g基站,5g基站利用边缘计算服务器处理低压用户的海量数据;本地智能控制器负责收集智能电表中低压用户电网能耗、电网节点电价等信息并通过5g通信基站传送至电力负荷聚合商的中心智能控制器;电力负荷聚合商根据来自各电网台区网点的电价等信息合理规划通信网络空间中的资源及低压用户电力分配,低压用户通过调整能耗响应电力负荷聚合商的决策,以实现基于低压用户接入控制的智能需求响应。
[0070]
本实施例中,电力负荷聚合商根据电网削峰填谷的需求响应以及来自各网点的实时电价完成电力数据的实时传输。本地智能控制器负责收集低压用户电网能耗、电网节点电价等信息并通过5g通信传送至电力负荷聚合商的中心智能控制器。电力负荷聚合商将用户数据传输给电网企业,电网企业颁布实时削峰填谷策略通过聚合商传输给低压用户,低压用户通过调整能耗响应电力负荷聚合商的决策,以实现基于低压用户接入控制的智能需求响应。
[0071]
本实施例中,最优资源分配策略需满足功耗指标、时延指标和可靠性指标这三个指标。考虑某个低压用户群中的n个低压用户,每位低压用户记为n,1≤n≤n。每位低压用户的负荷类型包括:不可控负荷(如照明、电脑),可转移负荷(如电动汽车、定时家电),可中断负荷(如热水器、空调);低压用户中不同种类的电力负荷一共分为m个负荷类型,每一个低压用户的电力负荷记为m,1≤m≤m。将第n个低压用户在第m个电力负荷上的电力负荷数据记为u
nm

[0072]
需要说明的是,低压用户在电力负荷上的电力负荷数据为可测量可控制的智能化单元,由电力负荷聚合商进行统一的监控管理。
[0073]
根据边缘计算技术,将每个u
nm
作为一个计算任务,将低压用户的所有计算任务卸载到5g基站的边缘计算服务器上执行计算任务。在整个过程中,功耗指标包括:边缘计算功耗和传输功耗。
[0074]
具体的,边缘计算功耗为:
[0075][0076]
式中,为u
nm
的边缘计算功耗,x
nm
为卸载计算任务的决策变量,0《x
nm
≤1,s
nm
为u
nm
的计算任务数据大小,y
nm
为u
nm
每比特数据的计算复杂度,κ为边缘计算服务器的电容开关参数,为边缘计算服务器分配给u
nm
的计算资源的计算频率,u
nm
为第n个低压用户在第m个电力负荷的电力负荷数据。
[0077]
具体的,传输功耗为:
[0078][0079]
式中,为u
nm
的传输功耗,p
nm
为u
nm
的数据传输功率,r
nm
为u
nm
的数据传输速率,b
nm
为u
nm
的信道带宽,d
nm
为u
nm
到边缘计算服务器的距离,α表示
路径损耗指数,h
nm
为u
nm
的信道增益,n为噪声功率。
[0080]
在得到边缘计算功耗和传输功耗后,可以得到总功耗。计算总功耗的公式为:
[0081]
本发明中,将第n个低压用户在第m个电力负荷上的电力负荷数据即u
nm
卸载到5g基站的边缘计算服务器时,所需时延分包括:边缘计算时延和传输时延。
[0082]
具体的,边缘计算时延为:
[0083][0084]
式中,为u
nm
的边缘计算时延。
[0085]
具体的,传输时延为:
[0086][0087]
式中,为u
nm
的传输时延。
[0088]
由于边缘计算服务器可能因为受到软件或硬件的影响从而导致计算任务卸载失败,考虑通信系统的整体可靠性,假设边缘计算服务器的正常工作概率为r
nm
,可靠性指标可以用边缘计算服务器的正常工作概率表示:
[0089][0090]
式中,r
nm
为u
nm
所卸载的边缘计算服务器的正常工作概率,an表示第n个用户通信传输模型的决策准确率,表示边缘计算服务器的故障参数,为u
nm
的边缘计算时延,u
nm
为第n个低压用户在第m个电力负荷的电力负荷数据。
[0091]
负荷聚合商在满足低功耗和可靠性要求的前提下,需满足:
[0092]

[0093]
式中,r
nm
为u
nm
所卸载的边缘计算服务器的正常工作概率,为u
nm
能容忍的最低可靠性,e
nm
为u
nm
的总功耗,为u
nm
的边缘计算功耗,为u
nm
的传输功耗,为u
nm
设定的最大功耗,u
nm
为第n个低压用户在第m个电力负荷的电力负荷数据。
[0094]
针对低压用户的需求,合理分配计算频率和传输带宽,保证总时延最低;优化时延函数即最小化总时延。
[0095]
其中,由于计算任务全部卸载给边缘计算x
nm
=1,f
max
表示边缘计算(mec)服务器的总计算频率,即系统分配的计算频率总和不能超过总计算频率;b
max
表示信道带宽总量,即系统分配的信道带宽总和不能超过信道带宽总量。
[0096]
对于整个固定数量的低压用户群,每位低压用户与基站的距离不同。根据香农定理,目标模型涉及的信道带宽分配的优化,保证总体传输速率增加,总体时延降低。
[0097]
请参阅图4,如图4所示的dqn(deep q-learning)框架图包含:环境状态state,执行的动作action,得到的奖励reward,下一个状态s
n
1,下一个动作a
n 1
,下一个奖励r
n 1

[0098]
其中,神经网络模型agent是核心代码,它观察当前的环境environment并获得状态空间state,依据它的约束条件,在本发明中指的是边缘计算频率和信道带宽都不能超过最大值。对状态空间state做出动作空间action,此时能得到一个奖励值reward,且环境environment改变了,因此,代码agent会得到一个新的状态空间state,并继续执行下去,直到得出奖励最优解。
[0099]
dqn算法是将卷积神经网络与q-learning算法结合。dqn算法中的q-learning算法是强化学习中的一种,更准确的说,是一种关于策略的选择方式。实际上,我们可以发现,强化学习的核心和训练目标就是选择一个合适的策略,使得在每个循环结束时得到的奖励值最优。核心函数为q(s,a),在状态s下,采取动作a后,未来将得到的奖励reward值。
[0100]
针对负荷聚合商的资源分配,采用强化深度学习算法dqn(deep q-learning)来解决上述最优问题。基于dqn研究了计算频率最优和信道带宽最优的资源分配策略,在计算频率和信道带宽条件时变的环境中能够根据过去的经验实现资源分配策略的自我更新,从而有效降低计算任务的执行时延和传输时延、提高低压用户终端的使用体验。
[0101]
请参阅图5和图6,如图5所示,开始获取低压用户群相关计算资源。采用强化深度学习算法dqn(deep q-learning)进行模拟学习。
[0102]
dqn使用神经网络模拟函数q(s,a),包含状态空间(state);动作空间(action);奖励函数(reward)三大基本要素,输入是问题的状态,输出是每个动作a对应的q值,然后依据q值大小选择对应状态执行的动作,以完成优化。
[0103]
本实施例中,dqn算法的状态空间是指:边缘计算频率、信道带宽、卸载计算任务的决策变量,对应的是b
nm
以及x
nm
=1。动作空间指的是对于状态空间的取值,都有对应的动作空间。动作空间就是资源分配策略。
[0104]
本实施例中,dqn算法的奖励函数指的是针对低压用户设置的每一轮状态空间变量值,利用时延模型算出每种方案的时延值,给出奖励或者惩罚来反映选取的状态是否正确,加入记忆池。判断时延值是否最优,如果还不是最优,则返回状态空间取值,重新进行遍历;如果已经是最优,则得出最优时延值以及对应的状态空间取值。可以理解的是,对应的状态空间取值即资源的最优资源分配策略。
[0105]
遍历所有的状态空间取值,循环算法过程强化学习,最终将处理好的结果应用在电力低压用户群,按照算法获得的最优状态空间值,即对应的最优边缘计算频率值和最优信道带宽分配值。按最优边缘计算频率值给低压用户群分配计算资源,按最优信道带宽分配值给低压用户群分配通信资源,完成数据的即时处理与高速传输,实现电力通信数据的实时传输以及实时电价的上传同步,以满足能源互联网中对电力需求响应的时效性要求。
[0106]
本发明可以在有限的计算资源、网络资源条件下,为低压用户合理分配边缘计算资源及通信资源,保持能耗与可靠性处于可接受的稳定值,并获取最优的时延值,能实现电力负荷数据的及时处理和实时传输,为电力需求响应提供高带宽、低功耗、高可靠性、高稳定性的数据处理和通信支持。本发明利用边缘计算服务器即时处理低压用户的海量电力数据,可以有效地减少低压用户的计算任务时延,在提升用户体验的同时提高资源利用率,实现降低时延、优化流量、增强安全、节省成本的目标,能满足能源互联网中对电力需求响应
的时效性要求。
[0107]
本发明得到的最优资源分配策略满足能耗、时延及可靠性要求,保持能耗与可靠性处于可接受的稳定值,能获取最优的时延值,保证电力通信数据的实时传输,能实现高带宽,低功耗,高可靠性的数据处理和通信支持,为低压用户和负荷聚合商进行电力需求响应提供了高质量的计算服务和通信服务。
[0108]
本发明有助于电力负荷聚合商进行需求响应流程的规范化,低压用户通过调整能耗进行智能需求响应,可有效调动低压用户的可调节资源,包括可转移负荷(如电动汽车、定时家电)和可中断负荷(如热水器、空调)参与电网供需平衡调节,使得电网公司和低压用户以及电力负荷聚合商从中获取收益,最终帮助低压用户降低用电成本,为电网调节能源供需平衡。
[0109]
请参阅图2,本发明提供了一种基于深度强化学习算法的资源分配装置的实施例,包括:
[0110]
负荷数据获取模块11,用于获取低压用户群中每个低压用户在各种负荷类型上的电力负荷数据,所述负荷类型包括不可控负荷、可转移负荷和可中断负荷;
[0111]
最优资源分配策略确定模块22,用于基于深度强化学习算法,根据所述电力负荷数据和资源配置信息得到最优总时延和对应的最优资源分配策略;其中,所述资源配置信息包括信道带宽总量和5g基站的边缘计算服务器的总计算频率,所述最优资源分配策略包括最优边缘计算频率值和最优信道带宽值,所述最优资源分配策略满足功耗指标、时延指标和可靠性指标;
[0112]
计算资源分配模块33,用于根据所述最优边缘计算频率值将所述总计算频率分配给每个所述低压用户,以便每个所述低压用户将所述电力负荷数据作为计算任务卸载到所述边缘计算服务器上进行边缘计算;
[0113]
通信资源分配模块44,用于根据所述最优信道带宽值将所述信道带宽总量分配给每个所述低压用户,以实现所述电力负荷数据的实时传输。
[0114]
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
[0115]
在本技术所提供的实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
[0116]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0117]
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
[0118]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0119]
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献