面向海洋任务的在线自适应计算卸载方法及系统与流程

1.本发明属于网络通信技术领域，尤其涉及面向海洋任务的在线自适应计算卸载方法及系统。


背景技术：

2.海洋浮标在海洋水文水质和气象监测等方面发挥了重要作用，但其在工作时会产生计算密集型和延迟敏感型的数据处理任务，这对执行海洋服务任务的计算时延带来极大挑战。
3.移动边缘计算能够有效增强移动设备的计算能力，移动设备通过将自己的计算任务卸载到边缘服务器，由边缘服务器完成卸载任务的计算处理并将计算结果反馈给移动设备，从而满足移动设备任务执行的时延要求，但是由于海上特殊地理环境的限制，陆地上的移动边缘计算架构很难直接应用到海上船舶网络中。
4.海事边缘计算网络面临变化的无线信道条件和大型船舶提供的计算资源动态变化等挑战，同时要考虑单无人船的能量限制以及无人船移动的环境变化可能会影响卸载服务的计算时延。
5.近年来，机器学习方法特别是强化学习作为一种分析复杂系统内部关联的方法在计算机视觉、语音识别以及自然语言处理等领域取得了巨大成功。但若在面向海洋计算任务中使用强化学习，由于缺乏用户方面的信息，而且海洋环境复杂动态，奖励信息难以确定，从而导致模型难以准确训练，影响计算卸载的有效性，导致海洋任务难以快速高质量完成。


技术实现要素：

6.为了解决上述背景技术中存在的至少一项技术问题，本发明提供面向海洋任务的在线自适应计算卸载方法及系统，其与传统离线方法不同，基于强化学习，通过从历史分配策略学习以提供当前决策，而无需未来信息，构建卸载模型并实时优化，以实现设备任务的高效卸载。
7.为了实现上述目的，本发明采用如下技术方案：本发明的第一个方面提供面向海洋任务的在线自适应计算卸载方法，包括如下步骤：获取海事边缘网络信息和设备计算任务请求信息；基于海事边缘网络信息和设备计算任务请求信息和构建的计算卸载决策系统模型得到海洋任务计算卸载决策；其中，所述卸载决策系统模型的构建过程包括：以最小化设备能量预算约束的平均任务完成延迟为目标，以qos要求和设备的总能耗为约束，构建卸载决策系统模型；基于海洋任务计算卸载决策执行设备计算任务并将计算结果反馈至设备。
8.本发明的第二个方面提供向海洋任务的在线自适应计算卸载系统，包括：
信息获取模块，被配置为：获取海事边缘网络信息和设备计算任务请求信息；卸载决策计算模块，被配置为：基于海事边缘网络信息和设备计算任务请求信息和构建的计算卸载决策系统模型得到海洋任务计算卸载决策；其中，所述卸载决策系统模型的构建过程包括：以最小化设备能量预算约束的平均任务完成延迟为目标，以qos要求和设备的总能耗为约束，构建卸载决策系统模型；任务执行结果输出模块，被配置为：基于海洋任务计算卸载决策执行设备计算任务并将计算结果反馈至设备。
9.与现有技术相比，本发明的有益效果是：本发明通过通节点网关与设备交互来分析用户信息向量，建立准确的系统模型，引入能量亏损变量，有利于在能耗有限的海洋场景下充分利用能源，实现任务的快速分配，接着通过基于强化学习的在线优化算法，根据历史信息，实时优化分配策略。本发明所述的方案，不仅可以使得能源得到充分利用，更能有效降低任务时延，保证qos。
附图说明
10.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
11.图1是本发明实施例一的自适应在线学习卸载决策流程图；图2是本发明实施例一的强化学习模型示例图。
具体实施方式
12.下面结合附图与实施例对本发明作进一步说明。
13.应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
14.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
15.术语解释：强化学习是一类特殊的机器学习算法，借鉴于行为主义心理学。与有监督学习和无监督学习的目标不同，算法要解决的问题是智能体（agent，即运行强化学习算法的实体）在环境中怎样执行动作以获得最大的累计奖励。强化学习应用广泛，被认为是通向强人工智能/通用人工智能的核心技术之一。所有需要做决策和控制的地方，都有它的身影。mab是一种典型的强化学习问题。在mab中，有多台赌博机，每台都有一只手臂。一名玩家在每一轮中连续拉动一只手臂以获得未知奖励。在每一轮的分配中，应最大限度地利用所收集的奖励来决定每一轮的分配目标。
16.实施例一如图1所示，本实施例提供面向海洋任务的在线自适应计算卸载方法，包括如下步骤：
s101:获取海事边缘网络信息和设备计算任务请求信息；s102:基于海事边缘网络信息和设备计算任务请求信息和构建的计算卸载决策系统模型得到海洋任务计算卸载决策；其中，所述卸载决策系统模型的构建过程包括：以最小化设备能量预算约束的平均任务完成延迟为目标构建目标函数，以qos要求和设备的总能耗为约束，基于目标函数和约束构建卸载决策系统模型；s103:基于海洋任务计算卸载决策执行计算任务并将计算结果反馈至设备。
17.作为一种或多种实施例，s101中，所述海事边缘网络信息包括：海洋浮标、海中传感器、船舶和沿岸相关网络设施构建的传输网络；所述设备计算任务请求信息包括：海洋浮标检测到的潮汐、气象等信息，海中传感器检测到的水文信息等带来的计算任务。
18.作为一种或多种实施例，s102中，所述设备能量预算约束的平均任务完成延迟为：（1）因此目标函数为：（2）其中，α和qi分别是任务完成时延和能量消耗的权重，i代表任务产生的原位置（节点）和j表示要卸载的目标位置（边缘服务器节点），v
ik
表示每单位输入数据需要的计算量，ki表示在每个位置i卸载的任务数，r
ij
表示上行链路传输速率，l
ik
表示输入数据大小，单位为位； x
ijk
表示布尔变量，n为海事边缘计算网络中存在的边缘服务器的节点数；其中，上行链路传输速率可以表示为：（3）式中，w表示无限带宽h
ij
表示位置i处的设备与网关之间的无线信道增益，n0表示噪声功率谱密度，p
ij
表示位置i处的设备的无线传输功率。
19.由于移动设备存在电源限制，在每个位置的能耗相互耦合，在当前位置为任务提供更多能源将减少未来位置其他任务的能源预算。
20.所述能量消耗的权重qi由前一个位置的设备剩余能源、当前位置所有任务的设备能源消耗和设备能源预算决定，可以表示为：（4）上述能量预算可以反映每个位置的能源消耗如何偏离总能源预算，当qi较大时，表示能量不足，可以对能量消耗施加较大的权重，因此计算卸载决策应尽可能地消耗最少的能量。
21.qi表示在前一个位置处的能量亏损，表示每个位置的平均能量预算，e表示设备的电池容量，m为移动设备在不同位置向海洋网络发送任务的总数，表示前一个位置的任务分配决策。
22.所述以qos要求和设备的总能耗为约束中，qos要求的表达式为：（5）fj表示边缘服务器节点j分配的计算能力，d
ik
表示qos要求，单位为秒。
23.所述设备的总能耗约束的表达式为：（6）上述计算卸载决策系统模型的推导的过程依据任务模型、qos约束规定任务完成时延约束以及设备的能耗模型的定义构建的，具体为：（1）所述时延模型包括用于卸载的上行链路无线传输延迟和任务处理时延两部分，表示为：所述用于卸载的上行链路无线传输延迟表示为：（7）r
ij
表示上行链路传输速率，l
ik
表示输入数据大小，单位为位；x
ijk
表示布尔变量，n为海事边缘计算网络中存在的边缘服务器的节点数，j表示要卸载的目标位置（边缘服务器节点）。
24.x
ijk
表示布尔变量，表示为：x
ijk
《l
ik
,v
ik
,d
ik
》，布尔变量为一个三参数模型，当任务k在位置i卸载到节点j时，它等于1。
25.其中，上行链路传输速率可以表示为：（8）式中，w表示无限带宽h
ij
表示位置i处的设备与网关之间的无线信道增益，n0表示噪声功率谱密度，p
ij
表示位置i处的设备的无线传输功率。
26.所述任务处理时延表示为：（9）式中，v
ik
表示计算强度，单位为cpu周期；l
ik
表示输入数据大小，单位为位；f
ij
表示边缘服务器节点j分配给来自位置i设备的计算能力x
ijk
表示布尔变量，n为海事边缘计算网络中存在的边缘服务器节点数。
27.因此，时延模型可以表示为：（10）（2）所述qos约束规定任务完成时延约束不应超过qos要求，可以表示为：（11）d
ik
表示qos要求，单位为秒。
28.（3）设备的能耗模型为：由于设备的电池容量有限，设备经过多个位置后，设备的总能耗不应超过容量，可以表示为：（12）m为移动设备在不同位置向海洋网络发送任务的总数，在每个位置i，卸载的任务数为ki，e表示设备的电池容量。
29.其中e
ik
表示在位置i处的任务k消耗的能量，表示为：（13）进行求解时，首先初始化能量亏损量q1=0，根据优化算法对于每个位置i求解，然后对行更新，所述基于能量约束的在线任务分配算法流程的详细伪代码如算法1所示。
30.算法1：基于能量约束的在线任务分配算法input: m,n,ki,l
ik
,v
ik
,d
ik
,fj,r
ij
,e;output: task allocation decision x
ijk
initialize energy deficit q1 = 0for each location i docalculate by solvingupdate energy deficit q
1 1
endreturn;输入当前的信息，包括无线信道条件、节点计算能力、任务信息等，在线运行等，可以实现在线任务的分配。
31.如图2所示，针对背景技术中提及的目前的强化学习中，由于缺乏当前回合的奖励信息，玩家根据之前获得的奖励做出决定，因此可能会选择较低的手臂，但会产生后悔；同时缺乏用户方面的信息，奖励是未知的缺陷，基于海事边缘网络信息和设备计算任务请求信息和构建的计算卸载决策系统模型得到海洋任务计算卸载决策中，估计卸载决策动作对应的奖励值，以最大化系统奖励为目标，通过历史海洋任务计算卸载决策信息训练模型，基
于强化学习的方式实现任务计算卸载决策。
32.所述通过历史海洋任务计算卸载决策信息训练模型，基于强化学习实现任务计算卸载决策包括：第一步：建立评估卸载决策动作的奖励函数，通过能量约束和任务时延两方面进行定义；第二步：通过奖励函数计算每种决策的奖励值，并通过置信上限策略加入修订值，形成最终奖励值；第三步：在每轮中选择最终奖励最大的决策进行执行，根据选择的决策动作更新系统中边缘节点的计算状态，得到最优决策。
33.其中，第一步中奖励函数的定义如下：（14）表示关于将任务k从原位置i卸载到目标位置j对应的奖励函数。
34.第二步中置信上限策略形成的修订值为，用以保证模型可以选取未被选择过或者选择次数少的计算中断进行卸载。
35.因此最终奖励值为奖励函数对应的奖励值加修订值，即：（15）其中，t
ij
表示当前分配给节点j的任务数。
36.第三步中选择最终奖励最大的决策，生成最优策略即选择进行卸载：（16）所述基于强化学习的节点优化算法的详细伪代码如算法2所示。
37.算法2:基于强化学习的节点优化算法input:m,n,ki,l
ik
,v
ik
,d
ik
,fj,r
ij
,e;output:taskallocationdecisionx
ijk
initializex
ijk
=0fortaskk=1tondoassigneachtaskktogwk;initializeinitializet
ik
=1;updatex
ikk=1
;end
for task k =n 1 to ki do
ꢀꢀ
assign task k to gw;
ꢀꢀ
update
ꢀꢀ
;calculate update update endfor task k = 1 to n doif
ꢀꢀ
thenupdatet
ik
=t
ik-1update assign task k to gw update;calculate update update end
38.实施例二本实施例提供了面向海洋任务的在线自适应计算卸载系统，包括：信息获取模块，被配置为：获取海事边缘网络信息和设备计算任务请求信息；卸载决策计算模块，被配置为：基于海事边缘网络信息和设备计算任务请求信息和构建的计算卸载决策系统模型得到海洋任务计算卸载决策；其中，所述卸载决策系统模型的构建过程包括：以最小化设备能量预算约束的平均任务完成延迟为目标，以qos要求和设备的总能耗为约束，构建卸载决策系统模型；任务执行结果输出模块，被配置为：基于海洋任务计算卸载决策执行设备计算任务并将计算结果反馈至设备。
39.所述基于海事边缘网络信息和设备计算任务请求信息和构建的计算卸载决策系统模型得到海洋任务计算卸载决策中，通过估计卸载决策动作对应的奖励值，以最大化系统奖励为目标，通过历史海洋任务计算卸载决策信息训练模型，基于强化学习实现任务计算卸载决策。
40.所述通过历史海洋任务计算卸载决策信息训练模型，基于强化学习实现任务计算
卸载决策包括：建立评估卸载决策动作的奖励函数，通过能量约束和任务时延两方面进行定义；通过奖励函数计算每种决策的奖励值，并通过置信上限策略加入修订值，形成最终奖励值；在每轮中选择最终奖励最大的决策进行执行，根据选择的决策动作更新系统中边缘节点的计算状态，得到最优决策。
41.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。