一种在线学习的并行边缘计算方法与流程

1.本发明涉及无线网络接入管理及数据迁移技术(边缘计算设备)领域，具体涉及一种在线学习的并行边缘计算方法。


背景技术：

2.解决问题5g时代来临，更加立体的无线覆盖网络逐渐形成，几十年的发展逐渐形成多种无线网络和各类无线接入技术，这就形成异构无线网络，网络融合趋势亦愈发强烈。信息时代大爆炸，单个无线网络路径数据迁移已经无法正常满足人们的日常工作需要，云计算投入商业运营十多年间，逐渐形成的异构无线网络不断挑战高速无线网络的传输极限，大量瞬时并发访问使得云计算中心网络成本与计算成本急剧增加，并且云计算中心在现实中物理路径与拓扑路径远离用户侧，对例如图像识别等低延迟、高可靠的任务进行迁移云计算并不是最好的选择，利用边缘计算将任务迁移至边缘侧计算设备更符合问题要求。如今现有针对异构无线网络路径选择问题的文献有两种问题，一是注重在网络属性的决策，基于单一或多网络属性决策的路径选择策略，基于博弈论、模糊神经网络等算法的路径选择策略，这些研究缺少对任务要求的考虑；二是路径选择的考虑为单路径，缺少多路并发传输的研究。
3.基于上面所陈述的目前现有相关技术与人们日常工作需要之间的矛盾，我们将研究内容拓展到网络融合后的异构无线网络环境当中，在这样的网络环境下，各类网络相互覆盖，这样的混合型网络更加复杂，动态性大大提升，现有的多路径传输机制在流量变化高速传输的无线网络中面临新的挑战，由于网络中数据传输具有随机性，不同的路径传输数据有着不同的时变属性，诸如往返时间、可用带宽或丢包率，忽略这些属性去随机选择介入路径会大大降低任务迁移的性能时效。因此，我们面临着两方面的问题，一方面，没有任何先验数据，无法预设最佳路径规划；另一方面，属性的不断变化也提高了选择最佳长期奖励路径的难度。若使用q
‑
learning解决问题，其中核心的markov仍需构建状态转移矩阵，在动态适应性方面存在欠缺，对最优路径的选取拟合速度较慢，因此我们采用的解决方式为使用无状态的多臂老虎机算法。多臂老虎机算法旨在解决一组游戏机中的选择问题，我们将解决方法进行扩展，对路径的选择实现并发三条路径传输，实现多路径任务迁移路径传输机制。
4.本文提出基于多臂老虎机算法的多路径任务迁移传输机制策略。以多臂老虎机算法为基础实现对现实情况的考虑并选择最优策略。本文以任务时延作为评价标准，力求时延较低，通过本文提出的机制，选取最优策略进行任务迁移。我们着力于任务复杂度、网络接入状态和边缘侧高性能设备的计算能力，我们也将网络接入状态细分为延迟、丢包和抖动，共同作用于本文机制。以上三种属性作为强化学习的奖励反馈到机制中。我们以jetson tx2作为用户设备，并采用基于yolov3图像识别作为任务模型，并通过实验进行验证。
5.目前关于无线网络数据迁移传输问题，在一个移动设备上，只能实现同时只有一种无线网络在完成任务，因此本文的主要贡献是提出了基于多臂老虎机算法的多路径任务
迁移传输机制策略。我们的机制对任务复杂度、网络接入状态和边缘测高性能设备进行了深入研究，并适用于边缘计算环境中，根据我们的机制可以解决边缘计算在异构无线网络中进行任务迁移的路径传输选择问题。


技术实现要素：

6.为了克服上述现有技术的不足，本发明的目的是提供一种在线学习的并行边缘计算方法，多臂老虎机算法的核心步骤为动作选择逻辑的设定，通过不同的方法策略实现对动作进行选择，以获取最大收益。
7.为了实现上述目的，本发明采用的技术方案是：
8.一种在线学习的并行边缘计算方法，包括以下步骤：
9.1)首先需要构建一个多址接入边缘计算环境，用户通过异构无线网络选择三个不同的接入方式与边缘端完成数据传输；
10.2)对于每个网络接入方式，测量其初始网络的延迟、丢包和抖动数据，将结果发送至用户端；
11.3)对于用户端，获得当前边缘计算任务的复杂度信息，并根据预设边缘侧计算能力，结合步骤2)的网络状态信息，根据基于多臂老虎机算法的多路径传输机制选择三种接入网络完成任务迁移；
12.4)4)ε
‑
greedy的多臂老虎机算法的多路径传输机制初始化，选入三条路径，建立期望奖励估计表，设定探索率为ε，首先根据初始状态计算奖励数据，作为每个摇臂的初始值，每次选取网络路径的过程中：
13.(1)分别产生服从0到1之间均匀分布的随机数net_first、net_second、net_third；
14.(2)如果net_first、net_second、net_third大于探索率ε的话，分别选择当前最大的第二大的以及个值大小仅次于前面两个的所对应的那个摇臂进行操作；否则随机选择一个摇臂进行操作；
15.(3)每次操作完一个摇臂，收集操作反馈的奖励数据，同时更新三条路径所对应的期望奖励估计表；
16.5)通过多路径传输机制选择三种路径接入网络，用户端通过所选接入网络完成任务迁移；
17.6)每次选择完成后，实时获取最新的网络状态信息，传输至用户端更新多路径传输机制，以便下次任务迁移的选择。
18.7)每一轮步骤完成过后对机制进行一次更新完善，用户可以通过动态调优的方法机制完成任务迁移，有效保证时效性。
19.所述的步骤4)中ε
‑
greedy策略原理初始化的步骤如下：
20.(1)通过所选择的随机生成算法，产生服从0到1之间均匀分布的随机数net_first、net_second、net_third分别对应三条路径。
21.(2)根据检测所选入网络状态，边缘计算能力，任务复杂度进而更新初始化期望奖励估计表。设定探索率explore_rate为0.1，定义期望奖励估计表的初始化及更新机制如
下：
22.首先将每个摇臂的期望奖励估计值初始化为0：
23.expe_rew_est
i
＝0(i＝1,2,...,k)
24.选择期望估计值最大的摇臂best_arm，对其期望奖励估计值进行更新操作：
[0025][0026]
其中，expe_rew_est
best_arm
表示第best_arm个摇臂当前操作次数，best_arm_rew表示当前收集反馈的奖励数据。
[0027]
本发明的有益效果是：
[0028]
本文提出的基于ε
‑
greedy策略实现多臂老虎机算法的多路径任务迁移传输机制在其他因素相同的情况下，任务时延有着较大提升。取得这样结果的因素有许多，本文的策略提出了多路径传输，三条路径并发进行任务传输，从理论逻辑层面就可以取得较好效果；实验验证的设备可以基于多臂老虎机算法策略不断与环境交互，调整接入网络配置，使得挑选当前情况下最优解决路径解决方案，保证任务时延始终维持在较低的数值范围，从而达到了降低任务时延，提高服务质量，提升用户体验的目标。
附图说明
[0029]
图1为多路径任务迁移传输机制实验权重图；
[0030]
图2为本发明默认机制策略时延分布；
[0031]
图3为本发明机制与默认机制(随机算法)实际时延对比；
[0032]
图4为本发明机制与默认机制(随机算法)实际丢包率；
[0033]
图5为本发明机制选择网络概率倾向。
具体实施方式
[0034]
以下结合附图对本发明进一步叙述：
[0035]
我们首先介绍基于ε
‑
greedy策略实现多臂老虎机的路径任务迁移路径传输机制，然后我们展开描述，推广到n＝3的多路径任务迁移传输机制。
[0036]
(1)多臂问题
[0037]
针对路径任务传输机制，我们考虑一个具有k个网络传输路径的路径集合每一条路径m
i
都对应一条路径传输信道，因此我们总共有k条路径。用户端或边缘端可以同时允许接收或发送的路径为l，且l＜k。当我们对路径选择进行任务迁移时，我们可以观察到如下信息：d
i
，即单个任务迁移产生的时延；p
i
，单个任务迁移在用户端产生的能耗。因此，对于路径选择的问题，复合收益为d
i
p
i
，1≤i≤k。我们解决的问题是在每次的任务迁移时从k条路径选择l条路径进行数据传输。在预设阈值h＞0的约束下，最终目的是为了使l条路径的复合收益最大化。
[0038]
因此，针对上述问题：l条路径的最优解集合描述为以下问题公式：
[0039][0040]
为了解决此问题，我们将路径选择问题公式化为多臂老虎机算法问题，并设计了解决算法。用表示为多臂集合，其中每个手臂对应路径传输中的一条路径。每个臂都有且与位置的随机过程d
i
(t)和p
i
(t)相关联，且t＝1,
…
,t。d
i
(t)表征与路径i的时延反馈奖励，p
i
(t)表征与路径i的能耗反馈奖励，我们假设反馈奖励互相独立，且假设合理。假设对于1≤i≤k，d
i
(t)具有未知的(t)具有未知的令d＝(d1,
…
,d
k
)，p
i
(t)具有未知的令p＝(p1,
…
,p
k
)，令和是d
i
(t)，p
i
(t)在1≤i≤k的实现向量。是t时刻k个手臂的概率选择向量，其中是t时刻选择手臂i的概率。在每个时刻t所选路径分量为l，对于每个手臂i，该算法接收的反馈为由d
i
(t)，p
i
(t)生成的奖励。此外，存在预设阈值h＞0，使奖励总和均值高于该阈值，即我们的目的是设计一种算法来选择向量x
t
使得regret最小化，具体地我们将regret定义如下：
[0041][0042]
其中为算法在时刻t处计算的概率选择向量。需要注意的是，在计算之处，尤其是没有手臂各类信息时，会违反约束条件，为衡量时刻t的约束总体违反情况，算法的违反情况定义如下，
[0043][0044]
本文所采取的∈
‑
greedy策略很好地解决了其他算法策略所没有解决的均衡探索和利用的问题。它的核心思想是在游戏中设置一个探索率ε，以ε为概率进行探索，随机选择一个摇臂；以概率1
‑
ε进行利用，即选择当前平均奖励最高的摇臂。
[0045]
(2)对比算法
‑‑
随机算法问题
[0046]
本文机制所对应的对比算法为随机选择算法。随机选择策略是解决强化学习较为简单的策略，它的核心思想是对每个摇臂操作一定的次数，然后收集每个摇臂奖励的期望，基于此选择期望最大的摇臂作为最佳摇臂，每次游戏都选择最佳摇臂进行操作。首先将每个摇臂的期望奖励估计值初始化为0：
[0047]
expe_rew_est
i
＝0(i＝1,2,...,k)
[0048]
共进行n次游戏，每次游戏中，随机选择其中一个摇臂j，对其期望奖励估计值进行更新操作：
[0049]
[0050]
其中，oper表示该摇臂当前操作次数，arm_rew表示当前收集反馈的奖励数据。
[0051]
我们实验平台分为用户侧移动设备和边缘侧高性能计算设备。用户侧移动设备我们使用jetson tx2作为用户侧移动设备，在边缘侧高性能计算设备，我们分别使用以下五种配置，主要进行yolov3图像识别任务。模拟的网络接入状态包括wi
‑
fi4、wi
‑
fi5、4g、5g。整体运行思路是在进行图像识别任务迁移时，用户侧设备通过不同接入网络对任务数据传输至边缘侧设备，边缘侧设备执行任务后将数据通过接收网络传回用户侧设备。使用fiddler对网络属性进行模拟出不同的接入网络。
[0052]
我们实验分为两个部分：基于多臂老虎机算法多路径任务迁移传输机制的构建和测试。为了系统地评估本文机制的整体性能，我们模拟对五类接入网络分别模拟了4种网络环境，并为其连接的边缘侧随机分配边缘侧计算设备。
[0053]
表1多路径任务迁移传输机制实验设备
[0054][0055]
收集三类因素属性，包括每组任务的任务复杂度，每组任务的网络接入状态，每组任务的边缘侧高性能设备计算能力。任务复杂度通过空间感知信息通过脚本获取；使用fiddler软件实现网络接入状态控制，模拟20种网络接入状态，五种不同的边缘侧设备通过20种网络接入状态形成100种不同的数据类型；边缘侧设备计算能力一是由硬件得出评分，再根据不断选择过程中的反馈获得输入值。本文定义了包含延迟、抖动、丢包、任务复杂度、边缘侧高性能设备计算性能五个因素。我们使用ahp算法通过计算对不同的因素属性进行权重计算，我们构建了对比较矩阵，比较矩阵尺度从1至9，重要性从相同到绝对强，我们根据重要性大小设定本文参考因素的比较矩阵，具体五个因素比较矩阵如下，
[0056][0057]
根据比较矩阵，我们首先验证一致性，通过验证我们的比较矩阵具有较强的一致性，说明权重设置较为合理，我们再计算得出权重，权重如图1所示，对收集的数据输入基于python编写的算法，构建基于多臂老虎机算法多路径传输机制，并在用户侧和边缘侧设备通过模拟网络加以验证。在实验中，我们收集对每帧图像识别任务时延，每帧图像识别任务的传输路径，路径传输的连通程度，以及与随机接入路径传输机制对比的任务时延数据。
[0058]
我们设定1000组图像识别任务，通过构建的多路径任务迁移传输机制和默认随机
接入任务迁移传输机制进行对比，实验为了更好贴近现实反映真实的机制性能，我们采用算术平均值、方差和标准差来衡量实验数据，算术平均值用以反映区间内数据的平均趋势，方差则是各数据值与均值之间离散程度的反应，标准差则是对不确定性的衡量。
[0059]
本发明的数值仿真结果
[0060]
基于说明书的附图，进一步对实验结果进行说明总结，本文通过三部分对比实验来评估基于ε
‑
greedy策略实现多臂老虎机算法多路径任务迁移传输机制的性能：
[0061]
(1)多臂老虎机算法的ε
‑
greedy策略和默认策略(随机算法策略)的时延。我们分别对ε
‑
greedy和默认策略(随机算法)两种解决方案的多路径任务迁移传输机制进行实验，统计实验过程中每帧图像识别任务的时延，记录每次路径的选择策略。通过实验对比，结合图2的结果可以看出，在ε
‑
greedy的最优探索率区间实现的本文机制，探索率区间大致在(0.15，0.4)，每帧图像识别任务迁移完成时延在50
‑
100ms之间。从图3的实验结果可以看出基于ε
‑
greedy策略的实际任务时延为0
‑
75ms,而基于随机算法策略的实际任务时延为0
‑
120ms。
[0062]
从路径选择的角度来看，本文多路径传输机制提供了并发三条路径数据传输，机制每次挑选三条路径进行数据传输。通过图5的结果来看，在接入网络属性方面，抖动和丢包都会影响本文机制的选择，本文提出的机制更倾向于在可选范围内低时延、低抖动、低丢包的优质网络的选择，使得任务完成质量更高，提供更优秀的服务质量，优化用户体验。
[0063]
(2)异构无线接入网络利用率对比。通过下面的多路径任务迁移传输机制网络状态表，我们可以看出接入网络尽可能模拟现实网络，存在一定的抖动、丢包问题，严重的抖动、丢包等问题会降低通信质量，提高任务时延，降低用户体验。因此我们采用多路径任务迁移传输机制，自学习当前网络环境，通过以上实验，设置1000组图像识别任务，5g、4g、wi
‑
fi6、wi
‑
fi5、wi
‑
fi4五类接入网络下分别设定四组网络，保证抖动与丢包在网络模型介绍范围内，分别实现1％、2.3％、0.76％、2.67％、2.92％的平均丢包率。路径传输策略分别使用本文提出的基于ε
‑
greedy策略实现多臂老虎机算法多路径任务迁移传输机制和随机接入路径传输机制，两种策略都低于平均丢包率，这是由于对各类网络并非长期占有数据传输，采用使用短暂传输的策略，一定程度上规避了某些丢包情况的产生,使得两种策略在各类网络下丢包率都有降低，一定程度上缓解因网络质量不佳带来的各类损失；横向进行对比，多臂老虎机算法多路径任务迁移传输机制与随机接入路径传输机制相比，本文提出的机制采用自学习的强化学习，更合理的进行路径选择，在尽可能的前提下选择丢包率较少的网络进行数据传输。和随机接入路径传输机制相比，本文的机制考虑了各类因素对任务迁移的影响，特别是网络因素的波动，实验证明可以通过应用层面路径传输机制来减少丢包等因素对任务时延的影响，在网络波动较大的情况下，策略可以挑选替代路径进行数据传输，并不时刻占据接入网络传输数据，有效避免了一定程度上的丢包现象的出现，因此实际丢包率远低于理论值，为用户提供更好的用户体验和服务质量。
[0064]
表2多路径任务迁移传输机制网络状态
[0065][0066]
(3)完成任务时延对比。对于解决多臂老虎机问题的ε
‑
greedy、随即算法(对比算法)两种种策略，都可应用于本文提出的多臂老虎机算法多路径任务迁移传输机制。我们将两种解决策略进行任务传输实验，在完成任务时延方面进行对比。为对比实验，随机接入路径传输机制每组任务同时传输三帧图像通过接入网络进行数据传输，根据实验结果，本文提出的基于ε
‑
greedy策略实现多臂老虎机算法的多路径任务迁移传输机制在其他因素相同的情况下，任务时延有着较大提升。取得这样结果的因素有许多，本文的策略提出了多路径传输，三条路径并发进行任务传输，从理论逻辑层面就可以取得较好效果；实验验证的设备可以基于多臂老虎机算法策略不断与环境交互，调整接入网络配置，使得挑选当前情况下最优解决路径解决方案，保证任务时延始终维持在较低的数值范围，从而达到了降低任务时延，提高服务质量，提升用户体验的目标。