1.本发明涉及无人机路径控制、边缘计算(mec，mobileedgecomputing)、多智能体深度强化学习、资源分配
技术领域：
：，特别涉及一种多无人机协同计算与路径控制的方法、电子装置及计算机可读存储介质。
背景技术：
：：2.augmentedreality(ar)设备作为连接现实与虚拟的工具，让用户拥有沉浸式体验，是目前热门领域之一，但也面临诸多挑战，ar设备的两大特点：其一是真实世界与虚拟世界的信息集成，这也要求ar设备需要运行诸多复杂的算法，随之而来的是ar设备必须对大量数据进行处理，如视频数据分析、图像数据分析、自然语言分析。高精密度的数据分析会带来大量的冗余的计算，造成事件处理延迟和高能耗，而ar的另一特点是实时交互性，需要在极短的响应时间内完成对数据的分析并立即在移动设备端呈现虚拟视觉。对于计算资源有限的ar设备，可能会导致实时响应不能得到及时满足。3.移动边缘计算(mec)是集网络、计算、存储和智能服务，在网络边缘物理上接近数据源的能力的概念。mec可使网络边缘计算能力更加强大，快速的为大型物联网设备提供计算服务，随着mec的部署，ar设备可将计算密集的任务转移到边缘服务器中，可显著的用于ar设备的数据迁移和处理，改善用户的体验效果。4.无人机(uav)由于它的灵活性、机动性等显著特点有望在无线通信系统中发挥重要的作用，无人机由于其三维空间的自由部署，因此很容易与ar设备形成空对地视距连接，目前无人机已成为理想的移动边缘计算服务器，可以将mec与无人机进行结合，用无人机搭载mec边缘设备装置进行形成新的mec装置，将无人机的优点与边缘计算特点相结合，与传统的固定边缘计算终端相比，mec将更灵活、方便、快捷边缘计算服务。5.由于工作环境的复杂性、终端用户分布的不确定性以及无人机能量的局限性，无人机安装的移动边缘计算仍然具有挑战性。为了充分发挥f-mec在通信系统的特点，需要对无人机的路径规划、轨迹控制进行分析研究。无人机的决策空间是最优轨迹设计以及最优资源分配，且是连续性动作过程。随着机器学习的火热，目前越来越来的研究将机器学习(rl)与神经网络(dnn)相结合，来解决在机器学习领域中的决策问题，在机器学习领域中，是智能体与环境的交互式学习，进行探索性学习，寻求最优方案，而加入神经网络后可利用其相关功能来有效的帮助智能体的收敛与近似。由于传统机器学习的q-table的空间有限，于是利用经验存放缓冲区将交互的数据存入。并设立目标网络机制，来获取下一步状态和动作。然而在多无人机的的目标规划中会产生高维的动作空间，会对计算维度产生毁灭性打击；所以引入actor-critic网络来产生确定性策略。6.传统的利用基站来卸载用户任务，可能会导致任务进程过慢，甚至可能导致数据泄露或者丢失，基站也会因大量数据的涌入导致拥堵，计算和服务往往难以从基站获得，ar端用户的需求无法得到完全的满足。由于用户与基站之间的不同距离，导致近距离用户得到的服务质量与次数远超远距离用户。而目前研究的无人机方案任务只能在用户和无人机上选择一处卸载，浪费了大量的计算资源，而传统方法解决无人机轨迹设计会由于轨迹决策指数型暴增导致计算速度严重落后，并且忽略了无人机服务的公平性以及用户享受服务的公平性。技术实现要素：7.为了解决现有技术的不足，本发明提供一种多无人机协同计算与路径控制的方法及装置，用于至少解决
背景技术：
：中的一个技术问题。8.本发明所采用的技术方案是：9.一种多无人机协同计算与路径控制的方法，包括：10.分别建立最小化时间卸载任务模型、最小化能量卸载任务模型以及能耗和运行时间的公平权衡模型，获取所述无人机卸载任务分配策略；11.结合多代理深度确定性策略梯度对无人机的轨迹进行设计，最大化服务公平度。12.所述最小化时间卸载任务模型，由博弈算法和传统经济的估价拍卖行为组合构成。13.所述最小化时间卸载任务模型的构建过程是：14.建立一个集合t{}；15.将所述集合t{}用来收集无人机卸载任务消耗的时间与ar用户本地卸载任务消耗时间的数值关系，将两者之间的差值作为无人机之间进行博弈的工具；16.建立一个集合mt{}来显示无人机与ar用户匹配关系；17.将需要把任务卸载到无人机的ar用户进行存储，再由显示用户需要卸载任务的迫切程度进行估价来检索最受益的ar用户，形成任务；18.对所述任务进行博弈拍卖，使t时刻第m架无人机与第n个用户形成匹配关系，得到最小化时间卸载任务的最佳卸载任务比例。19.所述最小化能量卸载任务模型的构建过程是：20.建立一个集合e{}作为记录无人机卸载任务消耗能量与ar用户本地卸载任务消耗能量之间的差值；21.再建立一个集合me{}来显示无人机与ar用户匹配关系；22.刻画估价和拍卖之间的博弈关系，把需要将任务卸载到无人机的用户进行存储，然后再由进行估价来检索最受益的ar用户，形成拍卖任务；23.对所述拍卖任务进行拍卖，使t时刻第m架无人机与第n个用户形成匹配关系，得到最小化能量卸载任务的最佳卸载任务比例。24.基于纳什博弈与估价拍卖原理构建所述能耗和运行时间的公平权衡模型，包括：25.首先，根据所述最小化时间卸载任务模型、所述最小化能量卸载任务模型获取无人机卸载任务所需要的能量与处理任务的时间消耗，以及本地卸载任务所需的能量与时间；26.通过下式，对每个卸载策略、最大能耗、卸载时间以及所述卸载策略区间进行评判比分：27.其中，em,n,t(max)代表所有无人机与用户之间卸载任务所消耗最大能量；同理，em,n,t(min)是则是消耗的最小能量；是第m个用户与第n个用户之间卸载任务所需能量；tm,n,t(max)是所有无人机与用户之间卸载任务所执行的最长时间；tm,n,t(min)为所有无人机与用户之间卸载任务所执行的最短时间；是第m个用户与第n个用户之间卸载任务所需时间；28.建立一个集合策略et{}进行记录评判比分，通过该策略集合检索最佳比分；29.建立一个集合met{}来显示无人机与ar用户匹配关系，并将该获取最佳比分的无人机序号进行记录；30.将任一ar用户与任一无人机进行匹配，使t时刻第m架无人机与第n个用户形成匹配关系。31.所述“结合多代理深度确定性策略梯度对无人机的轨迹进行设计”，包括：32.将无人机飞行时所需的飞行角度，水平飞行距离，垂直飞行高度来表示第t时刻第m架无人机的动作αm,t＝{θm,t,dm,t,hm,t,x}；33.将最大化决策的公平度，并且最小化任务卸载执行时间以及最小化任务卸载所消耗的能量或最大化时间与能量的公平权衡作为限制条件rm,t；34.匹配第m架无人机与其余m-1无人机之间的位置关系，即{rm,m',t}；35.设立一个新的集合{mm,n,t}，并将从t时刻开始到该时刻无人机所匹配到所有用户数目添加进去以及卸载到第m架无人机的相对负载其中，m′是除第m台无人机之外的无人机。om,t是第m架无人机的位置信息；cm,t是在t时刻，卸载到第m台无人机的相对负载36.state是所有的无人机的位置信息总和，定义为：37.action是所有的无人机的动作集合，定义为：38.一种多无人机协同计算与路径控制的电子装置，包括：39.存储介质，用于存储计算机程序；40.处理单元，与所述存储介质进行数据交换，用于在规划无人机轨道时，通过所述处理单元执行所述计算机程序，进行如上所述的多无人机协同计算与路径控制的方法的步骤。41.一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序；42.所述计算机程序在运行时，执行如上所述的多无人机协同计算与路径控制的方法的步骤。43.本发明的有益效果是：44.本发明所述的方法，通过分别建立最小化时间卸载任务模型、最小化能量卸载任务模型以及能耗和运行时间的公平权衡模型，获取所述无人机卸载任务分配策略；结合多代理深度确定性策略梯度对无人机的轨迹进行设计，最大化服务公平度；利用多无人机协助用户任务卸载，并确定计算任务分配策略的技术方案，同时，考虑了多个基站的边缘服务器进行资源共享处理无线设备的计算任务以及利用无人机替换传统基站来进行边缘计算服务，以达到最大化服务公平度。附图说明45.图1为无人机辅助用户边缘卸载系统模型；46.图2为本发明所述方法中最小化时间卸载任务模型构建流程图；47.图3为本发明所述方法中最小化能量卸载任务模型构建流程图；48.图4为本发明所述方法中能耗和运行时间的公平权衡模型构建流程图；49.图5为本发明所述方法中多代理深度确定性策略梯度对无人机的轨迹进行设计的流程图。具体实施方式50.现对现有的两种无人机控制方案进行说明：51.如图1，假设n个ar设备端随机分布在一个长、宽、高都为lmax，并且将ar设备的位置随机分布，n个设备的集合设立为n＝{1，2，...n}，并将m架无人机初始时设定在高度为h的位置，为各个位置的ar设备提供边缘计算服务，且具有稳定的电源，并且假设无线功率传输和计算卸载在同一段频内进行，以避免ar设备、无人机之间任务卸载时相互干扰。m个uav的集合设立为m＝{1,2,...m},我们假设每个ar设备在在连续的时间段内ts＝{1,2,...t}上每个时间段内都会生成一个突出任务密集为st的任务，需要进行计算。此时任务需要决定是在ar设备上进行本地计算还是将任务卸载在一架无人机上进行卸载，记sn,t＝{dn,t,cn,t}，om,n,t＝{0,1}，其中dn,t代表着ar设备端所需处理的任务数据量，cn,t代表执行该任务所需的cpu总数,并且若om,n,t＝0，则代表在第t时刻第n个ar设备端决定将任务留在本地进行处理计算，当om,n,t＝1，则代表在第t时刻第n个ar设备端将任务决定卸载到第m架无人机上。52.并且我们规定每一个无人机在一个时间段t内只能与一个ar设备端进行任务连接。换句话说，每个任务只能在无人机或者本地进行任务卸载，所以每个任务有m 1种执行方式，表示为新的集合m'＝{0,1,...m}，当om,n,t＝1,m≠0时代表着第t个时刻，第n个ar用户可将任务卸载到第m架无人机上，若om,n,t＝1,m＝0则表示ar用户决定在本地进行计算并遵循着：在第t的时间段内，m架无人机此刻的高度为hm并以此刻的飞行角度、飞行长度，飞行高度进行位置移动，我们设立αm,t＝{θm,t,dm,t,hm,t}，其中：θm,t∈[0，2π)、dm,t∈[0,dmax]、hm,t∈[-dhmax,dhmax]，此时第m个无人机的覆盖半径为：无人机的初始位置为在第t个时刻无人机的位置变换为其中最后规定无人机不能飞出我们预设的边界，而ar设备随机分布在场景内，无人机与ar设备的距离可被计算为：[0053][0054]若ar设备需要将任务卸载至无人机处，则ar设备必须处在无人机的最大信号范围内om,n,trm,n,t≤rmax，无人机与ar设备之间的功率传输速率可计算为：其中b代表着任务卸载时ar设备端与无人机之间的信道带宽，pn代表着ar的能量，α＝go/σ2，go代表着距离为1m时的信道功率增益，σ2代表着噪声功率。规定无人机工作时都在各自的区域，为了防止t时刻无人机之间发生碰撞，需要设置无人机之间的最小距离rmin，所以我们必须将每架无人机位置信息进行交互：[0055][0056]其中rmin≤rm,m',t。[0057]在uav的路径规划时，主要考虑的是任务时间和总能量损耗。因此，需要根据全局所有的ar设备的角度进行设计，若无人机总是到一个低优先级的目的地而忽略高优先级的目标，会造成资源的浪费。最优任务时间和最小总能量损耗可能会导致任务分配不均匀，并且每一架无人机都有自己的利益人，将会为自己获得最多的回报，当试图合作时，任务时间会增加，并且造成大部分环境未被探索，当然无人机之间也存在竞争关系，当无人机到达指定位置时会阻止其它无人机到达，减少能量的损耗。因为在任务分配过程中，一些无人机会比其他的无人机服务更多的ar用户，或是一些ar设备的在多个时刻被无人机所服务，而另一部分设备几乎不被服务，为了更公平的将任务进行分配，我们引入无人机分布公平性因子，将公平性表示为ft，即[0058][0059]其中cm，t代表在t时刻卸载到无人机的相对负载，定义为若ft越接近1，显示各个ar在整个时间t内被服务次数越接近，各个uav服务的ar用户的数量也越接近。我们的最终目标是最大限度保证无人机与ar用户之间关联的公平性。[0060]当数据任务需要被处理时，只能在两个地方被执行，卸载到无人机上或者在ar设备本地执行。由于硬件资源有限，若将计算数据任务全部卸载到无人机上，可能会造成ar本地计算资源的浪费，因此最小化卸载时间是为了寻找最优的卸载策略，从而使全局任务计算时间最小化。确定将任务卸载到无人机上之后，再将任务分为两部分，转移x比例在无人机设备上进行卸载，将任务剩余比例1-x在ar用户进行本地计算，am,n,t＝{x,1-x}，其中x∈[0,1]，由am,n,t决定卸载的任务数量的比例x。假设第n个ar设备的任务卸载到第m个uav的比例为x，留在本地的计算任务为1-x，我们可知卸载数据时间分为两个部分任务传输时间和任务处理时间：其中fm,n,t代表分配给处理ar设备任务的无人机m的计算能力。本地计算的处理数据时间由于ar设备与无人机计算并行执行，所以任务计算时间为我们可知当最佳的卸载任务比例x存在，任务计算时间tm,n,t达到最小值，最优的卸载比例为[0061][0062]此时，优化目标函数包括如下两种：[0063][0064]为此，将上述多优化问题转变为一个简单的目标优化为：[0065][0066]在能源有限的条件下做出无人机轨迹最优化设计，对能源消耗问题进行考虑，与最小任务处理时间相似，需要对最优卸载策略设计。ar设备在本地执行任务消耗的能量为其中kn≥0，vn≥1，若ar设备决定将任务卸载到无人机当中，则卸载到无人机的任务能量消耗为总耗能为对于最小化无人机与用户之间的能量消耗问题，对于给定的传输功率pn，可以得到卸载比例x的最优解：[0067][0068]至此，优化问题可构造：[0069][0070]同理可以将问题转化表述为一个简单的优化问题：[0071][0072]由此可知，上述的两种无人机控制方案，只考虑了无人机的部分性能的最佳优化方式；而在事实上，无人机的飞行路线设计不仅仅需要能量和时间部分最小化而是需要两者达到一种平衡，不仅使得无人机的能量消耗小而且处理任务的时间也少。[0073]基于上述理论，本发明提供一种多无人机协同计算与路径控制的方法及装置，来进行公平权衡无人机选择，旨在两个相互冲突的目标之间找到一个公平的权衡，即能源消耗和运行时间，值得注意的是：这个谈判游戏将会被用来在玩家之间寻找到一个公平的权衡(相互冲突的目标)，在本发明中，无人机的能耗和运行时间被认为是两个进行交易的对象：设置一个集合φ＝{(e(x),t(x)),x∈x}，其中x代表着两个玩家的策略集，e(x),t(x)分别代表着两个玩家的效用函数。通过共享玩家之间的效用分数来提高公平性，基于假定给定和已知的两个元素，第一个元素是如果玩家同意合作之后的可获得的回报的集合，第二个是玩家之间合作达到最佳的的卸载位置ew(x),tw(x)。[0074]在传统的竞争中，两个玩家的目标都是为了增加各自的价值，而在该谈判游戏中，两个玩家(能量消耗和运行时间)都旨在降低他们的价值，形式上，运行时间和能耗越低效用函数越好，我们在找到权衡，使它寻找到最小值。[0075]至此，将该多优化问题转变为一个简单的目标优化：[0076][0077]本实施例中所述的多无人机协同计算与路径控制的方法，包括：分别建立最小化时间卸载任务模型、最小化能量卸载任务模型以及能耗和运行时间的公平权衡模型，获取所述无人机卸载任务分配策略；结合多代理深度确定性策略梯度对无人机的轨迹进行设计，最大化服务公平度。[0078]具体步骤如下：[0079]步骤一：建立最小化时间卸载任务模型：[0080]如图2，首先建立一个集合t{}，将该集合用来收集无人机卸载任务消耗的时间与ar用户本地卸载任务消耗时间的数值关系，将两者之间的差值作为无人机之间进行博弈的工具。再建立一个集合mt{}来显示无人机-ar用户匹配关系，若mt{n}＝m，则说明第n个用户与第m架无人机形成匹配关系。若mt{n}＝0则说明用户不与无人机形成任务连接，将任务留在本地进行处理。将可能需要把任务卸载到无人机的用户进行存储，再由显示用户需要卸载任务的迫切程度进行估价来检索最受益的ar用户。对该任务进行博弈拍卖，若此时ar用户与其他架无人机形成匹配关系可使用户节约更多的能量，则可以更换匹配的无人机。若第m架无人机可使第n个ar用户卸载任务最受益，并且第n个ar用户也最适合将任务卸载到第m架无人机，则在t时刻第m架无人机与第n个用户形成匹配关系，最后计算最佳卸载任务比例。[0081]步骤二：建立最小化能量卸载任务模型[0082]如图3，首先，建立一个集合e{}作为记录无人机卸载任务消耗能量与ar用户本地卸载任务消耗能量之间的差值。再建立一个集合me{}来显示无人机-ar用户匹配关系，若me{n}＝m，则说明第n个用户与第m架无人机形成匹配关系。若me{n}＝0，则说明用户不与无人机形成任务连接，将任务留在本地进行处理。[0083]其次，刻画估价和拍卖之间的博弈关系，把需要将任务卸载到无人机的用户进行存储，然后再由进行估价来检索最受益的ar用户。对该任务进行拍卖，若此时ar用户与其他架无人机形成匹配关系可使用户节约更多的能量，则可以更换匹配的无人机。若第m架无人机可使第n个ar用户卸载任务最受益，并且第n个ar用户也最适合将任务卸载到第m架无人机，则在t时刻第m架无人机与第n个用户形成匹配关系，最后计算最佳卸载任务比例。[0084]步骤三：利用交易博弈构建能耗和运行时间的公平权衡模型；[0085]如图4，为寻找能量消耗与时间消耗之间平衡的最小化算法，旨在寻找到无人机执行任务的能量消耗与时间损耗，这两个互相冲突的变量之间的平衡，该算法基于纳什博弈与估价拍卖原理。[0086]首先，计算出无人机卸载任务所需要的能量与处理任务的时间消耗，以及本地卸载任务所需的能量与时间，与上述情况一致，若无人机卸载任务比本地卸载所需时间与能耗更小，则可以将任务转移到无人机处，并且将无人机处理任务的能耗与时间消耗的的最大值与最小值进行确认，计算各自最大值最小值之间的差值，代表着卸载策略的区间。再经过计算我们得出每个卸载策略与最大能耗与时间之间的差值以及该策略卸载策略区间的评判比分[0087][0088]其次，建立一个集合策略et{}进行记录评判比分，通过该策略集合检索最佳比分，再建立一个集合met{}来显示无人机-ar用户匹配关系，若met{n}＝m，则说明第n个用户与第m架无人机形成匹配关系。若met{n}＝0则说明用户不与无人机形成任务连接，将任务留在本地进行处理，此时我们将该获取最佳比分的无人机序号进行记录；[0089]此时ar用户可与其他无人机进行匹配，若与其他无人机匹配后比分高于现在连接的无人机，可以更换无人机，若第m架无人机可使第n个ar用户卸载任务最受益，并且第n个ar用户也最适合将任务卸载到第m架无人机，则在t时刻第m架无人机与第n个用户形成匹配关系。[0090]如图5，再结合多代理深度确定性策略梯度对无人机的轨迹进行设计，包括如下步骤；[0091]将无人机飞行时所需的飞行角度，水平飞行距离，垂直飞行高度来表示第t时刻第m架无人机的动作αm,t＝{θm,t,dm,t,hm,t,x}。根据约束条件，我们的最终目标是最大化决策的公平度，并且最小化任务卸载执行时间以及最小化任务卸载所消耗的能量或是最大化时间与能量的公平权衡，所以rm,t可表示为上述的优化条件。若无人机之间发生碰撞或者飞出环境的边界之外则rm,t表示为：rm,t＝-im。无人机的位置信息包含了第t时刻第m架无人机与环境交互所得的无人机位置，即由于该算法是多无人机的相互协同合作，所以需要将其余m-1无人机与第m架无人机之间的位置关系添加进来。即{rm,m',t}，并且我们设计一个匹配算法，若第n个ar用户决定将任务卸载到第m架无人机进行任务计算，则将他们的匹配关系添加进om，t中我们设立一个新的集合{mm,n,t}。并将从t时刻开始到该时刻无人机所匹配到所有用户数目添加进去以及卸载到第m架无人机的相对负载在上述的基础条件下，我们将st和αt进行定义。state是所有的无人机的位置信息总和，定义为：action是所有的无人机的动作集合，定义为：[0092]本发明考虑了多个基站的边缘服务器进行资源共享处理无线设备的计算任务，通过无人机替换传统基站来进行边缘计算服务，并考虑多无人机服务策略，以达到最大化服务公平度。[0093]本发明还公开一种实施例：[0094]一种多无人机协同计算与路径控制的电子装置，包括：存储介质和处理单元；存储介质，用于存储计算机程序；处理单元与所述存储介质进行数据交换，用于在规划无人机轨道时，通过所述处理单元执行所述计算机程序，进行如图2-5中任一流程图所述的多无人机协同计算与路径控制的方法的步骤。[0095]上述的电子装置中，存储介质优选为，移动硬盘或固态硬盘或u盘等存储设备；处理单元，优选为cpu，与所述存储介质进行数据交换，用于在进行多无人机协同计算与路径控制时，通过所述处理单元执行所述计算机程序，进行如上所述的多无人机协同计算与路径控制的方法的步骤。[0096]上述cpu可以根据存储在存储介质中的程序执行各种适当的动作和处理。所述电子设备还包括以下外设，包括键盘、鼠标等的输入部分，也可以包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分；特别地，根据本发明公开的实施例，如图2-5中任一描述的过程均可以被实现为计算机软件程序。[0097]本发明还公开一种实施例：[0098]一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行如图2-5中任一所述流程图所示的方法的程序代码。该计算机程序可以从网络上被下载和安装。在该计算机程序被cpu执行时，执行本发明的系统中限定的上述功能。[0099]本发明还公开一种实施例：[0100]一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序；所述计算机程序在运行时，执行如上所述的多无人机协同计算与路径控制的方法的步骤。[0101]在本发明中，计算机可读的存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。[0102]以上公开的仅为本发明的几个具体实施场景，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。当前第1页12当前第1页12
技术领域：
：，特别涉及一种多无人机协同计算与路径控制的方法、电子装置及计算机可读存储介质。
背景技术：
：：2.augmentedreality(ar)设备作为连接现实与虚拟的工具，让用户拥有沉浸式体验，是目前热门领域之一，但也面临诸多挑战，ar设备的两大特点：其一是真实世界与虚拟世界的信息集成，这也要求ar设备需要运行诸多复杂的算法，随之而来的是ar设备必须对大量数据进行处理，如视频数据分析、图像数据分析、自然语言分析。高精密度的数据分析会带来大量的冗余的计算，造成事件处理延迟和高能耗，而ar的另一特点是实时交互性，需要在极短的响应时间内完成对数据的分析并立即在移动设备端呈现虚拟视觉。对于计算资源有限的ar设备，可能会导致实时响应不能得到及时满足。3.移动边缘计算(mec)是集网络、计算、存储和智能服务，在网络边缘物理上接近数据源的能力的概念。mec可使网络边缘计算能力更加强大，快速的为大型物联网设备提供计算服务，随着mec的部署，ar设备可将计算密集的任务转移到边缘服务器中，可显著的用于ar设备的数据迁移和处理，改善用户的体验效果。4.无人机(uav)由于它的灵活性、机动性等显著特点有望在无线通信系统中发挥重要的作用，无人机由于其三维空间的自由部署，因此很容易与ar设备形成空对地视距连接，目前无人机已成为理想的移动边缘计算服务器，可以将mec与无人机进行结合，用无人机搭载mec边缘设备装置进行形成新的mec装置，将无人机的优点与边缘计算特点相结合，与传统的固定边缘计算终端相比，mec将更灵活、方便、快捷边缘计算服务。5.由于工作环境的复杂性、终端用户分布的不确定性以及无人机能量的局限性，无人机安装的移动边缘计算仍然具有挑战性。为了充分发挥f-mec在通信系统的特点，需要对无人机的路径规划、轨迹控制进行分析研究。无人机的决策空间是最优轨迹设计以及最优资源分配，且是连续性动作过程。随着机器学习的火热，目前越来越来的研究将机器学习(rl)与神经网络(dnn)相结合，来解决在机器学习领域中的决策问题，在机器学习领域中，是智能体与环境的交互式学习，进行探索性学习，寻求最优方案，而加入神经网络后可利用其相关功能来有效的帮助智能体的收敛与近似。由于传统机器学习的q-table的空间有限，于是利用经验存放缓冲区将交互的数据存入。并设立目标网络机制，来获取下一步状态和动作。然而在多无人机的的目标规划中会产生高维的动作空间，会对计算维度产生毁灭性打击；所以引入actor-critic网络来产生确定性策略。6.传统的利用基站来卸载用户任务，可能会导致任务进程过慢，甚至可能导致数据泄露或者丢失，基站也会因大量数据的涌入导致拥堵，计算和服务往往难以从基站获得，ar端用户的需求无法得到完全的满足。由于用户与基站之间的不同距离，导致近距离用户得到的服务质量与次数远超远距离用户。而目前研究的无人机方案任务只能在用户和无人机上选择一处卸载，浪费了大量的计算资源，而传统方法解决无人机轨迹设计会由于轨迹决策指数型暴增导致计算速度严重落后，并且忽略了无人机服务的公平性以及用户享受服务的公平性。技术实现要素：7.为了解决现有技术的不足，本发明提供一种多无人机协同计算与路径控制的方法及装置，用于至少解决
背景技术：
：中的一个技术问题。8.本发明所采用的技术方案是：9.一种多无人机协同计算与路径控制的方法，包括：10.分别建立最小化时间卸载任务模型、最小化能量卸载任务模型以及能耗和运行时间的公平权衡模型，获取所述无人机卸载任务分配策略；11.结合多代理深度确定性策略梯度对无人机的轨迹进行设计，最大化服务公平度。12.所述最小化时间卸载任务模型，由博弈算法和传统经济的估价拍卖行为组合构成。13.所述最小化时间卸载任务模型的构建过程是：14.建立一个集合t{}；15.将所述集合t{}用来收集无人机卸载任务消耗的时间与ar用户本地卸载任务消耗时间的数值关系，将两者之间的差值作为无人机之间进行博弈的工具；16.建立一个集合mt{}来显示无人机与ar用户匹配关系；17.将需要把任务卸载到无人机的ar用户进行存储，再由显示用户需要卸载任务的迫切程度进行估价来检索最受益的ar用户，形成任务；18.对所述任务进行博弈拍卖，使t时刻第m架无人机与第n个用户形成匹配关系，得到最小化时间卸载任务的最佳卸载任务比例。19.所述最小化能量卸载任务模型的构建过程是：20.建立一个集合e{}作为记录无人机卸载任务消耗能量与ar用户本地卸载任务消耗能量之间的差值；21.再建立一个集合me{}来显示无人机与ar用户匹配关系；22.刻画估价和拍卖之间的博弈关系，把需要将任务卸载到无人机的用户进行存储，然后再由进行估价来检索最受益的ar用户，形成拍卖任务；23.对所述拍卖任务进行拍卖，使t时刻第m架无人机与第n个用户形成匹配关系，得到最小化能量卸载任务的最佳卸载任务比例。24.基于纳什博弈与估价拍卖原理构建所述能耗和运行时间的公平权衡模型，包括：25.首先，根据所述最小化时间卸载任务模型、所述最小化能量卸载任务模型获取无人机卸载任务所需要的能量与处理任务的时间消耗，以及本地卸载任务所需的能量与时间；26.通过下式，对每个卸载策略、最大能耗、卸载时间以及所述卸载策略区间进行评判比分：27.其中，em,n,t(max)代表所有无人机与用户之间卸载任务所消耗最大能量；同理，em,n,t(min)是则是消耗的最小能量；是第m个用户与第n个用户之间卸载任务所需能量；tm,n,t(max)是所有无人机与用户之间卸载任务所执行的最长时间；tm,n,t(min)为所有无人机与用户之间卸载任务所执行的最短时间；是第m个用户与第n个用户之间卸载任务所需时间；28.建立一个集合策略et{}进行记录评判比分，通过该策略集合检索最佳比分；29.建立一个集合met{}来显示无人机与ar用户匹配关系，并将该获取最佳比分的无人机序号进行记录；30.将任一ar用户与任一无人机进行匹配，使t时刻第m架无人机与第n个用户形成匹配关系。31.所述“结合多代理深度确定性策略梯度对无人机的轨迹进行设计”，包括：32.将无人机飞行时所需的飞行角度，水平飞行距离，垂直飞行高度来表示第t时刻第m架无人机的动作αm,t＝{θm,t,dm,t,hm,t,x}；33.将最大化决策的公平度，并且最小化任务卸载执行时间以及最小化任务卸载所消耗的能量或最大化时间与能量的公平权衡作为限制条件rm,t；34.匹配第m架无人机与其余m-1无人机之间的位置关系，即{rm,m',t}；35.设立一个新的集合{mm,n,t}，并将从t时刻开始到该时刻无人机所匹配到所有用户数目添加进去以及卸载到第m架无人机的相对负载其中，m′是除第m台无人机之外的无人机。om,t是第m架无人机的位置信息；cm,t是在t时刻，卸载到第m台无人机的相对负载36.state是所有的无人机的位置信息总和，定义为：37.action是所有的无人机的动作集合，定义为：38.一种多无人机协同计算与路径控制的电子装置，包括：39.存储介质，用于存储计算机程序；40.处理单元，与所述存储介质进行数据交换，用于在规划无人机轨道时，通过所述处理单元执行所述计算机程序，进行如上所述的多无人机协同计算与路径控制的方法的步骤。41.一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序；42.所述计算机程序在运行时，执行如上所述的多无人机协同计算与路径控制的方法的步骤。43.本发明的有益效果是：44.本发明所述的方法，通过分别建立最小化时间卸载任务模型、最小化能量卸载任务模型以及能耗和运行时间的公平权衡模型，获取所述无人机卸载任务分配策略；结合多代理深度确定性策略梯度对无人机的轨迹进行设计，最大化服务公平度；利用多无人机协助用户任务卸载，并确定计算任务分配策略的技术方案，同时，考虑了多个基站的边缘服务器进行资源共享处理无线设备的计算任务以及利用无人机替换传统基站来进行边缘计算服务，以达到最大化服务公平度。附图说明45.图1为无人机辅助用户边缘卸载系统模型；46.图2为本发明所述方法中最小化时间卸载任务模型构建流程图；47.图3为本发明所述方法中最小化能量卸载任务模型构建流程图；48.图4为本发明所述方法中能耗和运行时间的公平权衡模型构建流程图；49.图5为本发明所述方法中多代理深度确定性策略梯度对无人机的轨迹进行设计的流程图。具体实施方式50.现对现有的两种无人机控制方案进行说明：51.如图1，假设n个ar设备端随机分布在一个长、宽、高都为lmax，并且将ar设备的位置随机分布，n个设备的集合设立为n＝{1，2，...n}，并将m架无人机初始时设定在高度为h的位置，为各个位置的ar设备提供边缘计算服务，且具有稳定的电源，并且假设无线功率传输和计算卸载在同一段频内进行，以避免ar设备、无人机之间任务卸载时相互干扰。m个uav的集合设立为m＝{1,2,...m},我们假设每个ar设备在在连续的时间段内ts＝{1,2,...t}上每个时间段内都会生成一个突出任务密集为st的任务，需要进行计算。此时任务需要决定是在ar设备上进行本地计算还是将任务卸载在一架无人机上进行卸载，记sn,t＝{dn,t,cn,t}，om,n,t＝{0,1}，其中dn,t代表着ar设备端所需处理的任务数据量，cn,t代表执行该任务所需的cpu总数,并且若om,n,t＝0，则代表在第t时刻第n个ar设备端决定将任务留在本地进行处理计算，当om,n,t＝1，则代表在第t时刻第n个ar设备端将任务决定卸载到第m架无人机上。52.并且我们规定每一个无人机在一个时间段t内只能与一个ar设备端进行任务连接。换句话说，每个任务只能在无人机或者本地进行任务卸载，所以每个任务有m 1种执行方式，表示为新的集合m'＝{0,1,...m}，当om,n,t＝1,m≠0时代表着第t个时刻，第n个ar用户可将任务卸载到第m架无人机上，若om,n,t＝1,m＝0则表示ar用户决定在本地进行计算并遵循着：在第t的时间段内，m架无人机此刻的高度为hm并以此刻的飞行角度、飞行长度，飞行高度进行位置移动，我们设立αm,t＝{θm,t,dm,t,hm,t}，其中：θm,t∈[0，2π)、dm,t∈[0,dmax]、hm,t∈[-dhmax,dhmax]，此时第m个无人机的覆盖半径为：无人机的初始位置为在第t个时刻无人机的位置变换为其中最后规定无人机不能飞出我们预设的边界，而ar设备随机分布在场景内，无人机与ar设备的距离可被计算为：[0053][0054]若ar设备需要将任务卸载至无人机处，则ar设备必须处在无人机的最大信号范围内om,n,trm,n,t≤rmax，无人机与ar设备之间的功率传输速率可计算为：其中b代表着任务卸载时ar设备端与无人机之间的信道带宽，pn代表着ar的能量，α＝go/σ2，go代表着距离为1m时的信道功率增益，σ2代表着噪声功率。规定无人机工作时都在各自的区域，为了防止t时刻无人机之间发生碰撞，需要设置无人机之间的最小距离rmin，所以我们必须将每架无人机位置信息进行交互：[0055][0056]其中rmin≤rm,m',t。[0057]在uav的路径规划时，主要考虑的是任务时间和总能量损耗。因此，需要根据全局所有的ar设备的角度进行设计，若无人机总是到一个低优先级的目的地而忽略高优先级的目标，会造成资源的浪费。最优任务时间和最小总能量损耗可能会导致任务分配不均匀，并且每一架无人机都有自己的利益人，将会为自己获得最多的回报，当试图合作时，任务时间会增加，并且造成大部分环境未被探索，当然无人机之间也存在竞争关系，当无人机到达指定位置时会阻止其它无人机到达，减少能量的损耗。因为在任务分配过程中，一些无人机会比其他的无人机服务更多的ar用户，或是一些ar设备的在多个时刻被无人机所服务，而另一部分设备几乎不被服务，为了更公平的将任务进行分配，我们引入无人机分布公平性因子，将公平性表示为ft，即[0058][0059]其中cm，t代表在t时刻卸载到无人机的相对负载，定义为若ft越接近1，显示各个ar在整个时间t内被服务次数越接近，各个uav服务的ar用户的数量也越接近。我们的最终目标是最大限度保证无人机与ar用户之间关联的公平性。[0060]当数据任务需要被处理时，只能在两个地方被执行，卸载到无人机上或者在ar设备本地执行。由于硬件资源有限，若将计算数据任务全部卸载到无人机上，可能会造成ar本地计算资源的浪费，因此最小化卸载时间是为了寻找最优的卸载策略，从而使全局任务计算时间最小化。确定将任务卸载到无人机上之后，再将任务分为两部分，转移x比例在无人机设备上进行卸载，将任务剩余比例1-x在ar用户进行本地计算，am,n,t＝{x,1-x}，其中x∈[0,1]，由am,n,t决定卸载的任务数量的比例x。假设第n个ar设备的任务卸载到第m个uav的比例为x，留在本地的计算任务为1-x，我们可知卸载数据时间分为两个部分任务传输时间和任务处理时间：其中fm,n,t代表分配给处理ar设备任务的无人机m的计算能力。本地计算的处理数据时间由于ar设备与无人机计算并行执行，所以任务计算时间为我们可知当最佳的卸载任务比例x存在，任务计算时间tm,n,t达到最小值，最优的卸载比例为[0061][0062]此时，优化目标函数包括如下两种：[0063][0064]为此，将上述多优化问题转变为一个简单的目标优化为：[0065][0066]在能源有限的条件下做出无人机轨迹最优化设计，对能源消耗问题进行考虑，与最小任务处理时间相似，需要对最优卸载策略设计。ar设备在本地执行任务消耗的能量为其中kn≥0，vn≥1，若ar设备决定将任务卸载到无人机当中，则卸载到无人机的任务能量消耗为总耗能为对于最小化无人机与用户之间的能量消耗问题，对于给定的传输功率pn，可以得到卸载比例x的最优解：[0067][0068]至此，优化问题可构造：[0069][0070]同理可以将问题转化表述为一个简单的优化问题：[0071][0072]由此可知，上述的两种无人机控制方案，只考虑了无人机的部分性能的最佳优化方式；而在事实上，无人机的飞行路线设计不仅仅需要能量和时间部分最小化而是需要两者达到一种平衡，不仅使得无人机的能量消耗小而且处理任务的时间也少。[0073]基于上述理论，本发明提供一种多无人机协同计算与路径控制的方法及装置，来进行公平权衡无人机选择，旨在两个相互冲突的目标之间找到一个公平的权衡，即能源消耗和运行时间，值得注意的是：这个谈判游戏将会被用来在玩家之间寻找到一个公平的权衡(相互冲突的目标)，在本发明中，无人机的能耗和运行时间被认为是两个进行交易的对象：设置一个集合φ＝{(e(x),t(x)),x∈x}，其中x代表着两个玩家的策略集，e(x),t(x)分别代表着两个玩家的效用函数。通过共享玩家之间的效用分数来提高公平性，基于假定给定和已知的两个元素，第一个元素是如果玩家同意合作之后的可获得的回报的集合，第二个是玩家之间合作达到最佳的的卸载位置ew(x),tw(x)。[0074]在传统的竞争中，两个玩家的目标都是为了增加各自的价值，而在该谈判游戏中，两个玩家(能量消耗和运行时间)都旨在降低他们的价值，形式上，运行时间和能耗越低效用函数越好，我们在找到权衡，使它寻找到最小值。[0075]至此，将该多优化问题转变为一个简单的目标优化：[0076][0077]本实施例中所述的多无人机协同计算与路径控制的方法，包括：分别建立最小化时间卸载任务模型、最小化能量卸载任务模型以及能耗和运行时间的公平权衡模型，获取所述无人机卸载任务分配策略；结合多代理深度确定性策略梯度对无人机的轨迹进行设计，最大化服务公平度。[0078]具体步骤如下：[0079]步骤一：建立最小化时间卸载任务模型：[0080]如图2，首先建立一个集合t{}，将该集合用来收集无人机卸载任务消耗的时间与ar用户本地卸载任务消耗时间的数值关系，将两者之间的差值作为无人机之间进行博弈的工具。再建立一个集合mt{}来显示无人机-ar用户匹配关系，若mt{n}＝m，则说明第n个用户与第m架无人机形成匹配关系。若mt{n}＝0则说明用户不与无人机形成任务连接，将任务留在本地进行处理。将可能需要把任务卸载到无人机的用户进行存储，再由显示用户需要卸载任务的迫切程度进行估价来检索最受益的ar用户。对该任务进行博弈拍卖，若此时ar用户与其他架无人机形成匹配关系可使用户节约更多的能量，则可以更换匹配的无人机。若第m架无人机可使第n个ar用户卸载任务最受益，并且第n个ar用户也最适合将任务卸载到第m架无人机，则在t时刻第m架无人机与第n个用户形成匹配关系，最后计算最佳卸载任务比例。[0081]步骤二：建立最小化能量卸载任务模型[0082]如图3，首先，建立一个集合e{}作为记录无人机卸载任务消耗能量与ar用户本地卸载任务消耗能量之间的差值。再建立一个集合me{}来显示无人机-ar用户匹配关系，若me{n}＝m，则说明第n个用户与第m架无人机形成匹配关系。若me{n}＝0，则说明用户不与无人机形成任务连接，将任务留在本地进行处理。[0083]其次，刻画估价和拍卖之间的博弈关系，把需要将任务卸载到无人机的用户进行存储，然后再由进行估价来检索最受益的ar用户。对该任务进行拍卖，若此时ar用户与其他架无人机形成匹配关系可使用户节约更多的能量，则可以更换匹配的无人机。若第m架无人机可使第n个ar用户卸载任务最受益，并且第n个ar用户也最适合将任务卸载到第m架无人机，则在t时刻第m架无人机与第n个用户形成匹配关系，最后计算最佳卸载任务比例。[0084]步骤三：利用交易博弈构建能耗和运行时间的公平权衡模型；[0085]如图4，为寻找能量消耗与时间消耗之间平衡的最小化算法，旨在寻找到无人机执行任务的能量消耗与时间损耗，这两个互相冲突的变量之间的平衡，该算法基于纳什博弈与估价拍卖原理。[0086]首先，计算出无人机卸载任务所需要的能量与处理任务的时间消耗，以及本地卸载任务所需的能量与时间，与上述情况一致，若无人机卸载任务比本地卸载所需时间与能耗更小，则可以将任务转移到无人机处，并且将无人机处理任务的能耗与时间消耗的的最大值与最小值进行确认，计算各自最大值最小值之间的差值，代表着卸载策略的区间。再经过计算我们得出每个卸载策略与最大能耗与时间之间的差值以及该策略卸载策略区间的评判比分[0087][0088]其次，建立一个集合策略et{}进行记录评判比分，通过该策略集合检索最佳比分，再建立一个集合met{}来显示无人机-ar用户匹配关系，若met{n}＝m，则说明第n个用户与第m架无人机形成匹配关系。若met{n}＝0则说明用户不与无人机形成任务连接，将任务留在本地进行处理，此时我们将该获取最佳比分的无人机序号进行记录；[0089]此时ar用户可与其他无人机进行匹配，若与其他无人机匹配后比分高于现在连接的无人机，可以更换无人机，若第m架无人机可使第n个ar用户卸载任务最受益，并且第n个ar用户也最适合将任务卸载到第m架无人机，则在t时刻第m架无人机与第n个用户形成匹配关系。[0090]如图5，再结合多代理深度确定性策略梯度对无人机的轨迹进行设计，包括如下步骤；[0091]将无人机飞行时所需的飞行角度，水平飞行距离，垂直飞行高度来表示第t时刻第m架无人机的动作αm,t＝{θm,t,dm,t,hm,t,x}。根据约束条件，我们的最终目标是最大化决策的公平度，并且最小化任务卸载执行时间以及最小化任务卸载所消耗的能量或是最大化时间与能量的公平权衡，所以rm,t可表示为上述的优化条件。若无人机之间发生碰撞或者飞出环境的边界之外则rm,t表示为：rm,t＝-im。无人机的位置信息包含了第t时刻第m架无人机与环境交互所得的无人机位置，即由于该算法是多无人机的相互协同合作，所以需要将其余m-1无人机与第m架无人机之间的位置关系添加进来。即{rm,m',t}，并且我们设计一个匹配算法，若第n个ar用户决定将任务卸载到第m架无人机进行任务计算，则将他们的匹配关系添加进om，t中我们设立一个新的集合{mm,n,t}。并将从t时刻开始到该时刻无人机所匹配到所有用户数目添加进去以及卸载到第m架无人机的相对负载在上述的基础条件下，我们将st和αt进行定义。state是所有的无人机的位置信息总和，定义为：action是所有的无人机的动作集合，定义为：[0092]本发明考虑了多个基站的边缘服务器进行资源共享处理无线设备的计算任务，通过无人机替换传统基站来进行边缘计算服务，并考虑多无人机服务策略，以达到最大化服务公平度。[0093]本发明还公开一种实施例：[0094]一种多无人机协同计算与路径控制的电子装置，包括：存储介质和处理单元；存储介质，用于存储计算机程序；处理单元与所述存储介质进行数据交换，用于在规划无人机轨道时，通过所述处理单元执行所述计算机程序，进行如图2-5中任一流程图所述的多无人机协同计算与路径控制的方法的步骤。[0095]上述的电子装置中，存储介质优选为，移动硬盘或固态硬盘或u盘等存储设备；处理单元，优选为cpu，与所述存储介质进行数据交换，用于在进行多无人机协同计算与路径控制时，通过所述处理单元执行所述计算机程序，进行如上所述的多无人机协同计算与路径控制的方法的步骤。[0096]上述cpu可以根据存储在存储介质中的程序执行各种适当的动作和处理。所述电子设备还包括以下外设，包括键盘、鼠标等的输入部分，也可以包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分；特别地，根据本发明公开的实施例，如图2-5中任一描述的过程均可以被实现为计算机软件程序。[0097]本发明还公开一种实施例：[0098]一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行如图2-5中任一所述流程图所示的方法的程序代码。该计算机程序可以从网络上被下载和安装。在该计算机程序被cpu执行时，执行本发明的系统中限定的上述功能。[0099]本发明还公开一种实施例：[0100]一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序；所述计算机程序在运行时，执行如上所述的多无人机协同计算与路径控制的方法的步骤。[0101]在本发明中，计算机可读的存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。[0102]以上公开的仅为本发明的几个具体实施场景，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。当前第1页12当前第1页12
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。