一种面向双层架构移动自组网的任务卸载与协同缓存方法与流程
本发明属于无线通信与移动边缘计算,具体涉及一种面向双层架构移动自组网的任务卸载与协同缓存方法。
背景技术:
1、移动自组网(mobile ad hoc network,manet)因其无需固定基础设施、可快速组网的特点,被广泛应用于应急通信、无人系统和战术协作等场景。然而,传统单层移动自组网的规模受限,节点数量增多时需要维护大量路由信息,加之网络拓扑高度动态,使得通信与控制开销急剧上升,难以支撑大规模、高移动性的组网需求。相比之下,双层架构的移动自组网可根据节点的特征赋予不同节点差异化的功能,可有效提升网络的可扩展性和资源利用率。在双层架构的移动自组网中,下层网络由大量普通节点组成,负责数据的采集与任务的生成;上层网络由计算能力更强的移动节点组成,负责全局信息汇聚、协同计算与跨域通信。基于该双层架构,下层节点通常将任务卸载至上层节点,上层节点可通过提前缓存相应程序来减少程序获取时延、进一步提升任务处理效率。
2、现有研究普遍将任务卸载与程序缓存两个过程独立进行优化,以降低求解复杂度并实现计算与缓存模块的功能解耦。尽管该方式简化了系统设计,但在实际部署时往往需要分别设置缓存节点与计算节点,从而造成资源的冗余,显著增加了系统部署成本。此外,独立优化方式难以同时兼顾缓存命中率、计算负载平衡及网络通信开销,使得系统在高速移动、拓扑频繁变化的场景下难以获得全局最优性能。
3、在上述问题的驱动下,任务卸载与缓存联合优化逐渐成为研究热点,旨在通过联合优化任务卸载和缓存决策实现更高效的任务处理流程,以应对高移动性、高负载的应用场景。然而,随着网络规模持续扩大、拓扑动态性不断增强,传统基于集中式控制或启发式算法的联合优化方法,在全局状态信息获取、算法计算复杂度与实时决策能力等方面逐渐显现不足。面对这一挑战,亟需一种面向双层移动自组网、能够在高度动态环境下实现分布式协同决策的任务卸载与缓存联合优化方法,以有效降低系统任务处理时延。
技术实现思路
1、针对现有技术中研究的不足,本发明目的是提供一种面向双层架构移动自组网的任务卸载与缓存联合优化方法,通过将任务卸载决策、程序缓存策略、路由规划以及计算节点的移动轨迹进行联合优化,使网络能够自适应动态变化的环境,实现系统平均时延最小化。
2、为解决上述技术问题,本发明提供的技术方案为:
3、本发明提供一种面向双层架构移动自组网的任务卸载与协同缓存方法,所述双层移动自组织网络包括上层移动计算节点和下层任务生成节点,包括以下步骤:
4、s1. 构建包括上层移动计算节点和下层任务生成节点的双层架构移动自组织网络系统模型,以最小化系统平均时延为优化目标,建立联合优化任务卸载决策、上层移动计算节点移动轨迹、程序缓存策略以及数据包转发路由策略的混合整数非线性规划问题;
5、s2. 将所述混合整数非线性规划问题分解为顺序求解的协同决策子问题与路由规划子问题;所述协同决策子问题用于联合优化任务卸载决策、移动计算节点移动轨迹及程序缓存策略;所述路由规划子问题负责在缓存未命中时为任务规划其多跳转发路径;
6、s3. 采用多智能体强化学习框架求解所述协同决策子问题,将每个下层任务生成节点和每个上层移动计算节点分别建模为智能体,通过集中式训练获得全局协同策略,使各节点仅依赖本地观测信息分布式地执行任务卸载、节点移动与程序缓存决策;
7、s4. 对经由协同决策后缓存未命中的任务,依据实时网络拓扑与缓存分布状态,通过所述路由规划子问题采用最短路径算法确定从接收节点到目标计算节点的多跳转发路径;
8、s5. 基于全网统一的同步时隙进行协同运行,在每个时隙内,各节点执行所述任务卸载决策、节点移动、程序缓存更新,并依据所述路由规划结果完成数据包转发,动态协调以实现系统平均时延最小化。
9、优选的,在s1中,所述系统模型包括任务卸载模型、上层移动计算节点的计算模型、数据包路由模型和程序缓存模型;
10、系统采用正交频分多址接入技术进行数据传输,并为每个上层移动计算节点预分配互不重叠的固定频段,连接至同一移动计算节点的所有任务生成节点基于该节点预分配的正交子信道资源进行无干扰通信。
11、优选的,在s1中,所述优化问题的目标为最小化系统平均时延;系统时延包括任务卸载时延、任务转发时延以及任务计算时延;
12、所述系统平均任务处理时延包括任务卸载时延、任务转发时延以及任务计算时延;
13、所述混合整数非线性规划问题的约束条件包括任务卸载决策的二进制变量约束及单目标卸载约束、上层移动计算节点间的安全距离约束、程序缓存决策的二进制变量约束、各节点缓存容量约束、计算节点唯一性约束、以及多跳路由的流量守恒约束。
14、优选的,所述s1中,任务卸载模型综合考虑任务属性、无线数据传输速率以及上层移动计算节点的动态移动状况,用于决定任务卸载至上层移动计算节点的最优策略,进而得到任务卸载时延;
15、上层移动计算节点的计算模型基于移动计算节点的移动速度与动态调整的移动方向角,对其连续时隙间的飞行轨迹进行确定性建模与规划;
16、数据包路由模型根据实时构建的网络拓扑、候选节点的计算负载情况以及各节点直连链路的累计拥塞程度,优化因程序缓存未命中而需转发的任务的多跳转发路由,进而得到任务转发时延;
17、程序缓存模型决定上层移动计算节点对任务执行程序的存储、更新与调用策略。
18、优选的,所述s3中,将协同决策子问题建模为部分可观测的马尔可夫决策过程,为每个智能体定义局部观测状态空间、混合动作空间及奖励函数,采用多智能体深度强化学习框架进行分布式求解,具体包括:
19、s3.1 将每个任务生成节点和每个移动计算节点分别定义为独立的智能体;
20、s3.2 为每个智能体定义其局部观测状态空间、动作空间及奖励函数;
21、s3.3 采用多智能体深度确定性策略梯度算法对所述智能体进行集中式训练,以获得协同优化策略网络;
22、s3.4 将训练后的策略网络部署于各网络节点,实现基于局部观测的分布式协同决策执行。
23、优选的,所述s3.2中局部观测状态空间的定义具体为:
24、任务生成节点智能体的状态包括自身生成任务的属性、本节点位置、所有上层节点的位置以及历史信道状态信息;任务生成节点智能体在时隙的状态为:
25、;
26、移动计算节点智能体的状态包括下层所有节点的位置以及生成的任务属性、上层所有节点的位置信息以及当前网络拓扑连接关系;移动计算节点智能体在时隙的状态为:
27、 ;
28、所述动作空间的的定义具体为:
29、任务生成节点智能体在时隙的动作为卸载决策的概率分布,表示将任务卸载至各移动计算节点的概率:
30、;
31、其中:为在时隙下层节点将任务卸载至上层节点的概率;
32、移动计算节点智能体在时隙的动作为程序缓存决策变量的概率分布与归一化的移动方向:
33、;
34、其中:为归一化后的移动方向;为在时隙上层节点缓存程序的概率;
35、所述奖励函数包括:
36、任务生成节点智能体的奖励为其任务卸载时延的负值,任务生成节点智能体在时隙的奖励为:
37、;
38、移动计算节点智能体与系统平均时延负相关,并对违反缓存容量约束、节点间安全距离约束行为施加惩罚,移动计算节点智能体在时隙的奖励为:
39、;
40、其中:为二进制变量,指示节点缓存的程序总量是否超过其缓存容量;为二进制变量,指示节点是否满足距离约束;和为惩罚。
41、优选的,所述s3.3中,所述多智能体深度确定性策略梯度算法的训练过程具体包括:
42、s3.3.1 为每个智能体配置一个执行者网络和一个评论者网络;
43、s3.3.2 通过智能体与环境交互收集经验数据并存储至共享经验回放缓冲区;
44、s3.3.3 从所述缓冲区采样小批量经验数据,通过最小化评论者网络的时序差分误差损失来更新其参数;
45、s3.3.4 通过沿策略梯度方向更新执行者网络参数,以最大化长期累积折扣奖励的期望;
46、s3.3.5 采用软更新方式平滑更新目标网络参数以稳定训练。
47、优选的,在s4中,基于最短路径算法的路由规划具体包括:
48、在任务卸载与程序缓存策略确定之后,依据任务的截止期限对所有待转发任务进行升序排序,以确保紧急的任务优先获得更优的链路资源,减少系统时延;对于每个任务,在满足程序缓存条件的候选计算节点中,选择综合效用最高的节点作为计算节点,该综合效用综合考虑候选节点的当前计算负载及其直连链路的累积拥塞程度;根据所选计算节点,基于dijkstra的最短路径算法构建从当前节点到计算节点的多跳转发路径。
49、优选的,在s5中,所述全网统一的同步时隙结构运行,每个时隙被划分为以下四个阶段:
50、s5.1协同决策与资源请求阶段
51、下层任务生成节点基于自身任务属性、自身位置信息以及历史数据传输速率,通过本地部署的轻量化策略网络生成卸载决策,并向目标上层移动计算节点发送包含任务和位置信息的调度请求;
52、上层移动计算节点基于其局部观测,通过本地策略网络生成自身的移动方向决策与程序缓存决策;
53、s5.2路由计算阶段
54、对于因程序缓存未命中而需转发的任务,由该任务的初始接收上层节点作为数据转发的源节点,基于当前网络拓扑、各节点的负载情况以及缓存分布状态,执行最短路径算法,确定数据包多跳转发路径;
55、s5.3动作执行与数据传输阶段
56、下层任务生成节点在预先分配的信道上向目标移动计算节点卸载任务数据;
57、上层移动计算节点调整运动轨迹、更新程序缓存内容以及根据路由计算阶段的路由决策转发数据包;
58、s5.4经验收集与环境状态更新阶段
59、各节点依据本时隙的执行结果收集本地经验数据,同步更新网络全局状态,随后进入下一时隙。
60、本发明还提供一种面向双层移动自组织网络的任务卸载与协同缓存系统,采用上述任一项所述的方法,该系统包括:
61、集中式训练与管理模块,部署于地面控制站,对所有智能体进行集中训练、模型轻量化处理以及策略网络参数的统一生成与分发;
62、分布式策略执行模块,包括部署于各移动计算节点的上层移动计算节点策略执行单元,用于基于局部观测运行轻量化策略网络,生成节点移动控制策略与程序缓存更新策略;以及部署于各任务生成节点的下层任务生成节点策略执行单元,用于基于局部观测运行轻量化策略网络,生成任务卸载决策;
63、程序缓存管理模块,部署于上层移动计算节点,用于存储有限数量的计算程序,根据策略执行模块的决策,动态更新缓存内容并且响应任务请求,进行程序匹配与调用;
64、分布式路由规划模块,部署于上层移动计算节点,用于在任务缓存未命中时,基于实时网络拓扑与缓存分布,确定任务的多跳传输路径;
65、无线通信子系统,包括:基于正交频分多址技术的多址接入单元,用于支持下层节点与上层节点之间的并行、无干扰数据传输;以及基于移动自组织网络技术的自组网多跳通信单元,用于支持上层移动计算节点之间的多跳链路建立、控制信息交换及数据转发;
66、同步模块,嵌入于各网络节点,用于时隙同步,确保所有节点在统一时序下协同执行操作,维持系统全局一致性。
67、本发明的有益效果是:
68、本发明通过将任务卸载、程序缓存、节点移动性与路由规划进行联合优化,并基于分布式多智能体实现协同决策,使系统在动态移动自组织网络环境中能够显著降低任务处理时延,有效提升缓存命中率与资源利用率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com