一种基于多智能体强化学习的水声通信网络路由规划方法及系统
本发明属于水声通信与水下物联网,具体涉及一种基于多智能体强化学习的水声通信网络路由规划方法及系统。
背景技术:
1、水下声学传感网络(underwateracousticsensornetwork,uasn)是水下物联网的核心组成部分,是海洋环境监测、海底资源勘探、海洋灾害预警、水下目标跟踪、海洋牧场管理以及海洋安全防护等重大海洋应用的关键基础设施。与陆地无线传感网络相比,uasn通常部署在开放、复杂且难以人工维护的水下环境中,网络节点受洋流、潮汐、水体扰动和浮力变化等因素影响,易发生位置漂移,导致网络拓扑呈现显著的动态时变特性。水下远距离通信主要依赖声学信道,而水声信道具有传播速度低、可用带宽窄(典型值仅为几khz至几十khz)、传播时延长、多径效应强、误码率高和链路质量波动显著等固有物理特性。上述特性使得uasn在数据传输过程中普遍面临节点能耗受限、链路连接不稳定、端到端传输时延高、数据交付可靠性不足以及网络生命周期受限等突出问题。
2、路由协议是决定uasn整体通信性能的技术之一,其目标是在动态拓扑、不稳定链路和有限节点能量的约束条件下,为数据分组选取最优中继节点,使其经由多条路径可靠传输至水面汇聚节点、移动汇聚节点或自治水下航行器辅助节点。然而,传统启发式路由方法依赖转发规则,难以根据复杂水下环境的动态变化自适应调整路由策略,尤其在节点快速移动、链路质量突变、路由空洞和业务需求动态变化等场景下,其传输稳定性和环境鲁棒性存在明显局限。
3、为提升路由协议的环境自适应能力,强化学习(reinforcementlearning,rl)技术逐渐被引入uasn路由设计中。rl方法通过节点与环境的持续交互,根据转发成功率、能量消耗、传输时延、链路质量和下一跳进展等奖励反馈动态更新路由策略,在能量均衡、空洞规避、链路适应和网络生命周期延长等方面展现出优于传统启发式方法的优化能力。然而,传统表格型rl方法仅适用于状态空间和动作空间规模较小的场景,当路由决策同时涉及节点剩余能量、深度、链路质量、传播时延、邻居稳定性、队列状态和信任信息等多维因素时,状态价值表的规模会呈指数级增长,导致状态表示能力不足、训练效率下降和策略泛化能力有限。
4、可以看出,现有智能路由和信任感知路由研究仍然存在以下不足:
5、第一,现有强化学习路由方法大多将一次转发决策建模为固定时间步上的瞬时动作,难以准确刻画水声通信中的长传播时延和动作持续时间差异。真实水声转发过程通常包括邻居发现、信道接入、数据发送、声学传播、确认反馈和可能的重传过程,其持续时间会受到节点间距离、链路质量、信道竞争和传播环境等多种因素影响。如果仍采用普通离散时间步进行建模,容易造成奖励归因不准确,影响长期策略的学习效果。
6、第二,现有多智能体水下路由方法通常假设节点同步观测、同步决策和同步更新,而真实水下声学传感网络具有明显的异步特征。由于水下节点通常采用休眠/唤醒机制以节省能量,不同节点的观测时刻、通信时刻、转发持续时间和反馈到达时间并不一致。若强行将异步过程对齐为同步联合状态,可能引入过时观测、状态填充和时间关系失真等问题,从而降低策略学习的稳定性和实际适用性。
7、因此,如何在动态拓扑、长时延链路和恶意攻击并存的水下环境中,实现能量高效、时延可控、可靠可信和安全鲁棒的路由决策,仍是一个亟待解决的技术问题。
技术实现思路
1、本发明提供一种基于多智能体强化学习的水声通信网络路由规划方法,能够有效适配水声通信长时延、异步性、拓扑动态及恶意攻击并存的复杂环境,解决现有路由方法同步决策状态畸变、长时延信用分配偏差、信任机制与路由策略耦合不足的问题。本发明通过将完整水声转发交互封装为宏动作,构建通信、能量、数据三维统一信任证据体系,设计智能体中心异步历史编码器与宏级别广义优势估计,结合最短时延、低冲突率、充足残余能量候选预筛选与复合约束对抗奖励函数,实现水声路由安全与性能的协同优化,显著提升网络数据包交付率,降低端到端时延,增强路由在动态对抗环境下的鲁棒性。
2、方法包括:
3、s1、获取水声通信网络中各水下传感器节点的多源环境参数,根据所述多源环境参数构建包含信道传播损耗约束、节点能耗规律约束、拓扑变化趋势约束及恶意攻击场景约束的物理约束与对抗威胁模型;
4、s2、基于所述物理约束与对抗威胁模型,针对各水下传感器节点的邻居节点分别计算通信信任度、能量信任度和数据信任度以及拓扑波动感知度和通信质量感知度,融合生成高维状态向量;
5、s3、基于所述高维状态向量配置包含完整通信流程的宏动作决策模式,通过异步历史编码器和隐状态聚合模块分别生成各智能体隐状态和全局注意力特征,并基于宏动作执行前后的状态价值差异计算宏级别优势函数;
6、s4、基于所述物理约束与对抗威胁模型、所述通信质量感知度及所述能量信任度对邻居节点进行多约束预筛选,保留与目标基站距离小于当前源节点与目标基站距离、信道冲突概率低于预设冲突阈值且残余能量高于预设能量阈值的邻居节点,生成候选中继节点集合;
7、s5、将基于所述宏动作决策模式执行路由选择产生的路由交互经验关联存入优先经验回放池并计算样本优先级权重,同时基于所述通信信任度、能量信任度、数据信任度和通信质量感知度融合生成复合约束对抗奖励值;
8、s6、基于所述样本优先级权重采样经验样本批次,结合所述全局注意力特征、宏级别优势函数及复合约束对抗奖励值更新价值评估网络和策略决策网络,利用训练完成的策略决策网络根据当前智能体隐状态从候选中继节点集合中选择最优中继节点完成在线路由决策。
9、从以上技术方案可以看出,本发明具有以下优点:
10、本发明将完整水声转发交互过程封装为宏动作,构建宏动作去中心化部分可观测马尔可夫决策模型,从根本上适配了水声通信长时延、异步执行的物理特性,解决了传统瞬时动作建模方式导致的奖励归因不准确问题,为路由策略学习提供了符合水下通信规律的理论框架。
11、本发明设计智能体中心异步历史编码器与宏级别广义优势估计机制,彻底消除了传统同步填充机制造成的状态特征畸变,修正了长传播时延导致的信用分配偏差,避免了智能体产生短视决策,显著提升了路由策略学习的收敛速度与训练稳定性。
12、本发明构建通信、能量、数据三维统一信任证据体系,并将信任信息深度嵌入强化学习的状态表示、动作选择与奖励函数设计全流程,实现了信任评估与路由策略的深度耦合与协同优化,能够有效识别并隔离各类隐蔽恶意节点,提升路由在对抗环境下的安全性与可靠性。
13、本发明结合最短时延、低冲突率、充足残余能量候选预筛选、上下文感知优先经验回放与复合约束对抗奖励函数等关键优化机制,有效降低了动作空间维度,提升了决策效率,同时聚焦高价值决策样本加速复杂场景下的策略学习,实现了路由安全与传输性能的协同优化,提升了水声通信网络在动态拓扑、高负载与恶意攻击并存的复杂环境下的综合运行效能。
1.一种基于多智能体强化学习的水声通信网络路由规划方法,其特征在于,方法包括:
2.根据权利要求1所述的基于多智能体强化学习的水声通信网络路由规划方法,其特征在于,
3.根据权利要求1所述的基于多智能体强化学习的水声通信网络路由规划方法,其特征在于,
4.根据权利要求1所述的基于多智能体强化学习的水声通信网络路由规划方法,其特征在于,所述步骤s2中计算通信信任度包括:
5.根据权利要求1所述的基于多智能体强化学习的水声通信网络路由规划方法,其特征在于,所述步骤s2中计算拓扑波动感知度和通信质量感知度包括:
6.根据权利要求1所述的基于多智能体强化学习的水声通信网络路由规划方法,其特征在于,所述步骤s3中通过异步历史编码器生成各智能体的隐状态包括:
7.根据权利要求1所述的基于多智能体强化学习的水声通信网络路由规划方法,其特征在于,所述步骤s3中通过隐状态聚合模块生成全局注意力特征包括:
8.根据权利要求1所述的基于多智能体强化学习的水声通信网络路由规划方法,其特征在于,所述步骤s3中计算宏级别优势函数包括:
9.根据权利要求1所述的基于多智能体强化学习的水声通信网络路由规划方法,其特征在于,所述步骤s4中多约束预筛选包括:
10.一种基于多智能体强化学习的水声通信网络路由规划系统,其特征在于,系统用于实现如权利要求1至9任一项所述的基于多智能体强化学习的水声通信网络路由规划方法;
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com