一种基于动态帕累托候选集约束Q学习的水下路由方法

本发明涉及水下无线路由网络，尤其涉及一种基于动态帕累托候选集约束q学习的水下路由方法。

背景技术：

1、水下无线传感器网络是水下物联网的重要组成部分，通常由部署于不同水深的潜标或水下传感器节点、位于水面或近水面的汇聚节点以及岸基控制中心构成。潜标节点利用声学链路采集并逐跳上传海洋环境、资源勘探、灾害预警和装备运行状态等数据，汇聚节点再通过卫星、蜂窝网络或其他多模通信链路将数据传输至岸基中心。水声通信具有传播速度低、可用带宽有限、传播衰减显著、受环境噪声影响大等特点；潜标节点还可能随洋流漂移，使网络拓扑、链路质量和邻居可用性持续变化。由此，路由决策直接影响数据包交付率、端到端时延、能量消耗及网络寿命。

2、现有深度或位置启发式路由通常依据节点深度差、位置关系或预设转发区域选择下一跳，虽实现简单但精确定位开销较高，且仅依赖深度递减规则时极易陷入路由空洞，现有算法多集中于处理陷入空洞后的被动恢复，导致额外开销极高。

3、此外，机会路由试图通过构造多个候选节点提高可靠性，但在高传播时延、半双工和隐藏终端并存的水下环境中，多候选竞争常导致定时抑制失败、重复广播以及严重的冗余传输和额外能耗。

4、强化学习路由虽能根据网络反馈自适应更新策略，但水下声学传播时延较长，若学习过程主要依赖数据包经过多跳传输并最终到达汇聚节点后的全局反馈，则中间节点获得的奖励信息具有明显延迟且较为稀疏，难以及时判断当前转发动作是否有利于数据包向汇聚节点推进。同时，水下环境具有明显非平稳性，在节点漂移、链路突变或节点失效后，部分邻居的历史q值可能已经过期；若仍在全部可用动作上直接执行最大q值运算，估计误差会经最大化操作被放大，从而产生最大化诱导的系统性正向估计偏差，并可能误导后续路由决策。

5、水下路由需要在能量、时延、噪声、排队时延和可靠性等多目标之间进行权衡，然而，现有算法在构建候选集时常采用固定阈值或固定线性权重，难以适应动态环境。这种僵化的参数设定导致算法在面对复杂的网络状态时，无法动态筛除劣质候选节点。

技术实现思路

1、为解决现有技术中存在的问题，本发明提供了一种基于动态帕累托候选集约束q学习的水下路由方法，包括：

2、构建以汇聚节点为零基准向外逐层增大累积时延梯度，潜标节点基于跨层捎带以及监听机制逐跳更新累积时延；

3、所述潜标节点监听获取邻居信息，通过滑动窗口更新邻居节点的邻居信息，所述邻居信息包括预测剩余能量、累积时延、平滑噪声水平和平滑排队时延的跨层信息；

4、发送节点构建由累积时延小于自身的邻居节点组成的预筛选候选集，基于邻居预测指标构建多目标评价向量，生成帕累托非支配候选集，并将所述帕累托非支配候选集作为当前状态的动作选择空间；当数据包转发至下一状态节点后，基于该下一状态节点的最新邻居状态重新构建其帕累托非支配候选集，并将q值更新中的下一状态最大化运算限制于该帕累托非支配候选集；

5、发送节点根据差异化ε-贪婪策略从帕累托非支配候选集中选取第一竞争节点，并在存在剩余候选节点时从剔除第一竞争节点后的候选集中选取第二竞争节点；所述第一竞争节点接收数据包后立即转发，所述第二竞争节点在等待定时器到期前静默监听，若未监听到第一竞争节点转发的相同数据包，则在等待定时器到期后执行备用转发；发送节点根据实际执行的转发动作更新对应的状态-动作q值。

6、具体的，当第二竞争节点存在时，所述等待定时器为自适应等待定时器，由基础传播保护时间和q值差异附加时间两部分构成：

7、，

8、式中，为最大通信距离，为水下声速；表示当前状态下选择第二竞争节点作为下一跳动作的状态-动作q值；表示当前状态帕累托候选集约束下的最大下一跳动作的状态-动作q值，表示当前状态帕累托候选集约束下的最小下一跳动作的状态-动作q值，其中表示节点经帕累托非支配算法约束下的帕累托候选集；为防止q值范围为零而设置的常数,。

9、具体的，当前持有数据包的节点为当前状态，选择邻居节点作为下一跳为当前动作；当数据包成功转发至节点后，节点成为下一状态，并将下一节点的状态价值的最大化运算限制在该节点对应的帕累托非支配候选集内，q值按照下式更新：

10、，

11、式中，为q学习率；为当前状态转发给的即时奖励；为折扣因子；为下一状态对应节点的候选邻居节点，表示在状态下选择作为下一跳动作的状态-动作q值，为节点实时重构的帕累托非支配候选集。

12、具体的，所述即时奖励函数根据邻居节点的预测剩余能量、累积时延下降量和排队时延构造，在预测剩余能量高于局部均值时给予正向激励，在相对于当前节点具有更大的累积时延下降量时给予正向激励，并对排队时延高于局部均值的邻居节点施加惩罚，所述即时奖励函数为：

13、，

14、式中，为邻居节点的预测剩余能量，为当前有效候选邻居的预测剩余能量均值，和为对应最大值和最小值；为当前节点的累积时延，为邻居节点最近一次有效观测的累积时延；为邻居节点的平滑排队时延，为当前有效候选邻居的平滑排队时延均值，和为对应最大值和最小值；和为防止归一化分母为零而设置的常数，，；为非负权重且满足。

15、具体的，所述发送节点将第一竞争节点地址写入data包头，并在第二竞争节点存在时同时写入第二竞争节点地址后通过声学信道广播；所述第一竞争节点接收数据包后立即转发；所述第二竞争节点存在时，在接收数据包后启动等待定时器并静默监听具有相同数据包标识的数据包；

16、若所述第二竞争节点在等待定时器到期前监听到第一竞争节点转发的相同数据包，则删除缓存数据包并结束本次动作；

17、若所述第二竞争节点在等待定时器到期时仍未监听到第一竞争节点转发的相同数据包，则执行备用转发任务。

18、具体的，汇聚节点的累积时延保持为零，普通潜标节点的累积时延初始化为有限上界；潜标节点根据发送时间戳与接收时间戳获得单跳传播时延，或根据节点间距离与水下声速估计单跳传播时延，并在每个更新周期将各邻居累积时延与对应单跳传播时延之和的最小值同取较小值作为自身累积时延后捎带于hello包和data包中逐跳传播；其中，设部署节点总数为、最大通信距离为、水下声速为，则，当物理邻居集合为空时普通潜标节点的累积时延取。

19、具体的，所述多目标评价向量包括：

20、能量评价指标，

21、，

22、式中，为邻居节点的预测剩余能量，为预筛选候选集中预测剩余能量的最大值；

23、时延评价指标，

24、，

25、式中，为时延灵敏度调节参数,，为数据包经由邻居节点继续转发至汇聚节点时的预计累积传播时延；

26、噪声评价指标，

27、，

28、式中，为邻居节点的平滑噪声水平，和为预筛选候选集中平滑噪声水平的最大值和最小值，为防止噪声范围为零而设置的常数,；

29、排队时延评价指标，

30、，

31、式中，为邻居节点的平滑排队时延，为预筛选候选集中平滑排队时延的最大值，常数，。

32、具体的，所述预测剩余能量在滑动窗口至少包含两个有效观测时，根据相邻观测的能量差与时间差计算邻居平均能耗速率，并以最近观测剩余能量为基准向当前时刻线性外推获得；当滑动窗口仅包含一个有效观测时，直接采用该最近观测的剩余能量作为；所述平滑噪声水平和平滑排队时延分别采用指数加权移动平均进行更新。

33、具体的，所述滑动窗口按照邻居节点地址独立建立并以先进先出方式更新，每个邻居节点对应设置老化定时器；当邻居节点超过预设超时阈值未产生有效可监听数据包时，将该邻居节点标记为不可选状态并从预筛选候选集及帕累托非支配候选集的构建范围中排除，直至重新获得该邻居节点的有效状态信息。

34、具体的，发送节点从帕累托非支配候选集中按照第一探索概率执行ε-贪婪选择得到第一竞争节点；当候选集包含两个及以上节点时，从剔除第一竞争节点后的剩余候选集中按照第二探索概率执行ε-贪婪选择得到第二竞争节点，其中。与现有技术相比，本发明的有益效果为：

35、1、本发明利用汇聚节点逐跳向外传播的累积时延构造面向汇聚节点的时延梯度，将原本需要经过多跳传输后才能获得的汇聚节点方向信息转化为各节点本地可利用的逐跳转发引导，使q学习能够依据候选下一跳产生的累积时延下降量获得局部反馈，从而缓解水下长传播时延造成的奖励反馈延迟和稀疏问题；同时通过有限上界处理暂时失连的网络区域，在存在有效累积时延梯度时使数据包仅沿累积时延严格递减方向选择下一跳，从候选构造阶段避免路由环路并降低进入路由空洞的风险，减少被动空洞恢复带来的等待、回退和额外能耗。

36、2、本发明先以累积时延递减规则排除反向推进和环路邻居，再利用帕累托支配关系在能量、时延、噪声和排队时延之间进行无固定权重偏好的动态筛选，能够保留不同目标上具有优势的非支配候选，避免单一阈值或固定权重导致候选集过宽、过窄或劣质候选残留。

37、3、本发明将动态帕累托非支配候选集同时作为q学习的约束动作空间和下一状态q值最大化空间，在最大值运算前基于最新多维观测移除实时状态恶化的受支配节点，并缩小最大化运算的候选范围，从而缓解非平稳水下环境中的q值过估计倾向，提高学习稳定性和路由鲁棒性。

38、4、本发明采用差异化探索概率选择第一竞争节点和第二竞争节点，第一竞争节点接收后立即转发，第二竞争节点通过自适应等待定时器实现监听抑制和备用补位；所述等待定时器融合基础传播保护时间与q值差异附加时间，且利用小正数下界避免q值范围为零时出现除零问题，使质量更高的第二竞争节点具有更短的附加等待时间，在保持备用转发可靠性的同时减少多候选竞争引起的重复广播、额外能耗和端到端时延。