一种基于时空图卷积网络的无线传感器网络能量感知路由方法

本发明涉及无线传感器网络新，尤其涉及一种基于时空图卷积网络的无线传感器网络能量感知路由方法。基于时空图卷积网络的无线传感器网络能量感知路由方法

背景技术：

1、无线传感器网络因其低成本、自组织及易部署等特点，被广泛应用于环境监测、灾害预警及工业控制等场景，是实现万物互联与智能感知的重要基础设施；然而，受限于传感器节点通常由电池供电且能量不可补充的特性，如何设计高效的路由策略以最大限度延长网络生命周期，始终是该领域面临的关键挑战。

2、本发明中的分布强化学习将q值的期望计算替换为概率分布估计，能够更全面地刻画回报的不确定性；本发明提出一种基于时空图卷积网络与分布强化学习的能量感知路由方法，通过tgcn联合提取网络拓扑的空间特征与节点能耗的历史演化特征，引入注意力机制替代传统mlp决策模块对邻居特征进行自适应加权，采用qr-dqn进行分位数值函数估计，使路由决策既能感知能耗时序趋势，又能全面考虑回报分布，从而在全局范围内实现能量消耗的均衡分布，显著提高网络的整体寿命。

技术实现思路

1、本发明的目的在于提出一种基于时空图卷积网络的无线传感器网络能量感知路由方法为无线传感器网络的寿命延长和能量均衡提供解决方案。

2、为达到上述目的，本发明结合tgcn时空特征提取、注意力机制自适应邻居加权和qr-dqn分布式值函数估计。具体包含三个步骤。

3、步骤一，将无线传感器网络部署在二维监测区域内，n个传感器节点随机均匀分布，网络中心设置汇聚节点sink用于接收各传感器节点的数据；所有节点初始能量一致；根据节点间的欧氏距离构建邻接矩阵，若距离小于通信半径rc则存在边，形成动态图g=(v,e)。

4、构建节点的7维特征向量，分别为归一化的横纵坐标、到sink节点的距离和节点度的空间特征、剩余能量占比的状态特征和能耗速率的时间特征，其中能耗速率通过长度为w的滑动时间窗口计算，如公式所示：

5、

6、为节点自身能量与邻居节点能量的差，为节点当前的剩余能量，为周围一跳范围内邻居节点的平均剩余能量；为传感器节点的初始能量；

7、步骤二，构建包含多层图卷积网络与门控循环单元的时序图卷积网络模型；使用3层gcn将7维输入分别映射为96维、48维和32维，在输出端引入残差连接；空间维度利用gcn聚合邻居信息，第l层图卷积运算如公式（2）所示：

8、

9、其中为邻接矩阵，为度矩阵，为可学习权重参数；在时间维度，将gcn输出的空间特征序列输入gru单元，通过更新门与重置门机制捕获节点能耗的动态规律，输出包含历史能耗的32维节点时空嵌入特征向量；

10、tgcn输出节点嵌入向量后，引入k头注意力机制对邻居节点特征进行自适应加权聚合，第k个注意力头计算邻居对节点的注意力分数如公式（3）所示：

11、

12、式中为第个注意力头的可学习变换矩阵，为注意力权重向量；通过softmax归一化得到注意力权重，将k个注意力头特征加权后拼接、再进行非线性激活和全局线性投影，得到注意力增强的节点表征，使路由策略能够自动赋予能量充足的节点较高权重、降低高风险节点权重。

13、步骤三，采用分位数回归深度q网络进行分布式值函数估计，函数头接收注意力增强后的节点嵌入向量，输出各候选邻居动作所对应q值的n个分位数的分布，替代传统dqn的期望q值估计；路由决策时，将当前节点结合分位数期望值与注意力权重计算各邻居综合评估值，选择评分最高的邻居作为下一跳转发节点；网络完成多跳传输后，按设计的即时奖励函数计算反馈，所述奖励函数如公式（4）所示：

14、

15、其中，为成功到底目标节点的奖励；表示该数据包在多跳转送路径上累积消耗的总能量；为节点的初始能量；为能耗惩罚的权重系数，数值为4.0；由于多跳转发中，发送节点与接收节点均会产生电量损耗，该项对路径中产生的所有能耗之和进行惩罚，并通过比值进行归一化，使得节点会自动选择能耗更低、传输距离更合理的中继路径；表示该数据包从源节点成功流转至sink节点所经历的总跳数；为时延权重系数；数值为0.15。为负载均衡奖励；

16、将每一轮的状态转移经验存入容量为8000的经验回放池，每轮随机采样2-3个批次，采用adam优化器，qr-dqn学习率为8×10-4。将得分更新tgcn和qr-dqn参数；全局优化目标为最大化所有节点的累积折扣回报期望，如公式（5）所示：

17、

18、为节点从当前时刻开始的长期累积折扣回报；它是衡量当前路由决策对网络未来整体运行状态影响的全局指标；是节点在未来时刻所获得的即时奖励；其中为折扣因子，通过强化学习的奖励与惩罚机制驱动模型在动态网络环境中自主学习，逐步收敛至最大化网络生命周期和能量均衡性的最优路由策略。

19、本文方法的网络寿命指标中fnd为35.7轮，比dijkstra的11.3轮提升了约216%，比q-learning的31.3轮和dqn的20.7轮分别提升了约14%和72%。这说明注意力机制避免了关键节点承担过重的转发负载，使得节点能够更好的找到端到端的最优路径，进一步验证了分布强化学习对网络长期可持续运行的促进作用。

1.一种基于时空图卷积网络的无线传感器网络能量感知路由方法，其特征在于