一种面向可变邻居集合的结构化动作价值网络、路由决策方法及装置

本技术涉及计算机网络路由控制，特别是一种面向可变邻居集合的结构化动作价值网络、路由决策方法及装置。

背景技术：

1、在通信网络（如低轨卫星星座网络、移动自组织网络、车联网、无线传感器网络和边缘计算网络等）中，路由决策是保障数据高效传输的关键环节。在这类网络中，由于节点高速运动、链路状态随环境变化、节点随时加入或离开网络，每个节点在决策时刻可用的候选下一跳邻居集合往往具有数量动态变化和枚举顺序不固定的特点。以低轨卫星网络为例，卫星相对地面高速运动，星间链路随轨道相位周期性建立与断开，一颗卫星在当前时隙可能同时与多颗邻近卫星建链，而在下一时隙其可见邻居集合可能发生成员增减或排列顺序变化。类似地，在移动自组织网络和车联网中，节点的通信邻居由相对位置和信号覆盖范围决定，邻居集合随节点移动而快速改变。

2、现有基于深度强化学习的路由决策方法通常将当前节点状态、目的节点信息和各邻居状态拼接为固定长度的特征向量，并输入深度q网络（deep q-network，dqn），由固定维度的输出层给出各候选动作的动作价值。为使网络适应可变数量的候选邻居，这类方法通常预先设定一个最大邻居数量，并将各邻居按固定编号填入预定槽位；邻居数量不足时以零值填充，超出时则截断、重新训练或改变网络结构。

3、然而，上述现有技术存在明显缺陷。首先，固定槽位设计引入了位置伪相关——网络容易将输入向量中特定槽位的位置本身，而非该槽位对应邻居的实际状态，作为动作评价的依据。当邻居枚举顺序改变时，同一邻居可能落入不同槽位，导致输出动作价值发生变化，降低了决策的稳定性和可靠性。其次，对候选数量变化的适应性不足——填充大量无效项增加了计算冗余，而当实际候选数量超过预设最大值时，网络无法直接处理，必须重新设计和训练。再次，模型参数量与预设最大邻居数或全网节点总数绑定，当网络规模扩大或部署至不同规模的网络时，需要调整网络结构并重新训练，难以实现跨节点、跨拓扑和跨规模的迁移部署。

4、此外，另一类方案借助图神经网络在全图或多跳邻域上进行消息传递，以获得全局拓扑感知并输出路由动作。虽然这类方法能够表征图结构信息，但在拓扑快速变化的动态网络中，频繁获取大范围拓扑状态会带来较高的通信开销和状态同步延迟；同时，多轮邻接聚合增加了推理时延和计算资源消耗，难以在卫星载荷、车载终端或传感器节点等资源受限的设备上实时运行。图神经网络还面临过度平滑和过度压缩问题，深层消息传递易使节点特征趋于一致而失去区分性，不利于在大规模或深度网络中有效学习。

5、因此，亟需一种能够直接处理数量可变且顺序任意的候选邻居集合、模型参数量不随网络节点总数增长、且无需依赖全图消息传递即可完成路由决策的动作价值计算方案。

技术实现思路

1、鉴于上述问题，本技术实施例提供了一种面向可变邻居集合的结构化动作价值网络、路由决策方法、装置、电子设备和可读存储介质，以便克服上述问题或者至少部分地解决上述问题。

2、第一方面，本技术实施例提供一种面向可变邻居集合的结构化动作价值网络、路由决策方法，所述方法包括：

3、基于路由状态，为当前节点生成基础特征，为当前节点的每一候选邻居构造候选特征，基于候选特征中的信息，将候选邻居分为有效候选邻居和无效候选邻居，从而生成描述候选邻居有效性的有效性掩码集合；

4、分别利用基础状态编码器和邻居编码器对基础特征和有效候选邻居的候选特征进行编码，分别获得基础嵌入和有效候选嵌入，将基础嵌入和有效候选嵌入组合为组合特征，用动作评价网络将组合特征计算为优势值，用价值头网络将基础嵌入计算为状态价值；

5、基于所述有效性掩码集合确定有效候选邻居的数量，结合优势值计算有效候选邻居的优势均值，用状态价值、优势值和优势均值计算出有效候选邻居的动作价值；将动作价值最大的有效候选邻居作为路由决策的下一跳。

6、可选地，所述基于路由状态，为当前节点生成基础特征，为当前节点的每一候选邻居构造候选特征，基于候选特征中的信息，将候选邻居分为有效候选邻居和无效候选邻居，从而生成描述候选邻居有效性的有效性掩码集合，具体包括：

7、基于当前时刻的路由状态，生成当前节点的基础特征；

8、列举当前节点的候选邻居，为当前节点的每一候选邻居构造候选特征，多个候选特征组成候选特征集合；

9、基于每一候选邻居的候选特征，确定有效候选邻居与无效候选邻居，为有效候选邻居与无效候选邻居赋予有效性掩码，生成有效性掩码集合。

10、可选地，所述分别利用基础状态编码器和邻居编码器对基础特征和有效候选邻居的候选特征进行编码，分别获得基础嵌入和有效候选嵌入，将基础嵌入和有效候选嵌入组合为组合特征，用动作评价网络将组合特征计算为优势值，用价值头网络将基础嵌入计算为状态价值，具体包括：

11、将基础特征输入基础状态编码器，获得基础嵌入；

12、将有效候选邻居的候选特征输入邻居编码器，获得多个有效候选嵌入；

13、基于组合算子，将基础嵌入与各有效候选邻居的候选嵌入分别组合为多个组合特征；

14、将有效候选邻居的组合特征输入动作评价网络，获得各有效候选邻居的优势值；

15、将基础嵌入输入价值头网络，获得当前节点的状态价值。

16、可选地，所述基于所述有效性掩码集合确定有效候选邻居的数量，结合优势值计算有效候选邻居的优势均值，用状态价值、优势值和优势均值计算出有效候选邻居的动作价值；将动作价值最大的有效候选邻居作为路由决策的下一跳，具体包括：

17、将有效性掩码集合中的有效性掩码相加，得到有效候选邻居的数量；

18、将所有有效候选邻居的优势值相加再除以有效候选邻居的数量，对优势值取平均，得到有效候选邻居的优势均值；

19、基于当前节点的状态价值、各有效候选邻居的优势值和所述优势均值，计算各有效候选邻居的动作价值；

20、选择动作价值最大的有效候选邻居作为下一跳。

21、第二方面，本技术实施例提供一种面向可变邻居集合的结构化动作价值网络、路由决策装置，用于实现第一方面所述的方法，所述装置包括：

22、特征构造模块，用于基于路由状态，为当前节点生成基础特征，为当前节点的每一候选邻居构造候选特征，基于候选特征中的信息，将候选邻居分为有效候选邻居和无效候选邻居，从而生成描述候选邻居有效性的有效性掩码集合；

23、编码计算模块，用于分别利用基础状态编码器和邻居编码器对基础特征和有效候选邻居的候选特征进行编码，分别获得基础嵌入和有效候选嵌入，将基础嵌入和有效候选嵌入组合为组合特征，用动作评价网络将组合特征计算为优势值，用价值头网络将基础嵌入计算为状态价值；

24、选择模块，用于基于所述有效性掩码集合确定有效候选邻居的数量，结合优势值计算有效候选邻居的优势均值，用状态价值、优势值和优势均值计算出有效候选邻居的动作价值；将动作价值最大的有效候选邻居作为路由决策的下一跳。

25、第三方面，本技术实施例提供一种电子设备，包括存储器、处理器及存储在所述存储器上的计算机程序，所述处理器执行所述计算机程序以实现如上任意一项所述的面向可变邻居集合的结构化动作价值网络、路由决策方法。

26、第四方面，本技术实施例提供一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如上任意一项所述的面向可变邻居集合的结构化动作价值网络、路由决策方法。

27、具体的有益效果在于：

28、第一，本发明对于不同有效候选特征采用共享的编码器参数，使评价规则绑定有效候选特征自身，即使候选邻居顺序和数量产生变化，也只改变输出的顺序和数量，不会改变评价结果，有助于减少位置伪相关，能够适应候选邻居数量和顺序的变化；

29、第二，有效性掩码集合可以保证不存在或无效的候选邻居不参与计算和选择，减少了无效输入和计算量；

30、第三，每个动作价值与一个候选特征即一个候选邻居明确对应，可以单独分析该候选邻居的优势值、掩码和特征，便于故障定位及策略审计。

31、综上所述，本发明针对网络中邻居节点重排导致评价结果变化、邻居节点数量变化导致填充产生的无效计算增加等问题，将当前路由状态拆分为基础特征与多个候选特征，并构造有效性掩码集合，基于基础特征、候选特征和有效性掩码集合，最终计算出每个邻居节点的动作价值，根据动作价值确定路由的下一跳。本技术能够适应不同邻居数量和顺序的变化，有助于减少位置伪相关，减少无效输入和计算，降低全图消息传递依赖，便于工程实现和解释，为通信网络路由决策提供了可靠方案。