基于双智能体的网络高影响力节点强化学习方法及系统

本发明涉及复杂网络分析及深度强化学习，具体涉及基于双智能体的网络高影响力节点强化学习方法及系统。

背景技术：

1、复杂网络广泛存在于自然界和人类社会中，如社交网络、交通网络、互联网和电力网络等，系统成员被抽象为节点，成员间关系被表示为连接边。影响力最大化问题旨在从网络中筛选出一组具有最大信息传播能力的种子节点，该问题在商业营销、疫情防控、信息传播等领域具有重要应用价值。由于影响力最大化问题是np难问题，如何在可接受的时间复杂度内找到高质量种子节点集始终是核心挑战。

2、目前，针对影响力最大化问题的解决方案主要包括：贪婪算法、启发式方法、基于种群的元启发式方法等。近年来，深度强化学习方法被引入影响力最大化问题，在该框架中，种子选择过程被建模为智能体与网络环境交互的序贯决策问题。然而，现有方法仍面临以下关键挑战：第一，大规模组合动作空间下智能体冷启动阶段的探索效率低下，随机初始化难以高效发现优质种子节点；第二，智能体难以有效感知和处理种子节点间的影响力重叠效应，导致边际收益递减；第三，智能体决策网络架构中传统dqn使用单一价值函数表示，无法区分状态价值与动作优势，在二者高度耦合的影响力最大化问题中决策精度不足。

技术实现思路

1、为了克服现有技术的不足，本发明的目的之一在于提供基于双智能体的网络高影响力节点强化学习方法，其通过双智能体协同机制克服冷启动探索效率低下、影响力重叠感知不足及决策精度不足的问题，实现高效精准的网络高影响力节点筛选。

2、为实现本发明的目的之一，采用如下方案：

3、基于双智能体的网络高影响力节点强化学习方法，包括如下步骤：

4、s1、深度强化学习决策智能体读取目标网络数据，利用图嵌入技术提取网络节点的拓扑特征，并融合节点的属性特征和选择状态标记，构建多维感知状态矩阵；

5、s2、部署进化引导智能体基于进化计算策略生成候选种子节点集合，将所述候选种子节点集合分解为若干转移经验元组，并将所述转移经验元组预存储至经验记忆缓冲区中；

6、s3、构建用于深度强化学习的决策网络，所述决策网络将动作价值函数分解为状态价值函数和动作优势函数，用于分别评估当前已选种子节点集合的整体传播价值和待选节点的边际贡献；

7、s4、所述深度强化学习决策智能体根据当前感知状态，通过所述决策网络选取动作并与网络环境交互，获得影响力增益作为即时奖励并更新至下一感知状态，将交互生成的在线经验元组存入所述经验记忆缓冲区；从所述经验记忆缓冲区中采样经验元组，更新所述决策网络的参数；

8、s5、重复执行步骤s4直至满足预设终止条件，利用训练好的所述决策网络，按序贯决策策略从候选种子节点集合中依次选取预设数量k个节点加入种子节点集合，输出最优种子节点集合。

9、进一步地，步骤s1中，图嵌入技术具体为line图嵌入技术，所述line图嵌入技术同时考虑节点间的一阶相似度和二阶相似度，将每个网络节点映射为d维稠密向量，生成节点嵌入矩阵h；

10、所述属性特征包括节点度数，所述选择状态标记为用于标记节点是否已被选入种子集合的二值标记向量。

11、进一步地，步骤s2具体包括：

12、从网络节点集合中随机抽取k个不重复节点构成个体，生成初始种群；

13、采用影响力传播模型评估所述初始种群中每个个体的适应度；

14、对当前种群执行选择操作、交叉操作和变异操作，生成新一代种群；

15、重复迭代直至达到预设进化代数，将最终种群中各个体的节点序列按序分解为转移经验元组，移交至所述经验记忆缓冲区。

16、进一步地，步骤s3中，决策网络为dueling架构的双网络结构，包括当前决策网络和目标决策网络；

17、所述决策网络包含共享特征提取层、用于输出所述状态价值函数的第一分支网络、以及用于输出所述动作优势函数的第二分支网络；

18、所述动作价值函数由所述状态价值函数与所述动作优势函数减去优势均值后相加得到。

19、进一步地，步骤s4中，在交互训练阶段，所述深度强化学习决策智能体按照探索-利用策略选择动作：

20、以探索概率随机选择未被选为种子的节点，以概率通过所述决策网络计算各候选节点的q值并选取最大q值对应的节点。

21、进一步地，步骤s4中，在每轮交互中，将选中的节点加入当前种子节点集合，计算加入该节点前后在预设影响力传播模型下的传播范围差值，将该差值作为所述即时奖励。

22、进一步地，步骤s4中，从所述经验记忆缓冲区中采样经验元组时，采用优先经验回放机制：

23、根据经验元组的时序差分误差绝对值确定采样优先级，时序差分误差越大的经验元组被采样的概率越高，并使用重要性采样权重校正采样偏差。

24、进一步地，步骤s4中，更新所述决策网络的参数时，计算目标q值与当前q值的时序差分误差，以最小化加权均方误差损失函数为目标，通过梯度下降法更新当前决策网络参数；

25、并按照预设更新策略周期性地将所述当前决策网络的参数同步至目标决策网络。

26、进一步地，步骤s1中，多维感知状态矩阵的维度为，其中n为网络节点总数，d为图嵌入维度；所述多维感知状态矩阵由标记向量、度数向量和节点嵌入矩阵按列拼接构成；

27、在训练过程中，每当有新节点被选入种子节点集合，动态更新该节点对应的标记向量元素值。

28、下面对进一步说明本发明的基于双智能体的网络高影响力节点强化学习方法。

29、本发明的基于双智能体的网络高影响力节点强化学习方法通过构建进化引导智能体和深度强化学习决策智能体协同工作的双智能体框架，用于解决复杂网络中的影响力最大化问题。其中，所述深度强化学习决策智能体采用line图嵌入作为感知模块，将网络节点映射为d维稠密向量嵌入表示，并融合节点度数特征和种子选择标记构建维度为的多维感知状态矩阵s。所述进化引导智能体基于遗传算法，通过种群初始化、影响力评估、顺序交叉、变异和精英保留操作，生成高质量种子节点集的经验轨迹，并分解为转移经验元组q(st,at,rt,st+1)预填充至优先经验记忆缓冲区b中。关键节点的影响力计算的公式：

30、

31、其中，第一项表示种子节点集s中的每个节点距离为1的影响力范围总和；第二项减去的是种子节点集s的节点在距离1内的重叠影响力，集合cs是种子s距离1内的邻节点，p(c, s)是激活节点s与待激活节点c之间的传播概率，是节点c的直接邻居节点；第三项减去的是新激活节点c与种子集s的重叠影响力。

32、所述决策智能体内置dueling ddqn对偶决策网络，将q值分解为状态价值v(s)和动作优势a(s,a)：

33、

34、

35、

36、采用梯度下降最小化均方误差损失函数：

37、

38、

39、更新网络参数，训练收敛后按q值最大原则依次选取k个节点输出最优种子集合。

40、进一步地，所述双智能体协同工作的步骤如下：

41、感知模块初始化步骤：所述深度强化学习决策智能体读取网络边列表数据文件，采用line图嵌入技术进行低维编码，生成维度为d的节点感知特征矩阵h；

42、感知状态构建步骤：所述决策智能体对每个节点i获取度数degree(i)和选择标记flag(i)，将度数向量、选择标记向量与嵌入矩阵h按列拼接，形成维度为的增强感知状态矩阵；

43、进化引导智能体预生成步骤：部署所述进化引导智能体执行种群初始化、适应度评估、选择操作（精英保留+轮盘赌）、交叉操作（顺序交叉，仅保留适应度优于父代的子代）、变异操作（随机替换节点，仅保留适应度提高的变异个体），通过重复迭代达到预设进化代数后，将最终种群中每个个体的节点序列分解为转移经验元组，移交至决策智能体的优先经验记忆缓冲区；

44、决策智能体网络构建步骤：构建dueling ddqn对偶决策网络，该网络包含共享特征提取层、价值流分支和优势流分支，合成最终的q值；

45、决策智能体训练步骤：对每个训练回合，初始化环境获得初始感知状态后，随机选择未选节点、选择q值最高的未选节点作为动作执行；将选中的节点加入种子集，计算2跳影响力增益作为奖励，获取下一感知状态并判断终止；将经验元组存入优先经验记忆缓冲区，每隔预设步数按优先级采样批量经验数据，计算td误差和加权均方误差损失，通过梯度下降更新当前决策网络参数，并依据td误差更新采样优先级和目标决策网络参数；

46、输出步骤：训练完成后，所述决策智能体使用训练好的模型从空种子集出发，按马尔可夫序贯决策策略依次选择k个q值最高的节点，形成最终的最优种子节点集合并输出。

47、本发明的目的之二在于提供基于双智能体的网络高影响力节点强化学习系统，其通过双智能体协同机制克服冷启动探索效率低下、影响力重叠感知不足及决策精度不足的问题，实现高效精准的网络高影响力节点筛选。

48、为实现本发明的目的之二，采用如下方案：

49、基于双智能体的网络高影响力节点强化学习系统，包括：

50、感知状态构建模块，用于使深度强化学习决策智能体读取目标网络数据，利用图嵌入技术提取网络节点的拓扑特征，并融合节点的属性特征和选择状态标记，构建多维感知状态矩阵；

51、先验经验预生成模块，用于部署进化引导智能体基于进化计算策略生成候选种子节点集合，将所述候选种子节点集合分解为若干转移经验元组，并将所述转移经验元组预存储至经验记忆缓冲区中；

52、决策网络构建模块，用于构建用于深度强化学习的决策网络，所述决策网络将动作价值函数分解为状态价值函数和动作优势函数，用于分别评估当前已选种子节点集合的整体传播价值和待选节点的边际贡献；

53、智能体交互与训练模块，用于使所述深度强化学习决策智能体根据当前感知状态，通过所述决策网络选取动作并与网络环境交互，获得影响力增益作为即时奖励并更新至下一感知状态，将交互生成的在线经验元组存入所述经验记忆缓冲区；从所述经验记忆缓冲区中采样经验元组，更新所述决策网络的参数；

54、迭代与输出模块，用于重复执行所述智能体交互与训练模块直至满足预设终止条件，利用训练好的所述决策网络，按序贯决策策略从所述候选种子节点集合中依次选取预设数量k个节点加入种子节点集合，输出最优种子节点集合。

55、相比现有技术，本发明的有益效果在于：

56、1.本发明通过部署进化引导智能体基于进化计算策略预先生成候选种子节点集合，并将所述候选种子节点集合分解为若干转移经验元组预存储至经验记忆缓冲区中，使得深度强化学习决策智能体在训练伊始即可从包含高质量先验经验的经验记忆缓冲区中采样学习。与现有技术中智能体从随机初始化开始探索、需要大量随机交互才能发现有效策略相比，本发明在训练启动前即为决策智能体积累了高质量的初始经验，有效克服了大规模组合动作空间下冷启动探索效率低下的缺陷，加速了策略收敛。

57、2.本发明通过利用图嵌入技术提取网络节点的拓扑特征，并融合节点的属性特征和选择状态标记构建多维感知状态矩阵，使决策智能体能够同时感知节点的网络结构信息、自身属性信息以及在当前种子集合中的选择状态，为精确评估候选节点的边际贡献提供了丰富的状态表征基础；同时，通过将动作价值函数分解为状态价值函数和动作优势函数，使所述决策网络能够分别评估当前种子节点集合的整体传播价值和待选节点的边际贡献。与现有技术采用单一价值函数表示动作价值、无法区分状态价值与动作优势相比，本发明能够独立评估候选节点对当前种子集合的边际增益，有效避免了选择影响力重叠区域节点导致的边际收益递减问题。

58、3.本发明构建了双智能体协同优化机制，进化引导智能体与深度强化学习决策智能体以离线预生成加在线序贯决策的方式协同工作。进化引导智能体不占用在线训练时间，仅在训练前一次性完成经验预生成，决策智能体在线交互训练过程中利用预填充的经验快速启动学习，并在训练完成后实现快速推理输出。与现有技术中单独使用深度强化学习方法相比，本发明在不增加在线计算负担的前提下获得了高质量初始经验；与现有技术中单独使用遗传算法等方法相比，本发明在训练完成后具有更快的决策速度。本发明在解质量、训练效率与推理效率之间取得了更优的平衡。