一种结合大语言模型与深度强化学习的影响力最大化方法

本发明涉及社交网络影响力最大化、深度强化学习、大语言模型辅助训练、经验池治理以及可解释决策内的一种结合大语言模型与深度强化学习的影响力最大化方法。

背景技术：

1、影响力最大化（influence maximization，im）是复杂网络分析的基础问题，其目标是在给定网络和种子节点数量限制的条件下，使影响力在网络上的传播范围最大。传统im方法通常依赖贪心搜索、启发式中心性指标或大量蒙特卡洛模拟。此类方法在小规模网络中能够取得较好的效果，但随着网络规模扩大，候选节点数量、蒙特卡洛模拟耗时和组合搜索空间均会迅速增加，导致计算成本显著上升。

2、深度强化学习（deep reinforcement learning，drl）的“离线训练、在线决策”特点，为缓解传统影响力最大化算法的效率瓶颈提供了可行方向。现有基于drl的im方法标准框架可表述为：首先，基于深度q网络（deep q-network，dqn）生成当前状态下各节点的q值，并从非种子节点中选择一个q值最高的节点；接着，根据蒙特卡洛模拟估计该节点带来的边际增益奖励；随后，将当前状态、动作、奖励、下一时刻状态和结束标志组成五元组经验数据，用于迭代优化节点表示和q值估计；最后，通过连续k轮种子选择得到完整种子集。

3、虽然基于drl的im方法受到广泛关注，但现有方法在实际应用中仍存在明显不足。首先，以整个图网络的节点作为候选集，模型在每一步都需要评估所有节点的q值，导致训练缓慢，且难以充分探索不同节点组合的传播潜力；其次，epsilon-greedy动作选择策略在训练初期依赖随机探索，即以epsilon概率随机选择种子节点，导致训练样本质量下降和探索效率降低；此外，采用优先经验回放机制管理经验池，主要依据td误差调整训练样本采样概率，然而td误差并不等同于经验样本的实际传播价值，且无法移除低质量经验和重复经验，也无法扩充优质经验，限制了训练数据质量。最后，drl模型缺乏面向用户的解释性文本，这种黑盒式输出限制了方法在实际部署中的可审查性和可信度。

4、因此，如何在深度强化学习框架下，引入大语言模型（large language model，llm）的任务理解能力、策略归纳能力和自然语言解释能力，对候选动作空间、探索过程、经验池质量和最终决策解释进行系统增强的im方法，仍然是当前亟需解决的关键问题。

技术实现思路

1、本发明的目的是提供一种结合大语言模型与深度强化学习的影响力最大化方法，解决现有基于drl的im方法中动作空间过大、随机探索缺乏目的性、优先经验回放缺少质量治理以及最终决策缺乏解释性的问题。

2、为实现上述目的，本发明提供了一种结合大语言模型与深度强化学习的影响力最大化方法，包括以下步骤，

3、s1、影响力最大化问题建模；

4、s2、深度强化学习环境设计；

5、s3、llm候选动作空间构建；

6、s4、llm引导的epsilon-greedy探索；

7、s5、llm辅助的高质量经验增强；

8、s6、llm辅助的经验池治理；

9、s7、基于double dqn的参数更新；

10、s8、训练稳定性保护与最终解释生成。

11、作为本发明的进一步改进，s1具体内容如下，

12、给定网络，其中为节点集合，为边集合，种子集规模为，在节点集合中选出种子集合，且满足，使传播模型下的期望激活节点数量最大；其优化目标可表示如下：

13、 ；

14、其中，表示种子集的期望影响范围；

15、传播环境采用加权独立级联模型，即节点激活未激活邻居的概率可表示为，其中为节点的度；由于每个邻居独立地激活节点，所以在时刻被激活的概率为，其中为节点在时刻的活跃邻居个数。

16、作为本发明的进一步改进，s2具体内容如下，

17、设第时刻已选种子集合为，环境状态由节点结构特征与种子标记共同组成，合法动作集合为；策略网络用于估计在状态下选择节点作为下一个种子节点的长期收益；非随机选择分支中的动作选择为：

18、 ；

19、当节点被加入种子集合后，根据蒙特卡洛模拟估计计算新增边际奖励，奖励函数可表示为：

20、 ；

21、由此得到经验五元组，其中表示当前种子集是否已达到规模。

22、作为本发明的进一步改进，s3具体内容如下，

23、为避免随机探索直接采样全网络动作空间，需要构建网络上下文，其结构信息包括节点数量、边数量、平均度、核心数、社区数量、社区规模、高度数节点、跨社区连接节点和各社区代表节点；

24、对于每个候选节点，构建候选摘要，包括结构中心性、社区编号、跨社区连接比例、社区覆盖作用和本地结构评分；

25、llm接收后，输出候选动作空间，表示如下：

26、 ；

27、其中，为早期探索池，为桥接节点池，为多样性节点池；通过对候选动作空间的合法性检查，仅保留属于当前图节点集合且未重复的节点。

28、作为本发明的进一步改进，s4具体内容如下，

29、设训练总轮数为，当前训练轮数为，初始引导概率为，引导活跃比例为，则llm候选采样概率可表示为：

30、 ；

31、其中，，；动作选择时，仍保留epsilon-greedy框架，即以概率执行公式（2）中的q值选择；以的概率进入探索分支；

32、在探索分支中，再以的概率从中选取动作，否则从合法动作集合中随机选取动作；

33、此外，当时优先选择中具有高结构中心性的节点，当时优先选择和中具有跨社区传播的节点；当时优先选择能够覆盖未被覆盖社区的。

34、作为本发明的进一步改进，s5的具体内容如下，

35、设当前种子数量阶段为，该阶段的经验奖励统计为，当随机探索动作获得的奖励超过该阶段的预设高奖励阈值，则触发经验增强，构造增强请求如下：

36、 ；

37、其中，为候选节点的当前q值估计，为候选节点结构摘要集合，；大语言模型输出推荐动作集合，并对于任意计算其边际奖励，只有当为合法未选节点且经传播环境重新计算得到有效奖励时，才将扩展经验写入经验池。

38、作为本发明的进一步改进，s6的具体内容如下，

39、根据经验池构建候选经验摘要，包括经验索引、动作、奖励、执行动作前的种子集合、终止标志、当前优先级、所属阶段和质量评分；

40、llm基于候选经验摘要、阶段奖励统计和历史最佳探索结果，输出治理计划，可表示如下：

41、 ；

42、其中，为优先经验索引的采样建议集合，为优先级倍率的调整建议集合，为低质量经验索引的删除建议集合，为治理理由；

43、对于优先级调整，将倍率限制在预设范围内并采用平滑更新；对于删除建议，仅在满足安全条件时执行硬删除，否则作为软删除参考。

44、作为本发明的进一步改进，s7中的具体内容如下，

45、当时，训练采样的经验数据一部分样本来自llm推荐的优先采样集合，其余样本仍按优先经验回放概率抽取；double dqn的目标值可表示为：

46、 ；

47、其中，为策略网络参数，为目标网络参数，为折扣因子；模型训练损失采用带重要性权重的huber损失：

48、  ；

49、其中，为训练批次，为优先经验回放对应的重要性采样权重，为为训练样本的double dqn的目标值；训练后，系统根据td误差更新经验优先级。

50、作为本发明的进一步改进，s8的具体内容如下，

51、在训练过程中周期性同步目标网络，若连续多个同步内llm引导动作导致损失上升时，则禁用llm候选动作空间；若当前策略评估结果显著低于历史最佳策略时，回滚至历史最佳策略并降低学习率；

52、训练完成后，使用最优策略网络按公式（2）连续选择个种子节点，得到最终种子集合；

53、接着构建最终证据，包括种子节点顺序、结构特征、社区覆盖、边际奖励、邻域重叠、经验池阶段统计和训练策略演化记录，使得llm生成解释文本，用于说明每个种子节点被选择的原因、整体种子集的覆盖逻辑以及经验池治理对训练结果的影响。

54、与现有技术相比，本发明的有益效果在于,通过引入llm，使强化学习训练过程在保持动作执行和奖励计算可验证的同时，获得结构化先验、训练样本质量控制和可解释输出能力。具体而言，本发明通过llm构建候选动作空间，使模型在探索阶段优先访问具有结构意义的候选节点，从而降低无效动作比例，提高种子组合搜索的针对性。当随机探索动作获得阶段性较高奖励时，llm推荐具有互补传播价值的候选动作。进一步地，本发明通过llm辅助经验池治理，使优先经验回放不再仅依赖td误差，并提升训练样本选择的有效性。最后，本发明在输出最终种子节点集合的同时生成解释性文本，以说明种子节点的结构作用、社区覆盖价值、边际奖励贡献和训练策略演化过程。

55、故本发明在候选动作空间构建、随机探索引导、高质量经验增强、经验池治理以及最终结果解释等关键环节形成了协同优化机制，使llm与drl优势互补，既保证了训练过程的可验证性和稳定性，又充分发挥了llm的知识推理与结构分析能力。通过在多个典型网络数据集上的实验验证，本发明方法在影响力传播效果、训练效率、收敛性能、结果可解释性等方面均表现出优于现有方法的综合性能，为大规模社交网络中的影响力最大化提供了一种兼具准确性、可解释性和工程实用性的解决方案。