一种基于多智能体强化学习的银行客户营销协同决策方法与流程
本发明涉及基于智能体的营销决策,更具体地说,本发明涉及一种基于多智能体强化学习的银行客户营销协同决策方法。
背景技术:
1、随着金融业务数字化发展,银行客户营销逐渐由传统人工触达方式向基于数据分析和智能决策的协同营销方式转变。在实际营销过程中,银行通常需要围绕客户筛选、客户画像分析、营销沟通等多个环节开展连续性的客户运营,不同业务环节涉及不同职责主体及不同决策过程,需要根据客户状态变化、历史交互记录以及当前营销任务要求协同制定后续营销策略。
2、现有银行客户营销系统通常基于预设规则、单一模型预测结果或人工经验确定营销动作,在面对客户需求动态变化以及多环节连续交互场景时,难以充分利用不同营销环节之间的关联信息,导致营销决策过程存在适应性不足的问题。同时,在多环节营销过程中,客户最终转化通常发生于多个营销动作执行之后,最终转化结果与前序各营销环节之间存在时间间隔,不同营销环节对最终转化结果产生的实际影响难以直接区分,容易造成营销效果评估偏差。此外,现有协同营销方式通常将客户最终转化结果作为整体反馈,难以针对不同营销参与主体形成有效的贡献评价,导致后续营销策略调整缺少准确的反馈依据。
3、因此,在包含多个智能决策主体参与的银行客户营销场景中,如何结合客户行为变化过程,对不同营销决策环节产生的影响进行有效分析,并形成能够驱动各智能决策主体持续优化的协同决策机制,成为当前需要解决的技术问题。
技术实现思路
1、为了克服现有技术的上述缺陷,本发明的实施例提供一种基于多智能体强化学习的银行客户营销协同决策方法以解决上述背景技术中提出的问题。
2、为实现上述目的,本发明提供如下技术方案:
3、一种基于多智能体强化学习的银行客户营销协同决策方法,包括如下步骤:
4、s1、从多智能体协同营销任务的共享状态空间提取各智能体决策时间戳、动作标识以及对应客户在预设观测时间窗内的行为信号序列;
5、s2、将行为信号序列输入预训练的意图强度估计器,生成与各决策时间戳逐一对应的随时间衰减的转化概率软标签值;
6、s3、依据各决策时间戳的先后次序,对客户最终转化奖励进行因果路径切分,构建分别对应于各智能体决策环节的候选子奖励集合;
7、s4、将动作标识、转化概率软标签值以及候选子奖励集合共同输入归因评分网络,通过前向计算输出各智能体对最终转化奖励的分解权重;
8、s5、利用分解权重对客户最终转化奖励进行加权分配,得到各智能体的即时奖励反馈值,以即时奖励反馈值作为强化学习奖励信号,对参与协同决策的每个智能体策略网络执行参数更新;
9、s6、基于更新后的策略网络执行多智能体协同营销任务,直至满足预设收敛条件。
10、作为本发明的进一步方案,所述s1中,具体包括:
11、对多智能体协同营销任务的共享状态空间执行基于事务版本号的一致性快照读取,解析快照中由各智能体写入的决策事件记录并提取决策时间戳与动作标识,依据决策时间戳和客户标识确定每个决策事件对应的行为观测窗口,所述窗口起始于决策时间戳,终止于决策时间戳加上预设窗口长度;
12、遍历各决策事件对应的行为观测窗口,提取客户在行为观测窗口内的与各智能体角色标识相对应的操作事件原始日志,对原始日志按操作事件类型进行编码,并按照统一时间粒度重采样为等间隔行为信号序列。
13、作为本发明的进一步方案,所述角色标识至少包括客群筛选智能体、画像生成智能体、通话调度智能体、登记处理智能体四类。
14、作为本发明的进一步方案,所述s2中,具体包括:
15、构建包含时序卷积层的意图强度估计器,将各决策事件对应的等间隔行为信号序列按时间先后拼接为输入张量,通过时序卷积层对输入张量进行因果卷积运算,提取行为信号中反映客户转化意图的短期突变特征;
16、基于各行为信号采样点与对应决策时间戳之间的时间距离生成指数衰减权重向量,并将指数衰减权重向量作用于时序卷积层输出的短期突变特征,得到时间衰减加权特征,将各决策时间戳对应的时间衰减加权特征分别映射为标量概率值,输出与各决策时间戳逐一对应的转化概率软标签值。
17、作为本发明的进一步方案,所述s3中,具体包括:
18、将各决策时间戳按时间先后排列为决策时间链,以相邻两个决策时间戳之间的中点作为切分边界,将客户最终转化奖励切分为与各切分区间长度成比例的多个初步子奖励,所述客户最终转化奖励为客户在预设转化事件集合中的任一事件被判定发生时产生的标量奖励值;
19、计算各切分区间内后一决策时间戳与前一决策时间戳所对应转化概率软标签值的增量,当增量为正时按增量幅值等比放大对应区间初步子奖励,当增量为负时按增量幅值等比缩小对应区间初步子奖励;
20、将调整后的各区间子奖励映射至对应区间末端决策时间戳所属的智能体决策环节,聚合相同决策环节的子奖励,构成分别对应于各智能体决策环节的候选子奖励集合。
21、作为本发明的进一步方案,所述s4中,具体包括:
22、基于神经网络结构构建以各智能体角色标识、动作标识、对应决策时间戳的转化概率软标签值及候选子奖励集合为输入特征的归因评分网络,将各决策环节对应的输入特征按照决策时间先后顺序输入归因评分网络中的门控循环单元,依次输出各决策环节的隐状态向量;
23、计算各隐状态向量与根据智能体角色标识进行向量化编码得到的各智能体角色嵌入向量之间的注意力匹配得分,将注意力匹配得分归一化后作为各智能体角色在当前决策环节上的归因贡献分量,对同一智能体角色在全部决策环节上的归因贡献分量进行求和,得到对应智能体对客户最终转化奖励的分解权重。
24、作为本发明的进一步方案,所述s5中,具体包括:
25、将各智能体的分解权重与客户最终转化奖励相乘,得到各智能体对应的加权转化奖励,将各智能体在全部决策环节上的加权转化奖励分别累加,生成客群筛选智能体、画像生成智能体、通话调度智能体、登记处理智能体各自对应的即时奖励反馈值;
26、将各即时奖励反馈值分别减去预设基线函数输出的角色基线值,得到各智能体的优势函数估计值,以各优势函数估计值作为强化学习奖励信号,通过预设策略梯度优化器对各智能体策略网络参数执行梯度更新。
27、作为本发明的进一步方案,所述s6中,具体包括:
28、将更新后的策略网络参数加载至客群筛选智能体、画像生成智能体、通话调度智能体、登记处理智能体,在共享状态空间中重新执行银行客户营销协同决策任务并生成新的决策事件记录;
29、周期性检测各智能体策略网络参数更新幅度与各智能体即时奖励反馈值移动平均值的变化幅度,当更新幅度和变化幅度均低于预设阈值时,判定预设收敛条件满足,停止迭代并输出训练完成的多智能体协同决策模型,进行营销协同决策。
30、本发明一种基于多智能体强化学习的银行客户营销协同决策方法的技术效果和优点:
31、本发明通过从多智能体协同营销任务的共享状态空间中提取各智能体决策事件及对应客户行为信号,结合行为观测窗口内的客户响应变化,对营销过程中不同决策环节产生的影响进行动态表征,避免仅依据最终转化结果进行整体反馈导致的贡献难以区分问题;通过构建意图强度估计器,利用客户行为信号随决策时间变化的特征生成对应的转化概率软标签值,为最终转化奖励在多个营销决策环节之间的分配提供过程性参考依据;通过基于决策时间链的候选子奖励构建方式,将延迟产生的客户转化结果映射至不同智能体决策环节,并结合归因评分网络对各智能体贡献进行分析,使各智能体能够获得与自身营销行为关联的即时奖励反馈;通过基于即时奖励反馈优化各智能体策略网络参数,使多智能体协同营销过程能够根据客户反馈变化持续调整决策策略,提高银行客户营销协同决策过程的适应性和反馈有效性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com