基于多模态时序融合的动态营销决策系统的制作方法

本发明涉及数据处理与人工智能应用，尤其是涉及基于多模态时序融合的动态营销决策系统。

背景技术：

1、在常规的数字营销场景中，决策系统需要综合处理广告图像、宣传文本以及用户浏览和点击等行为序列数据，据此预测用户的转化状态并输出相应的策略。现有的多模态决策系统在处理跨模态数据时，普遍采用同步的前向计算流程。由于广告素材的图文数据更新频率较低，而用户的行为序列数据呈高频动态变化，将静态数据与动态数据绑定并持续输入复杂的神经网络中，会导致系统在面对高并发请求时反复执行相同图文数据的重型矩阵运算，造成计算资源的无效占用。

2、在处理时序数据方面，现有系统多依赖预设的固定时间窗口来截取用户行为序列。用户的交互活跃度通常存在明显的起伏波动，固定的序列截取长度难以适应这种实际变化。当用户交互密集时，长窗口会平滑掉局部的短期兴趣偏移；当用户交互平淡时，固定窗口又会引入过多的历史数据并增加无关的计算开销。

3、此外，现有决策系统的数据处理结构以单向前向传播为主，缺乏从决策端到前端计算环节的逆向控制回路。系统输出的流失风险预测结果无法反馈至中间的融合网络来指导计算阈值的设定，导致无论风险高低，系统均以固定标准触发特征交互运算。同时，当系统下发具体的营销干预动作改变了用户所处的业务语境后，底层特征库无法感知这一状态变更，依旧沿用原始的广告特征参与后续计算。这种前后端数据状态的脱节，导致系统在用户偏好转移或外部干预发生后无法及时调整特征基准，使得决策结果的准确性和系统的应对能力随时间推移而下降。

技术实现思路

1、本发明解决的技术问题在于，现有营销决策系统对低频图文数据与高频行为数据执行统一同步计算，引发重复的矩阵运算并造成算力浪费；采用固定的序列时间窗口难以适应用户交互频率的波动，无法准确提取短期偏移特征；此外，现有系统缺乏逆向闭环控制机制，决策输出无法有效回授指导前端的算力调度与特征更新，导致在用户偏好转移时特征基准调整滞后，决策灵敏度与系统鲁棒性不足。

2、为解决上述问题，本发明提供如下技术方案：

3、本发明第一方面提供一种基于多模态时序融合的动态营销决策系统，包括依次级联的特征提取层、序列处理层、度量层、融合层与决策层；

4、特征提取层用于接收并处理低频更新的广告图像数据和广告文本数据，提取图像特征和文本特征并以键值对形式持久化存储于内部的特征缓存表中；

5、序列处理层用于接收并处理高频更新的用户行为序列数据流，将编码提取的时序聚合特征以及隐状态序列集合输出；

6、度量层用于接收隐状态序列集合，度量用户行为序列在概率空间中的分布偏移，并将量化后的偏移度量结果输出至融合层；

7、融合层用于执行多模态数据的跨模态特征交互，其分别与特征缓存表、序列处理层相连，以获取静态图文特征与时序聚合特征，并融合生成多模态融合特征向量；

8、决策层用于基于多模态融合特征向量执行图网络更新，预测流失概率参数并生成营销干预动作序列；

9、其中，系统还配置有三条逆向参数反馈链路，包括：

10、第一条反馈链路，用于将决策层输出的流失概率参数回授至融合层，作为其判定是否启动跨模态特征交互的触发控制参数；

11、第二条反馈链路，用于将融合层输出的特征维度权重向量回授至度量层，作为其分布偏移计算时的维度掩码向量；

12、第三条反馈链路，用于将决策层输出的营销干预动作序列回授至特征缓存表，用于在特定条件下触发缓存淘汰。

13、进一步的，特征提取层内部设有卷积网络模块、语言模型模块和特征缓存表；卷积网络模块与语言模型模块分别用于对原始的广告图像数据和广告文本数据进行特征编码映射，所得的图像特征向量与文本特征向量以用户标识符与广告素材标识符的组合为索引键，按键值对结构存入特征缓存表；在响应请求查阅未命中时，特征提取层重新拉取原始数据执行特征编码映射并回填至特征缓存表。

14、进一步的，序列处理层内部设有长短期记忆网络模块，决策层内部设有图神经网络模块；长短期记忆网络模块跨层接收图神经网络模块回传的局部拓扑特征参数，据以自适应调整自身的序列输入时间窗口，并在该窗口内对用户行为序列数据流进行特征编码，输出隐状态序列集合送至度量层。

15、在本发明的一个优选实施例中，局部拓扑特征参数包括局部聚类系数变化率与时序边衰减权重；长短期记忆网络模块通过基准时间窗口长度结合局部聚类系数变化率与时序边衰减权重计算当前时刻的序列输入时间窗口：当局部聚类系数变化率增大时缩小时间窗口，当时序边衰减权重增大时扩大时间窗口，且通过边界截断函数将序列输入时间窗口限制在预设的安全区间内。

16、进一步的，度量层内设有偏移计算模块，融合层内设有编码器模块；偏移计算模块通过第二条反馈链路提取编码器模块前一次输出的特征维度权重向量，利用该特征维度权重向量对当前的隐状态序列集合与历史的隐状态序列集合执行逐维加权，基于加权后的集合分别构建当前经验概率分布与历史经验概率分布，并求取两分布之间的最优传输分布距离，作为偏移度量结果输出至融合层。

17、在本发明的一个优选实施例中，融合层内还设有调度模块，决策层内设有预测模块；调度模块通过第一条反馈链路获取预测模块在上一次执行全局协同融合计算的周期内输出的流失概率参数，结合触发敏感度缩放因子与基础容忍偏置项反算动态触发阈值；调度模块比对最优传输分布距离与动态触发阈值，当最优传输分布距离大于或等于动态触发阈值时，输出使能信号激活编码器模块执行跨模态特征交互。

18、进一步的，编码器模块接收到使能信号后，以当前用户标识符与关联广告素材标识符的组合为键，从特征缓存表读取图像特征向量与文本特征向量，与隐状态序列集合中最后一步隐状态向量拼接构成多模态初始张量；多模态初始张量经内部的transformer编码器执行注意力运算与降维，生成多模态融合特征向量；同时经特征维度门控单元生成各元素表征对应维度重要性占比的特征维度权重向量。

19、进一步的，图神经网络模块以多模态融合特征向量为目标用户节点初始特征嵌入，在二分图中结合时间间隔衰减项计算局部子图邻居节点的聚合权重参数并进行加权求和，输出更新后的目标用户节点特征表示；并基于图谱演化计算当前时刻的实际边数与最大可能边数之比生成当前局部聚类系数，进而生成回传所需的局部聚类系数变化率与时序边衰减权重。

20、进一步的，决策层内还设有预测模块与决策引擎模块；预测模块基于更新后的目标用户节点特征表示，经非线性网络映射预测当前周期的流失概率参数；决策引擎模块基于同一特征表示生成营销干预动作序列，当判定流失概率参数大于或等于预设的干预临界阈值时，决策引擎模块通过第三条反馈链路向特征缓存表下发包含用户标识符与素材标识符的缓存淘汰标记，以触发缓存淘汰。

21、在本发明的一个优选实施例中，在接收到缓存淘汰标记后，特征缓存表清除对应的历史文本特征向量而保留图像特征向量；特征提取层提取营销干预动作序列中的结构化文本数据，重组生成干预描述文本序列，并触发语言模型模块进行前向传播以重建文本特征，将生成的干预文本特征向量写回特征缓存表覆盖原文本特征向量，从而阻断失效语义特征对后续特征交互的干扰。

22、本发明第二方面提供一种基于多模态时序融合的动态营销决策方法，包括以下步骤：

23、特征提取层对低频更新的广告图像数据与广告文本数据执行特征编码映射，将所得特征向量持久化存入特征缓存表；

24、序列处理层接收决策层回传的局部拓扑特征参数，自适应计算当前时间的序列输入时间窗口，在该窗口内对高频更新的用户行为序列数据流进行编码，输出隐状态序列集合；

25、度量层提取前一次前向计算保留的特征维度权重向量，利用该向量对当前与历史的两组隐状态序列集合进行维度加权，据以构建经验概率分布并求取最优传输分布距离；

26、融合层获取决策层上一次输出的流失概率参数，反算得到当前时刻的动态触发阈值，并将最优传输分布距离与该阈值进行比对。满足触发条件时，融合层从特征缓存表读取图文特征，与长短期记忆网络模块输出的时序聚合特征拼接，执行跨模态特征交互，生成多模态融合特征向量；

27、决策层以多模态融合特征向量为输入执行局部节点聚合与图网络更新，输出目标用户节点特征表示，据此预测流失概率参数并生成营销干预动作序列；

28、当流失概率参数超过预设干预临界阈值时，向特征缓存表下发缓存淘汰标记，提取干预动作关联文本完成拼接，重建文本特征并覆写原缓存条目。

29、综上所述，本发明包括以下至少一种有益技术效果：

30、1.本发明系统在物理架构上将低频的静态广告素材与高频的用户交互事件切分，静态图文特征单次提取后持久化缓存，规避了高并发请求下的重复多层网络前向传播计算，有效降低了矩阵运算引发的底层算力开销。

31、2.本发明通过第一条反馈链路，利用上游决策层回传的流失概率反向调节跨模态特征交互的启动阈值。在高风险区间压低阈值以提高对行为偏移的敏感度，在低风险区间提高阈值转入计算静默状态。该机制避免了全局特征交互张量拼接的盲目运行，实现了计算资源的动态配给。

32、3.本发明序列处理层引入了图结构演变所产生的聚类系数与时间衰减权重。通过上述参数控制长短期记忆网络输入窗口的收放，改变了常规模型依赖固定步长的缺陷，使得系统能在局部网络连接活跃时聚焦近期短程行为，在交互平淡时放宽时间视野。

33、4.本发明通过第三条反馈链路，在生成干预动作后主动淘汰对应用户缓存中失效的原始广告文本特征，并基于干预描述文本重建语义特征。此设计在数据存储层面阻断了旧特征对新计算周期的关联干扰，使得底层特征基准能够随外部干预状态同步迭代。