一种基于多模态学习的电商直播实时流量预测方法及系统

本发明涉及电子商务，尤其涉及一种基于多模态学习的电商直播实时流量预测方法及系统。

背景技术：

1、随着直播电商模式的快速发展，其已成为线上零售的关键渠道。然而，电商直播具有极强的实时性和互动性，导致直播间在线用户数量等流量指标呈现剧烈、无规律的波动。这种用户流量的高度不确定性，给主播和平台的精细化运营带来了巨大挑战。因此，能够基于直播间实时状态，准确预测未来短期内的流量变化，对于指导主播动态调整讲解节奏、互动策略和商品推送时机，以最大化商业价值至关重要。

2、目前，现有的直播流量预测方法存在明显的技术局限。例如，部分方法主要依赖于传统的统计学模型或多变量模型。这些方法或仅利用历史在线人数的单一时间序列数据进行外推预测，或虽整合了用户的点击、购买等多维度的行为数据，但其本质上仍依赖于结构化的数值特征，难以捕捉由主播的讲解内容、情绪状态、肢体语言等非结构化内容所引发的流量突变，因此预测精度和对突发情况的响应能力均存在瓶颈。为解决上述问题，另一些现有技术尝试引入多模态分析方法，将主播侧的视觉画面、音频语音以及观众侧的文本弹幕等信息纳入模型。然而，这些方法在进行模态融合时，通常将不同模态的信息视为独立的特征源进行简单拼接或并行处理，未能有效建模和量化主播行为（如话术引导、商品展示）与观众反馈（如弹幕/评论提问、点赞）之间实时、动态的因果交互关系，导致对直播间真实互动氛围的刻画不足，从而限制了预测性能的进一步提升。

3、事实上，电商直播是一个典型的多模态信息场景，其流量的涨跌是主播的音视频信息（如语言、情绪、动作）、商品信息讲解以及用户的互动信息等多重因素共同作用的结果。现有技术普遍未能有效建模这些异构的多模态数据的实时交互来进行综合分析，导致其无法全面、准确地刻画直播间的实时动态，预测结果的准确性和可靠性难以满足实时决策的需求。因此，本领域迫切需要一种新的技术方案来解决上述问题。

技术实现思路

1、本发明的目的在于克服现有技术的不足，提供一种基于多模态学习的电商直播实时流量预测方法及系统。该方案旨在解决现有技术中存在的以下一个或多个问题：1）现有流量预测模型对直播间内视频、音频等非结构化内容信息利用不充分，导致模型对由主播实时行为和讲解内容引发的流量突变不敏感，预测精度较低。2）现有的多模态分析方法在信息融合层面较为简单，未能深度挖掘和表征不同模态信息之间的内在关联，特征表示能力有限。3）现有技术普遍缺失对电商直播场景核心要素--即主播与观众之间实时动态交互关系的有效建模，无法准确捕捉由互动带来的协同性流量变化。

2、为实现上述目的，本发明实施例提供一种基于多模态学习的电商直播实时流量预测方法，旨在解决现有技术中预测模型对直播多模态信息融合策略简单、以及对主播与观众间动态交互关系建模缺失等问题。

3、本发明的第一方面，提供了一种基于多模态学习的电商直播实时流量预测方法，包括以下步骤：s1、采集直播视频流和用户行为数据，提取主播多模态表征及观众时序表征，通过互

4、补注意力机制将各模态的互补信息动态融合，获得主播时空多模态表征；

5、s2、基于所述主播时空多模态表征和观众时序表征，通过因果跨注意力分别建模主播与观众之间的双向动态交互，经自适应门控融合获得直播间联合交互状态序列；

6、s3、将进场流量和离场流量解耦为双流，分别进行时序建模，以所述直播间联合交互状态序列为条件信号通过因果跨注意力分别增强双流表征，融合后预测未来流量峰值。

7、进一步地，所述步骤s1，具体包括：

8、s11、以预设滑动时间窗口为单位采集原始直播数据，所述原始直播数据包括直播视频流和用户行为数据；所述用户行为数据包括动态流量特征和实时互动特征；

9、s12、对所述直播视频流进行抽帧和音频分离，分别提取文本、视觉、音频、动作四种模态的特征表征；对所述用户行为数据进行标准化处理，生成用户行为特征序列；

10、s13、通过长短期记忆网络对各模态表征及用户行为特征进行时序对齐；对于任一目标模态，将其余模态作为互补模态集合，通过哈达玛积计算目标模态与各互补模态的相关性，经softmax归一化后以全1向量相减获得互补权重，对互补模态进行加权得到非冗余补偿特征，求和后获得该目标模态的补偿表征；遍历所有时间步，获得各模态的补偿表征序列；

11、s14、对于每一目标模态，以其对齐表征为查询、补偿表征为键和值，经因果跨注意力交互后与原始对齐表征相加，再经因果自注意力聚合，获得该模态的最终融合表征；将所有模态的最终融合表征拼接，获得主播时空多模态表征；

12、s15、将所述用户行为特征序列通过长短期记忆网络，获得观众多变量时序表征。

13、进一步地，所述步骤s2具体包括：

14、s21、对主播表征序列，经因果自注意力获得主播侧历史表征，并以主播表征为查询、观众表征为键和值经因果跨注意力获得主播侧交互表征；所述因果跨注意力是指在注意力计算中采用因果掩码矩阵屏蔽未来时间步的信息，使当前时间步的注意力计算仅依赖当前及历史时间步的信息；

15、s22、对观众表征序列，经因果自注意力获得观众侧历史表征，并以观众表征为查询、主播表征为键和值经因果跨注意力获得观众侧交互表征；

16、s23、通过sigmoid门控对每一时间步的主播侧历史表征与交互表征进行自适应加权融合，获得更新后的主播侧状态表征；对观众侧执行相同操作，获得更新后的观众侧状态表征；

17、s24、将各时间步更新后的主播侧与观众侧状态表征拼接，获得直播间联合交互状态序列。

18、进一步地，所述步骤s3，具体包括：

19、s31、将进场流量特征和离场流量特征解耦，分别输入两条独立的长短期记忆网络进行时序建模，获得进场表征序列和离场表征序列；

20、s32、以所述直播间联合交互状态序列作为键和值，分别以进场表征序列和离场表征序列作为查询，通过因果跨注意力分别增强两条表征序列；

21、s33、将增强后的进场表征序列和离场表征序列拼接，经前馈层融合后通过回归层输出未来预设时间段内的流量峰值预测值，所述流量峰值为预设预测窗口内的瞬时最高在线人数。

22、具体地，对所述直播视频流进行抽帧，是采用多速率抽样，以第一抽样率抽取全局视觉帧，用于捕捉直播间整体画面信息，以高于第一抽样率的第二抽样率抽取动作帧，用于捕捉主播的肢体动作变化；所述第一抽样率为1~2帧/秒，所述第二抽样率为8~15帧/秒；所述动作帧基于相邻帧之间的像素差异超过预设阈值来识别提取，所述预设阈值为相邻帧对应像素点灰度值差值的均方根。

23、具体地，所述原始直播数据以预设滑动时间窗口为单位采样，所述预设时间窗口、时间步和预测窗口为预设值；所述时间窗口为2.5~3.5分钟，每个时间步为3~6秒，预测窗口为0.5~1.5分钟。

24、具体地，所述四种模态对应的预训练网络包括：视觉模态采用visiontransformer，动作模态采用s3d，音频模态采用librosa提取mfccs特征，语言模态采用bert。

25、本发明的第二方面，一种基于多模态学习的电商直播实时流量预测系统，该系统包括：

26、表征学习模块，用于采集原始直播数据，提取主播多模态表征及观众时序表征，通过互补注意力融合生成主播时空多模态表征和观众多变量时序表征；

27、主体交互模块，用于基于所述主播时空多模态表征和观众多变量时序表征，通过因果掩码跨注意力和自适应门控获得直播间联合交互状态序列；

28、流量解耦模块，用于将进场流量和离场流量解耦为双流，分别进行时序建模，生成进场表征序列和离场表征序列；

29、流量预测模块，用于以所述直播间联合交互状态序列为条件信号，通过因果跨注意力分别增强进场和离场表征序列，融合后预测未来流量峰值。

30、本发明的第三方面，提供一种电子设备，包括：

31、处理器；

32、用于存储处理器可执行指令的存储器；

33、其中，所述处理器被配置为调用所述存储器存储的指令，以执行前述所述的基于多模态学习的电商直播实时流量预测方法。

34、本发明的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前述所述的基于多模态学习的电商直播实时流量预测方法。

35、在本发明实施例中，通过多模态融合方法学习主播表征，有效弥合各个模态间的差距；利用跨注意力网络和自适应注意力网络有效模拟实际直播间中主播和观众的交互状态，对直播间状态建模；将动态流量特征的解耦，利用跨注意力网络将直播间联合交互状态增益到流量预测中，实现未来一段时间内的流量峰值预测，指导主播直播策略的动态调整。