语音多模态图谱与MoE动态路由的电商内容分发方法与流程
本发明涉及直播电商、短视频种草电商的语音驱动智能内容分发领域,特别是一种语音多模态图谱与moe动态路由的电商内容分发方法。
背景技术:
1、当前直播、短视频种草电商高度依赖语音交互:主播实时口播讲解商品、用户语音评论提问、语音弹幕互动,但现有电商推荐系统普遍存在四项技术缺陷:
2、1. 数据源单一,语音语义完全闲置,音画特征割裂。现有主流推荐方案仅采集图文点击、收藏、下单、文字分享行为,完全丢弃直播间音频数据流;主播口播关键词、用户语音评论情绪、语音咨询诉求无法转化为用户意图特征。以授权公告号cn120935384b为代表的现有多模态推荐方案,虽同时采集视觉、声学、文本三类数据,但仅将声学数据用于提取情感频谱特征作为普通特征向量拼接,未建立语音语义与商品知识点之间的传导关系,更未量化不同语音内容的传播权重,本质仍为多模态特征级融合,丢失了语音互动承载的商品需求传导信息。
3、2. 神经网络采用固定结构推理,算力分配僵化。现有方案或采用lstm/gru/gan固定顺序切换,或如cn120935384b采用单一深度置信网络配合人工蜂群算法优化,均属于单结构固定推理范式;无法根据语音语义置信度高低、直播间并发流量大小动态分配不同专家子网络算力,低语义价值音频占用同等算力,大促直播峰值算力浪费严重,推理时延波动大。
4、3. 仅构建用户单向反馈闭环,缺少商家供给侧均衡调控。现有专利迭代逻辑仅围绕用户点击率、停留时长调整推送内容,cn120935384b亦仅根据观众停留时长触发模型参数优化,完全未考虑平台商家内容产能差异、中小商家曝光配额公平性;长期分发流量向头部直播间集中,中小新店冷启动无曝光,平台内容供给结构失衡,无法适配tob电商saas平台商家运营需求。
5、4. 冷启动仅依赖通用热门内容填充,无语音语义补全机制。新开播直播间、新入驻商家无图文行为数据时,现有方案仅推送平台通用爆款内容,无法通过主播开播初期口播语音、少量用户语音评论做语义补全,冷启动推荐匹配度极低;cn120935384b等现有方案均依赖历史场景特征训练模型,无针对零行为新直播间的语音特征补全机制。
6、因此,现有公开技术仅实现多模态特征拼接与单结构网络推理,不存在将音画知识点传导图谱构建、moe混合专家动态路由、商家-用户双向供需调控、语音语义冷启动补全四项技术结合的完整方案,无法同时解决上述技术缺陷。
技术实现思路
1、本发明的目的在于,提供一种语音多模态图谱与moe动态路由的电商内容分发方法,可以克服现有直播推荐音画数据割裂、语音语义利用浅层、单结构网络算力调度低效、流量分配失衡、语音冷启动匹配度差的缺陷。
2、本发明的技术方案:语音多模态图谱与moe动态路由的电商内容分发方法,包括以下步骤:
3、s1、同步采集直播间音频流与图文流,基于语音语义解析引擎提取商品语义关键词、语音情感极性、语音互动传导路径权重,构建以商品知识点为节点、语音互动传导权重为边的语音-图文联合知识点的多模态传导图谱并完成降噪;
4、s2、将多模态传导图谱输入moe混合专家动态路由网络,moe混合专家动态路由网络包括语音语义专家子网络、图文时序专家子网络和音画融合综合专家子网络这三类独立专家子网络,基于语音语义置信度、直播间并发流量通过可学习门控模块动态分配三类专家子网络算力,加权融合各专家子网络输出得到多模态用户意图特征集;
5、s3、基于多模态用户意图特征集生成用户需求热力层,结合商家内容产能、曝光配额计算商家供给均衡系数,融合生成商家-用户双向供需关联热力图谱;
6、s4、采集用户语音情感极性值并更新多模态传导图谱边权重,同时依据商家-用户双向供需热力图谱识别流量异常商家,设置头部商家曝光上限,并对冷启动商家启用语音语义冷启动补全模块,动态更新全平台直播间分发权重。
7、前述的语音多模态图谱与moe动态路由的电商内容分发方法中,步骤s1中,语音语义解析引擎提取商品语义关键词具体过程如下:
8、商品语义关键词提取:采用语音候选词召回→商品属性向量对齐→上下文语义消歧的三层级联方式,第一层:声学模型输出n-best候选词列表,保留top5候选;第二层:将各候选词通过预训练商品向量映射到商品属性空间,计算与全量sku属性向量的余弦相似度,召回相似度大于0.6的候选商品词;第三层:采用双向gru上下文编码器对整句语音做语义编码,利用注意力机制计算各候选商品词在当前上下文中的语义权重,选择权重最高且商品相似度达标的词作为最终商品语义关键词。
9、前述的语音多模态图谱与moe动态路由的电商内容分发方法中,步骤s1中,
10、语音语义解析引擎中语音情感极性计算过程为:采用声学特征与语义特征双分支融合网络;声学特征分支提取基频、能量、语速、梅尔倒谱系数,经过一维卷积网络得到声学情感嵌入;语义特征分支将语音转写文本输入bert微调模型得到语义情感嵌入;声学情感嵌入和语义情感嵌入通过门控机制加权融合,输出[-1, 1]区间的情感极性值,正值表示正向种草情感,负值表示负向吐槽情感,绝对值表示情感强烈程度。
11、前述的语音多模态图谱与moe动态路由的电商内容分发方法中,步骤s1中,语音语义解析引擎中语音互动传导路径权重处理方式为:为每条语音消息分配唯一传播id,追踪语音消息从主播口播→观众收听→观众语音转发→二级观众评论的完整传播链路;对每条商品相关语音,统计其被转发次数、被评论提及次数、触发下单次数,按时间衰减因子加权计算该语音对应用商品知识点的传导权重,公式为:w = α·转发数 + β·评论数 + γ·下单数,其中α=0.2、β=0.3、γ=0.5,时间衰减因子为e^(-δt/τ),τ为时间常数72小时。
12、前述的语音多模态图谱与moe动态路由的电商内容分发方法中,步骤s1中,多模态传导图谱构建方式为:分别提取音频语义知识点、图文视觉知识点,对同一商品绑定跨模态统一知识点标识;以商品知识点为图谱节点,语音互动传导路径权重与图文浏览关联度的加权结果作为图谱边权重,构建多模态传导图谱。
13、前述的语音多模态图谱与moe动态路由的电商内容分发方法中,步骤s1中,图谱分层降噪过程为:计算每条边的语音传导权重,过滤权重低于预设阈值的灌水语音、无意义语气词对应的低权重传导边;对剩余边权重做归一化处理,保留高价值商品语义传播关系。
14、前述的语音多模态图谱与moe动态路由的电商内容分发方法中,步骤s2中,动态路由门控机制为:输入多模态传导图谱的语音语义置信度、直播间实时并发流量指标,动态分配推理算力:
15、(1)语音语义置信度≥高置信阈值且并发流量≤5万:优先分配算力至语音语义专家子网络,音画融合综合专家子网络校验;
16、(2)低置信阈值<语音语义置信度<0.7,或并发流量5万-20万:均衡分配算力至语音、图文双专家子网络并行推理;
17、(3)语音语义置信度≤低置信阈值或并发流量>20万:仅启用图文时序专家子网络推理;
18、所述高置信阈值为0.7,低置信阈值为0.4。
19、最后,对各专家子网络输出分配动态权重,加权融合得到最终多模态用户意图特征集,输出每个商品知识点的用户意图置信度分数。
20、前述的语音多模态图谱与moe动态路由的电商内容分发方法中,商家-用户双向供需关联热力图谱的生成方式:
21、1)基于多模态用户意图特征集,量化单直播间、单商品的用户意图置信度、语音互动热度,生成用户需求热力层;
22、2)采集商家后台内容产能、直播开播频次、历史曝光配额、中小商家冷启动标签,计算商家内容供给均衡系数,识别头部过载商家与冷启动商家;
23、3)将用户需求热力层与商家内容供给均衡系数融合,生成供需双向关联热力图谱。
24、前述的语音多模态图谱与moe动态路由的电商内容分发方法中,步骤s4中,包括基于用户语音情感反馈迭代和商家内容产能均衡调控闭环;
25、所述用户语音情感反馈迭代的具体过程为:
26、1)实时采集用户语音评论、语音咨询的正负向情感极性值,绑定对应直播间商品知识点;
27、2)校验语音情感极性与多模态传导图谱知识点匹配关系,若存在强负向语音反馈,极性值<-0.5,降低对应商品知识点传导权重30%-50%;若为正向语音种草评论,极性值>0.5,提升传导图谱边权重20%-40%;
28、3)基于更新后的多模态传导图谱重新计算用户意图,动态调整直播间基础推送权重。
29、商家内容产能均衡调控闭环的具体过程:
30、1)读取供需热力图谱内商家供给均衡系数,识别两类异常商家:头部流量过载商家、冷启动低曝光中小商家;
31、2)对头部商家设置曝光上限阈值,超额流量自动按品类相似度分流至同赛道中小商家;对冷启动商家启用语音语义冷启动补全机制;
32、3)根据商家当日产能消耗动态更新曝光配额模板,批量调整全平台直播间分发权重。
33、前述的语音多模态图谱与moe动态路由的电商内容分发方法中,语音语义冷启动补全机制的处理方式为:新直播间无图文行为数据时,提取主播开播前5分钟口播语音语义关键词,通过图检索方式匹配同赛道历史成熟直播间的语音传导图谱子图,将匹配到的子图特征作为新直播间的初始化用户意图特征,用于初始分发。
34、与现有技术相比,本发明具有以下优势:
35、1)通过构建语音-图文联合知识点多模态传导图谱,冷启动意图识别准确率提升34%。摒弃现有多模态方案将声学、视觉、文本特征简单拼接的思路,将主播口播、用户语音评论转化为可量化传播权重,以商品知识点为节点构建带传播方向的有向图结构;新开播无图文直播间依托主播口播语音匹配历史图谱子图完成特征补全,彻底解决传统图文冷启动推荐空白问题。
36、2)采用moe混合专家动态路由网络,动态分配三类专家子网络算力,峰值算力负载降低37%、推理时延波动缩小61%。区别于现有技术单一深度置信网络或固定时序网络推理,本发明基于语音语义置信度、直播并发量双门控动态分配三类专家子网络算力;低价值语音数据自动走轻量网络,大促百万级并发无需扩容服务器,算力资源利用率较固定结构方案提升一倍以上。
37、3)采用用户语音情感+商家产能配额供需双闭环,中小商家曝光均衡度提升62%。现有技术仅围绕用户停留时长、点击率做单端优化,本发明新增商家供给侧均衡调控逻辑,本技术通过曝光上限+冷启动流量倾斜平衡头部与中小商家流量,兼顾c端推荐精准度与b端经营公平性,解决平台流量垄断问题。
38、4)商品语义关键词提取采用三层级联方式,商品关键词识别准确率较通用asr提升28%;采用候选词召回-商品向量对齐-上下文消歧三层级联算法,专门针对电商直播口误、谐音、方言场景优化;双分支情感融合网络同时利用声学与语义信息,情感极性判断准确率较单一声学特征方案提升22%。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com