一种基于多模态融合的农产品偏好表征方法及系统
本发明属于农产品电商个性化推荐领域,具体涉及一种基于多模态融合的农产品偏好表征方法及系统。
背景技术:
1、农产品偏好表征建模高度依赖评论文本、商品图像及用户行为等多模态数据。近年来,大语言模型凭借其强大的上下文建模与逻辑推理能力,为从非结构化多源数据中提取深层次偏好线索提供了新的技术基础,成为提升复杂消费语义理解深度的重要契机。
2、然而,现有的农产品偏好表征建模方法在实际应用中仍面临诸多局限:传统方法多依赖单一文本特征或简单的多模态特征拼接,难以有效处理不同模态间的语义错位、贡献差异和噪声干扰,当多源信息不一致时极易受冗余信息影响,导致偏好预测不稳定;农产品偏好判断并非仅由文本决定,若直接将多模态特征输入大语言模型,仍会面临模态贡献失衡、商品关联结构信息利用不足以及计算开销较高等问题;真实电商数据存在显著的长尾分布特征,强偏好样本占比较高,而弱偏好与中等偏好样本相对稀缺,普通分类模型容易偏向多数类别,严重影响少数偏好等级的识别效果。
3、基于上述问题,亟需构建一种融合评论文本、图像信息和行为统计特征的多模态建模方法。
技术实现思路
1、为解决多模态信息模态难以对齐、商品结构关系难以显式建模以及偏好等级分布不平衡等导致评价信息不一致的问题,本发明通过下述技术方案实现:
2、一种基于多模态融合的农产品偏好表征方法,包括以下步骤:
3、步骤1:构建包含transformer编码器、查询引导的跨模态门控融合模块、动态商品图推理模块和动态偏好量化模块的大语言模型;采集并处理电商平台的用户评论文本、商品主图与晒单图像和历史交易行为,构建多模态数据集;
4、步骤2:将多模态数据集中的用户评论文本、商品主图与晒单图像与历史交易行为进行特征编码,分别得到文本序列、图像序列和行为序列;
5、步骤3:将文本序列、图像序列和行为序列输入查询引导的跨模态门控融合模块,执行跨模态注意力计算,得到跨模态融合后的商品节点初始特征;
6、步骤4:将跨模态融合后的商品节点初始特征输入transformer编码器,transformer编码器内设置动态商品图推理模块,通过动态商品图推理模块处理得到商品节点增强特征,经transformer编码器处理后得到包含多模态上下文信息的隐藏特征;对包含多模态上下文信息的隐藏特征中的有效文本特征向量执行掩码加权平均池化操作,得到全局语义表示;
7、步骤5:将商品节点增强特征和全局语义表示输入动态偏好量化模块,将商品节点增强特征与全局语义表示分别映射生成商品属性偏好特征向量和用户偏好特征向量,通过双向交互特征建模,得到用户-商品联合偏好表征,将用户-商品联合偏好表征输入评分网络,输出弱、中、强三级用户偏好强度分类概率分布,作为偏好表征结果。
8、进一步地,步骤2中,将多模态数据集中的用户评论文本经大语言模型的嵌入层,得到文本序列;将商品主图与晒单图像输入clip-vit编码器,得到图像序列,将历史交易行为经过归一化和多层感知机处理,得到行为序列。
9、进一步地,步骤3中,将文本序列、图像序列和行为序列输入查询引导的跨模态门控融合模块,执行跨模态注意力计算,得到跨模态融合后的商品节点初始特征:
10、;
11、其中,表示跨模态融合后的第i个商品节点初始特征;表示层归一化操作;表示查询引导的跨模态门控融合模块内设的可学习融合查询向量;、和分别表示文本序列、图像序列和行为序列;和分别表示以融合查询向量为查询、以第种和第r种模态特征为键和值的跨模态注意力提取结果;表示门控得分计算的权重向量,通过与 tanh变换后的隐层特征进行内积运算得到;、、、表示模态权重计算参数;表示非线性变换。
12、进一步地,步骤4中,将跨模态融合后的商品节点初始特征映射为与大语言模型隐藏层维度一致的多模态前缀特征,将所述多模态前缀特征作为前缀标记拼接于文本序列的首部,形成多模态信息的输入序列;随后多模态信息的输入序列输入transformer编码器,得到包含多模态上下文信息的隐藏特征。
13、进一步地,步骤4中,将跨模态融合后的商品节点初始特征输入动态商品图推理模块:
14、;
15、其中,为第c个关系通道中第l+1层商品节点增强特征矩阵;为第个关系通道中第层的商品节点特征;表示第个关系通道的邻接矩阵;表示第层第个关系通道中的随机特征掩码;表示逐元素相乘操作;表示第个关系通道中的第层图卷积操作;表示结构感知邻域聚合操作,表示自适应聚合结果的残差融合系数;表示层归一化操作。
16、进一步地,步骤5中,通过双向交互特征建模,具体包括:将用户偏好向量和商品偏好向量进行拼接,得到第个商品对应的用户-商品联合偏好表征:
17、;
18、其中,为第c个关系通道中第l+1层商品节点增强特征矩阵,c∈{1,2,...,c}表示不同类型的商品关系视图;表示用户侧加权池化运算操作;为有效性掩码;为文本节点权重;表示参数为的用户偏好量化映射运算;表示第个商品节点选择运算;表示参数为的商品偏好映射运算;表示向量拼接运算;表示第i个商品对应的用户-商品联合偏好表征。
19、进一步地,步骤5中,将用户-商品联合偏好表征输入评分网络,输出弱、中、强三级用户偏好强度分类概率分布:
20、;
21、其中,为得到的第i个商品对应的用户-商品联合偏好表征;为用户偏好向量;为第i个商品的商品偏好向量;表示逐元素乘积操作;表示用户偏好向量与商品偏好向量之间的逐元素绝对差值;表示向量拼接运算;表示层归一化运算;表示评分网络;表示概率归一化运算;表示第i个商品弱、中、强三级用户偏好强度分类概率分布。
22、进一步地,还包括采用引入逆频率类别权重的焦点损失函数focal loss对网络模块实施监督训练。
23、本发明还提供一种基于多模态融合的农产品偏好表征系统,包括:
24、多模态数据采集与编码模块,用于采集农产品电商平台的用户评论文本、商品主图与晒单图像及历史交易行为数据,构建多模态数据集,并将所述多模态数据集中的用户评论文本、商品主图与晒单图像及历史交易行为分别编码为文本序列、图像序列和行为序列;
25、查询引导的跨模态门控融合模块,用于接收所述文本序列、图像序列和行为序列,通过可学习的融合查询向量执行跨模态注意力计算与自适应门控加权,输出跨模态融合后的商品节点初始特征;
26、动态商品图推理模块,设置于transformer编码器的特定层内,用于基于商品节点特征余弦相似度动态构建邻居图,对所述跨模态融合后的商品节点初始特征进行图结构增强,输出商品节点增强特征;
27、动态偏好量化模块,用于将所述商品节点增强特征与全局语义表示分别映射为商品属性偏好特征向量和用户偏好特征向量,通过双向交互特征建模生成用户-商品联合偏好表征;
28、偏好等级分类模块,用于将所述用户-商品联合偏好表征输入评分网络,输出弱、中、强三级用户偏好强度分类概率分布,作为偏好表征结果。
29、本发明还提供一种电子设备,包括:处理器和存储器,所述存储器中存储有所述处理器能够执行的指令,所述处理器被配置为执行所述指令时,使得所述电子设备能够实现所述的一种基于多模态融合的农产品偏好表征方法。
30、与现有技术对比,本发明具备以下有益效果:
31、本发明采用查询引导的跨模态门控融合、动态商品图推理与动态偏好量化相结合的研究方法。通过对三模态农产品消费数据进行统一隐空间对齐,在transformer层内注入自适应商品图结构信息,并通过显式建模用户偏好与商品属性之间的交互关系,使模型不仅输出三档偏好等级,还给出可分析的中间偏好向量。针对农产品电商数据中弱偏好样本占比较低的问题,引入focal loss策略,有效提升了在类别不平衡条件下保持对弱偏好、中偏好等级的稳定识别能力,能够为农产品电商的个性化商品推荐、产销供需智能匹配提供量化的技术方案。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com