一种物品推荐方法、系统、设备及存储介质

本发明属于商品推荐领域，具体涉及一种物品推荐方法、系统、设备及存储介质。

背景技术：

1、推荐系统是电商、短视频、内容社区等互联网平台的核心信息分发基础设施，传统判别式推荐依靠用户与物品匹配打分完成排序，但在海量物品、稀疏交互、长尾冷启动场景下泛化能力存在明显瓶颈。随着大模型与序列生成技术落地，生成式推荐成为主流新兴范式，该方案将推荐任务重构为自回归序列生成任务，不再依赖全候选集打分，而是通过残差量化变分自编码器（rq-vae）将物品文本、图像多模态连续嵌入压缩为层次化离散语义id（sid），让语义相近物品共享码字前缀，实现细粒度语义建模与跨物品知识迁移，有效提升长尾物品、新品类的推荐效果。为进一步丰富物品表征，业界普遍融合文本、图像双模态信息构建语义id，依托跨模态对比学习对齐文本与视觉语义空间，充分挖掘物品外观、文字描述的互补信息，成为当前生成式推荐的主流优化方向；

2、当前基于语义id的多模态生成式推荐技术已形成清晰技术演进路线。先驱工作tiger首次将rq-vae引入推荐领域，仅依托单文本模态构建语义id并完成自回归生成；后续letter、lc-rec通过协同正则、多任务微调优化码字表达质量，提升语义id区分度；面向多模态融合场景，mmq采用共享-特定混合专家架构融合图文特征，macrec在残差量化每层嵌入跨模态对比学习强化码本判别力，eager-llm整合用户行为与外源语义构建统一标识符空间。上述方法均以完整图文模态为前置条件，依靠文本-图像一对一匹配样本完成跨模态对齐，通过多模态特征融合强化语义id表达能力，在无模态缺失的理想数据集上能够显著超越bert4rec、sasrec等传统序列推荐模型，充分验证了多模态量化生成范式的优越性。

3、现有多模态生成式推荐方法均默认物品图文模态完整可用，与真实业务场景严重脱节，数据管道故障、商家信息上传不全、长尾资源匮乏等问题会造成大规模文本/图像模态缺失，并衍生三重无法规避的结构性缺陷。其一，量化不可逆引发语义id不一致，同一物品在完整模态、单模态缺失场景下会映射为完全冲突的码字序列，自回归生成模型无法识别为同一物品，从词元化阶段破坏用户-物品关联稳定性；其二，模态缺失会模糊图文正负样本边界，标准跨模态对比学习失去有效监督信号，出现信号坍塌，码本向量利用率大幅下降，大量物品表征坍缩至少数高频码字，进一步加剧语义id冲突；其三，词元化阶段的表征误差会沿序列生成链路逐级放大，且模态缺失集中于长尾、冷启动物品，最终转化为推荐层面的系统性歧视，模态不全物品曝光、排序持续劣于完整模态商品。现有方法未针对模态缺失设计全链路补偿机制，仅依靠简单零填充处理缺失特征，在高模态缺失比例场景下推荐性能大幅衰减，鲁棒性与推荐公平性存在显著短板

技术实现思路

1、本发明要解决的技术问题是提供一种物品推荐方法、系统、设备及存储介质，提高了物品推荐的准确性以及公平性。

2、一种物品推荐方法，包括：

3、获取用于模型训练的用户近期产生交互的待推荐物品集、所述待推荐物品集对应的二元掩码向量、物品的文本描述、物品图像以及用户的历史交互序列，所述二元掩码向量包括文本掩码向量和图像掩码向量，所述二元掩码向量包括文本掩码向量和图像掩码向量；

4、将所述文本描述和所述物品图像输入预训练的编码器中，得到每个物品的文本嵌入和图像嵌入，所有的文本嵌入构成文本嵌入集，所有的图像嵌入构成图像嵌入集；

5、根据所述文本嵌入、图像嵌入以及二元掩码向量生成待推荐物品集的潜在表示，将所述潜在表示作为第一层的残差；

6、将所述第一层的残差进行聚类，得到可学习码本，根据所述第一层的残差以及所述可学习码本，得到下一层的残差，将下一层的残差进行聚类，得到下一层的可学习码本，不断循环，直至得到第l层的可学习码本；

7、依据每层残差和该层匹配到的可学习码本确定物品对应层的语义id，所有的语义id组成语义id序列，将所述语义id序列以及对应的可学习码本重构，得到每一层的重构嵌入；

8、根据每一层的重构嵌入、每一层的可学习码本、每一层的残差，计算得到重构残差损失；

9、根据每一层的可学习码本、每一层的残差，得到二元掩码向量的二元概率分布；

10、将所述二元掩码向量随机变化，得到随机掩码；

11、根据所述随机掩码、文本嵌入以及图像嵌入，得到随机掩码的随机概率分布；

12、根据所述二元概率分布以及随机概率分布，计算得到kl散度损失；

13、分别对所述文本嵌入集和图像嵌入集进行聚类，得到文本聚类结果和图像聚类结果；

14、根据所述文本聚类结果、二元掩码向量以及图像聚类结果，选择正样本；

15、根据所述正样本、文本嵌入以及图像嵌入，得到文本模态损失，根据所述正样本、文本嵌入以及图像嵌入，得到图像模态损失，将所述图像模态损失和文本模态损失求和，得到模态损失；

16、根据每层的可学习码本，得到待推荐物品集中每个物品的平均分配概率，根据所述平均分配概率计算得到分配损失；

17、将所述用户的历史交互序列映射为sid序列；

18、根据二元概率分布以及每一层可学习码本的码本大小，得到每一层可学习码本的码字的置信度，根据所述置信度计算得到sid嵌入，根据所述sid序列以及sid嵌入，得到每一层置信度损失；

19、将所有的置信度损失、分配损失、模态损失、kl散度损失以及重构残差损失进行加权求和，得到总损失；

20、根据所述总损失对推荐模型进行优化，得到优化推荐模型；

21、将实际的用户交互序列输入优化推荐模型中，得到推荐结果。

22、可选的，所述根据所述文本嵌入、图像嵌入以及二元掩码向量生成待推荐物品集的潜在表示，包括：

23、根据所述文本嵌入、文本掩码向量以及文本缺失嵌入，得到文本缺失嵌入向量；

24、根据所述图像嵌入、图像掩码向量以及图像缺失嵌入，得到图像缺失嵌入向量；

25、将所述文本缺失嵌入向量和图像缺失嵌入向量进行维度统一，得到统一文本嵌入和统一图像嵌入；

26、将所述统一文本嵌入和统一图像嵌入分别通过可学习的门控机制，得到门控文本嵌入和门控图像嵌入；

27、将所述门控文本嵌入和门控图像嵌入融合，得到待推荐物品集的潜在表示。

28、可选的，所述将所述残差进行聚类，得到可学习码本，根据所述第一层的残差以及所述可学习码本，得到下一层的残差，包括：

29、将所述残差进行聚类，得到可学习码本；

30、根据第一层的参数以及可学习码本中的码本向量，得到下一层的残差，表示为：

31、

32、其中，为第层的残差，，为第一层的残差，为潜在表示，为可学习码本中的第个码本向量，为第层物品的索引；

33、

34、其中，为第层的可学习码本，

n为码本中的向量编号，为l2距离的平方。

35、可选的，所述根据每一层的重构嵌入、每一层的可学习码本、每一层的残差，计算得到重构残差损失，包括：

36、根据文本缺失嵌入向量以及图像缺失嵌入向量，得到模态缺失向量；

37、根据所述模态缺失向量、每一层的重构嵌入、每一层的残差以及每一层的可学习码本中的码本向量，计算得到重构残差损失，表示为：

38、

39、其中，为重构残差损失，为模态缺失向量，为重构嵌入，为残差量化的最大层数，为物品的第层的残差，为可学习码本中的第个码本向量，为平衡系数，为梯度截断操作，为重构损失，为码本损失，为编码器损失。

40、可选的，所述根据所述文本聚类结果、二元掩码向量以及图像聚类结果，选择正样本，包括：

41、若二元掩码向量中文本掩码向量和图像掩码向量均缺失，则剔除该物品；

42、若二元掩码向量中文本掩码向量和图像掩码向量均存在，则将统一文本嵌入和统一图像嵌入组成的跨模态嵌入对作为正样本；

43、若二元掩码向量中的图像掩码向量缺失，则根据文本聚类结果从同文本标签且图像可用的物品中选取统一图像嵌入作为代理图像嵌入，将代理图像嵌入和统一文本嵌入作为正样本；

44、若二元掩码向量中的文本掩码向量缺失，则根据图像聚类结果从同图像标签且图像可用的物品中选取统一文本嵌入作为代理文本嵌入，根据代理文本嵌入和统一图像嵌入组成的跨模态嵌入对作为正样本。

45、可选的，根据所述文本正样本、文本嵌入以及图像嵌入，得到文本模态损失，表示为：

46、

47、其中，为文本模态损失，为批次样本集合，为指示函数，为正样本，为代理图像嵌入，为温度系数，为统一文本嵌入，为统一图像嵌入，为图像二元掩码。

48、可选的，所述根据二元概率分布以及码本大小，得到每一层的置信度，表示为：

49、

50、其中，为置信度，为码本大小，

n为码本中的向量编号，为二元概率分布。

51、一种物品推荐系统，其包括：

52、数据获取模块，用于获取用于模型训练的用户近期产生交互的待推荐物品集、所述待推荐物品集对应的二元掩码向量、物品的文本描述、物品图像以及用户的历史交互序列，所述二元掩码向量包括文本掩码向量和图像掩码向量；

53、嵌入提取模块，用于将所述文本描述和所述物品图像输入预训练的编码器中，得到每个物品的文本嵌入和图像嵌入，所有的文本嵌入构成文本嵌入集，所有的图像嵌入构成图像嵌入集；

54、初始残差构建模块，用于根据所述文本嵌入、图像嵌入以及二元掩码向量生成待推荐物品集的潜在表示，将所述潜在表示作为第一层的残差；

55、分层码本构建模块，用于将所述第一层的残差进行聚类，得到可学习码本，根据所述第一层的残差以及所述可学习码本，得到下一层的残差，将下一层的残差进行聚类，得到下一层的可学习码本，不断循环，直至得到第l层的可学习码本；

56、嵌入重构模块，用于依据每层残差和该层匹配到的可学习码本确定物品对应层的语义id，所有的语义id组成语义id序列，将所述语义id序列以及对应的可学习码本重构，得到每一层的重构嵌入；

57、重构残差损失计算模块，用于根据每一层的重构嵌入、每一层的可学习码本、每一层的残差，计算得到重构残差损失；

58、二元概率求解模块，用于根据每一层的可学习码本、每一层的残差，得到二元掩码向量的二元概率分布；

59、随机掩码生成模块，用于将所述二元掩码向量随机变化，得到随机掩码；

60、随机概率求解模块，用于根据所述随机掩码、文本嵌入以及图像嵌入，得到随机掩码的随机概率分布；

61、kl损失计算模块，用于根据所述二元概率分布以及随机概率分布，计算得到kl散度损失；

62、模态聚类模块，用于分别对所述文本嵌入集和图像嵌入集进行聚类，得到文本聚类结果和图像聚类结果；

63、正样本选择模块，用于根据所述文本聚类结果、二元掩码向量以及图像聚类结果，选择正样本；

64、模态损失计算模块，用于根据所述正样本、文本嵌入以及图像嵌入，得到文本模态损失，根据所述正样本、文本嵌入以及图像嵌入，得到图像模态损失，将所述图像模态损失和文本模态损失求和，得到模态损失；

65、分配损失计算模块，用于根据每层的可学习码本，得到待推荐物品集中每个物品的平均分配概率，根据所述平均分配概率计算得到分配损失；

66、序列转换模块，用于将所述用户的历史交互序列映射为sid序列；

67、置信度损失计算模块，用于根据二元概率分布以及每一层可学习码本的码本大小，得到每一层可学习码本的码字的置信度，根据所述置信度计算得到sid嵌入，根据所述sid序列以及sid嵌入，得到置信度损失；

68、总损失计算模块，用于将所述置信度损失、分配损失、模态损失、kl散度损失以及重构残差损失进行加权求和，得到总损失；

69、模型训练模块，用于根据所述总损失对推荐模型进行优化，得到优化推荐模型；

70、物品推荐模块，用于将实际的用户交互序列输入优化推荐模型中，得到推荐结果。

71、一种终端设备，包括存储器、处理器，所述存储器储存有能够在处理器上运行的计算机程序，所述处理器加载并执行所述计算机程序时，采用了物品推荐方法。

72、一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，采用了物品推荐方法。

73、本发明的有益效果是：

74、1.常规图文对比学习依赖物品自身图文配对样本，模态缺失时正负样本区分度消失，监督信号退化为噪声，大量物品表征聚集到少数码本向量。moqa基于离线k-means生成文本、图像双维度伪标签，自适应选用同标签跨物品样本作为代理正样本，补齐缺失场景下的对比监督信号；同时增加码本均匀分布约束，提升全部码字的利用率。消融结果显示，去除伪标签对比与码本防坍塌约束后，推荐指标明显下降，有效避免表征坍缩，强化多模态语义对齐效果。

75、2、依托可学习缺失嵌入、门控融合机制与跨组合一致性正则这一发明点，摒弃传统零填充处理缺失模态的缺陷，让同一物品在文本缺失、图像缺失、图文完整等任意模态组合下，都能生成高度一致的语义id序列，从根源消除模态变化引发的物品表征漂移，保证用户历史交互序列建模的连续性，为生成式推荐提供稳定可靠的离散语义基础。提高了推荐的准确性。

76、3、提出了置信度控制的公平推荐器，将词元化阶段的不确定性显式化为置信度信号，通过置信度加权序列生成训练和公平性约束的束搜索解码，从训练和推断两端阻断误差级联并改善缺失模态及长尾物品的推荐公平性。