一种自适应偏好分配与语义负监督的多模态推荐方法

本发明涉及推荐系统与多模态信息处理，具体涉及一种自适应偏好分配与语义负监督的多模态推荐方法。

背景技术：

1、推荐系统通过分析用户历史交互行为，从候选物品中筛选与用户兴趣相匹配的内容，能够缓解信息过载问题，广泛应用于内容分发、商品检索和数字媒体服务等场景。随着物品图像、文本描述等内容信息的增长，多模态推荐方法将用户物品交互信息与视觉特征、文本特征相结合，以获得更完整的物品语义表征和用户偏好表征。

2、现有多模态推荐方法通常对所有用户采用统一的视觉特征与文本特征融合方式，或者仅在物品侧进行固定的多模态特征融合。不同用户对视觉外观、文本语义和跨模态共享信息的关注程度存在差异，统一融合方式难以反映用户级别的模态偏好，容易造成用户表征中有效信息被弱化。此外，现有排序训练通常从用户未交互物品中随机采样负样本。随机负样本与用户潜在兴趣之间的语义关联程度较低，提供的排序监督信息有限，不利于学习用户偏好的细粒度边界。物品多模态特征还可能包含冗余或噪声维度，稀疏交互数据中隐含的局部协同关系也未得到充分利用。因此，需要一种能够适应不同用户模态依赖、增强语义排序监督并兼顾特征鲁棒性与协同关系的多模态推荐方法。

技术实现思路

1、本发明的目的在于解决现有多模态推荐方法采用统一模态融合而难以刻画用户个性化模态偏好，以及随机负样本排序监督不足的问题，提供一种自适应偏好分配与语义负监督的多模态推荐方法。为实现上述目的，本发明采用如下技术方案。

2、一种自适应偏好分配与语义负监督的多模态推荐方法，包括如下步骤：

3、步骤s1，获取用户物品交互数据以及物品视觉特征和文本特征，构建用户物品交互图，并对物品视觉特征和文本特征进行特征编码。

4、步骤s2，对用户物品交互图进行图传播，并对编码后的物品多模态特征进行增强，构建视觉语义视图、文本语义视图和共享语义视图，获得用户的视觉语义表征、文本语义表征和共享语义表征以及物品表征。

5、步骤s3，对视觉语义表征、文本语义表征和共享语义表征进行用户自适应模态路由，获得各语义表征对应的个性化融合权重，并根据个性化融合权重得到融合用户表征。

6、步骤s4，根据融合用户表征对用户进行动态社区划分，依据各用户社区的物品交互分布采样未交互物品作为语义负样本。

7、步骤s5，基于用户物品交互数据构建物品稀疏协同视图，获得协同增强信息，并根据掩码后的物品视觉特征和文本特征构建语义一致性约束。

8、步骤s6，根据融合用户表征、物品表征和协同增强信息计算候选物品的融合评分，按照融合评分输出前个推荐物品。

9、与现有技术相比，本发明至少具有如下有益效果。

10、第一，通过用户自适应模态路由为视觉语义、文本语义和共享语义分配用户级别的个性化权重，能够反映不同用户对不同模态信息的差异化依赖，提高用户偏好表征的准确性。

11、第二，第二，通过依据动态用户社区内的物品交互分布采样语义负样本，使训练负样本与目标用户的潜在兴趣具有更高的语义相关性，增强排序监督并提高偏好边界的区分能力。

12、第三，第三，通过稀疏协同视图补充多模态表征中的局部协同关系，并通过掩码语义一致性约束降低视觉特征和文本特征中噪声扰动的影响，提高推荐模型的鲁棒性。

13、第四，第四，通过融合稠密多模态评分和稀疏协同评分，综合利用内容语义和交互行为信息，提高候选物品排序的准确性。

1.一种自适应偏好分配与语义负监督的多模态推荐方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的多模态推荐方法，其特征在于，所述步骤s1和步骤s2包括：将用户和物品作为所述用户物品交互图中的节点，将已观测用户物品交互作为边，通过图传播聚合相邻节点信息，得到用户协同表征和物品协同表征；分别将物品视觉特征和文本特征映射为视觉特征表征和文本特征表征，并基于物品间多模态相似度构建物品邻接关系，对所述视觉特征表征和文本特征表征进行物品端增强；根据所述用户协同表征、物品协同表征和增强后的多模态特征表征生成所述视觉语义表征、文本语义表征、共享语义表征和物品表征。

3.根据权利要求1所述的多模态推荐方法，其特征在于，所述步骤s3包括：将用户的视觉语义表征和文本语义表征分别输入对应的路由网络，得到用于表征视觉语义视图和文本语义视图不确定性的路由参数；基于所述路由参数采用随机棒折分配方式生成视觉语义视图、文本语义视图和共享语义视图的当前分配权重；将所述当前分配权重与用户历史路由记忆进行退火融合，并进行归一化处理，得到所述个性化融合权重；根据所述个性化融合权重对三类语义表征进行加权拼接，得到所述融合用户表征。

4.根据权利要求3所述的多模态推荐方法，其特征在于，所述用户自适应模态路由还包括：在训练阶段对所述路由参数对应的概率分布与预设先验分布之间的差异进行约束，并限制所述差异约束的上界，以避免个性化融合权重集中于单一语义视图；在推荐阶段使用所述概率分布的期望值生成确定性的个性化融合权重。

5.根据权利要求1所述的多模态推荐方法，其特征在于，所述步骤s4包括：对融合用户表征进行混合高斯聚类，得到多个用户社区；针对每个用户社区，统计该用户社区内用户与各物品的交互次数，并对交互次数进行平滑和幂次归一化，得到对应的社区物品采样分布；按照目标用户所属用户社区的社区物品采样分布，从该目标用户未交互物品中采样所述语义负样本；在模型训练过程中周期性更新所述用户社区和社区物品采样分布。

6.根据权利要求1所述的多模态推荐方法，其特征在于，所述步骤s5中构建物品稀疏协同视图包括：根据用户物品交互矩阵计算物品共现关系矩阵，对所述物品共现关系矩阵进行正则化求逆处理，获得物品间稀疏协同矩阵；从正样本物品在所述稀疏协同矩阵中对应的前个协同邻居中选取伪正样本，以构建协同增强排序监督；根据目标用户的历史交互向量与所述稀疏协同矩阵计算稀疏协同评分。

7.根据权利要求1所述的多模态推荐方法，其特征在于，所述步骤s5中构建语义一致性约束包括：按照预设掩码比例分别对物品视觉特征和文本特征进行随机掩码，获得掩码视觉特征和掩码文本特征；将原始物品视觉特征、原始物品文本特征、掩码视觉特征和掩码文本特征分别映射至归一化语义空间；根据同一物品的原始特征表征与掩码特征表征之间的一致性构建所述语义一致性约束。

8.根据权利要求1所述的多模态推荐方法，其特征在于，所述步骤s6包括：根据融合用户表征与物品表征的内积计算稠密多模态评分；将所述稠密多模态评分与所述稀疏协同评分加权融合，得到所述融合评分；在训练阶段，基于正样本物品、随机负样本、语义负样本和伪正样本构建排序损失，并结合所述语义一致性约束和所述路由参数的差异约束进行联合优化；在推荐阶段，按照所述融合评分对候选物品进行排序并输出前个推荐物品。