一种基于内容与兴趣学习的短视频推荐方法及装置

技术特征：
1.一种基于内容与兴趣学习的短视频推荐方法，其特征在于，所述方法包括：构建用户行为序列，从用户行为序列中发掘用户兴趣特征；将短视频的基本信息通过嵌入层将高维独热编码特征映射为低维特征向量，用于发掘短视频特征；关注特定模态的跨模态多头注意力网络增强图像模态的特征，并引导短视频特征的学习；通过引导用户特征学习的时序兴趣提取网络引导用户兴趣特征学习；通过上述学习的短视频特征和用户兴趣特征经过点击率预测网络预测用户点击短视频的概率，基于预测的概率对短视频进行推荐。2.根据权利要求1所述的一种基于内容与兴趣学习的短视频推荐方法，其特征在于，所述跨模态多头注意力网络为：用于学习模态内的自注意力特征和学习模态间的跨模态注意力特征；在非线性变换层采用输入的短视频特征引导短视频特征的学习；将多模态特征作为输入，x
m
是任意多种模态，d
m
是模态m的特征维度，m∈{v，a，t}分别代表短视频的图像特征、声音特征和文本特征；将每个模态都分成n块对这些模态块做线性变换，映射到相同的维度；在变换后，对相应的特征做了位置编码，以保留各个模态内的空间位置信息，最终得到gfct的输入gfct的输入其中，模态m的位置编码，是模态m第i块特征向量，是vit中的类别标记向量，c为gfct输入的特征维度，fc代表全连接层。3.根据权利要求2所述的一种基于内容与兴趣学习的短视频推荐方法，其特征在于，所述跨模态多头注意力网络包括：关注特定模态的多头自注意力模块，所述多头自注意力模块从自身角度学习每个模态内的特征块之间的联系：其中，l＝1，2，
…
，l表示fct模块第l层，l表示一种l层fct模块，第一层的输入为，l表示fct模块第l层，l表示一种l层fct模块，第一层的输入为表示第l层输出的模态m内特征表示，msa表示多头自注意力机制；表示第l层输出的模态m内特征表示，msa表示多头自注意力机制；其中，分别表示第l层视觉模态v与文本模态t，声音模态a的跨模态交互特征，c代表特征的维度，n代表特征长度；这两种交互特征用于对图像特征的增强，以增加视觉信息的表达；
其中，表示第l层增强视觉特征；其中，代表经过fmca的声音特征，代表经过fmca的文本特征。4.根据权利要求1所述的一种基于内容与兴趣学习的短视频推荐方法，其特征在于，所述方法还包括：提出一引导特征学习的gmlp，gmlp输入是经过fmca模块的三种模态上一层的短视频内容特征上一层的短视频内容特征其中，gfct(
·
)代表能够引导短视频特征学习同时关注特定模态的跨模态多头注意力网络，代表cfct的第l层模态m的输出特征，代表第l层内容特征，代表第l层短视频内容特征，代表第l层文本特征，代表第l层声音特征，代表增强后的视频特征。5.根据权利要求4所述的一种基于内容与兴趣学习的短视频推荐方法，其特征在于，所述：述：其中，w
i
代表学习参数；b代表偏置。6.根据权利要求1所述的一种基于内容与兴趣学习的短视频推荐方法，其特征在于，所述引导用户特征学习的时序兴趣提取网络为：s

＝gtin(s，e
video
，e
u
)其中，s＝{s1，
…
s
t
，
…
，s
t
}代表用户行为序列特征，gtin(
·
)代表引导用户特征学习的时序兴趣提取网络，s
τ
代表t时刻用户行为特征，e
video
表示当前视频embedding特征，e
u
表示用户的embedding特征，s

为用户对当前视频的兴趣特征。7.根据权利要求6所述的一种基于内容与兴趣学习的短视频推荐方法，其特征在于，提取每条历史视频的兴趣特征s
t
，和当前点击视频的兴趣特征s
τ
：s
t
＝match(e
video，t
，e
u
)s
τ
＝match(e
video
，e
u
)其中，e
video，t
表示历史点击过的t时刻的视频embedding特征，s
τ
表示用户与当前视频构建的兴趣特征，match为注意力匹配机制：建的兴趣特征，match为注意力匹配机制：其中，similary(γ
k
，β)为第k个激活权重，γ
k
代表第k个特征，w
k
代表可学习参数，β可为兴趣特征也可为用户id特征；match(γ，β)为最终匹配的特征，利用lstm提取用户是高层次的时间兴趣特征：[h1，
…
，h
t
，
…
，h
t
]＝lstm([s1，s2，
…
，s
t
])
其中，h
t
代表t时刻对应构建的历史兴趣，s
t
代表第t个用户行为特征，利用match网络对历史兴趣对建模，获得用户对当前视频最终的兴趣特征。8.一种基于内容与兴趣学习的短视频推荐装置，其特征在于，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行权利要求1-7中的任一项所述的方法步骤。

技术总结
本发明公开了一种基于内容与兴趣学习的短视频推荐方法及装置，方法包括：构建用户行为序列，从用户行为序列中发掘用户兴趣特征；将短视频的基本信息通过嵌入层将高维独热编码特征映射为低维特征向量，用于发掘短视频特征；关注特定模态的跨模态多头注意力网络增强图像模态的特征，并引导短视频特征的学习；通过引导用户特征学习的时序兴趣提取网络引导用户兴趣特征学习；通过上述学习的短视频特征和用户兴趣特征经过点击率预测网络预测用户点击短视频的概率，基于预测的概率对短视频进行推荐。装置包括：处理器和存储器。本发明利用一种能够引导短视频特征学习，同时关注特定模态的跨模态多头注意力网络实现了短视频多模态内容特征的挖掘利用，同时对短视频特征学习进行引导。进行引导。进行引导。


技术研发人员：张静 刘先燚 王骥 井佩光 苏育挺
受保护的技术使用者：天津大学
技术研发日：2022.08.22
技术公布日：2022/11/11