一种企业互联网短视频互动信息搜索方法与流程

摘要: 本发明涉及短视频信息检索,具体涉及一种企业互联网短视频互动信息搜索方法,属于企业互联网信息检索及人工智能语义分析技术范畴。背景技术:1、短视频平台通常对弹幕、评...
一种企业互联网短视频互动信息搜索方法与流程

本发明涉及短视频信息检索,具体涉及一种企业互联网短视频互动信息搜索方法,属于企业互联网信息检索及人工智能语义分析技术范畴。

背景技术:

1、短视频平台通常对弹幕、评论等互动文本建立倒排索引,用户输入关键词后,系统通过关键词匹配以及基于点赞数、评论数等协同过滤特征的排序模型返回搜索结果,推荐系统的排序环节普遍高度依赖历史行为数据的丰富程度,现有反作弊技术通常部署于内容发布后的审核环节,通过规则引擎或分类模型对已产生的评论进行事后标记与删除处理。

2、与本发明最接近的现有技术方案为一种基于关键词匹配与协同过滤特征融合的短视频互动信息检索排序方法,该方法对短视频的弹幕、评论文本进行分词处理并建立倒排索引,接收用户查询请求后通过关键词匹配从倒排索引中召回候选互动信息及其所属视频,基于候选视频的历史点赞数、评论数、播放完成率等协同过滤特征计算排序得分并按排序得分降序返回搜索结果列表,对于被平台内容审核系统标记为异常的评论账号所发布的互动信息,在离线审核周期结束后从索引库中删除。

3、上述现有技术方案存在如下不足:其一,关键词匹配召回模块仅进行表层文本匹配,未对互动文本进行跨域语义理解,当互动文本存在反讽、褒义贬用等特殊口语表达时,匹配结果与用户真实检索意图之间存在语义鸿沟,导致检索准确率较低,其二,排序模块高度依赖点赞数、评论数等协同过滤特征,企业长尾专业短视频天然存在历史行为数据稀疏的问题,该类视频即使内容语义质量优良,也会因缺乏行为反馈而在排序中被系统性压制,形成曝光不公,其三,反作弊机制部署于内容发布后的离线审核环节,存在明显的时间滞后性,虚假刷量、水军评论等噪声信号在审核完成之前已参与检索排序环节的打分计算,导致搜索结果的客观性与可信度在审核周期内持续受到污染。

技术实现思路

1、本发明要解决的技术问题是:现有企业互联网短视频互动信息搜索方法中,关键词匹配缺乏跨域语义理解能力,导致口语化互动文本与企业结构化专业知识之间存在语义鸿沟,排序环节高度依赖历史行为数据,导致长尾企业短视频因数据稀疏而曝光不公,反作弊机制部署于事后审核环节,导致虚假互动信号在审核完成前已污染检索排序结果。

2、为解决上述技术问题,本发明提供一种企业互联网短视频互动信息搜索方法,包括:

3、采集短视频对应的互动信息以及所述互动信息对应的发送时间戳、发送账号标识和用户历史行为数据,所述互动信息包括弹幕文本和评论文本;

4、根据所述发送时间戳、发送账号标识、用户历史行为数据以及互动信息的文本内容构建异构图,所述异构图包括用户节点、视频节点和互动信息节点,将所述异构图输入图注意力网络进行多层邻居节点信息聚合,得到每条互动信息的真实性可信度分数;

5、将所述真实性可信度分数与预设阈值进行比较,对真实性可信度分数低于所述预设阈值的互动信息,根据所述真实性可信度分数计算降权后的检索排序贡献权重,将所述降权后的检索排序贡献权重用于检索索引构建阶段和排序阶段;

6、将经真实性可信度分数过滤后的互动信息的文本内容进行语义嵌入,得到互动文本语义嵌入向量,通过预先基于对比学习训练得到的跨域语义映射矩阵,将所述互动文本语义嵌入向量映射至企业知识图谱语义空间,得到映射向量,通过近邻搜索算法在所述企业知识图谱语义空间中确定与所述映射向量的相似度满足预设相似度条件的知识图谱实体,作为与所述互动信息对齐的知识图谱实体;

7、根据所述互动信息的发送时间戳与对应短视频的音频转录文本按时间轴切分后得到的时间片段的对齐关系,将所述对齐的知识图谱实体以及互动信息的语义特征绑定至对应的短视频时间片段,生成时间片段、知识图谱实体和互动语义特征相互关联的三元组,作为检索索引单元;

8、判断目标短视频是否为历史行为数据稀疏的长尾短视频,若是,则计算所述目标短视频的多模态内容表示向量与关联的企业知识图谱实体语义向量之间的相似度,得到语义质量基准分,获取所述目标短视频已产生的真实性可信度分数高于所述预设阈值的互动信息的语义向量与对齐的知识图谱实体语义向量之间的相似度均值,得到增量置信分,根据所述目标短视频已产生的真实性可信度分数高于所述预设阈值的互动信息的数量,计算基准分与增量置信分的动态融合权重,根据所述动态融合权重对所述语义质量基准分和所述增量置信分进行加权求和,得到所述目标短视频的排序得分;

9、接收企业用户的自然语言查询请求,根据所述检索索引单元以及包括所述排序得分的排序列表,返回与所述自然语言查询请求匹配的片段级检索结果。

10、本发明的有益效果为:

11、1.通过图注意力网络对互动信息进行实时真实性甄别,并在检索索引构建阶段与排序阶段对低可信度互动信息进行主动降权,相较于现有事后审核机制,能够在检索环节从源头抑制虚假刷量、水军评论等噪声信号对排序结果的污染,提升搜索结果的客观性与可信度;

12、2.通过对比学习训练的跨域语义映射矩阵结合语用意图微调后的语言模型编码器,能够识别反讽、褒义贬用等特殊口语表达并将其精准对齐至企业知识图谱实体,同时借助时间轴对齐关系实现细粒度时间片段级索引,缩小口语化互动文本与企业结构化专业知识之间的语义鸿沟,提升检索结果的细粒度可用性;

13、3.通过融合内容语义基准分与稀疏高可信度互动信号增量置信分的动态加权排序机制,使长尾企业短视频在历史行为数据稀疏阶段仍能依据内容语义质量获得公平排序机会,并随真实互动信号的积累逐步过渡为互动信号主导,缓解长尾视频曝光不公问题;

14、4.真实性可信度分数在检索降权、语义对齐输入过滤及长尾冷启动增量置信分计算三个环节之间贯通复用,形成跨模块协同的技术闭环,提升系统整体的一致性与工程效率。

1.一种企业互联网短视频互动信息搜索方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,构建所述异构图时,为每个互动信息节点提取初始特征向量,所述初始特征向量融合时空分布特征、文本语义特征和用户历史行为特征,所述时空分布特征包括互动信息的发送时刻与所属短视频发布时刻的时间差、同一发送账号相邻两次发送互动信息的时间间隔统计量,所述文本语义特征为通过预训练语言模型对互动信息的文本内容进行编码得到的语义向量,所述用户历史行为特征包括发送账号的注册时长、历史发帖频率和历史互动内容多样性熵。

3.根据权利要求2所述的方法,其特征在于,所述图注意力网络中,第层节点的特征通过如下方式更新:

4.根据权利要求1所述的方法,其特征在于,所述降权后的检索排序贡献权重通过如下方式计算:

5.根据权利要求1所述的方法,其特征在于,所述跨域语义映射矩阵通过如下方式训练:将同一时间片段内语义相关的互动信息文本与企业知识图谱实体组成正样本对,将随机采样的语义不相关的互动信息文本与知识图谱实体组成负样本对,基于所述正样本对和负样本对,通过对比学习损失函数训练所述跨域语义映射矩阵,所述对比学习损失函数为:

6.根据权利要求1所述的方法,其特征在于,得到所述互动文本语义嵌入向量之前,还包括:采用标注有情感极性和语用意图标签的样本数据集,对语义嵌入所使用的语言模型编码器进行监督微调,所述语用意图标签包括反讽表达类型标签和褒义贬用表达类型标签,使经微调后的语言模型编码器输出的语义嵌入向量体现经语用意图校正后的语义。

7.根据权利要求1所述的方法,其特征在于,所述语义质量基准分通过如下方式计算:

8.根据权利要求7所述的方法,其特征在于,所述动态融合权重通过如下方式计算:

9.根据权利要求1所述的方法,其特征在于,所述真实性可信度分数同时用于计算所述降权后的检索排序贡献权重、作为语义嵌入前的互动信息过滤依据以及作为所述增量置信分计算中的加权系数,实现真实性甄别结果在检索降权、语义对齐输入过滤和长尾冷启动增量置信分计算三个环节之间的复用。

10.根据权利要求1所述的方法,其特征在于,所述图注意力网络替换为基于transformer的序列自注意力模型,将同一发送账号的历史互动信息序列和同一短视频的互动信息序列分别编码为序列特征,通过自注意力机制捕捉时序异常模式,并结合文本语义特征进行融合分类,得到所述真实性可信度分数。