一种建模历史相邻查询变化的会话式检索方法与流程

技术特征：
1.一种建模历史相邻查询变化的会话式检索方法，其特征在于：方法通过四个模块：词权重计算模块、基于表示的匹配模块、词级别的交互模块、文档分数计算模块构成，所述词权重计算模块建模历史相邻查询的变化关系，计算出三种词权重，并利用这三种词权重进行查询变化分类，将所述词权重计算模块的结果用于基于表示的匹配模块，从而将候选文档与会话上下文进行基于表示的匹配，同时词权重也用于词级别的交互模块，用于进行词级别的细粒度交互，分别得到基于表示的匹配与细粒度交互分数，随后通过所述文档分数计算模块的一个全连接层，计算文档分数用于搜索引擎的文档排序，最后使用多任务学习的策略同时对候选文档排序任务与查询变化分类任务进行训练。2.如权利要求1所述的一种建模历史相邻查询变化的会话式检索方法，该方法用于解决候选文档排序任务，其特征在于：所述词权重计算模块的具体实现方式为：对于每个查询或者文档中的词，通过transformers计算每个词包含上下文的语义表示：个词包含上下文的语义表示：其中e
q
和e
d
分别是查询和文档中词的初始词向量，通过fasttext训练得到，e
p
是位置编码，trm是transformers模型，对于两个相邻的历史查询q
i-1
和q
i
，利用查询变化建模单元通过三种词权重来衡量它们之间的变化关系，分别是q
i-1
中每个词的移除权重q
i
中每个词的添加权重和保留权重所述查询变化建模单元输入除了前一个查询和后一个查询之外，还包括前一个查询对应的用户满意点击文档，即基于这三种不同类型的词权重，可以获得对应的三种查询表示，分别是以及这三种查询表示以及两个查询对应的原始词向量表示作为输入，通过查询变化分类器来预测这一对相邻查询对应的变化类型：3.如权利要求2所述的一种建模历史相邻查询变化的会话式检索方法，其特征在于：所述基于表示的匹配模块在获取了三种词权重之后，首先使用一种基于表示的匹配方法，来衡量候选文档与会话上下文之间的关联程度，在三种词权重获取三种查询表示的方法的基础上，额外引入原始词向量表示获取的查询表示对于以上四种查询表示，分别使用transformer对整个查询进行建模，具体地：通过transformer将每个查询的表示之间互相交互，选择最后一个查询对应的表示作为整个查询序列的语义表示，类似地可以获取其他三种类型的表示作为整个查询序列的语义表示，类似地可以获取其他三种类型的表示作为整个查询序列的语义表示，类似地可以获取其他三种类型的表示
将这四个表示拼接在一起，通过一个全连接层，即可获取整个会话的语义表示将该表示与候选文档的表示计算相似度即可得到基于表示的匹配得分s
rep
。4.如权利要求3所述的一种建模历史相邻查询变化的会话式检索方法，其特征在于：所述词级别的交互模块设计一个attentive kernel pooling，利用三种词权重来提取三种类型的交互特征：型的交互特征：类似地，可以通过另外两种词权重获取另外两种交互特征和和和并使用普通的kernel pooling获取不加权重的交互特征pooling获取不加权重的交互特征将这四类匹配特征分别通过全连接层获得四类交互分数:将这四类匹配特征分别通过全连接层获得四类交互分数:通过注意力机制来计算每一个历史查询的权重，该权重需要根据历史查询与当前查询之间的关联程度来计算，以其中一类权重为例：其中d为隐含层相向量的维度。用作为每个查询的权重，将每个查询得到的交互分数加权求和，得到一个综合的交互分数采用类似的方式，可以得到另外三种综合交互分数s
dd
,s
rt
,s
o
:5.如权利要求4所述的一种建模历史相邻查询变化的会话式检索方法，其特征在于：所述文档分数计算模块综合之前得到的五个分数s
rep
,s
rm
,s
ad
,s
rt
,s
o
，以及两个额外的分数s
ad
和s
f
，将这些分数拼接在一起通过一个全连接层即得到最后的文档得分r(d|q)用于排序，其中s
ad
是通过knrm模型计算得到的当前查询与候选文档的匹配得分，s
f
是通过相关的统计特征经过全连接层得到的分数。6.如权利要求5所述的一种建模历史相邻查询变化的会话式检索方法，其特征在于：所述查询变化建模单元对于连续的两个查询q
i
和q
i-1
，计算三种词权重来描述这两个查询之间的变化关系，具体地，首先计算q
i
中词的保留权重，将q
i-1
中的词和d
i-1
中的词的表示连接成一个整体的序列随后计算查询q
i
中的每个词相比于序列h中每个词的注意力权重：
随后对这个权重进行标准化即得到词的保留权重在计算q
i
中词的添加权重时，与保留权重的计算方式相同，同样计算得到每个词的注意力权重力权重但是由于添加的词和之前的词相似度低，所以在标准化之前需要加一个负号：计算q
i-1
中词的移除权重时，只需要考虑q
i-1
与q
i
的区别，所以再计算q
i-1
中每个词的注意力权重时只需要考虑与q
i
中词的关联，即以为查询q
i-1
的表示：随后标准化的方式与添加权重的方式相同，得到词的移除权重：随后标准化的方式与添加权重的方式相同，得到词的移除权重：7.如权利要求6所述的一种建模历史相邻查询变化的会话式检索方法，其特征在于：所述查询变化分类器将查询变化分成四类：generalization,exploitation,exploration和new task，其中generalization表示后一个查询比前一个查询更泛化，exploitation表示后一个查询比前一个查询更具体，exploration表示后一个查询探讨和前一个查询一样的话题，但是属于不同的子话题，new task表示后一个查询与前一个查询探讨完全不同的话题，通过比对后一个查询与前一个查询移除，添加和保留的部分信息，即可对查询变化进行分类；将前一个查询的移除表示与原始表示作对比得到移除信息表示分类；将前一个查询的移除表示与原始表示作对比得到移除信息表示类似地，将后一个查询的添加和保留表示与原始表示作对比，得到将这三个表示拼接在一起，通过一个全连接层，得到预测的四个变化类别的概率分布。8.如权利要求7所述的一种建模历史相邻查询变化的会话式检索方法，其特征在于：所述attentive kernel pooling具体为：计算得到一个查询与文档词的相似度矩阵m之后，通过k个核从m上提取匹配特征f＝{k1(m),
…
,k
k
(m)}:其中μ
k
和σ
k
是核池化的参数，β
i,k
表示查询中第i个词在第k个核对应的权重，其计算方式如下：整个过程被记作f＝attentive_kernel_pooling(q,d,w)。9.如权利要求8所述的一种建模历史相邻查询变化的会话式检索方法，其特征在于：所
述候选文档排序任务训练过程采用pairwise的方式，损失函数的设计如下：其中r(d|q)是对r(d|q,s)的简写，s包含训练集中所有的会话，包含查询q对应的所有的点击与未点击的文档，其中d

表示点击的文档，d-表示未点击的文档；所述在查询变化分类任务使用多分类问题中常用的交叉熵损失函数：两个任务的损失函数通过加权和的方式得到一个总体的损失函数。

技术总结
本发明通过网络搜索技术的方法，实现了一种建模历史相邻查询变化的会话式检索方法。方法通过四个模块：词权重计算模块、基于表示的匹配模块、词级别的交互模块、文档分数计算模块构成，所述词权重计算模块建模历史相邻查询的变化关系，计算出三种词权重，并利用这三种词权重进行查询变化分类，将所述词权重计算模块的结果分别发送至所述基于表示的匹配模块将候选文档与会话上下文进行基于表示的匹配，以及所述词级别的交互模块进行词级别的交互，分别得到匹配与交互分数，最后通过所述文档分数计算模块的一个全连接层计算分数。数计算模块的一个全连接层计算分数。数计算模块的一个全连接层计算分数。


技术研发人员：窦志成 文继荣 左笑晨
受保护的技术使用者：中国人民大学
技术研发日：2021.11.09
技术公布日：2022/2/8