一种基于倒排索引的语义检索方法、系统、设备及存储介质与流程

摘要: 本发明涉及信息检索,具体提供一种基于倒排索引的语义检索方法、系统、设备及存储介质。背景技术:1、信息检索是计算机科学的核心问题之一。目前主流的检索技术主要分为两...
一种基于倒排索引的语义检索方法、系统、设备及存储介质与流程

本发明涉及信息检索,具体提供一种基于倒排索引的语义检索方法、系统、设备及存储介质。

背景技术:

1、信息检索是计算机科学的核心问题之一。目前主流的检索技术主要分为两大类:

2、基于传统倒排索引的检索: 这是现代搜索引擎的基石。其核心思想是建立一个从“关键词”到“包含该关键词的文档列表”的映射。例如,索引项“苹果”指向所有包含“苹果”二字的文档。这种方法的优点是检索速度极快,构建和维护成本相对较低。然而,其致命缺陷在于无法理解语义,只能进行精确的字面匹配。例如,用户搜索“笔记本”,系统无法返回包含“laptop”或“手提电脑”的文档,这种现象被称为“词汇不匹配问题”。

3、基于语义向量的检索: 随着深度学习的发展,以word2vec、glove、bert等模型为代表的语义向量技术被广泛应用于检索。其核心思想是将文本(词、句子、文档)映射为高维空间中的向量,通过计算向量间的余弦相似度等来衡量语义相关性。这种方法的优点是能够深刻理解文本的内在语义,有效解决词汇不匹配问题。但其缺点也十分明显:首先,对海量文档进行实时向量相似度计算的计算开销巨大,响应时间难以满足在线搜索的要求;其次,纯向量检索难以高效利用文本中的结构化信息(如商品的价格、分类、作者等)。

4、为了融合两者的优点,现有技术尝试了混合方案,如“先用倒排索引初筛,再用向量模型重排序”。但这本质上仍是两个分离的步骤,初筛阶段可能已经因为词汇不匹配而丢失了大量相关文档,导致最终召回率受限。

5、因此,如何设计一种检索方法,既能拥有传统倒排索引的高效性,又能具备语义理解的准确性,是当前信息检索领域亟待解决的技术难题。

技术实现思路

1、本发明的技术任务是提供一种基于倒排索引的语义检索方法、系统、设备及存储介质,来解决传统倒排索引因无法理解语义导致召回率低,以及纯语义向量检索计算开销大、难以满足在线服务实时性要求的技术问题。

2、本发明解决其技术问题所采用的技术方案是:

3、一种基于倒排索引的语义检索方法,包括:

4、s1、数据采集与预处理:采集待检索的数据源,所述数据源包括结构化数据、半结构化数据或非结构化数据;对所述数据源进行清洗和格式统一,提取待索引的文本内容,并为每个数据源分配唯一的文档标识;

5、s2、 关键词提取与向量化:对每个文档的文本内容进行关键词提取,并利用预训练语言模型将每个关键词转换为对应的语义向量;

6、s3、 语义关键词分组:将所有文档中提取出的关键词及其对应的语义向量作为输入,通过聚类算法将语义相近的关键词划分至同一个语义簇,为每个语义簇分配唯一的语义组标识,从而建立语义组标识到关键词集合的映射关系;

7、s4、 语义倒排索引构建:遍历每个文档,对所述文档进行关键词提取得到关键词列表,查找列表中每个关键词所属的语义组标识,将当前文档的文档标识添加到对应语义组标识的倒排列表中,最终构建成以语义组标识为索引项的语义倒排索引;

8、s5、 查询处理:接收用户查询,对所述用户查询执行与s1和s2相同的处理,提取查询关键词并转换为查询语义向量,进而根据s3建立的映射关系确定查询关键词对应的查询语义组标识;

9、s6、检索与排序:根据所述查询语义组标识在所述语义倒排索引中进行查找,获取一个或多个候选文档标识列表,对所述列表进行合并和排序,生成最终的检索结果。

10、更优地,所述s1中对结构化数据或半结构化数据的文本化处理包括:提取数据字段,并将字段名和字段值拼接成文本字符串。

11、作为优选,所述s2中关键词提取采用tf-idf算法或textrank算法;所述预训练语言模型为bert模型或word2vec模型。

12、作为优选,所述s3中的聚类算法为k-means算法或dbscan算法。

13、更优地,所述s4中构建的语义倒排索引的结构为:{语义组标识g_i: [文档标识doc_1, 文档标识doc_2, ...]},其中索引项为语义组标识而非单个关键词。

14、更优地,所述s5中对候选文档标识列表进行合并的方式包括取并集或取交集。

15、进一步地,所述s6中的排序步骤进一步包括:结合基于词频的bm25算法和基于向量相似度的余弦相似度算法,对候选文档进行综合评分排序。

16、一种基于倒排索引的语义检索系统,包括:

17、数据采集与预处理模块,用于采集待检索的数据源,所述数据源包括结构化数据、半结构化数据或非结构化数据;对所述数据源进行清洗和格式统一,提取待索引的文本内容,并为每个数据源分配唯一的文档标识;

18、关键词提取与向量化模块,用于对每个文档的文本内容进行关键词提取,并利用预训练语言模型将每个关键词转换为对应的语义向量;

19、语义关键词分组模块,用于将所有文档中提取出的关键词及其对应的语义向量作为输入,通过聚类算法将语义相近的关键词划分至同一个语义簇,为每个语义簇分配唯一的语义组标识,从而建立语义组标识到关键词集合的映射关系;

20、语义倒排索引构建模块,用于遍历每个文档,对该文档进行关键词提取得到关键词列表,查找列表中每个关键词所属的语义组标识,将当前文档的文档标识添加到对应语义组标识的倒排列表中,最终构建成以语义组标识为索引项的语义倒排索引;

21、查询处理模块,用于接收用户查询,对所述用户查询执行与数据采集与预处理模块和关键词提取与向量化模块相同的处理,提取查询关键词并转换为查询语义向量,进而根据语义关键词分组模块建立的映射关系确定查询关键词对应的查询语义组标识;

22、检索与排序模块,用于根据所述查询语义组标识在所述语义倒排索引中进行查找,获取一个或多个候选文档标识列表,对所述列表进行合并和排序,生成最终的检索结果。

23、一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;

24、其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行所述基于语义倒排索引的检索方法。

25、一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现所述的基于语义倒排索引的检索方法。

26、本发明的一种基于倒排索引的语义检索方法、系统、设备及存储介质和现有技术相比,具有以下突出的有益效果:

27、本发明将语义理解能力内建于索引结构中,既保留了传统倒排索引的高效性,又实现了语义检索的准确性,显著提升了检索的召回率和精度,并能有效处理结构化、半结构化和非结构化数据,满足在线服务实时性要求。

1.一种基于倒排索引的语义检索方法,其特征在于,包括:

2.根据权利要求1所述的一种基于倒排索引的语义检索方法,其特征在于,所述s1中对结构化数据或半结构化数据的文本化处理包括:提取数据字段,并将字段名和字段值拼接成文本字符串。

3.根据权利要求1所述的一种基于倒排索引的语义检索方法,其特征在于,所述s2中关键词提取采用tf-idf算法或textrank算法;所述预训练语言模型为bert模型或word2vec模型。

4.根据权利要求1所述的一种基于倒排索引的语义检索方法,其特征在于,所述s3中的聚类算法为k-means算法或dbscan算法。

5.根据权利要求1所述的一种基于倒排索引的语义检索方法,其特征在于,所述s4中构建的语义倒排索引的结构为:{语义组标识g_i: [文档标识doc_1, 文档标识doc_2,...]},其中索引项为语义组标识而非单个关键词。

6.根据权利要求1所述的一种基于倒排索引的语义检索方法,其特征在于,所述s5中对候选文档标识列表进行合并的方式包括取并集或取交集。

7.根据权利要求1所述的一种基于倒排索引的语义检索方法,其特征在于,所述s6中的排序步骤进一步包括:结合基于词频的bm25算法和基于向量相似度的余弦相似度算法,对候选文档进行综合评分排序。

8.一种基于倒排索引的语义检索系统,其特征在于,包括:

9.一种电子设备,其特征在于,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;

10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于语义倒排索引的检索方法。