一种数据检索方法、装置、存储介质及电子设备与流程

摘要: 本申请涉及数据处理,具体而言,涉及一种数据检索方法、装置、存储介质及电子设备。背景技术:1、随着科学信息化的不断发展,数据往往会分散存储在不同存储模态的数据库中...
一种数据检索方法、装置、存储介质及电子设备与流程

本申请涉及数据处理,具体而言,涉及一种数据检索方法、装置、存储介质及电子设备。

背景技术:

1、随着科学信息化的不断发展,数据往往会分散存储在不同存储模态的数据库中,以满足对不同类型的数据进行存储与处理,例如向量存储模态、键对值存储模态、关系图存储模态等。

2、相关技术中,在用户根据需求对数据进行检索时,通常用户需要向不同的存储模态分别发起检索,以在不同存储模态的数据库中获取到所有与需求相关的数据,以便为用户在后续进行查阅分析时,提供完整的数据基础。

3、然而,由于不同存储模态的数据库中所存储的数据在结构、表现形式和语义上存在差异,导致用户在获取到相关数据之后,还需要自身对这些相关数据进行二次验证,致使检索复杂度大幅提升,还容易因人工理解偏差导致数据遗漏或错误隐患。

技术实现思路

1、为解决上述技术问题,本申请的实施例提供了一种数据检索方法、装置、存储介质及电子设备。

2、根据本申请实施例的一个方面,提供了一种数据检索方法,包括:响应于查询指令从所述不同存储模态对应的数据库中分别检索出与所述查询指令相关的候选信息单元,以形成候选信息单元序列;从所述候选信息单元序列中确定出置信度满足预设置信条件的目标信息单元;基于所述目标信息单元的唯一标识在每一所述存储模态的数据库中确定出与所述唯一标识相关的目标信息内容,以根据所述目标信息内容输出所述查询指令对应的查询结果。

3、通过上述实施例,在检索过程中,通过响应于查询指令从不同存储模态对应的数据库中分别检索出与查询指令相关的候选信息单元,以形成候选信息单元序列,然后从候选信息单元序列中确定出置信度满足预设置信条件的目标信息单元,最后基于目标信息单元的唯一标识在每一存储模态的数据库中确定出与唯一标识相关的目标信息内容,以根据目标信息内容输出查询指令对应的查询结果,从而将分散在不同存储模态中的信息融合为一致的查询结果,使得用户在获取查询结果后无需再进行二次验证,大幅降低了用户的检索复杂度,消除了因人工比对理解偏差导致的数据遗漏或错误隐患,实现了对多模态数据的高效查询。

4、在本申请的一些实施例中,基于前述方案,响应于查询指令从所述不同存储模态对应的数据库中分别检索出与所述查询指令相关的候选信息单元,以形成候选信息单元序列,包括:针对每一所述存储模态,基于所述查询指令生成所述存储模态对应的检索命令;通过所述检索命令在所述存储模态对应的数据库中检索相关信息单元,作为候选信息单元。

5、通过上述实施例,针对每一存储模态均基于查询指令生成存储模态对应的检索命令,然后再通过各自的检索命令在各自存储模态对应的数据库中检索相关信息单元作为候选信息单元,以达到确定不同存储模态下与查询指令相关的信息单元的目的。

6、在本申请的一些实施例中,基于前述方案,不同存储模态包括向量存储模态、键值对存储模态和关系图存储模态。

7、在本申请的一些实施例中,基于前述方案,基于所述查询指令生成所述存储模态对应的检索命令,包括:在所述向量存储模态下,获取所述查询指令对应的查询指令向量,并基于所述查询指令向量生成所述查询指令在所述向量存储模态下对应的检索命令;在所述键值对存储模态下,获取所述查询指令中的查询指令键,并基于所述查询指令键生成所述查询指令在所述键值对存储模态下对应的检索命令;在所述关系图存储模态下,获取所述查询指令对应的查询指令节点和查询指令关系,并基于所述查询指令节点和所述查询指令关系生成所述查询指令在所述关系图存储模态下对应的检索命令。

8、通过上述实施例,以生成查询指令在不同存储模态下的检索命令。

9、在本申请的一些实施例中,基于前述方案,从所述候选信息单元序列中确定出置信度满足预设置信条件的目标信息单元,包括:确定所述候选信息单元序列中每一所述候选信息单元对应的置信度;从所述候选信息单元序列中确定出所述置信度达到所述预设置信条件中置信度阈值的候选信息单元,作为所述目标信息单元。

10、通过上述实施例,以在候选信息单元序列中筛选出满足检索精度需求的候选信息单元,作为后续用于输出查询结果的目标信息单元,从而提升整体检索精度。

11、在本申请的一些实施例中,基于前述方案,确定所述候选信息单元序列中每一所述候选信息单元对应的置信度,包括:确定所述候选信息单元位于每一所述存储模态中的置信分值;确定所述候选信息单元位于每一所述存储模态中的权重分值;根据所述置信分值与所述权重分值确定所述候选信息单元的置信度。

12、通过上述实施例,以计算得到每一候选信息单元各自的置信度。

13、在本申请的一些实施例中,基于前述方案,该数据检索方法还包括:获取待存储长文档对应的多个token片段;配置每一所述token片段各自对应的唯一标识,并基于所述唯一标识生成每一所述token片段在不同存储模态下的待存储信息单元;将每一所述token片段在不同存储模态下的待存储信息单元分别存储在不同存储模态所对应的数据库中,以对所述待存储长文档进行存储。

14、通过上述实施例,以使得不同存储模态下的每一信息单元均能够配置各自对应的唯一标识,从而便于后续根据唯一标识实现跨存储模态的统一管理与检索。

15、根据本申请实施例的一个方面,提供了一种数据检索装置,包括:检索模块,配置为响应于查询指令从所述不同存储模态对应的数据库中分别检索出与所述查询指令相关的候选信息单元,以形成候选信息单元序列;筛选模块,配置为从所述候选信息单元序列中确定出置信度满足预设置信条件的目标信息单元;输出模块,配置为基于所述目标信息单元的唯一标识在每一所述存储模态的数据库中确定出与所述唯一标识相关的目标信息内容,以根据所述目标信息内容输出所述查询指令对应的查询结果。

16、根据本申请实施例的一个方面,提供了一种计算机可读存储介质,其上存储有计算机可读指令,当所述计算机可读指令被计算机的处理器执行时,使计算机执行如上述实施例中所述的数据检索方法。

17、根据本申请实施例的一个方面,提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述电子设备实现如上述实施例中所述的数据检索方法。

1.一种数据检索方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述响应于查询指令从不同存储模态对应的数据库中分别检索出与所述查询指令相关的候选信息单元,以形成候选信息单元序列,包括:

3.根据权利要求2所述的方法,其特征在于,所述不同存储模态包括向量存储模态、键值对存储模态和关系图存储模态。

4.根据权利要求3所述的方法,其特征在于,所述基于所述查询指令生成所述存储模态对应的检索命令,包括:

5.根据权利要求1所述的方法,其特征在于,所述从所述候选信息单元序列中确定出置信度满足预设置信条件的目标信息单元,包括:

6.根据权利要求5所述的方法,其特征在于,所述确定所述候选信息单元序列中每一所述候选信息单元对应的置信度,包括:

7.根据权利要求1所述的方法,其特征在于,所述方法还包括:

8.一种数据检索装置,其特征在于,包括:

9.一种计算机可读存储介质,其特征在于,其上存储有计算机可读指令,当所述计算机可读指令被计算机的处理器执行时,使计算机执行如权利要求1至7中的任一项所述的数据检索方法。

10.一种电子设备,其特征在于,包括: