数据资产智能检索系统和方法、存储介质及计算机程序产品与流程

本技术涉及数据资产检索，具体而言，涉及一种数据资产智能检索系统和方法、存储介质及计算机程序产品。

背景技术：

1、在当前的企业数据管理领域，随着数据资产规模与复杂度的提升，如何从海量数据表中精准定位目标已成为关键挑战，基于自然语言的数据资产检索已成为提升数据使用效率的关键技术。目前，检索增强生成和智能体技术被引入该领域，旨在通过多步骤、分工协作的方式提升检索效果。这些技术尝试通过多个智能体的协作来解析用户任务并执行检索，以期获得更准确的结果。

2、现有技术的检索流程均依赖通用文本向量化方案，未针对结构化数据资产设计专属方法，导致特征断裂，生成的向量无法准确表征资产本质属性，进而影响上层检索匹配效果，从而引发检索精度与召回率协同失效的问题。

3、针对相关技术中，现有数据资产检索方案因缺乏对用户查询意图的定向识别与资产类型感知能力，导致采用统一模型处理所有查询，造成检索结果混杂、精确率低下的问题，尚未提出有效的解决方案。

技术实现思路

1、本技术实施例提供了一种数据资产智能检索系统和方法、存储介质及计算机程序产品，以至少解决现有技术中，现有数据资产检索方案因缺乏对用户查询意图的定向识别与资产类型感知能力，导致采用统一模型处理所有查询，造成检索结果混杂、精确率低下的问题。

2、根据本技术实施例的一个实施例，提供了一种数据资产智能检索系统，包括：用户交互层，用于接收用于查询目标数据资产的自然语言查询请求；智能体协作层，与所述用户交互层连接，用于对所述自然语言查询请求进行意图识别，确定所述目标数据资产的目标资产类型，并根据所述目标资产类型对所述自然语言查询请求进行重写，得到精准检索指令；检索处理层，与所述智能体协作层连接，用于基于自适应双权重混合检索机制响应所述精准检索指令，得到所述目标数据资产对应的检索结果。

3、在一个示例性实施例中，所述智能体协作层，包括：决策代理，通过结构化提示词对所述自然语言查询请求进行意图识别，得到意图识别结果，并将所述意图识别结果发送至所述目标资产类型对应的目标资产代理，其中，所述意图识别结果包括所述目标资产类型，所述智能体协作层包括多个资产代理，所述多个资产代理与多个资产类型一一对应，所述多个资产代理包括所述目标资产代理；所述目标资产代理，与所述决策代理连接，用于通过所述目标资产类型对应的专属提示词模板对所述自然语言查询请求进行深度语义重写，得到所述精准检索指令。

4、在一个示例性实施例中，所述检索处理层，还用于：将所述精准检索指令进行向量化处理，得到稠密向量检索指令和稀疏向量检索指令；根据所述稠密向量检索指令和所述稀疏向量检索指令在向量数据库中进行混合检索，得到k个候选检索结果，其中k为正整数；从所述k个候选检索结果中确定出n个最优检索结果，并将所述n个最优检索结果确定为所述目标数据资产对应的检索结果，其中，n为小于k的正整数。

5、在一个示例性实施例中，所述系统还包括：数据存储层，用于：对数据资产进行特征解析，得到所述数据资产包含的多个特征，其中，所述数据资产包括所述目标数据资产；将所述多个特征分类为重要特征和次要特征；按照预设字符长度对所述数据资产进行特征分块，得到多个数据资产分块，其中，所述多个数据资产分块中的任一数据资产分块的字符长度小于或等于所述预设字符长度，所述任一数据资产分块的数据前缀包括所述重要特征；对所述任一数据资产分块进行向量化处理，得到所述任一数据资产分块的稠密向量和稀疏向量，并将多个所述稠密向量和多个所述稀疏向量存入所述向量数据库，其中，所述稠密向量和所述稀疏向量的维度相同，所述稠密向量用于指示所述数据资产的语义，所述稀疏向量用于指示所述数据资产的关键词，多个所述稠密向量、多个所述稀疏向量与所述多个数据资产分块均一一对应。

6、在一个示例性实施例中，所述检索处理层，还用于：确定第一检索权重，其中，所述第一检索权重包括所述稠密向量检索指令的稠密向量权重和所述稀疏向量检索指令的稀疏向量权重，所述第一检索权重中所述稠密向量权重低于所述稀疏向量权重；根据所述第一检索权重响应所述稠密向量检索指令和所述稀疏向量检索指令，在所述向量数据库中进行混合检索，得到k个第一检索结果；分别计算所述稠密向量检索指令与所述k个第一检索结果的第一稠密向量相似度，得到k个第一稠密向量相似度；确定所述k个第一稠密向量相似度的平均值是否大于或等于预设相似度阈值；在确定所述平均值大于或等于所述预设相似度阈值的情况下，将所述k个第一检索结果确定为所述k个候选检索结果。

7、在一个示例性实施例中，所述检索处理层，还用于：在确定所述平均值小于所述预设相似度阈值的情况下，确定第二检索权重，其中，所述第二检索权重与所述第一检索权重的类别相同，所述第二检索权重中所述稠密向量权重高于所述稀疏向量权重；根据所述第二检索权重响应所述稠密向量检索指令和所述稀疏向量检索指令，在所述向量数据库中进行混合检索，得到k个第二检索结果；将所述k个第二检索结果确定为所述k个候选检索结果。

8、在一个示例性实施例中，所述检索处理层，还用于：分别计算所述稠密向量检索指令与所述k个候选检索结果的第二稠密向量相似度，得到k个第二稠密向量相似度；根据所述k个第二稠密向量相似度对所述k个候选检索结果进行排序，并从排序后的k个候选检索结果中确定出排序靠前的n个最优检索结果，并将所述n个最优检索结果确定为所述目标数据资产对应的检索结果。

9、根据本技术实施例的另一个实施例，还提供了一种数据资产智能检索方法，应用于上述数据资产智能检索系统，包括：接收用于查询目标数据资产的自然语言查询请求；对所述自然语言查询请求进行意图识别，确定所述目标数据资产的目标资产类型，并根据所述目标资产类型对所述自然语言查询请求进行重写，得到精准检索指令；基于自适应双权重混合检索机制响应所述精准检索指令，得到所述目标数据资产对应的检索结果。

10、根据本技术实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述数据资产智能检索方法。

11、根据本技术实施例的又一方面，还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现本技术各个实施例中所述方法的步骤。

12、通过本技术，用户交互层接收用户以自然语言提出的资产查询请求，无需任何结构化字段或关键词约束，直接面向用户的日常表达习惯；智能体协作层解析自然语言查询请求的查询语义，识别目标数据资产的目标资产类型，根据目标资产类型对自然语言查询请求进行重写，得到精准检索指令；检索处理层接收该精准检索指令后启动自适应双权重混合检索机制进行检索，得到目标数据资产对应的检索结果；采用上述方案，本技术构建了从自然语言输入到高精准资产返回的完整智能链路，显著提升非技术人员对复杂数据资产的自助检索效率；从而解决了相关技术中现有数据资产检索方案因缺乏对用户查询意图的定向识别与资产类型感知能力，导致采用统一模型处理所有查询，造成检索结果混杂、精确率低下的问题。