基于多维数据处理、索引构建与关联检索的数据处理方法

摘要: 本发明涉及数据处理,特别是涉及一种基于多维数据处理、索引构建与关联检索的数据处理方法。背景技术:1、随着信息检索与知识应用技术的发展,通过对专业领域知识进行结构...
基于多维数据处理、索引构建与关联检索的数据处理方法

本发明涉及数据处理,特别是涉及一种基于多维数据处理、索引构建与关联检索的数据处理方法。

背景技术:

1、随着信息检索与知识应用技术的发展,通过对专业领域知识进行结构化处理和索引,并结合用户侧业务数据检索相关知识内容,已成为复杂数据分析和知识应用的重要技术方式。以医疗领域为例,用户一侧通常存在病历、检验、检查、诊断、治疗及病程记录等多来源、多类型且具有明显时间演化特征的业务数据,知识一侧则存在临床指南、专家共识、诊疗规范及专业文献等具有章节层级、专业术语和复杂逻辑关系的知识数据,两侧数据在数据结构、表达方式、组织粒度及语义层级方面存在较大差异。

2、现有检索技术通常采用关键词检索、语义向量检索或二者结合的方式,从知识库中获取与当前输入相关的知识内容。然而,在专业领域中,实际需要获取的目标知识与当前输入之间往往不具有直接的词法对应关系或较高的语义相似度,检索过程主要存在以下问题。

3、第一,专业领域中同一含义通常对应多种表达形式。以医疗领域为例,疾病名称、检查名称、治疗方案、缩写、别名及专业术语的表达形式多样,同一临床含义可能对应不同的表达形式,导致用户侧数据与知识侧内容之间出现词语不匹配或语义错位。即使目标知识与当前实际情况相关,也可能因表达方式不同而无法通过关键词或向量相似度直接召回,造成目标知识不可达。

4、第二,支撑复杂业务处理的有效知识通常并非集中于单一知识内容中,而是分散在不同的章节、知识块甚至不同文档中,各知识内容之间通过专业实体、处理阶段或其他特征形成关联。现有单次检索方式即使能够命中其中一个知识内容,也难以进一步发现与其存在关联的其他知识内容,容易造成所获取知识的关联证据不完整。

5、第三,用户侧数据具有持续变化特征,其当前状态可能随着新增数据而不断变化,而知识侧内容也存在持续更新的情况。采用固定查询条件或一次性检索方式,难以使当前数据状态有效参与检索过程,检索范围难以与当前数据状态相适应。

6、此外,现有技术还可以采用知识图谱等方式建立实体之间的显式关联关系,但知识图谱的构建通常涉及大量实体识别、关系抽取、关系校验及人工审核工作,且需要随专业知识更新持续维护,整体构建及维护成本较高。

7、因此,如何对具有时间演化特征的多来源数据进行多维状态表达,对具有复杂层级结构的知识数据建立有效索引,并在词法表达不一致、语义空间错位及有效知识跨知识内容分布的情况下,提高目标知识的检索覆盖能力和关联完整性,是本领域亟待解决的技术问题。

技术实现思路

1、本发明的目的是提供一种基于多维数据处理、索引构建与关联检索的数据处理方法,可提高跨表达方式及跨知识单元情况下目标知识的检索覆盖能力和关联完整性。

2、为实现上述目的,本发明提供了如下方案:

3、第一方面,本发明提供了一种基于多维数据处理、索引构建与关联检索的数据处理方法,包括:

4、获取第一侧多来源数据,对所述第一侧多来源数据进行时间对齐及事件聚合,得到按时间顺序排列的事件序列;基于所述事件序列提取多个状态层级的语义表征,基于统一标签体系生成第一侧标准标签,并根据所述多个状态层级的语义表征和所述第一侧标准标签生成多维查询集合;

5、获取第二侧知识数据,对所述第二侧知识数据进行层级切分和语义处理,形成多个知识单元;基于所述统一标签体系对所述知识单元进行标注,得到所述知识单元的标签信息;生成从应用所述知识单元的状态、对象或应用情形的角度对所述知识单元进行反向描述的语义扩展信息;提取应用所述知识单元前需确认的事实条件,形成原子前提集合;以及基于知识单元之间的关联关系建立关联索引;

6、将所述多维查询集合分别与所述知识单元的内容信息、所述语义扩展信息和所述标签信息进行独立匹配,获得多个候选集合,并对所述多个候选集合进行并集汇总和去重,得到候选知识单元集合;

7、对所述候选知识单元集合中的候选知识单元对应的原子前提集合进行核验,根据核验结果确定所述候选知识单元的保留、剔除或缺损标注;基于保留的知识单元对应的所述关联索引获取关联知识单元;将所述保留的知识单元、所述缺损标注、所述关联知识单元进行结构化组装,得到目标知识集合。

8、在一实施方式中,所述多个状态层级包括:

9、用于表征在预设时间范围内相对稳定的属性信息的第一状态层;

10、用于表征与当前时间最近的事件对应的变化信息的第二状态层;

11、用于表征多个事件之间的时序演化关系的第三状态层;

12、以及用于表征当前任务意图和基于已有状态层级的语义表征确定的关联处理需求的第四状态层。

13、在一实施方式中,所述根据所述多个状态层级的语义表征和所述第一侧标准标签生成多维查询集合,包括:

14、按照预设组合规则从所述第一侧标准标签中选取至少两个具有逻辑关联的标签,形成多组标签组合查询;

15、基于一个或多个状态层级的语义表征形成状态语义查询;

16、基于所述第四状态层中的当前任务意图和所述关联处理需求形成任务意图查询;

17、从形成的查询中筛选与当前任务相关的预设数量查询构成所述多维查询集合,所述多维查询集合中的各查询保留对应的查询类型及来源状态层级。

18、在一实施方式中,所述对所述第二侧知识数据进行层级切分和语义处理,形成多个知识单元,包括:

19、根据所述第二侧知识数据的层级标识,按照预设最小层级对所述第二侧知识数据进行切分,得到多个初始知识块;

20、按照相邻顺序对属于同一连续语义内容的碎片知识块进行语义合并,并在合并后的内容长度达到预设最大长度时停止对当前知识单元的合并;

21、对内容长度超过预设阈值的知识块在语义断点处进行语义分段,并保留所述知识块中的限定信息;

22、其中,每一所述知识单元具有唯一标识,并保留所述知识单元在所述第二侧知识数据中的层级路径信息。

23、在一实施方式中,方法还包括:

24、根据预设的标签蕴含映射表对所述知识单元的标签信息进行补全;其中,所述标签蕴含映射表用于表征标签之间的单向蕴含关系,当所述知识单元具有第一标签且所述标签蕴含映射表中所述第一标签蕴含一个或多个第二标签时,将所述一个或多个第二标签补充至所述知识单元的标签信息;

25、和/或,针对同一所述知识单元生成多个不同语域的所述语义扩展信息,对多个所述语义扩展信息分别进行向量化存储,并使各所述语义扩展信息与所述知识单元的唯一标识建立关联。

26、在一实施方式中,所述关联索引包括第一关联索引和第二关联索引;

27、所述第一关联索引基于知识单元之间的内容关系建立,用于表征知识单元之间的直接关联关系;所述第一关联索引的建立方式包括:提取所述第二侧知识数据中预设层级对应的核心名称,当第一知识单元的内容信息中出现与第二知识单元对应的所述核心名称时,建立由所述第一知识单元指向所述第二知识单元的单向关联,且基于所述单向关联的关联扩展深度为一跳;

28、所述第二关联索引基于知识单元之间的标签共现关系建立;所述第二关联索引的建立方式包括:按照预设标签组合方式从知识单元的标签信息中提取由至少两个标签值构成的关联键,将具有相同关联键的多个知识单元归入同一关联组;

29、所述基于保留的知识单元对应的所述关联索引获取关联知识单元,包括:基于所述第一关联索引获取与所述保留的知识单元具有直接关联关系的第一关联知识单元,以及基于所述第二关联索引获取与所述保留的知识单元处于同一关联组的第二关联知识单元。

30、在一实施方式中,所述对所述候选知识单元集合中的候选知识单元对应的原子前提集合进行核验,根据核验结果确定所述候选知识单元的保留、剔除或缺损标注,包括:

31、将候选知识单元对应的原子前提集合中的各原子前提与所述第一侧多来源数据进行比对,确定各所述原子前提的状态,所述原子前提的状态包括满足、冲突和未提及;

32、当任一所述原子前提的状态为冲突时,剔除对应的候选知识单元;

33、当全部所述原子前提的状态均为满足时,保留对应的候选知识单元;

34、当不存在状态为冲突的原子前提且存在状态为未提及的原子前提时,保留对应的候选知识单元,并将状态为未提及的原子前提记录为对应的候选知识单元的缺损标注;

35、当所述原子前提集合为空时,直接保留对应的候选知识单元。

36、在一实施方式中,方法还包括:

37、将所述目标知识集合作为大语言模型的输入信息中的参考上下文;

38、其中,所述输入信息包括系统提示信息和用户提示信息;所述系统提示信息用于设置所述大语言模型执行所述当前任务时遵循的处理规则及输出要求;所述用户提示信息包括所述第一侧多来源数据或基于所述第一侧多来源数据形成的状态信息、所述当前任务对应的用户问题以及所述参考上下文。

39、第二方面,本发明提供了一种基于多维数据处理、索引构建与关联检索的数据处理系统,包括:

40、第一侧数据处理模块,用于获取第一侧多来源数据,对所述第一侧多来源数据进行时间对齐及事件聚合,得到按时间顺序排列的事件序列;基于所述事件序列提取多个状态层级的语义表征,基于统一标签体系生成第一侧标准标签,并根据所述多个状态层级的语义表征和所述第一侧标准标签生成多维查询集合;

41、第二侧知识处理模块,用于获取第二侧知识数据,对所述第二侧知识数据进行层级切分和语义处理,形成多个知识单元;基于所述统一标签体系对所述知识单元进行标注,得到所述知识单元的标签信息;生成从应用所述知识单元的状态、对象或应用情形的角度对所述知识单元进行反向描述的语义扩展信息;提取应用所述知识单元前需确认的事实条件,形成原子前提集合;以及基于知识单元之间的关联关系建立关联索引;

42、多通道检索模块,用于将所述多维查询集合分别与所述知识单元的内容信息、所述语义扩展信息和所述标签信息进行独立匹配,获得多个候选集合,并对所述多个候选集合进行并集汇总和去重,得到候选知识单元集合;

43、结果处理模块,用于对所述候选知识单元集合中的候选知识单元对应的原子前提集合进行核验,根据核验结果确定所述候选知识单元的保留、剔除或缺损标注;基于保留的知识单元对应的所述关联索引获取关联知识单元;将所述保留的知识单元、所述缺损标注、所述关联知识单元进行结构化组装,得到目标知识集合。

44、第三方面,本发明提供了一种电子设备,包括处理器和存储器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使所述处理器执行上述任一项所述的基于多维数据处理、索引构建与关联检索的数据处理方法。

45、根据本发明提供的具体实施例,本发明公开了以下技术效果:

46、本发明提供了一种基于多维数据处理、索引构建与关联检索的数据处理方法,通过对第一侧多来源数据进行时间对齐及事件聚合,并提取多个状态层级的语义表征,将分散于不同时间节点、不同数据类型中的信息转化为具有不同时间尺度和任务含义的状态信息,使持续变化的数据状态能够以结构化形式参与检索;在此基础上生成第一侧标准标签和多维查询集合,使查询条件同时覆盖标签维度、状态语义维度和任务意图维度,提升了查询对当前数据状态的表达能力,克服了固定查询条件、一次性检索方式难以适应当前数据状态的问题;通过对第二侧知识数据进行层级切分和语义处理形成知识单元,并围绕知识单元构建标签信息、语义扩展信息、原子前提集合及关联索引,为知识数据建立了多层次的可检索表示。其中,语义扩展信息从应用知识单元的状态、对象或应用情形的角度对知识单元进行反向描述,即使第一侧数据与知识单元的内容信息在词法表达或语义表达上存在差异,仍能够通过语义扩展信息建立检索关系,提高了目标知识的可达性;通过将多维查询集合分别与知识单元的内容信息、语义扩展信息及标签信息进行独立匹配,并对各候选集合进行并集汇总和去重,各匹配通道相互独立、互为补充,单一通道未命中不影响其他通道的召回结果,避免了单一关键词匹配或单一向量匹配方式造成的漏检,提高了目标知识的检索覆盖能力;通过对候选知识单元的原子前提集合进行核验,将核验结果区分为保留、剔除或缺损标注,剔除了与当前数据状态明确矛盾的知识单元,并以缺损标注显式标记尚未被当前数据确认的前提条件,使检索结果的适用性和可信程度能够得到区分;在此基础上基于关联索引获取关联知识单元,使分散于不同章节、不同知识单元甚至不同文档中的关联知识内容能够被一并获取,提高了关联证据的完整性;通过将保留的知识单元、缺损标注、关联知识单元进行结构化组装,得到与当前任务对应的结构化目标知识集合,便于后续知识应用直接调用。