一种知识分类方法及装置与流程

摘要: 本技术涉及数据处理领域,尤其涉及一种知识分类方法及装置。背景技术:1、现有的知识分类方法通常先将知识信息转换为向量,再根据不同向量在向量空间中的距离或者分布关系...
一种知识分类方法及装置与流程

本技术涉及数据处理领域,尤其涉及一种知识分类方法及装置。

背景技术:

1、现有的知识分类方法通常先将知识信息转换为向量,再根据不同向量在向量空间中的距离或者分布关系进行聚类,得到不同的聚类簇,并利用簇内紧密度、簇间分离度等统计指标确定分类结果。现有方法主要从向量之间的空间关系来确定聚类结果是否合理,因而会存在向量空间中较为接近但实际上是不同知识内容的知识信息被错误地归入同一聚类簇;或者同一知识内容由于表达方式、文本格式等不同,其向量可能相距较远,进而被划分至不同的聚类簇。

2、因此,如何更准确地进行知识分类,是目前需解决的技术问题。

技术实现思路

1、本技术提供一种知识分类方法及装置,用于准确地进行知识分类。

2、第一方面,本技术提供一种知识分类方法,该方法包括:对多数据源中的知识信息进行聚类,得到至少一个聚类结果;每个聚类结果对应一个聚类粒度且包括多个聚类簇;基于多数据源中的知识信息确定多个知识锚点,每一知识锚点表征一个独立的知识单元;针对每个聚类结果,将各知识锚点分别与聚类结果中的各聚类簇进行匹配,确定聚类结果对应的锚点匹配度;将锚点匹配度满足匹配要求的聚类结果,确定为多数据源的知识分类结果。

3、基于以上方案,通过利用基于多数据源中的知识信息确定的知识锚点,对不同聚类粒度对应的聚类结果进行语义校准,并根据知识锚点与聚类簇之间的对应关系确定锚点匹配度,可以减少一个独立知识单元被拆分至多个聚类簇以及多个不同独立知识单元被合并至同一聚类簇的情况,从而提高知识分类结果的准确性和可靠性。

4、在一种可能的实现方式中,将各知识锚点分别与聚类结果中的各聚类簇进行匹配,确定聚类结果对应的锚点匹配度,包括:针对每个知识锚点,基于知识锚点与聚类结果中的各聚类簇的语义相似度,确定与知识锚点存在匹配关系的聚类簇;基于各知识锚点存在匹配关系的聚类簇,确定第一匹配参数和第二匹配参数;其中,第一匹配参数用于表征不同知识锚点被匹配至同一聚类簇的情况,第二匹配参数用于表征不同聚类簇被同一知识锚点匹配的情况;基于第一匹配参数和第二匹配参数确定聚类结果对应的锚点匹配度。

5、基于以上方案,通过从知识锚点侧识别一个独立知识单元被拆分至多个聚类簇的情况,并从聚类簇侧识别一个聚类簇包含多个独立知识单元的情况,可以对不同聚类结果的聚类粒度进行双向评价,从而提高知识分类结果与实际知识单元之间的对应程度。

6、在一种可能的实现方式中,基于各知识锚点存在匹配关系的聚类簇,确定第一匹配参数和第二匹配参数,包括:根据仅与一个聚类簇存在匹配关系的知识锚点的数量和知识锚点的总数量,确定第一匹配参数;根据仅与一个知识锚点存在匹配关系的聚类簇的数量和聚类结果中聚类簇的总数量,确定第二匹配参数。

7、基于以上方案,当一个知识锚点仅与一个聚类簇存在匹配关系时,表明该知识锚点所表征的独立知识单元较完整地集中在一个聚类簇中。当一个知识锚点与多个聚类簇存在匹配关系时,表明同一独立知识单元可能被拆分至多个聚类簇,聚类粒度可能过细。因此,第一匹配参数越高,说明知识单元被拆分的情况越少。当一个聚类簇仅与一个知识锚点存在匹配关系时,表明该聚类簇主要表征一个独立知识单元。当一个聚类簇与多个知识锚点存在匹配关系时,表明多个不同的独立知识单元可能被合并至同一聚类簇,聚类粒度可能过粗。因此,第二匹配参数越高,说明不同知识单元被合并的情况越少。第一匹配参数从知识锚点侧约束“一项知识被拆分为多个聚类簇”的情况,第二匹配参数从聚类簇侧约束“多项知识被合并至一个聚类簇”的情况。结合两个参数,可以同时识别聚类粒度过细和聚类粒度过粗的问题,降低仅进行单向匹配评价所产生的误判。

8、在一种可能的实现方式中,对多数据源中的知识信息进行聚类,得到至少一个聚类结果,包括:对多数据源中的各知识信息进行切分,得到多个数据切片;对多个数据切片进行向量化处理,得到多个切片向量;对多个切片向量进行聚类,得到至少一个聚类结果;基于多数据源中的知识信息确定多个知识锚点,包括:将多数据源中的知识信息输入大语言模型,通过大语言模型提炼得到表征不同知识单元的知识锚点。

9、基于以上方案,大语言模型可以综合多数据源中的上下文信息,提炼出分别表征不同知识单元的知识锚点。相较于由人工逐条编写知识锚点,该方式能够降低知识锚点的构建成本,并提高知识锚点对不同业务主题和知识内容的覆盖程度。

10、在一种可能的实现方式中,对多个切片向量进行聚类,得到至少一个聚类结果,包括:基于多个切片向量进行层次凝聚聚类,得到层次凝聚聚类hac树;hac树有多个聚类粒度,按照每一聚类粒度对hac树进行切分,得到表征不同聚类粒度的多个聚类结果。

11、通过以上方案,通过对多个切片向量执行一次层次凝聚聚类,即可基于hac树的不同切分高度获得多个聚类结果,无需针对每个候选聚类簇数量分别重新执行聚类。相较于通过遍历不同聚类簇数量并重复运行划分式聚类的方法,本实现方式能够降低重复聚类产生的计算开销,并保留各聚类簇由细到粗的合并路径,以便追溯任一聚类簇在较细聚类粒度下所包含的子簇。

12、在一种可能的实现方式中,每一聚类簇携带用于表征该聚类簇对应的数据源的源类型标签;方法还包括:针对每个聚类结果,根据聚类结果中的各聚类簇的源类型标签,确定聚类结果的来源多样性指标;将锚点匹配度满足匹配要求的聚类结果,确定为多数据源的知识分类结果,包括:基于各聚类结果分别对应的锚点匹配度和来源多样性指标,确定各聚类结果分别对应的综合指标;根据各聚类结果分别对应的综合指标,确定作为多数据源的知识分类结果的聚类结果。

13、基于以上方案,锚点匹配度用于表征知识锚点与聚类簇之间的对应程度,来源多样性指标用于表征聚类簇获得多源知识信息共同支持的程度。通过融合锚点匹配度和来源多样性指标,可以同时从知识单元对应关系和多源相互印证关系两个方面评价聚类结果。

14、在一种可能的实现方式中,根据聚类结果中的各聚类簇的源类型标签,确定聚类结果的来源多样性指标,包括:将源类型标签表征的数据源的数量不小于预设阈值的聚类簇确定为多源聚类簇;根据多源聚类簇的数量与聚类结果中的各聚类簇的总数量,确定聚类结果的来源多样性指标。

15、基于上述实现方式,通过统计每一聚类簇所包括的数据切片对应的数据源数量,可以识别获得多个数据源共同支持的多源聚类簇,并将多源聚类簇与仅包括单一源类型的数据切片的聚类簇区分开,从而降低单一数据源中的样板内容、局部信息或噪声信息对知识分类结果的影响。进一步地,根据多源聚类簇的数量与聚类簇总数量确定来源多样性指标,可以对聚类结果中获得多数据源支持的聚类簇比例进行量化,并使具有不同聚类簇数量的多个聚类结果能够进行比较,从而为知识分类结果的确定提供客观的评价依据。

16、在一种可能的实现方式中,方法还包括:基于多数据源中的知识信息构建待评测知识库;确定为多数据源的知识分类结果之后,还包括:将待评测知识库中的知识条目与多数据源的知识分类结果进行匹配,并根据匹配结果确定待评测知识库相对于多数据源的覆盖结果。

17、基于上述实现方式,以多数据源的知识分类结果作为源侧知识基准,并将待评测知识库中的知识条目与知识分类结果中的各知识簇进行匹配,可以根据匹配关系确定待评测知识库已覆盖的知识簇和未覆盖的知识簇。由于知识分类结果中的知识簇以及待评测知识库中的知识条目均用于表征独立知识单元,因此,覆盖结果以知识单元而不是句子、段落、函数或条款等物理文档单元作为统计口径,可以降低不同数据格式、表述方式以及文档组织结构对覆盖结果的影响,从而提高覆盖结果的语义有效性。

18、第二方面,本技术提供一种知识分类装置,该装置包括:

19、聚类模块,用于对多数据源中的知识信息进行聚类,得到至少一个聚类结果;每个聚类结果对应一个聚类粒度且包括多个聚类簇;

20、确定模块,用于基于多数据源中的知识信息确定多个知识锚点,每一知识锚点表征一个独立的知识单元;

21、匹配模块,用于针对每个聚类结果,将各知识锚点分别与聚类结果中的各聚类簇进行匹配,确定聚类结果对应的锚点匹配度;

22、确定模块,还用于将锚点匹配度满足匹配要求的聚类结果,确定为多数据源的知识分类结果。

23、基于以上方案,通过利用基于多数据源中的知识信息确定的知识锚点,对不同聚类粒度对应的聚类结果进行语义校准,并根据知识锚点与聚类簇之间的对应关系确定锚点匹配度,可以减少一个独立知识单元被拆分至多个聚类簇以及多个不同独立知识单元被合并至同一聚类簇的情况,从而提高知识分类结果的准确性和可靠性。

24、在一种可能的实现方式中,匹配模块具体用于:针对每个知识锚点,基于知识锚点与聚类结果中的各聚类簇的语义相似度,确定与知识锚点存在匹配关系的聚类簇;基于各知识锚点存在匹配关系的聚类簇,确定第一匹配参数和第二匹配参数;其中,第一匹配参数用于表征不同知识锚点被匹配至同一聚类簇的情况,第二匹配参数用于表征不同聚类簇被同一知识锚点匹配的情况;基于第一匹配参数和第二匹配参数确定聚类结果对应的锚点匹配度。

25、基于以上方案,通过从知识锚点侧识别一个独立知识单元被拆分至多个聚类簇的情况,并从聚类簇侧识别一个聚类簇包含多个独立知识单元的情况,可以对不同聚类结果的聚类粒度进行双向评价,从而提高知识分类结果与实际知识单元之间的对应程度。

26、在一种可能的实现方式中,匹配模块具体用于:根据仅与一个聚类簇存在匹配关系的知识锚点的数量和知识锚点的总数量,确定第一匹配参数;根据仅与一个知识锚点存在匹配关系的聚类簇的数量和聚类结果中聚类簇的总数量,确定第二匹配参数。

27、基于以上方案,当一个知识锚点仅与一个聚类簇存在匹配关系时,表明该知识锚点所表征的独立知识单元较完整地集中在一个聚类簇中。当一个知识锚点与多个聚类簇存在匹配关系时,表明同一独立知识单元可能被拆分至多个聚类簇,聚类粒度可能过细。因此,第一匹配参数越高,说明知识单元被拆分的情况越少。当一个聚类簇仅与一个知识锚点存在匹配关系时,表明该聚类簇主要表征一个独立知识单元。当一个聚类簇与多个知识锚点存在匹配关系时,表明多个不同的独立知识单元可能被合并至同一聚类簇,聚类粒度可能过粗。因此,第二匹配参数越高,说明不同知识单元被合并的情况越少。第一匹配参数从知识锚点侧约束“一项知识被拆分为多个聚类簇”的情况,第二匹配参数从聚类簇侧约束“多项知识被合并至一个聚类簇”的情况。结合两个参数,可以同时识别聚类粒度过细和聚类粒度过粗的问题,降低仅进行单向匹配评价所产生的误判。

28、在一种可能的实现方式中,聚类模块具体用于:对多数据源中的各知识信息进行切分,得到多个数据切片;对多个数据切片进行向量化处理,得到多个切片向量;对多个切片向量进行聚类,得到至少一个聚类结果;基于多数据源中的知识信息确定多个知识锚点,包括:将多数据源中的知识信息输入大语言模型,通过大语言模型提炼得到表征不同知识单元的知识锚点。

29、基于以上方案,大语言模型可以综合多数据源中的上下文信息,提炼出分别表征不同知识单元的知识锚点。相较于由人工逐条编写知识锚点,该方式能够降低知识锚点的构建成本,并提高知识锚点对不同业务主题和知识内容的覆盖程度。

30、在一种可能的实现方式中,聚类模块具体用于:基于多个切片向量进行层次凝聚聚类,得到层次凝聚聚类hac树;hac树有多个聚类粒度,按照每一聚类粒度对hac树进行切分,得到表征不同聚类粒度的多个聚类结果。

31、通过以上方案,通过对多个切片向量执行一次层次凝聚聚类,即可基于hac树的不同切分高度获得多个聚类结果,无需针对每个候选聚类簇数量分别重新执行聚类。相较于通过遍历不同聚类簇数量并重复运行划分式聚类的方法,本实现方式能够降低重复聚类产生的计算开销,并保留各聚类簇由细到粗的合并路径,以便追溯任一聚类簇在较细聚类粒度下所包含的子簇。

32、在一种可能的实现方式中,每一聚类簇携带用于表征该聚类簇对应的数据源的源类型标签;确定模块还用于:针对每个聚类结果,根据聚类结果中的各聚类簇的源类型标签,确定聚类结果的来源多样性指标;确定模块具体用于:基于各聚类结果分别对应的锚点匹配度和来源多样性指标,确定各聚类结果分别对应的综合指标;根据各聚类结果分别对应的综合指标,确定作为多数据源的知识分类结果的聚类结果。

33、基于以上方案,锚点匹配度用于表征知识锚点与聚类簇之间的对应程度,来源多样性指标用于表征聚类簇获得多源知识信息共同支持的程度。通过融合锚点匹配度和来源多样性指标,可以同时从知识单元对应关系和多源相互印证关系两个方面评价聚类结果。

34、在一种可能的实现方式中,确定模块具体用于:将源类型标签表征的数据源的数量不小于预设阈值的聚类簇确定为多源聚类簇;根据多源聚类簇的数量与聚类结果中的各聚类簇的总数量,确定聚类结果的来源多样性指标。

35、基于上述实现方式,通过统计每一聚类簇所包括的数据切片对应的数据源数量,可以识别获得多个数据源共同支持的多源聚类簇,并将多源聚类簇与仅包括单一源类型的数据切片的聚类簇区分开,从而降低单一数据源中的样板内容、局部信息或噪声信息对知识分类结果的影响。进一步地,根据多源聚类簇的数量与聚类簇总数量确定来源多样性指标,可以对聚类结果中获得多数据源支持的聚类簇比例进行量化,并使具有不同聚类簇数量的多个聚类结果能够进行比较,从而为知识分类结果的确定提供客观的评价依据。

36、在一种可能的实现方式中,确定模块还用于:基于多数据源中的知识信息构建待评测知识库;确定为多数据源的知识分类结果之后,还包括:将待评测知识库中的知识条目与多数据源的知识分类结果进行匹配,并根据匹配结果确定待评测知识库相对于多数据源的覆盖结果。

37、基于上述实现方式,以多数据源的知识分类结果作为源侧知识基准,并将待评测知识库中的知识条目与知识分类结果中的各知识簇进行匹配,可以根据匹配关系确定待评测知识库已覆盖的知识簇和未覆盖的知识簇。由于知识分类结果中的知识簇以及待评测知识库中的知识条目均用于表征独立知识单元,因此,覆盖结果以知识单元而不是句子、段落、函数或条款等物理文档单元作为统计口径,可以降低不同数据格式、表述方式以及文档组织结构对覆盖结果的影响,从而提高覆盖结果的语义有效性。

38、第三方面,本技术还提供一种知识分类装置,该设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行所述计算机程序时,实现如第一方面的各种可能的设计中所述的方法。

39、第四方面,本技术还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序或指令,计算机程序或指令被处理器执行时,实现如第一方面的各种可能的设计中所述的方法。

40、第五方面,本技术还提供一种计算机程序产品,当其在计算机上运行时,使得计算机执行如上述第一方面任一所述的方法。

41、本技术的这些实现方式或其他实现方式在以下实施例的描述中会更加简明易懂。