一种基于先验信息和边界感知的多维主题发现方法、系统、设备、介质及产品

摘要: 本技术涉及自然语言处理,特别是涉及一种基于先验信息和边界感知的多维主题发现方法、系统、设备、介质及产品。背景技术:1、随着互联网和大数据技术的快速发展,各行业积...
一种基于先验信息和边界感知的多维主题发现方法、系统、设备、介质及产品

本技术涉及自然语言处理,特别是涉及一种基于先验信息和边界感知的多维主题发现方法、系统、设备、介质及产品。

背景技术:

1、随着互联网和大数据技术的快速发展,各行业积累的文本数据量呈爆炸式增长。如何从海量文本中高效、准确地识别出符合研究者预先关注维度的主题信息,已成为自然语言处理领域的重要研究方向。

2、传统的主题建模方法通常从语料中自动发现高频共现词簇作为主题。然而,这类无监督方法发现的主题往往基于统计共现关系,不一定符合研究者预先关心的概念维度。例如,模型可能发现“系统、平台、管理、服务”这样的泛化主题,却无法准确对应到“研发设计”、“生产制造”、“供应链管理”、“运维服务”等具体应用场景。相关技术中还存在着一种基于种子词(种子词)引导的主题发现方法,即用户给定若干种子词,系统围绕种子词扩展相关词以形成主题。然而,这类方法普遍默认每一个种子词都能形成有效主题,缺乏对主题在语料中是否真实存在的判断机制。当某个种子词在语料中缺乏充分文本证据时,该类方法仍然会勉强生成一组看似相关的主题词,导致“伪主题”的生成。同时,该类方法仅依赖正向种子词进行语义扩展,容易吸收泛化词和相邻主题的混淆词,缺乏对主题边界的有效控制。此外,该类方法的输出结果通常是主题词列表,无法追溯到具体的原文证据段落,导致主题词的可解释性不足,用户难以验证其可靠性。

3、因此,亟需一种基于先验信息和边界感知的多维主题发现方法,以解决传统主题建模无法准确对应研究者预先关注的概念维度、基于种子词引导的方法缺乏证据判断机制而容易生成伪主题且缺乏边界控制及结果不可追溯的问题,从而提高主题发现的准确性、证据可靠性、边界可控性和结果可解释性。

技术实现思路

1、本技术的目的是提供一种基于先验信息和边界感知的多维主题发现方法、系统、设备、介质及产品,可实现对用户给定的先验主题信息在文本语料中的真实表达进行证据校准、边界感知检索与内容发现,提高主题发现的准确性、证据可靠性、边界可控性和结果可解释性。

2、为实现上述目的,本技术提供了如下方案:

3、第一方面,本技术提供了一种基于先验信息和边界感知的多维主题发现方法包括:

4、获取目标文本语料集合和对应的先验主题信息集合;所述先验主题信息集合中的每个先验主题信息均包括核心词集合、扩展词集合和负向边界词集合;

5、对所述目标文本语料集合进行文本切分,得到文本单元集合;

6、分别构建先验主题信息集合中每个先验主题信息的正向主题原型和负向边界原型;

7、基于所述文本单元集合,确定先验主题信息集合中每个先验主题信息的主题支持等级;所述主题支持等级包括证据充分等级、证据一般等级、证据较弱等级和证据不足等级;

8、将先验主题信息集合中主题支持等级为证据不足等级的先验主题信息标记为证据不足先验主题信息,将主题支持等级为证据充分等级、证据一般等级和证据较弱等级的先验主题信息标记为有效先验主题信息;

9、对于先验主题信息集合中的每个有效先验主题信息,基于对应的所述正向主题原型和负向边界原型,分别对所述文本单元集合进行软证据文本段落检索,得到先验主题信息集合中每个有效先验主题信息对应的候选文本证据段落集合;所述软证据文本段落检索包括词面匹配检索、语义相似度检索和负向边界约束检索;

10、分别对先验主题信息集合中的每个有效先验主题信息对应的候选文本证据段落集合中的所有候选文本证据段落进行筛选,得到每个有效先验主题信息的主题发现结果;所述主题发现结果包括主题支持等级、主题词集合、主题文本证据段落和边界风险提示。

11、第二方面,本技术提供了一种基于先验信息和边界感知的多维主题发现系统包括:

12、数据获取模块,用于获取目标文本语料集合和对应的先验主题信息集合;所述先验主题信息集合中的每个先验主题信息均包括核心词集合、扩展词集合和负向边界词集合;

13、文本切分模块,用于对所述目标文本语料集合进行文本切分,得到文本单元集合;

14、原型构建模块,用于分别构建先验主题信息集合中每个先验主题信息的正向主题原型和负向边界原型;

15、主题支持等级确定模块,用于基于所述文本单元集合,确定先验主题信息集合中每个先验主题信息的主题支持等级;所述主题支持等级包括证据充分等级、证据一般等级、证据较弱等级和证据不足等级;

16、主题标记模块,用于将先验主题信息集合中主题支持等级为证据不足等级的先验主题信息标记为证据不足先验主题信息,将主题支持等级为证据充分等级、证据一般等级和证据较弱等级的先验主题信息标记为有效先验主题信息;

17、软证据检索模块,用于对于先验主题信息集合中的每个有效先验主题信息,基于对应的所述正向主题原型和负向边界原型,分别对所述文本单元集合进行软证据文本段落检索,得到先验主题信息集合中每个有效先验主题信息对应的候选文本证据段落集合;所述软证据文本段落检索包括词面匹配检索、语义相似度检索和负向边界约束检索;

18、主题发现结果生成模块,用于分别对先验主题信息集合中的每个有效先验主题信息对应的候选文本证据段落集合中的所有候选文本证据段落进行筛选,得到每个有效先验主题信息的主题发现结果;所述主题发现结果包括主题支持等级、主题词集合、主题文本证据段落和边界风险提示。

19、第三方面,本技术提供了一种计算机设备,包括:存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序以实现上述中所述的基于先验信息和边界感知的多维主题发现方法的步骤。

20、第四方面,本技术提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述中所述的基于先验信息和边界感知的多维主题发现方法的步骤。

21、第五方面,本技术提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述中所述的基于先验信息和边界感知的多维主题发现方法的步骤。

22、根据本技术提供的具体实施例,本技术具有了以下技术效果:

23、本技术提供了一种基于先验信息和边界感知的多维主题发现方法、系统、设备、介质及产品,通过获取目标文本语料集合和对应的先验主题信息集合,并对目标文本语料集合进行文本切分,得到文本单元集合,解决了传统主题建模无法处理研究者预先关注概念维度的问题,实现了对先验主题信息的结构化输入和语料的预处理准备;通过分别构建先验主题信息集合中每个先验主题信息的正向主题原型和负向边界原型,解决了基于种子词引导的方法仅依赖正向种子词进行语义扩展、缺乏对主题边界有效控制的问题,实现了主题边界的双向约束和语义方向的有效区分;通过基于文本单元集合确定先验主题信息集合中每个先验主题信息的主题支持等级,并将先验主题信息集合中主题支持等级为证据不足等级的先验主题信息标记为证据不足先验主题信息,将主题支持等级为证据充分等级、证据一般等级和证据较弱等级的先验主题信息标记为有效先验主题信息,解决了基于种子词引导的方法缺乏对主题在语料中是否真实存在的判断机制、容易生成伪主题的问题,实现了主题可发现性的有效验证和伪主题的过滤排除;通过对于先验主题信息集合中的每个有效先验主题信息,基于对应的正向主题原型和负向边界原型,分别对文本单元集合进行包括词面匹配检索、语义相似度检索和负向边界约束检索的软证据文本段落检索,得到先验主题信息集合中每个有效先验主题信息对应的候选文本证据段落集合,解决了传统硬规则检索容易误删跨主题表达的问题,实现了对复杂文本中主题相关段落的柔性识别和保留;通过分别对先验主题信息集合中的每个有效先验主题信息对应的候选文本证据段落集合中的所有候选文本证据段落进行筛选,得到包括主题支持等级、主题词集合、主题文本证据段落和边界风险提示的主题发现结果,解决了传统方法结果不可追溯、无法回到具体文本段落验证的问题,实现了主题发现结果的可解释性和证据可靠性。