基于混合语义筛选与Transformer主题建模的文献分析方法及系统与流程

本发明涉及自然语言处理，具体涉及一种基于混合语义筛选与transformer主题建模的文献分析方法及系统

背景技术：

1、在对目标研究领域文献进行计算机处理时，原始书目记录可能由目标文献数据库分卷导出，不同文件中的字段名称、缺失情况和文献标识存在不一致的问题。比如，有的可能会使用作者名次标识，而有的则使用文献号标识；某些字段可能出现丢耗或者数据不完整的情况。若不先统一字段并按稳定标识删除重复记录，后续通过对文档内容进行筛选、生成文档向量和分配主题等一系列分析步骤所得出的结果往往难以准确匹配和连续传递。

2、在单独使用关键词规则筛选时，筛选结果取决于预设的关键词是否直接出现在文本中。除此之外，还可以单独使用语义相似度进行筛选，能够捕捉到文档之间的隐含联系，但筛选结果取决于所使用的语义锚点以及相似度阈值。在同时使用关键词规则和语义相似度行筛选进行时，存在两类筛选依据难以统一保存的问题。

3、在主题建模的过程中，还包括文档向量编码、降维、密度聚类和主题表征等连续数据变换。然而，不同的参数设置、随机种子以及建模过程中的算法选择都可能导致不同的主题分配结果，这使得各阶段的数据衔接关系变得不明确。

技术实现思路

1、发明目的：本发明提供一种基于混合语义筛选与transformer主题建模的文献分析方法及系统，以解决多分卷书目记录字段不一致、两类筛选依据难以统一保存以及主题建模各阶段中间数据衔接关系不明确的问题。

2、本发明所述的文献分析方法，包括：

3、对目标研究领域预设关键词集合和语义锚点，从目标文献数据库获取包含题名和摘要的目标研究领域文献数据，并进行字段标准化和重复记录删除，得到标准化文献记录；

4、将每条所述标准化文献记录的题名与摘要拼接为待筛选文本，基于预设的关键词集合执行关键词规则匹配，并基于预设的语义锚点执行语义相似度筛选，将两项筛选结果进行逻辑或运算，得到入选文献语料；

5、将所述入选文献语料输入至变换器句向量模型进行文档向量编码，得到文档向量；

6、将所述文档向量输入至降维模型，得到降维后的文档向量，将降维后的文档向量输入至密度聚类模型，得到逐文献主题分配结果；

7、基于所述逐文献主题分配结果形成主题表征，并输出所述目标研究领域文献的主题分类结果。

8、优选地，得到所述标准化文献记录的步骤还包括：读取并合并目标文献数据库导出的多个分卷文件，将不同列名的题名、摘要、出版年份、来源出版物、数字对象标识符及文献记录标识符分别映射为统一字段；先按题名、再按文献记录标识符删除重复记录，将出版年份转换为数值并保留不早于预设起始年份的记录，题名和摘要的缺失值以空字符串填充。

9、优选地，所述关键词规则匹配将待筛选文本转换为小写，并对预设的关键词集合中的关键词逐项执行子串匹配，形成规则匹配标记；所述语义相似度筛选对所述待筛选文本和预设的语义锚点分别进行编码，计算二者的余弦相似度，形成语义匹配标记；当任一标记为真时，将对应文献纳入所述入选文献语料。

10、优选地，对所述入选文献语料执行一次transformer文档向量编码并将所得文档向量归一化；在拟合不同候选主题模型以及采用不同随机种子重复建模时，复用同一组预计算并归一化的文档向量。

11、优选地，计算不同超参数配置候选主题模型的主题一致性、主题多样性、小样本随机种子稳定性、离群文献比例和主题数量接近度，基于上述数据计算候选模型质量分数，并从主题数量满足约束的候选主题模型中选择基模型。

12、优选地，在固定所述基模型的参数和预计算文档向量的条件下，采用随机种子重复建模，基于基模型主题词集合与重复建模主题词集合构建匹配矩阵，采用匈牙利算法一对一对齐主题，得到各基模型主题的跨次相似度，并依据相似度阈值和通过运行占比标记稳定主题。

13、优选地，根据预设主题合并组建立原主题与合并主题之间的映射，将所述映射应用于逐文献主题数据，聚合同一合并主题的文献计数、主题表征、主题词及代表文献；将原主题编号和合并后主题编号作为主题追踪字段；

14、按照合并后主题计数降序、合并前主题编号升序的顺序对合并主题连续重编号，同时保留合并前主题编号、连续重编号前的合并主题编号以及连续重编号后的最终主题编号；

15、以连续重编号后的逐文献主题数据为输入，按最终主题编号对出版年份求平均，形成最终主题平均发表年份；

16、按最终主题编号、主题名称和年份分组计数，形成年度主题文献量。

17、优选地，为连续重编号后的主题生成两份独立的主题分类评审模板，基于预设目标领域上位类别标签集合校验评审标签，将评审标签解析为预设目标领域上位类别标签集合中的整数标签，标记标签缺失或不属于所述标签集合的记录；对有效双标签记录计算完全一致率；当有效双标签记录不少于2条且两名评审者的标签数据满足科恩κ系数计算条件时计算科恩κ系数，否则仅输出完全一致率，并在核验报告中注明未计算科恩κ系数的原因；输出标签冲突主题。

18、本发明所述的文献分析系统，包括：

19、数据获取模块，用于对目标研究领域预设关键词集合和语义锚点，从目标文献数据库获取包含题名和摘要的目标研究领域文献数据，并进行字段标准化和重复记录删除，得到标准化文献记录；

20、混合语义筛选模块，用于将每条所述标准化文献记录的题名与摘要拼接为待筛选文本，基于预设的关键词集合执行关键词规则匹配，并基于预设的语义锚点执行语义相似度筛选，将两项筛选结果进行逻辑或运算，得到入选文献语料；

21、向量编码模块，用于将所述入选文献语料输入至变换器句向量模型进行文档向量编码，得到文档向量；

22、降维与聚类模块，用于将所述文档向量输入至降维模型，得到降维后的文档向量，将降维后的文档向量输入至密度聚类模型，得到逐文献主题分配结果；

23、输出模块，用于基于所述逐文献主题分配结果形成主题表征，并输出所述目标研究领域文献的主题分类结果。

24、本发明所述的计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的文献分析方法。

25、与现有技术相比，本发明具有如下显著优点：1、通过将关键词规则匹配与语义相似度筛选相结合，并同时保留词面匹配标记、语义匹配标记及相似度数值，可以兼顾文献中的显式关键词特征与隐含语义关联，提高筛选依据的完整性和筛选过程的可追溯性；2、通过在离群文献重新分配后比较处理前后的离群文献数量，并仅在离群文献数量实际减少时更新主题，可以避免无效的离群文献重新分配改变原有主题结果，提高主题分配结果的稳定性和可靠性。

1.一种基于混合语义筛选与transformer主题建模的文献分析方法，其特征在于，包括：

2.根据权利要求1所述的文献分析方法，其特征在于，得到所述标准化文献记录的步骤还包括：读取并合并目标文献数据库导出的多个分卷文件，将不同列名的题名、摘要、出版年份、来源出版物、数字对象标识符及文献记录标识符分别映射为统一字段；先按题名、再按文献记录标识符删除重复记录，将出版年份转换为数值并保留不早于预设起始年份的记录，题名和摘要的缺失值以空字符串填充。

3.根据权利要求1所述的文献分析方法，其特征在于，所述关键词规则匹配将待筛选文本转换为小写，并对预设的关键词集合中的关键词逐项执行子串匹配，形成规则匹配标记；所述语义相似度筛选对所述待筛选文本和预设的语义锚点分别进行编码，计算二者的余弦相似度，形成语义匹配标记；当任一标记为真时，将对应文献纳入所述入选文献语料。

4.根据权利要求1所述的文献分析方法，其特征在于，对所述入选文献语料执行一次transformer文档向量编码并将所得文档向量归一化；在拟合不同候选主题模型以及采用不同随机种子重复建模时，复用同一组预计算并归一化的文档向量。

5.根据权利要求1所述的文献分析方法，其特征在于，还包括：计算不同超参数配置候选主题模型的主题一致性、主题多样性、小样本随机种子稳定性、离群文献比例和主题数量接近度，基于上述数据计算候选模型质量分数，并从主题数量满足约束的候选主题模型中选择基模型。

6.根据权利要求5所述的文献分析方法，其特征在于，还包括：在固定所述基模型的参数和预计算文档向量的条件下，采用随机种子重复建模，基于基模型主题词集合与重复建模主题词集合构建匹配矩阵，采用匈牙利算法一对一对齐主题，得到各基模型主题的跨次相似度，并依据相似度阈值和通过运行占比标记稳定主题。

7.根据权利要求1所述的文献分析方法，其特征在于，还包括：根据预设主题合并组建立原主题与合并主题之间的映射，将所述映射应用于逐文献主题数据，聚合同一合并主题的文献计数、主题表征、主题词及代表文献；将原主题编号和合并后主题编号作为主题追踪字段；

8.根据权利要求7所述的文献分析方法，其特征在于，还包括：为连续重编号后的主题生成两份独立的主题分类评审模板，基于预设目标领域上位类别标签集合校验评审标签，将评审标签解析为预设目标领域上位类别标签集合中的整数标签，标记标签缺失或不属于所述标签集合的记录；对有效双标签记录计算完全一致率；当有效双标签记录不少于2条且两名评审者的标签数据满足科恩κ系数计算条件时计算科恩κ系数，否则仅输出完全一致率，并在核验报告中注明未计算科恩κ系数的原因；输出标签冲突主题。

9.一种基于混合语义筛选与transformer主题建模的文献分析系统，其特征在于，包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的文献分析方法。