一种基于科学文献数据的智能技术主题挖掘与识别方法与流程

摘要: 本发明涉及数据处理领域,特别涉及一种基于科学文献数据的智能技术主题挖掘与识别方法。背景技术:1、随着科技快速发展,科学文献数据呈现爆炸式增长,期刊论文、科技成果...
一种基于科学文献数据的智能技术主题挖掘与识别方法与流程

本发明涉及数据处理领域,特别涉及一种基于科学文献数据的智能技术主题挖掘与识别方法。

背景技术:

1、随着科技快速发展,科学文献数据呈现爆炸式增长,期刊论文、科技成果、科技报告等各类科学文献包含海量的技术信息与研究热点。精准地从科学文献数据中挖掘和识别核心技术主题,是科研研判、技术布局、创新决策的重要依据。目前基于科学文献数据的技术主题挖局与识别工作仍存在以下问题:第一、传统挖掘方法多依赖人工筛选和关键词匹配,效率低下且受主观因素影响较大,难以精准捕捉文献中隐含的潜在技术主题,无法满足大规模科学文献数据的挖掘需求;第二、现有的单一bertopic主题建模等智能挖掘技术存在主题识别模糊、挖掘精度不足、适配性差等问题,容易出现挖掘偏差、主题质量不稳定、与源文献不匹配等缺陷,难以针对科学文献的文本特征实现技术主题的高效挖掘与精准识别,导致科学文献中的核心技术信息无法被充分利用,制约科研创新与科技研判的效率。因此亟需一种能够适配科学文献数据特征、智能化程度高、挖掘精度高的技术主题挖掘与识别方法。

技术实现思路

1、考虑到传统的主题挖掘方法存在依赖人工、效率低下、主观干扰大的问题,以及现有的单一bertopic主题建模等智能挖掘技术存在挖掘偏差、主题质量不稳定、易出现与源文献不匹配的问题。鉴于上述问题,本发明提供了基于科学文献数据的智能技术主题挖掘与识别方法,包括:

2、构建科学文献数据资源池,预处理所述资源池内的文献数据;

3、从预处理后的文献数据提取关键词,生成关键词集合;

4、根据预处理后的文献数据,生成若干基础技术主题簇;对预处理后的文献数据及其关键词进行多ai大模型并行处理后,结合所述若干基础技术主题簇,得到初始技术主题集合;根据所述初始技术主题集合,生成初始技术主题表;

5、对所述初始技术主题表进行关键词优化和主题命名,得到最终技术主题表。

6、可选地,构建科学文献数据资源池,包括:

7、创建标准化的文献数据资源表;其中,所述文献数据资源表包括基础字段和可补充扩展字段;

8、根据所述文献数据资源表,从多数据源采集数据;其中,所述多数据源包括外部数据源和内部数据源;

9、对采集到的数据进行规范化处理和入库处理,生成科学文献数据资源池;其中,所述规范化处理包括数据格式校验、重复数据筛查、缺失数据处理中的至少一者。

10、可选地,预处理所述资源池内的文献数据,包括:

11、整合若干停用词表,根据场景业务匹配的停用词集合,对整合后的停用词表进行标准化处理,得到停用词库;

12、根据所述停用词库,对所述资源池内的文献数据进行分词和停用词剔除,得到有效文本;

13、对所述有效文本进行向量化处理和无效信息过滤处理,得到预处理后的文献数据。

14、可选地,根据所述停用词库,对所述资源池内的文献数据进行分词和停用词剔除,得到有效文本,包括:

15、从所述资源池筛选待处理的文献数据;

16、按照指定格式将所述待处理的文献数据的标题、摘要、内容字段拼接为完整文本;

17、对所述完整文本进行清洗处理后,对所述完整文本进行分词处理;根据所述停用词库,过滤分词处理结果的停用词,从而得到有效文本;

18、对所述有效文本进行向量化处理和无效信息过滤处理,得到预处理后的文献数据,包括:

19、对所述有效文本进行向量化处理,生成固定维度的文本嵌入向量;

20、基于向量特征,剔除所述文本嵌入向量的无效向量数据成分,从而得到预处理后的文献数据。

21、可选地,从预处理后的文献数据提取关键词,生成关键词集合,包括:

22、从预处理后的文献数据获取待提取关键词的文献数据;

23、对所述待提取关键词的文献数据,以及标准化对接ai大模型;

24、设定结构化大模型提示词,调用所述对接ai大模型和所述结构化大模型提示词,从待提取关键词的文献数据进行关键词提取,从而生成关键词集合。

25、可选地,根据预处理后的文献数据,生成若干基础技术主题簇,包括:

26、将预处理后的文献数据对应的文献向量输入嵌入模型,通过内置语义增强算法提取文献数据的深层语义特征,并输出高维语义向量;

27、对所述高维语义向量进行降维处理,输出二维特征向量;

28、对所述二维特征向量进行聚类分析,得到若干基础技术主题簇。

29、可选地,选取至少两个ai大模型,将预处理后的文献数据及其关键词分别输入每个ai大模型进行主题挖掘,得到一一对应的至少两个挖掘主题;

30、对所述若干基础技术主题簇以及所述若干至少两个挖掘主题进行汇总处理和无效主题剔除,构建临时主题集合;

31、对所述临时主题集合进行优化处理得到初始技术主题集合。

32、可选地,对所述临时主题集合进行优化处理得到初始技术主题集合,包括:

33、对所述临时主题集合中的每个主题与其对应的源文献数据进行语义匹配,得到每个主题与源文献数据的语义匹配度;

34、根据所述语义匹配度,对所述临时主题集合进行筛选剔除处理;

35、对完成所述筛选剔除处理后的临时主题集合进行去重合并处理,得到初始技术主题集合。

36、可选地,根据所述初始技术主题集合,生成初始技术主题表,包括:

37、创建技术主题表和主题文献关联表;其中,所述技术主题表同于存储挖掘得到的技术主题;所述主题文献关联表用于存储主题与文献之间的关联记录;

38、根据所述技术主题表和所述主题文献关联表,处理所述初始技术主题集合,得到初始技术主题表。

39、可选地,对所述初始技术主题表进行关键词优化和主题命名,得到最终技术主题表,包括:

40、对所述初始技术主题表进行关键词提取、剔除冗余关键词、补充核心关键词,从而进行关键词优化;

41、通过大语言模型对完成关键词优化后的初始技术主题表进行关键词语义分析,生成技术主题名称;

42、对所有技术主题名称进行一致性校验、无效主题剔除、相似主题合并,得到优化技术主题;

43、将所述优化技术主题更新至所述初始技术主题表,得到最终技术主题表面。

44、本发明实施例中提供的上述技术方案的有益效果至少包括:

45、本发明实施例中提供了基于科学文献数据的智能技术主题挖掘与识别方法构建科学文献数据资源池,预处理资源池内的文献数据;从预处理后的文献数据提取关键词,生成关键词集合;根据预处理后的文献数据,生成若干基础技术主题簇;对预处理后的文献数据及其关键词进行多ai大模型并行处理后,结合若干基础技术主题簇,得到初始技术主题集合;根据初始技术主题集合,生成初始技术主题表;对初始技术主题表进行关键词优化和主题命名,得到最终技术主题表。通过bertopic核心流程与多ai大模型并行挖掘与融合匹配分析相结合,解决单一模型挖掘偏差问题,提高挖掘精准度与主题质量,能够高效从科学文献中挖掘识别出核心技术主题,为科学分析和技术研判提供可靠的主题支撑,实现技术主题的精准识别,最终形成清晰、准确、可解读的高质量技术主题。

46、本发明的基于科学文献数据的智能技术主题挖掘与识别方法具有如下优点:

47、第一、本发明的智能技术主题挖掘与识别方法适配性强,精准匹配科学文献数据特性,针对科学文献专业术语密集、逻辑严谨、多学科交叉的特点,通过专用预处理流程与智能建模方法,提升技术主题挖掘与识别的适配性,有效解决现有技术适配性差的问题;

48、第二、本发明的智能技术主题挖掘与识别方法挖掘精度高,其显著优于传统主题挖掘和单一bertopic主题建模,相较于传统主题挖掘依赖人工筛选、关键词匹配的方式,全程智能化提取文献深层语义特征,避免人工主观干扰,可精准捕捉科学文献中隐含的潜在技术主题;相较于仅依赖嵌入、降维、聚类三步核心流程的单一bertopic主题建模;本发明通过bertopic核心流程、多ai大模型并行挖掘与源文献融合匹配分析的协同作用,一方面利用bertopic的聚类优势挖掘基础主题,另一方面通过多个ai大模型并行挖掘弥补单一模型的挖掘偏差,再通过与源文献融合匹配分析剔除不匹配主题、去重优化,实现文献深层语义特征的全面提取与精准分析,能够精准挖掘文献中隐含的潜在技术主题,有效解决现有技术主题识别模糊、精度不足、单一模型偏差的缺陷,大幅度提升主题建模的智能化水平、精准度与主题质量;

49、第三、本发明的智能技术主题挖掘与识别方法效率高,显著优于传统主题挖掘方法和单一bertopic建模的综合效率;传统主题挖掘方法依赖大量人工干预,效率低下,无法适配大规模科学文献数据;单一bertopic建模虽实现自动化,但需后续人工校验剔除不匹配主题,增加额外工作量;本发明全程实现智能化处理,从文献筛选、预处理到主题挖掘、融合优化、精准识别,全流程自动化完成,无需大量人工干预,大幅提升技术主题挖掘与识别的效率,满足大规模科学文献数据的挖掘需求;

50、第四、本发明的智能技术主题挖掘与识别方法实用性强,能够挖掘识别出清晰、可解读的核心技术主题,以及能够为科研研判、技术布局、创新决策提供可靠的主题支撑,充分发挥科学文献数据的价值,推动科研创新与技术发展。

51、本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

52、下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。