一种大小模型协同的冶金知识库构建方法及系统与流程

摘要: 本发明涉及冶金工业知识库,尤其涉及一种大小模型协同的冶金知识库构建方法及系统。背景技术:1、冶金工业生产工艺复杂,知识体系庞大,其核心知识广泛分布于专业书籍、专...
一种大小模型协同的冶金知识库构建方法及系统与流程

本发明涉及冶金工业知识库,尤其涉及一种大小模型协同的冶金知识库构建方法及系统。

背景技术:

1、冶金工业生产工艺复杂,知识体系庞大,其核心知识广泛分布于专业书籍、专利文献、学术论文、技术报告等多种非结构化或半结构化文档中。这些文档格式多样,既包括word格式,也涵盖大量历史积累的pdf格式扫描文档。在当前产业智能化转型的背景下,如何高效精准地从海量文档中提取和利用知识,已成为行业挑战。

2、现有的通用文档信息提取技术在应对冶金领域专业文档时仍存在明显不足,具体表现在以下方面:第一,领域术语识别准确率不足:通用ocr模型多基于通用语料训练,对冶金行业特有的专业术语、材料牌号、工艺参数等识别准确率较低,误识、漏识情况频发,直接影响后续知识抽取的可靠性。第二,低价值信息区域识别与过滤机制薄弱:行业文档中常包含大量与核心知识无关的低价值区域,若未加甄别地混入知识库,将引入大量噪声,严重污染数据质量,干扰后续的精准检索与分析模型训练。第三,传统的信息清洗方法在面对ocr识别过程中出现的字符错误、版式扭曲、印刷模糊等问题,难以实现对冶金专业内容的有效校对与修复,无法满足构建结构化领域知识库的高标准要求。

技术实现思路

1、鉴于上述的分析,本发明实施例旨在提供一种大小模型协同的冶金知识库构建方法及系统,用以解决现有技术缺乏专门针对冶金行业非结构化文档识别机制、难以实现无关信息过滤和文本内容修复的问题。

2、一方面,本发明实施例提供了一种大小模型协同的冶金知识库构建方法,包括:

3、获取非结构化的冶金文档;所述冶金文档包括pdf格式文档及word格式文档;

4、基于预先构建的目录与参考文献识别小模型,对所述pdf格式文档进行处理,提取包含正文的pdf文档片段页面图像;

5、基于预先构建的目标内容识别小模型,对所述pdf文档片段页面图像的标题及正文内容进行识别,得到标准化的json格式文档;

6、基于正则清洗方法,对所述word格式文档及所述标准化的json格式文档进行清洗,并通过大语言模型对正则清洗后的文档进行纠错,整合得到清洗纠错后的冶金行业文本,并基于所述冶金行业文本构建冶金行业知识库。

7、进一步地,所述基于预先构建的目录与参考文献识别小模型,对所述pdf格式文档进行处理,包括:

8、基于预先构建的目录与参考文献识别小模型,确定所述pdf格式文档中目录及参考文献对应的页码范围,并基于所述目录及参考文献对应的页码范围,提取包含正文的pdf文档片段页面图像;其中,所述pdf文档片段页面图像为位于目录页之后且位于参考文献页之前的页面图像。

9、进一步地,所述目录与参考文献识别小模型基于改进的resnet-18模型实现;

10、所述resnet-18模型的预处理层依次包括:1×1卷积层、全局平均池化层、7×7卷积层以及自适应池化层;

11、所述自适应池化层被配置为:根据所述pdf格式文档中每一页转换得到的输入页面图像的模糊程度和文字密度,自适应地选择池化方式;其中,对于模糊的页面图像采用自适应平均池化且池化窗口随模糊块大小调整;对于清晰且文字密集的页面图像采用3×3平均池化,对于清晰且文字稀疏的页面图像采用3×3最大池化。

12、进一步地,所述改进的resnet-18模型采用至少包括目录页、参考文献页和正文页在内的多类别历史图像集进行训练,其中,目录页与参考文献页历史图像作为正例参与训练,正文页历史图像作为反例参与训练。

13、进一步地,所述目标内容识别小模型基于微调的paddleocr模型实现;所述微调的paddleocr模型通过冶金行业专用语料库,对paddleocr通用模型进行权重微调训练得到;

14、所述微调的paddleocr模型至少包括:用于图像校正处理的图像矫正模块、用于特征提取的视觉特征提取模块、用于捕捉上下文信息的序列特征模块、以及用于实现序列对齐的预测模块;

15、其中,所述视觉特征提取模块采用mobilenetv3网络,所述序列特征模块采用bilstm网络。

16、进一步地,所述基于预先构建的目标内容识别小模型,对所述pdf文档片段页面图像的标题及正文内容进行识别,包括:

17、基于所述图像矫正模块,对输入的所述pdf文档片段页面图像进行歪曲或倾斜矫正处理,输出矫正后的页面图像;

18、基于所述视觉特征提取模块,对所述矫正后的页面图像执行高度下采样并形成特征序列;

19、基于所述序列特征模块,以所述特征序列的每一列作为时间步输入,并输出上下文特征序列;

20、基于所述预测模块,采用ctc解码算法将所述上下文特征序列解码为文本字符串;基于所述文本字符串识别标题文本及正文内容文本,并在标题文本前添加预设标记符,得到标准化的json格式文档。

21、进一步地,所述基于正则清洗方法,对所述word格式文档及所述标准化的json格式文档进行清洗至少通过以下正则表达式实现:

22、第一正则表达式,用于匹配并删除以“如/见/于”开头、后接“图/表”及数字序号的图表引用文字;

23、第二正则表达式,用于匹配并删除由全角括号括起的、且包含“图/表”及数字序号的图表标注;

24、第三正则表达式,用于匹配并删除“图/表”及数字序号后紧跟“是/为/解释/说明”的特定动词短语;

25、所述大语言模型为基于transformer架构的qwen3.5-32b模型。

26、进一步地,所述基于所述冶金行业文本构建冶金行业知识库,包括:

27、识别所述冶金行业文本中标题文本前的所述预设标记符并作为知识库切片边界,将每个预设标记符对应的标题及所属正文内容划分为一个文档切片,使得每个文档切片作为一个冶金行业知识条目;

28、基于冶金行业知识条目构建冶金行业知识库,且设定所述冶金行业知识库中每个文档切片的字符数不超过设定值。

29、另一方面,本发明实施例提供了一种大小模型协同的冶金知识库构建系统,包括:

30、采集模块,用于获取非结构化的冶金文档;所述冶金文档包括pdf格式文档及word格式文档;

31、第一识别模块,用于基于预先构建的目录与参考文献识别小模型,对所述pdf格式文档进行处理,提取包含正文的pdf文档片段页面图像;

32、第二识别模块,基于预先构建的目标内容识别小模型,对所述pdf文档片段页面图像的标题及正文内容进行识别,得到标准化的json格式文档;

33、清洗与知识库构建模块,用于基于正则清洗方法,对所述word格式文档及所述标准化的json格式文档进行清洗,并通过大语言模型对正则清洗后的文档进行纠错,整合得到清洗纠错后的冶金行业文本,并基于所述冶金行业文本构建冶金行业知识库。

34、进一步地,所述目录与参考文献识别小模型基于改进的resnet-18模型实现;所述目标内容识别小模型基于微调的paddleocr模型实现。

35、与现有技术相比,本发明至少可实现如下有益效果之一:

36、第一,区别于相关技术中冶金领域术语识别准确率不足的问题,本发明通过构建行业专用语料库以训练微调ocr模型,显著提升了针对冶金领域专业术语的识别准确率,有效解决了通用ocr模型在垂直领域识别效果差的问题,提升了冶金行业文档数字化处理的自动化水平与精度。

37、第二,区别于相关技术中低价值信息识别与过滤机制薄弱的问题,本发明通过引入目录与参考文献识别小模型,能够自动从pdf格式文档中识别并剔除目录页、参考文献页以及封面、附录等非正文低价值内容,仅保留包含有效冶金知识的正文页面图像,实现了非结构化文档的高效清洗与核心知识提取,对于目录页和参考文献页的识别准确率及召回率均达到98.5%以上。

38、第三,区别于相关技术中难以对冶金专业内容校对及修复的问题,本发明通过引入大语言模型辅助正则清洗,进一步解决了格式错乱、冗余标点及识别噪声等问题,确保了文本语义完整性与结构规范性,使得最终构建的冶金行业知识库中每个知识条目均具有准确的专业信息,进而为后续知识检索或分析任务提供了可靠的数据基础。

39、本发明中,上述各技术方案之间还可以相互组合,以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述,并且,部分优点可从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。