一种基于大模型的档案数字化治理方法及系统与流程
本发明涉及档案数字化智能治理,具体为一种基于大模型的档案数字化治理方法及系统。
背景技术:
1、随着信息化建设的深入推进,档案数字化已成为档案管理与开发利用的重要基础。目前,档案数字化主要采用扫描采集结合光学字符识别(ocr)技术将纸质档案转换为电子文本,再辅以人工校对与手工著录的方式完成数字化加工。然而,该方式存在以下技术缺陷:
2、传统ocr技术对历史档案中常见的模糊字迹、复杂版式、手写体及印章遮挡等情况识别准确率偏低,且缺乏语义理解与纠错能力,导致识别结果中错误频出,后期需投入大量人力进行逐字校对,处理效率低下、成本居高不下。
3、现有数字化方案多为单模态处理模式,难以对档案中的图像、表格、音视频等多模态信息进行统一识别与关联分析,不同类型档案数据之间相互割裂,无法形成语义贯通的知识体系。
4、已有系统在数字化完成后缺乏对识别结果可信度的量化评估机制,对于低质量识别内容无法实现自动甄别与修正,智能化程度不足,所以我们提出了一种基于大模型的档案数字化治理方法及系统来解决上述存在的问题。
技术实现思路
1、针对现有技术的不足,本发明提供了一种基于大模型的档案数字化治理方法及系统,解决了现有方案通用 ocr 识别容错差、人工校对成本高,多模态档案数据割裂无法构建知识关联,缺少数据可信度量化质控、存储检索架构单一、查阅效率低下的问题。
2、为实现以上目的,本发明通过以下技术方案予以实现:一种基于大模型的档案数字化治理方法及系统,包括以下步骤:
3、s1、采集纸质档案扫描图像、音视频档案及电子档案,对所述扫描图像执行自适应二值化与倾斜校正,对音视频执行降噪重采样,得到归一化档案数据;
4、s2、以通用多模态大模型为基座,冻结主干参数,通过档案领域图文配对数据对该基座进行lora低秩微调与档案版式指令微调,得到档案领域多模态大模型;将所述归一化档案数据输入该模型执行多模态识别与信息提取,获取结构化数据,并在提取过程中引入ocr置信度与大模型视觉特征的跨模态校验机制;
5、s3、基于所述结构化数据,通过所述档案领域多模态大模型执行自动分类与标注,生成结构化元数据、语义标签与知识图谱,其中所述知识图谱通过实体抽取、属性挂载、跨档去重归一以及基于档案领域关系规则库的隐式关系推理构建;
6、s4、对所述结构化数据执行术语匹配度、语言连贯度与逻辑一致性三单元加权置信度评分,输出置信度等级;对置信度等级低于预设阈值的低置信度单元,融合文本上下文、实体关联上下文与多模态上下文进行交叉验证自动纠错,纠错后仍低于阈值则标记人工复核;
7、s5、将纠错后的结构化数据、元数据、标签及知识图谱通过多模态对比学习映射为统一维度的嵌入向量,存储至由向量库、宽表数据库与图数据库构成的三联分布式数据库中,并构建基于所述大模型的语义检索与向量召回相融合的智能检索接口。
8、优选地,所述s2中所述跨模态校验机制具体包括:
9、将ocr输出的单字或字段级置信度反馈至所述档案领域多模态大模型,当ocr置信度低于预设阈值时,触发大模型结合对应图像区域的视觉特征、周边文本语义及档案版式先验知识对ocr结果进行推理修正,输出带有字段级置信度标识的结构化数据。
10、优选地,所述s2中所述lora低秩微调具体为:
11、对所述通用多模态大模型的q、k、v投影层注入秩为8至16的低秩适配矩阵,采用对比损失函数与指令遵从损失函数联合训练,使多模态大模型在档案特定版式下的文本识别f1值提升12%以上。
12、优选地,所述s4中三单元加权置信度评分的计算公式为:
13、
14、其中,表示术语匹配度单元置信度分值,表示语言连贯度单元置信度分值,表示逻辑一致性单元置信度分值;、分别为对应的权重系数,且满足 + + = 1, ≥ 0.4。
15、优选地,步骤s4中置信度分析的步骤具体包括:
16、基于预设的评分单元对所述结构化数据进行划分,所述评分单元包括术语匹配度单元、语言连贯度单元和逻辑一致性单元;
17、针对各类所述评分单元预设对应的基础分,并基于预设规则获取每个单元的置信度分值、和;
18、基于所述置信度分值与通过档案数据类型获取的评分阈值,输出置信度等级。
19、优选地,所述s4中所述融合多维度上下文进行交叉验证自动纠错具体包括:
20、分别基于文本上下文逻辑、实体关联规则库以及多模态特征生成至少两个候选修正方案,依据档案术语合规性、跨模态一致性、历史档案一致性的综合得分筛选最优方案;所述多模态特征包括图像版式分区坐标、ocr字符笔画特征及音视频的声学频谱特征。
21、优选地,所述s3中所述隐式关系推理具体包括:
22、基于档案领域关系规则库中预设的档案实体间的时序关联规则及机构名称演变映射表,对抽取出的实体进行逻辑推理,生成未在同一份档案中显式记载的跨全宗关联边,并将所述关联边写入所述图数据库。
23、优选地,所述s5中所述多模态对比学习映射具体包括:
24、采用文本编码器、视觉编码器及图节点编码器组成的三塔网络结构,将所述结构化数据、对应的图像区域特征及知识图谱节点特征对齐至同一768维向量空间,生成所述嵌入向量。
25、本发明提供一种基于领域适配多模态大模型的档案数字化治理系统,用包括:
26、归一化采集模块,用于对采集的纸质档案扫描图像执行自适应二值化与倾斜校正,对音视频档案执行降噪重采样,得到归一化档案数据;
27、领域微调与多模态提取模块,内置档案领域多模态大模型,用于将所述归一化档案数据输入该模型执行多模态识别与信息提取,获取结构化数据;
28、分类标注与知识图谱构建模块,用于基于所述结构化数据执行自动分类与标注,生成结构化元数据、语义标签与知识图谱;
29、置信度纠错模块,用于对所述结构化数据执行加权置信度评分,对低置信度内容执行多维度上下文自动纠错;
30、三联存储与检索模块,用于将纠错后的数据映射为嵌入向量并存储至三联分布式数据库,以及构建基于所述大模型的智能检索接口。
31、本发明提供一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现所述的方法。
32、有益效果
33、本发明提供了一种基于大模型的档案数字化治理方法及系统。与现有技术相比具备以下有益效果:
34、该基于大模型的档案数字化治理方法及系统,采用lora低秩微调对通用多模态大模型做档案领域适配,仅微调注意力投影层,算力消耗可控,有效提升老旧手写、褪色、印章遮挡等复杂档案的文本识别效果,同时设置ocr置信度与图像视觉特征联动的跨模态校验机制,自动修正识别错漏;搭配三单元加权置信度评价体系精准定位低可信度文本,并结合多维度上下文完成自动纠错,仅重度破损档案需人工复核,大幅削减人工逐字校对的人力投入与加工周期,克服传统ocr容错能力弱、校对成本高昂的问题;
35、统一完成纸质图像、音视频、原生电子档案归一化预处理,打破传统分立式单模态处理的数据壁垒。依托领域大模型自动生成档案元数据与语义标签,再通过实体抽取、实体归一、跨全宗隐式关系推理构建全域档案知识图谱,自动挖掘档案间潜藏的时序、隶属、沿革关联,将孤立电子文件转化为互联互通的档案知识网络,弥补现有技术数据互不关联、难以开展跨档案溯源与深度史料研究的短板;
36、搭建完整的置信度量化评估与自动纠错闭环,实现档案数据质量量化管控、全程可追溯,解决传统系统无可信度评判、低质量内容无法自动修正的缺陷。同时通过三塔对比学习网络对齐多模态特征,采用宽表、图、向量三联分布式数据库协同存储,融合语义解析与向量召回实现跨模态智能检索,突破传统单库、关键词检索的局限,显著提升档案查阅效率;系统支持单机或分布式集群部署,适配各类档案管理机构,落地通用性强。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com