基于异构双通道特征融合的档案容错检索方法及系统与流程

本发明涉及档案信息检索，尤其涉及一种基于异构双通道特征融合的档案容错检索方法及系统。

背景技术：

1、随着档案信息化建设的深入推进，馆藏历史档案的数字化保护与开发利用已成为行业发展的必然趋势。目前，大量珍贵的历史档案，如旧文书、旧文件及手写体卷宗等，正通过ocr（光学字符识别）技术转化为可检索的全文文本资源，以支撑档案的信息化管理与知识服务。然而，历史档案因其年代久远，普遍存在纸张老化发黄、墨迹湮灭褪色、字迹模糊不清等物理缺陷，且内容多涉及繁体字形或手写体风格，加之档案页面常伴有布局复杂、非水平排列、多方向混排等版面特征，导致ocr软件的识别正确率受到极大限制。识别结果中频繁出现错字、别字、漏字以及文本方向偏差、行列错乱等问题，严重制约了档案全文检索的准确性与有效性。

2、为了解决ocr文本识别错误对检索效果的影响，现有技术主要采取了以下三类技术方案：一是静态校对方案，该方案在检索前利用人工校对或大语言模型对海量ocr文本进行全量的纠错修正，试图在源头消除错误；二是静态容错索引方案，通过预先统计常见的错误模式生成错误变体词表，或构建基于容错机制的索引结构，以期在检索时匹配到错误的文本形式；三是常规模糊检索方案，在检索阶段采用拼音输入容错或传统的编辑距离算法，利用单一维度的特征对检索词进行模糊匹配扩展。

3、然而，上述现有技术在实际应用中均存在明显的缺陷与不足。首先，静态校对方案的计算成本高昂、处理周期极长，难以应对海量馆藏档案的规模化处理需求，且大模型修正过程中可能引入新的“幻觉”错误。其次，静态容错索引方案过度依赖预先统计的错误模式，无法覆盖未知或罕见的ocr错误类型，且变体词表规模随检索词长度呈指数增长，导致存储和查询开销巨大。再者，常规模糊检索方案通常仅依赖拼音或字形码等单一维度特征，无法全面覆盖由汉字 音似、形近、部件拆分交织构成的复杂ocr错误，导致查全率与查准率难以平衡。总体而言，现有技术普遍存在处理时机不当（将容错计算前置造成算力浪费）、特征维度单一、缺乏对检索结果的动态验证机制以及缺乏从历史检索行为中积累经验的自学习能力等问题，导致检索系统在面对复杂ocr文本时，容易产生大量误召回或漏检，严重影响档案检索的质量与效率。

技术实现思路

1、本发明提供一种基于异构双通道特征融合的档案容错检索方法及系统，用以解决现有技术中容错检索无法全面覆盖形近、音似、拆分等多种复杂错误的缺陷，实现了针对不同误识别类型的差异化精准检索与多维度全面覆盖。

2、本发明提供一种基于异构双通道特征融合的档案容错检索方法，包括：根据接收的检索词，确定检索词中各字的误识别类型，生成对应查询条件，得到多路查询条件；根据多路查询条件，对检索词进行特征提取，得到检索特征；根据检索特征，确定与档案索引库中待检索索引词的相似度，并利用预设初筛阈值进行筛选，确定包含对应索引词的档案条目，得到容错检索结果。

3、根据本发明提供的一种基于异构双通道特征融合的档案容错检索方法，根据接收的检索词，确定误识别类型，生成对应查询条件，得到多路查询条件，包括：识别接收的检索词中各字的字形结构特征和笔画复杂度特征，并结合历史错误统计特征，确定对应字的误识别类型；确定误识别类型包括形近替换时，生成对应字基于字形拓扑通道相似度检索的查询条件；确定误识别类型包括同音简写或听写时，生成对应字基于音形编码通道模糊检索的查询条件；确定误识别类型包括字体分型或笔画断裂时，生成对应字基于变长拓扑子图匹配的查询条件；确定误识别类型包括多字合一时，生成对应字基于变长拓扑子图合并匹配的查询条件。

4、根据本发明提供的一种基于异构双通道特征融合的档案容错检索方法，查询条件包括基于字形拓扑通道的相似度检索和基于音形编码通道的模糊检索；根据多路查询条件，对检索词进行特征提取，得到检索特征，包括：基于字形拓扑通道的相似度检索，提取检索词中对应字的拼音编码和五笔编码；对拼音编码进行模糊化规则处理，得到模糊拼音特征，以及提取五笔编码对应的字根特征并与模糊拼音特征进行融合，得到对应字的音形码特征；基于音形编码通道的模糊检索，获取检索词中对应字的标准化字形图像，并利用骨架提取算法将标准化字形图像转化为字形拓扑图；提取字形拓扑图的连通性特征、部件空间相对布局特征以及笔画走向特征，得到对应字的字形拓扑图特征；根据各字的音形码特征和字形拓扑图特征，得到检索词的检索特征。

5、根据本发明提供的一种基于异构双通道特征融合的档案容错检索方法，查询条件还包括基于变长拓扑子图匹配的查询条件和/或基于变长拓扑子图合并匹配的查询条件；根据多路查询条件，对检索词进行特征提取，得到检索特征，包括：基于变长拓扑子图匹配的查询条件，根据汉字部件树结构，对检索词中对应字的字形拓扑图进行子图拆分，并提取对应子图的连通性特征、部件空间相对布局特征以及笔画走向特征，得到对应字的字形拓扑图特征；和/或，基于变长拓扑子图合并匹配的查询条件，根据汉字部件树结构，对检索词中对应字的字形拓扑图进行子图合并，并提取合并后的字形拓扑图的连通性特征、部件空间相对布局特征以及笔画走向特征，得到对应字的字形拓扑图特征。

6、根据本发明提供的一种基于异构双通道特征融合的档案容错检索方法，检索特征包括音形码特征和字形拓扑图特征；根据检索特征，确定与档案索引库中待检索索引词的相似度，包括：根据音形码特征，确定与档案索引库中待检索索引词之间的音形码编辑距离，得到音码相似度；根据字形拓扑图特征，通过图编辑距离算法，确定与档案索引库中待检索索引词的字形拓扑图之间的结构相似度，得到形码相似度；对音码相似度和形码相似度进行加权求和，得到检索特征与档案索引库中待检索索引词的相似度。

7、根据本发明提供的一种基于异构双通道特征融合的档案容错检索方法，利用预设初筛阈值进行筛选，确定包含对应索引词的档案条目，得到容错检索结果，包括：根据检索特征与档案索引库中待检索索引词的相似度，确定相似度大于或等于预设初筛阈值时，根据对应待检索索引词及包含索引词的档案条目，得到容错候选集合；根据容错候选集合中的候选索引词，查找容错映射知识库，得到对应映射关系置信度；容错映射知识库是基于在先采集的用户反馈信息确定有效的映射关系构建的，映射关系包括检索词、索引词、误识别类型、上下文模式以及基于历史容错检索结果采集的反馈信息的反馈计数，上下文模式用于表征对对应索引词的档案上下文文本所在的特定语言环境、领域惯例或措辞风格进行分类或标识的信息；确定映射关系置信度权重小于或等于第一预设阈值且大于第二预设阈值时，对容错候选集合中的候选索引词进行上下文语义验证与逻辑合规性校验，得到验证通过的确认召回结果；根据确认召回结果，输出对应召回的档案条目，得到容错检索结果。

8、根据本发明提供的一种基于异构双通道特征融合的档案容错检索方法，对容错候选集合中的候选索引词进行上下文语义验证与逻辑合规性校验，得到验证通过的确认召回结果，包括：提取候选索引词在档案原文中的上下文窗口文本，并调用档案门类专属语言模型，确定在上下文窗口文本条件下、正确语义目标词为检索词的条件概率；根据候选索引词，调用档案实体逻辑规则库进行逻辑合规性校验；档案实体逻辑规则库包含命名实体规范、职务与姓名的搭配约束以及同篇共指消解规则；确定条件概率大于或等于预设语义可信度阈值且逻辑合规性校验通过时，确定候选索引词为检索词的光学字符识别ocr误识别变体，确认召回包含对应候选索引词的档案条目，得到确认召回结果。

9、根据本发明提供的一种基于异构双通道特征融合的档案容错检索方法，在根据确认召回结果，输出对应召回的档案条目，得到容错检索结果之后，还包括：根据容错检索结果，标注匹配命中路径；匹配命中路径包括精确匹配、音似容错匹配、形似容错匹配、拆分映射匹配、上下文语义验证结果或逻辑合规性校验结果；根据容错检索结果和匹配命中路径，采集用户反馈信息，用户反馈信息包括正反馈、负反馈、修正反馈以及隐式反馈；基于用户反馈信息，确定对应映射关系；映射关系包括检索词、索引词、误识别类型、上下文模式以及反馈计数；基于用户反馈信息，更新映射关系的置信度权重，并根据更新后的置信度权重，确定映射关系置信度；根据更新后的置信度权重和映射关系置信度，更新映射关系，并利用更新后的映射关系更新容错映射知识库。

10、根据本发明提供的一种基于异构双通道特征融合的档案容错检索方法，在根据容错候选集合中的候选索引词，查找容错映射知识库，得到对应映射关系置信度之后，还包括：确定映射关系置信度大于第一预设阈值时，确定对应候选索引词为检索词的光学字符识别ocr误识别变体，并召回包含对应候选索引词的档案条目，得到确认召回结果。

11、本发明还提供一种基于异构双通道特征融合的档案容错检索系统，包括：条件构建模块，根据接收的检索词，确定检索词中各字的误识别类型，生成对应查询条件，得到多路查询条件；特征提取模块，根据多路查询条件，对检索词进行特征提取，得到检索特征；检索模块，根据检索特征，确定与档案索引库中待检索索引词的相似度，并利用预设初筛阈值进行筛选，确定包含对应索引词的档案条目，得到容错检索结果。

12、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述基于异构双通道特征融合的档案容错检索方法。

13、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于异构双通道特征融合的档案容错检索方法。

14、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于异构双通道特征融合的档案容错检索方法。

15、本发明提供的基于异构双通道特征融合的档案容错检索方法及系统，通过在接收检索词后，先行确定各字的误识别类型，并以针对不同的潜在错误，生成与之匹配的特定查询路径，确保各种复杂的ocr错误都能找到对应的匹配路径，避免无效的泛化搜索，实现了针对不同误识别类型的差异化精准检索与多维度全面覆盖；通过根据多路查询条件对检索词进行特征提取，以聚焦于最能反映该类错误本质的信息，使得生成的检索特征具有更高的信噪比和辨识度，为精准匹配提供坚实的数据基础，实现特征提取的动态适配；通过确定检索特征与档案索引库中待检索索引词的相似度，以提供匹配程度的数值依据，并利用预设初筛阈值进行筛选，拦截相似度较低的噪音数据，不仅能够有效降低误报率，确保容错检索结果的准确性，同时也通过过滤无效候选，减轻后续处理环节的压力，提升系统的整体响应效率。