院内非诊疗文档自动分类入库方法及系统与流程

本发明涉及数据整理与储存，尤其涉及院内非诊疗文档自动分类入库方法及系统。

背景技术：

1、在企事业单位及图书馆的日常工作中，常常需要将纸质文档扫描后归档，以便后续查看和数据统计。传统的文件管理方法是通过计算机操作将文件扫描到指定目录保存，文件名称随机生成或由用户录入，在处理大批量档案归档时工作效率不高，且人工归档工作量大、容易出现人为错误。

2、现有技术中已有一些文档自动分类管理方案。例如，公开号为cn104636469a的专利公开了一种文件自动分类管理方法和系统。该方法接收并存储归档规则，获取待分类文件并接收分类编码，根据分类编码以及归档规则对待分类文件进行命名，并分别将待分类文件发送至对应位置进行存储。该方案按照分类编码自动对文件进行命名和分类归档存储，实现了文件的自动归档，避免了人工归档的繁琐过程，在一定程度上提高了档案管理的效率。

3、然而，上述现有方案仍存在明显的不足。首先，该方法依赖用户预先接收并输入分类编码，本质上仍需要人工参与分类标签的赋予，未能实现真正意义上的全自动分类；其次，该方案仅依据预设的归档规则对文件进行命名和存储，缺乏对文档内容的语义理解能力，难以应对格式不规范、标题缺失或内容结构多变的文档；再次，对于多页文档中存在的页码缺失、页面顺序混乱或多份文档混扫等复杂情形，现有方案缺乏有效的页面重组与缺页检测机制；最后，现有方案未涉及文档敏感度分级与权限化检索，在涉及患者隐私、人事薪酬、财务数据等敏感内容的文档归档场景中存在安全隐患。此外，现有方案中的规则和模型在系统部署后基本固化，人工纠正往往停留在修正单条记录的层面而无法反哺系统，导致系统缺乏持续迭代优化的能力。

技术实现思路

1、为了克服上述背景技术中提出的问题，本发明提出了院内非诊疗文档自动分类入库方法及系统。

2、本发明的技术方案为：一方面，院内非诊疗文档自动分类入库方法，包括以下步骤：

3、s1：获取待归档的院内非诊疗文档的逐页电子图像，对每页图像进行质量预检，对不合格图像执行图像增强处理，以得到预处理后的图像，并记录包括采集时间戳与来源设备在内的采集元数据；

4、s2：对预处理后的图像进行光学字符识别与版面解析，得到文本块、表格结构、图章区域、图片区域及页面结构信息；

5、s3：对每页进行要素检测与结构化抽取，形成页面要素结构化包，所述要素检测与结构化抽取包括：检测公章区域并遮罩隔离后提取章内文字，检测签名区域，识别标题，抽取基础登记数据，提取正文；

6、s4：基于规则库对文档进行第一级规则分类，对命中且置信度不低于第一阈值的文档直接采用分类结果，否则转入步骤s5，其中，文档为同一扫描批次/文档簇对应的页面集合；

7、s5：对未通过规则分类的文档，在遮罩隔离公章与签名区域后，对标题、基础登记数据和正文进行语义分析，检索相似样本以增强语义分析、大语言模型少样本分类与领域微调分类模型集成投票，得到第二级语义分类结果；当置信度低于第二阈值时转入人工分拣；

8、s6：对多页且页码缺失或排序混乱的文档执行页面重组，包括：先进行文档边界识别，将混扫页面划分为若干文档簇；再由大语言模型解析每页内容，生成页摘要与首末句衔接特征；计算同簇内任意两页间的邻接得分，以页为节点、邻接得分为边权构建有向图，识别起点页与终点页后求解全局最优页序；并对缺页情况进行检测，生成缺失位置、缺失页数与缺失内容概要提示，供人工补录，不以生成内容代替原件归档；

9、s7：对分类完成的文档进行敏感度评估，包括：基于敏感要素库识别并统计敏感要素，计算文件级敏感度分值并划分为不同密级；将正文按块切分并逐块分级，生成块级访问控制清单；

10、s8：基于块级分级生成检索用摘要，包括：对不同密级的块分别生成原文索引、脱敏摘要或主题词，脱敏时以类型标签替换敏感实体；并对原件进行全量加密保存；

11、s9：构建加密归档库与元数据索引、向量索引，执行权限化检索，依据用户密级与块级密级返回原文、脱敏摘要或主题词，并记录访问审计日志；

12、s10：将人工分拣结果、缺页补录结果以及接收到的误分类纠正结果与敏感度申诉结果回流，更新规则库、训练样本与提示词模板。

13、作为优选，步骤s3具体包括：

14、采用目标检测模型识别并分割公章区域，对章内文字进行光学字符识别以提取单位全称与专用章字样，并对公章区域像素进行遮罩，使其不进入正文识别；检测手写签名区域及对应的职务栏；依据页面位置、字号与句法特征识别标题，对无规范标题的文档由大语言模型生成候选标题并标注为自动拟制；采用正则表达式与命名实体识别抽取发文字号、成文日期、签发人、发文单位、收文单位、密级标志与附件清单。

15、作为优选，步骤s4中所述规则库包括版式规则、关键词与正则规则以及要素组合规则；

16、步骤s5中所述语义分析具体包括：将标题、基础登记数据、首段、末段与正文按权重拼接后计算语义嵌入向量，在院内已标注样本库中检索相似样本作为上下文，由大语言模型携带院内分类体系及类目示例进行少样本分类，并与领域微调分类模型的输出进行集成投票，得到类目、分类依据与置信度。

17、作为优选，当集成投票得到的置信度低于第二阈值时，将文档转入人工分拣队列，由人工标注类目；人工标注结果与所述页面要素结构化包共同回流，用于更新所述规则库、扩充所述已标注样本库并优化提示词模板。

18、作为优选，步骤s6中所述文档边界识别具体包括：

19、提取各页的首页特征、落款与印章特征、页眉页脚文本、字体标识或字号信息、纸张方向与采集时间戳，其中所述首页特征为标题与发文字号同时出现；基于所述特征进行层次聚类将页面分簇，对无法判定的页面由大语言模型判别其归属，从而将混扫页面集拆分为若干文档簇。

20、作为优选，步骤s6中所述邻接得分由以下特征的加权组合计算：页i末句与页j首句的语义连贯概率、章节序号与条款号的递推符合度、跨页表格的表头重复与行号连续性，以及大语言模型对候选邻接对的连续性打分；

21、所述全局最优排序在排除页面与自身连接以及不满足邻接排除规则的配对、满足有向无环约束的条件下，以动态规划求解从起点页至终点页的最长路径，得到整档页序，并由大语言模型对整档页序进行连贯性校验。

22、作为优选，步骤s6中所述缺页检测具体包括：

23、检测页码不连续、章节或条款序号跳变、邻接得分低于设定阈值、落款缺失中的一种或多种信号；依据检测信号输出估计缺失位置、缺失页数及上下页线索；基于相邻页的语义嵌入由大语言模型生成缺失内容概要，并标注为推测结果，推送人工补扫补录；补录页插入后重新计算邻接得分并重新执行全局最优排序。

24、作为优选，步骤s7中所述敏感要素库包括患者隐私类、人事类、财务类、合同类与内部管理类要素及对应权重；

25、所述文件级敏感度分值等于各敏感要素的权重与出现频次乘积之和，再乘以文档类型系数、来源部门系数与密级标志系数；所述密级划分为公开、内部、敏感与机密四级；所述块级分级按段落、表格或章节切块，逐块计算块级密级并记录涉及要素类型，形成所述块级访问控制清单。

26、作为优选，步骤s8与步骤s9中：

27、对公开块以原文入索引；对内部块以原文入索引但仅限院内检索；对敏感块生成以类型标签替换实体的脱敏摘要，原文仅存于加密原件库；对机密块仅生成不含敏感信息的三个主题词，默认不在检索结果中展示；

28、所述权限化检索采用基于角色的访问控制，当用户密级不低于块级密级时返回原文，否则返回脱敏摘要或主题词；密级过滤在服务端执行，并记录包括访问人、访问时间、访问对象与访问理由在内的全量审计日志。

29、另一方面，院内非诊疗文档自动分类入库系统，包括：

30、采集与预处理模块，用于获取院内非诊疗文档的逐页电子图像，进行质量预检与图像增强，并记录采集元数据；

31、光学字符识别与版面解析模块，用于对预处理后的图像进行文字识别、表格结构还原与版面分割；

32、要素检测模块，用于检测公章区域并提取章内文字后遮罩隔离公章区域，检测签名区域，识别标题，抽取基础登记数据与正文，形成页面要素结构化包；

33、智能分类引擎，用于基于规则库执行第一级规则分类，并对未通过规则分类的文档，在遮罩隔离公章与签名区域后通过语义分析、检索增强、大语言模型少样本分类与领域微调分类模型集成投票执行第二级语义分类；

34、页面重组模块，用于文档边界识别、页面邻接评分、全局最优排序与缺页检测，并生成缺失位置与缺失内容概要提示；

35、敏感度评估模块，用于识别并统计敏感要素，计算文件级敏感度分值并划分密级，按块切分逐块分级生成块级访问控制清单；

36、摘要与脱敏模块，用于按块级密级分别生成原文索引、脱敏摘要或主题词，并以类型标签替换敏感实体；

37、加密归档与检索模块，用于对原件全量加密存储并构建元数据索引与向量索引，以及依据用户密级与块级密级执行权限化检索并记录访问审计日志；

38、反馈学习模块，用于接收人工分拣、缺页补录、误分类纠正与敏感度申诉结果，更新规则库、训练样本与提示词模板。

39、本发明的有益效果：

40、1、相对于现有技术普遍采用预先编制分类规则或模板进行关键词匹配和版式比对来实现文档自动分类，这类方案对版式固定、要素齐全的规范文档处理效率较高，但一旦文档缺少规范版式、标题格式混乱或者公章签名等干扰元素遮盖正文，规则便难以命中，分类准确率明显下降；而单纯采用机器学习或语义分类的方案虽然对非规范文档具有一定适应能力，却存在训练标注成本高、分类过程可解释性差、对规范文档处理效率低的问题。本发明采用要素检测与双级分类相结合的技术路线，先检测公章、签名、标题、基础登记数据与正文等特征要素，将公章和签名区域遮罩隔离以消除其对正文文字识别和语义分析的噪声干扰，同时将章内文字和签名信息作为结构化特征保留下来参与分类而非简单丢弃；遮罩后的文档先经规则库执行第一级规则分类，对规则命中的高置信度结果直接采用，对规则无法覆盖的文档再经检索增强、大语言模型少样本分类与领域微调分类模型集成投票执行第二级语义分类，两级分类均设有置信度门控并衔接人工分拣环节。该方案在规范文档上保留了规则分类的高效率与可解释性，在非规范文档上依靠语义分析获得分类覆盖率，同时通过要素遮罩与结构化保留消除了印章签名对语义理解的干扰又利用了其信息价值。

41、2、相对于现有技术对多页文档主要依据页码进行排序，或对无页码文档采用逐对比较相邻页内容相似度进行贪心拼接，这类方案在文档页码缺失、缺页少页或页面顺序混乱时缺乏可用的排序依据，逐对贪心匹配容易受到局部相似页面的误导而产生误差累积，并且无法处理多份文档混扫时页面相互交错的场景，对缺页问题也普遍缺少检测与定位手段。本发明采用文档边界识别、全局最优排序与缺页检测相分离的三阶段页面重组方案，先依据首页特征、落款印章特征、页眉页脚内容、字体标识或字号信息纸张方向与采集元数据对混扫页面进行聚类拆分，将页面集划分为相互独立的文档簇，再对每页由大语言模型进行内容解析生成页摘要与首末句衔接特征，据此计算同簇内任意两页之间的多特征加权邻接得分，以页面为节点、邻接得分为边权构建有向图并在识别起点页与终点页后求解全局最优页序，最后依据页码与序号跳变、邻接得分异常与落款缺失等信号检测缺页并生成缺失位置、缺失页数及内容概要提示。该方案将页面归属判断与页序求解两个问题解耦，一次求解全局页序避免了逐对拼接的误差累积，能够同时处理多文档混扫、无页码乱序与缺页少页等复杂情形，且对缺失内容仅生成标注为推测的线索概要而不以生成文本冒充原件。

42、3、相对于现有技术通常以整份文件为单位确定单一密级，并对文件采取整体开放或整体隐藏的粗放访问控制方式，这类方案无法区分同一文件中不同部分之间敏感程度的差异，定级过低存在泄露风险，定级过高则妨碍正常的检索与利用，并且直接对原件进行隐藏处理还会破坏档案的完整性与可审计性。本发明采用文件级评分与块级分级相结合的双粒度敏感度管理方案，建立覆盖患者隐私、人事、财务、合同与内部管理等类别的敏感要素库并配置相应权重，通过正则规则与序列标注模型联合识别全文中的敏感要素，按要素权重与出现频次并结合文档类型系数、来源部门系数与密级标志系数计算文件级敏感度分值并映射多级密级，同时将正文按段落、表格或章节切分为文本块并逐块定级，形成块级访问控制清单；检索时依据用户密级与块级密级的匹配关系分别返回原文、以类型标签替换实体的脱敏摘要或仅含主题词的提示信息，原件始终以加密方式全量完整保存。该方案使同一文件内不同部分获得与其敏感程度相称的保护力度，在防止敏感内容越权泄露的同时保留了低敏感部分的检索利用价值，且隐藏与摘要仅作用于检索视图层而不改动原件本身。

43、4、相对于现有技术中分类、排序与定级等规则和模型在系统部署后基本固化，人工纠正往往停留在修正单条记录的层面而无法反哺系统，导致系统对新出现的文档形态、新的敏感要素类型以及院内业务变化缺乏持续适应能力，长期运行后准确率逐渐下降。本发明在分类、页面重组与敏感度评估各环节均设置了人工介入出口，并将人工分拣结果、缺页补录结果、误分类纠正结果与敏感度申诉结果四类反馈统一汇集回流，分别用于沉淀新规则以更新规则库、扩充已标注样本库、优化提示词模板、调整定级阈值与邻接判定阈值，样本增量达到设定规模后触发增量训练对模型进行更新。该方案形成了从自动处理到人工复核再到系统优化的闭环迭代机制，使系统能够随院内文档类型分布与业务规则的变化持续改进。