一种基于双级恒虚警检测与波门数据关联的单证识别稀疏注意力方法与流程

本发明属于多模态模型与企业单证图像识别，具体涉及一种用于单证自动化信息提取的稀疏注意力计算方法。

背景技术：

1、在票据、发票、报关单及合同等企业单证的自动化信息提取场景中，高分辨率扫描图像经视觉 transformer 划分和编码后，可形成数千至上万个特征标记，使自注意力计算的二次复杂度成为影响推理延迟和显存占用的重要因素。单证图像同时具有明显的空间稀疏性和版式先验：图像包含大面积留白、表格线和空单元格，有效墨迹分布不均；印章、手写签名和低对比度打印字段等关键要素虽然墨迹稀疏，但具有较高的业务重要性；字段之间还存在标签与数值、表头与明细以及大小写金额之间的稳定几何关系。

2、现有稀疏注意力方法应用于上述场景时仍存在以下问题。第一，固定窗口稀疏模式将计算限制在局部范围内，难以表征发票代码标签与号码区、大小写金额以及表头与跨页明细行之间的长程关系。第二，基于全局归一化统计量的门限容易受到密集文本区域影响，使位于低背景区域的印章、签名等关键稀疏要素发生漏检，并可能导致密集区域内部的相互遮蔽。第三，固定关联数量的路由机制缺少版式位置约束，既可能引入不合理关联，也可能截断密集单证中的必要关联。第四，缺乏统计含义的经验门限难以根据单证复杂度配置计算量。第五，面对空白、重影或极端密集输入时，现有方法可能出现保留数量过低或过高的退化，缺少明确的失效安全机制。

技术实现思路

1、针对上述问题，本发明提供一种结构化稀疏注意力方法。该方法借鉴雷达信号处理中的杂波估计、恒虚警检测、波门关联和航迹维持思想，并结合稀疏矩阵存储与多速率采样机制，依次执行版面先验图谱生成、双通道信杂比评分、双级恒虚警选择、波门约束贝叶斯数据关联和双格式稀疏批处理。由此，注意力计算可集中于信息性特征标记，并在期望虚警率约束下保持关键稀疏要素，同时利用版式波门提高长程字段关联的几何合理性。该方法还可根据单证复杂度配置计算量，并在异常输入条件下执行失效安全退化，从而降低推理计算量和显存占用，保持关键要素召回率及长程字段关联的完整性。

2、为实现上述目的，本发明提供如下技术方案：

3、一种基于双级恒虚警检测与波门数据关联的单证识别稀疏注意力方法,包括以下步骤：

4、s1、版面先验图谱生成：通过非神经网络的规则化算法从原始单证图像提取多通道版面先验图谱，所述图谱包括表征背景强度的背景通道和表征关键要素位置的目标先验通道，并按照后续网络各阶段的特征图分辨率进行池化；

5、s2、双通道信杂比评分：利用可学习匹配滤波器处理当前网络阶段的输入特征图以得到信号响应，利用所述背景通道经空间变权的恒正混合得到杂波控制场，并计算所述信号响应与所述杂波控制场的比值作为判决量，其中，所述目标先验通道被注入所述信号响应的计算支路；

6、s3、双级恒虚警选择：对所述判决量进行区域级和特征级的双级恒虚警检测，以选择显著区域及显著特征，其中，基于期望虚警率解析导出或数值求解区域级和特征级的门限系数；

7、s4、波门约束贝叶斯关联：对选中的所述显著区域进行投影以计算语义似然，并将版面相对位置先验作为版式波门，通过贝叶斯融合得到区域间关联的后验概率，并根据所述后验概率生成变长关联索引表；

8、s5、双格式稀疏批处理：利用所述变长关联索引表，通过变长路径或定长路径构造稀疏注意力，对所述显著特征执行注意力计算，并将计算结果散射回写至原空间索引，未选中特征通过恒等残差保留；

9、s6、三速率节奏控制：以第一速率执行所述版面先验图谱生成步骤，以第二速率在每个所述网络阶段执行所述双通道信杂比评分步骤、双级恒虚警选择步骤及波门约束贝叶斯关联步骤，以第三速率在每个稀疏注意力层执行所述双格式稀疏批处理步骤，同一网络阶段内的连续多层共享步骤s2至步骤s4产生的结构参数。

10、优选地，步骤s1中：

11、所述背景通道包括墨迹密度图和表格线边缘密度图，所述墨迹密度图通过对原始图像进行灰度反转与自适应二值化得到笔画掩膜并经局部池化形成，所述表格线边缘密度图通过梯度幅值或边缘检测算子提取表格线与边框并经局部池化形成；

12、所述目标先验通道至少包括印章敏感图，所述印章敏感图通过红色差分及阈值化生成，用于表征红色印章的先验强度。

13、优选地，步骤s2中：所述信号响应计算为：，其中 t为输

14、入特征图，wr和br为可学习参数；ws为目标先验注入权重；mseal 为池化至当前网络阶段分辨率的印章敏感图； 所述杂波控制场计算为：，其中 mj 为遍历背景通道，kj 为小型可学习卷积核，*表示卷积，exp(wj) 保证各通道混合权重恒正，εfloor 为噪声基底项；f 逐点为正，与特征图同分辨率； 所述判决量为：。

15、优选地，步骤s3中：

16、所述区域级检测具体为：将特征图划分为互不重叠的矩形区域，对每个区域内的所述判决量计算范数得到区域分数，经可学习凝聚核卷积后进行单元平均恒虚警检测，其中门限系数由所述期望虚警率解析导出； 所述特征级检测具体为：对经所述区域级检测保留的区域内的每个特征，以同区域其余特征的分数作为参考集，进行有序统计恒虚警检测，其中门限系数由所述期望虚警率经有序统计关系数值求解得到。

17、优选地，所述区域级检测中，待检区域的参考窗为以其为中心的邻域并剔除紧邻的保护环及自身，所述保护环用于防止大目标横跨多个区域时造成的自遮蔽；所述期望虚警率根据步骤s1提取的全局版面统计量进行配置，以在低墨迹覆盖率单证中采用较低虚警率，在高墨迹覆盖率单证中采用较高虚警率。

18、优选地，步骤s4中：所述语义似然通过区域级查询向量与键向量的点积计算得到；所述版式波门为可学习的相对位移分箱偏置表或各向异性椭圆门；所述贝叶斯融合为行向softmax作用于所述语义似然与所述版式波门之

19、和，得到所述后验概率；保留后验概率超过门限的全部关联候选，并设置关联数量的下限和上限，以使关联数随区域后验概率自适应变化。

20、优选地，步骤s5中：所述变长路径采用csr格式，由行指针限定各行有效关联范围，无需补

21、齐掩码；所述定长路径采用ellpack格式，按定长块并行计算并通过掩码屏蔽

22、补齐位；当采用混合格式时，常规关联在定长主体中处理，超出定长容量的关联

23、通过溢出侧路处理，主体段与溢出段的注意力贡献经log-sum-exp方式在同

24、一softmax分母下归一化。

25、优选地，步骤s6中：

26、所述第二速率在相邻网络阶段边界重新计算所述结构参数，或基于父子网格映射继承上一级入选区域索引；

27、所述方法还包括事件触发重新采样步骤：通过监测相邻层汇聚特征的余弦相似度，当漂移超过阈值时，在当前网络阶段内部提前重新计算所述结构参数。

28、优选地，所述方法还包括：

29、步骤s7、跨页航迹维持：对多页输入进行规则化页面对齐，页面之间不传递完整特征，仅传递由入选区域的区域代表向量构成的结构航迹；新页面生成结构参数后，将新页面区域与既有航迹进行关联，以提高匹配区域的保留概率或建立跨页关联；通过m/n规则确认航迹，并以指数滑动平均更新航迹原型。

30、优选地，所述方法还包括：

31、步骤s8、自动增益调节机制：以各网络阶段的特征标记保留率为监测量，当保留率低于下限时提高所述期望虚警率以放宽保留条件，当保留率高于上限时降低所述期望虚警率以收紧保留条件；当所述期望虚警率调整至边界后保留率仍未恢复时，对当前网络阶段切换至稠密窗口注意力，以优先保证异常输入条件下的输出可用性。

32、优选地，步骤s2中，所述信号响应中的可学习参数 wr、br、所述目标先验注入权重ws、以及所述杂波控制场中的可学习卷积核 kj和混合权重 wj，通过双门控加权通路在端到端任务损失下进行训练，所述双门控加权通路为：，其中 ，σ(·) 为 sigmoid 函数，σ(r′) 构成显著度自加权门，σ(f) 使学习容量侧重于背景较强且对归一化精度要求较高的区域；梯度通过该通路回传至两条支路，使响应参数、背景混合参数、凝聚核和路由投影参数能够在端到端任务损失下训练。

33、优选地，步骤s5中，所述稀疏注意力计算完成后，散射回写采用残差连接形式：，其中 s 为仅在关联模式上非零的稀疏算子，未选中特征标记虽不参与当前层注意力计算，但仍通过恒等残差保留并进入后续网络阶段的稠密下采样和重新评分。

34、与现有技术相比，本发明的有益效果是：

35、针对高分辨率单证识别中注意力计算开销较高、稀疏关键要素易丢失、长程字段关联不合理、计算资源配置缺乏自适应性以及异常输入缺乏保障等问题，本发明通过系统级结构设计取得以下技术效果：

36、第一，本发明构建版面先验图谱。通过灰度反转二值化、红色差分和边缘检测等规则化算法，在 cpu 侧从原始单证图像提取墨迹密度、印章敏感度和表格线边缘密度等多通道先验。背景通道进入评分分母，目标先验通道进入评分分子，形成双通道信杂比判决结构。该结构同时利用局部背景归一化和目标先验增强，提高位于低背景区域的印章等关键稀疏要素的评分。

37、第二，本发明采用双级恒虚警选择机制。区域级使用包含保护单元的滑窗局部杂波估计，以减小全局统计量变化和目标自泄漏对门限的影响；特征级使用有序统计恒虚警检测，以分位序位统计量替代均值估计。在所设背景模型和干扰比例条件下，该机制可降低密集干扰对门限估计的影响。门限系数由期望虚警率确定，使保留比例具有明确统计含义，并可依据单证复杂度配置计算量。

38、第三，本发明采用波门约束的贝叶斯数据关联路由机制。区域语义亲和度与版面相对位置先验以加性 logit 形式融合，对应于语义似然与版式先验的乘积后验，使标签与数值、表头与明细等几何关系成为显式约束。关联数量由后验门限自适应确定，并受上下限约束，从而减少稀疏区域中的无关候选，同时避免密集区域中的必要关联被固定数量截断。

39、第四，本发明采用双格式稀疏关联批处理机制。变长关联索引表可使用 压缩稀疏行（compressed sparse row，csr）式变长存储或 ellpack 式定长存储，并可通过由定长主体和溢出侧路组成的 混合（hybrid，hyb）格式处理关联数量不均衡的情况。csr 路径以行界限定计算范围，可减少补齐引起的冗余计算；散射回写被表示为稀疏算子作用，未选中特征标记通过恒等残差保留，从而形成完整的数据流闭环

40、第五，本发明采用三速率零阶保持机制，分别设置每张单证执行一次的图谱生成、每个网络阶段执行一次的结构决策以及每层执行一次的注意力计算。结构参数在同一网络阶段内保持，并在网络阶段边界重新采样；保留索引还可传送至跨模态融合层，使交叉注意力的键值集合由保留特征标记构造，而无需改变语言模型的既有结构。

41、第六，本发明设置跨页航迹维持和自动增益调节机制。跨页航迹以原型特征和版面位置构成轻量结构记忆，用于多页单证的流式处理，并提高低对比度续表字段的保持概率。自动增益调节机制通过噪声基底、保留率区间监测、期望虚警率步进调整和按网络阶段稠密退化构成失效安全响应。上述机制均作用于推理期注意力结构，可与不同训练或微调方法组合使用。