一种基于深度学习的高校财务异常报销识别方法及系统

摘要: 本发明涉及基于深度学习的图像处理与文本审核,具体涉及一种基于深度学习的高校财务异常报销识别方法及系统。背景技术:1、在高校财务报销场景中,师生常通过手机对电子屏...
一种基于深度学习的高校财务异常报销识别方法及系统

本发明涉及基于深度学习的图像处理与文本审核,具体涉及一种基于深度学习的高校财务异常报销识别方法及系统。

背景技术:

1、在高校财务报销场景中,师生常通过手机对电子屏幕显示的发票进行拍照上传,这使得大量报销发票图像包含摩尔纹、反光和模糊等复杂的成像退化。

2、现有基于深度学习的异常报销识别系统普遍采用“ocr识别→文本结构化→异常审核”的级联处理架构。该架构中的异常审核模型通常基于预训练语言模型或图神经网络构建,其隐含假设是输入的文本是准确的。然而,当因拍屏引入的成像退化作用于发票的关键信息区域时,ocr引擎会输出不可靠的文本。现有架构缺乏一个能够感知并处理这种前端ocr不可靠性的深度学习模型组件,无法在文本模态和图像模态之间进行基于信息质量评估的动态融合与决策。这种级联架构下ocr错误无衰减地向深度学习异常审核模型传播的缺陷,导致了大量合规报销被误判驳回,或真正异常被漏检,亟需从深度学习模型架构层面加以解决。

技术实现思路

1、本发明的目的在于提供一种基于深度学习的高校财务异常报销识别方法及系统,以解决现有技术中异常报销识别模型在ocr因手机拍屏等非理想成像而输出不可靠文本时,无法感知这种不可靠性并进行审慎判断,导致将ocr错误直接误判为报销异常的问题。

2、为实现上述目的,本发明提供如下技术方案:

3、本发明的目的是通过如下技术方案实现的:

4、一种基于深度学习的高校财务异常报销识别方法,包括:

5、步骤s1、获取待审核报销发票的原始图像,以及通过ocr引擎从所述原始图像中提取的结构化文本和每个字符的边界框坐标;

6、步骤s2、针对每个字符,基于该字符的所述边界框坐标从所述原始图像中裁剪出字符区域图像,并从所述字符区域图像的频域和空域中提取统计特征,构成物理干扰特征向量,所述物理干扰特征向量用于表征该字符区域因非理想成像所导致的图像退化程度;

7、步骤s3、将每个字符的所述物理干扰特征向量输入预训练的可信度映射网络,生成该字符对应的可信度权重,所述可信度权重为连续数值,表示该字符的ocr识别结果的可靠程度;

8、步骤s4、通过预训练语言模型将所述结构化文本编码为文本语义向量序列,并通过卷积神经网络将各所述字符区域图像编码为视觉证据向量序列;以所述可信度权重作为调制因子,在所述文本语义向量序列与所述视觉证据向量序列之间进行基于注意力机制的跨模态融合,其中将所述文本语义向量序列作为查询,将所述视觉证据向量序列作为键和值,计算查询与键之间的相似度,得到各字符对应的注意力权重,并利用所述可信度权重作为调制因子对所述注意力权重进行加权运算,以得到可信度加权的融合表示;

9、步骤s5、基于所述融合表示进行异常报销规则推理,获得异常概率;将预设关键字段内各字符的所述可信度权重进行聚合,得到整体决策不确定性;当所述整体决策不确定性超过预设阈值时,输出需人工复核的指示及高不确定性字段的位置信息,否则输出所述异常概率作为最终异常判断结果。

10、优选地,步骤s2中所述从所述字符区域图像的频域提取统计特征包括:对所述字符区域图像进行二维离散余弦变换,得到频谱系数矩阵;从所述频谱系数矩阵中计算高频能量占比和频谱各向异性,将所述高频能量占比和所述频谱各向异性作为所述物理干扰特征向量中的频域特征;所述高频能量占比为高于预设频率阈值的频域系数能量之和与总能量的比值,所述频谱各向异性为频谱能量在各方向上的分布均匀度度量;步骤s3中所述预训练的可信度映射网络为径向基函数网络,所述径向基函数网络以所述高频能量占比和所述频谱各向异性作为输入,通过径向基核函数进行非线性映射,输出所述可信度权重。

11、优选地,步骤s4中所述通过卷积神经网络将各所述字符区域图像编码为视觉证据向量序列,具体包括:采用经过对比学习预训练的视觉字符编码器,所述视觉字符编码器为卷积神经网络;所述对比学习预训练的过程包括:将无干扰的清晰字符图像作为所述视觉字符编码器的输入,将所述清晰字符图像对应的字符文本的词嵌入作为正样本,采用infonce损失函数训练所述视觉字符编码器,使得同一字符的视觉嵌入向量与文本词嵌入在高维空间中的距离被拉近,不同字符的视觉嵌入向量与文本词嵌入的距离被推远;对于所述字符区域图像,将其输入训练后的所述视觉字符编码器,得到对应字符的视觉嵌入向量,所有字符的所述视觉嵌入向量组成所述视觉证据向量序列。

12、优选地,步骤s5还包括:当某一所述预设关键字段内所有字符的所述可信度权重的聚合值低于预设的绕过阈值时,激活视觉绕过分支;所述视觉绕过分支以从所述视觉证据向量序列中获取的、与该字段内字符对应的视觉证据向量为输入,通过轻量transformer编码器进行序列编码,并基于编码后的特征输出金额量级分类结果和小数点位置概率分布;根据所述金额量级分类结果和所述小数点位置概率分布对所述待审核报销发票进行粗粒度合规判断,以绕开所述结构化文本。

13、优选地,步骤s2中所述从所述字符区域图像中提取物理干扰特征向量还包括:通过预训练的噪声残差估计分支从所述字符区域图像中提取噪声残差块,所述噪声残差估计分支为编码器-解码器结构的卷积网络;所述噪声残差估计分支的训练监督信号由预训练的条件生成对抗网络提供,所述条件生成对抗网络的生成器以清晰发票图像为条件,生成具有模拟拍屏噪声的图像,所述噪声残差估计分支学习从所述具有模拟拍屏噪声的图像中恢复出噪声残差图,并以所述噪声残差图中对应字符区域的残差块作为监督信号;将所述噪声残差块输入噪声类型编码器,所述噪声类型编码器为浅层卷积网络,输出噪声模式嵌入向量,所述噪声模式嵌入向量编码了噪声的空间结构特征;将所述噪声模式嵌入向量与从所述字符区域图像的频域和空域中提取的统计特征进行组合,构成所述物理干扰特征向量。

14、优选地,步骤s4还包括:将所述噪声模式嵌入向量与对应字符的所述文本语义向量进行拼接,得到扩展文本语义向量;在所述跨模态融合中,以所述扩展文本语义向量作为查询,与所述视觉证据向量序列进行基于注意力机制的交互。

15、优选地,步骤s5中所述将预设关键字段内各字符的所述可信度权重进行聚合,得到整体决策不确定性,具体为:将金额字段或销方名称字段所包含的所有字符的所述可信度权重求和后取平均值,得到字段级平均可信度,并将一减去所述字段级平均可信度的结果作为所述整体决策不确定性。

16、优选地,步骤s5中所述将预设关键字段内各字符的所述可信度权重进行聚合,得到整体决策不确定性,进一步包括:为不同的预设关键字段分配字段重要性权重;所述聚合运算为:先对每个预设关键字段内部所有字符的所述可信度权重进行平均聚合,得到字段级不确定性得分,再将各预设关键字段的字段级不确定性得分,按照各自对应的字段重要性权重进行加权求和,得到所述整体决策不确定性。

17、优选地,步骤s5中所述输出需人工复核的指示及高不确定性字段的位置信息,包括:生成并展示所述待审核报销发票的原始图像,并在所述原始图像上以可视化方式标注出所述可信度权重低于预设显示阈值的字符区域,同时输出该字段的字段级平均可信度作为参考。

18、一种基于深度学习的高校财务异常报销识别系统,包括:

19、图像与文本获取模块,用于获取待审核报销发票的原始图像,以及通过ocr引擎从所述原始图像中提取的结构化文本和每个字符的边界框坐标;

20、干扰量化模块,用于针对每个字符,基于该字符的所述边界框坐标从所述原始图像中裁剪出字符区域图像,并从所述字符区域图像的频域和空域中提取统计特征,构成物理干扰特征向量,所述物理干扰特征向量用于表征该字符区域因非理想成像所导致的图像退化程度;

21、可信度映射模块,用于将每个字符的所述物理干扰特征向量输入预训练的可信度映射网络,生成该字符对应的可信度权重,所述可信度权重为连续数值,表示该字符的ocr识别结果的可靠程度;

22、跨模态编码与融合模块,用于通过预训练语言模型将所述结构化文本编码为文本语义向量序列,并通过卷积神经网络将各所述字符区域图像编码为视觉证据向量序列;以所述可信度权重作为调制因子,在所述文本语义向量序列与所述视觉证据向量序列之间进行基于注意力机制的跨模态融合,其中将所述文本语义向量序列作为查询,以所述视觉证据向量序列作为键和值,计算查询与键之间的相似度,得到各字符对应的注意力权重,并利用所述可信度权重作为调制因子对所述注意力权重进行加权运算,以得到可信度加权的融合表示;

23、异常推理与决策模块,用于基于所述融合表示进行异常报销规则推理,获得异常概率;将预设关键字段内各字符的所述可信度权重进行聚合,得到整体决策不确定性;当所述整体决策不确定性超过预设阈值时,输出需人工复核的指示及高不确定性字段的位置信息,否则输出所述异常概率作为最终异常判断结果。

24、本发明的有益效果在于:

25、本发明与现有技术相比,在深度学习异常报销识别模型内部构建了能够感知前端ocr不可靠性的审慎推理机制,通过对每个字符的成像干扰进行量化并生成可信度权重,以该权重动态调制文本与视觉模态的融合过程,有效阻断了ocr错误向异常决策层无衰减传播的路径,显著降低了因拍屏图像干扰导致的合规报销误拒率,同时通过不确定性评估在信息质量不足时自动转人工复核,防止了真正异常的漏检,并能为审核员提供精准的问题区域可视化指引。