一种复杂电力文档图像自适应校正增强方法与流程

本发明属于图像校正增强的，具体涉及一种复杂电力文档图像自适应校正增强方法。

背景技术：

1、随着我国电力行业数字化转型的深入推进，海量纸质批复文件、设备材料清册、工程图纸、巡检记录等文档需要数字化归档与结构化信息提取。电力行业数字化转型的相关综述已指出这一趋势的紧迫性。然而，电力行业的文档图像通常面临以下复杂场景挑战：

2、（1）文件表面反光；

3、（2）拍摄角度倾斜导致的几何畸变；

4、（3）文档污损、模糊、低对比度等退化问题。

5、通用ocr引擎，如业界综合评估基准或paddleocr，在理想扫描件上可达到95%以上的字符识别精度，但在上述复杂场景下精度急剧下降。

6、目前尚缺乏针对电力行业文档特性、能为下游ocr提供高质量输入的校正增强一体化方案。电力行业文档普遍存在专用术语密集、表格排布集中、印章覆盖文本、手写批注混杂等特征，现有的图像预处理方法包括深度学习图像增强方法、双边滤波等，仅能解决单一类型的退化问题，自适应处理能力不足，且在多种退化耦合出现的场景中效果不佳。

7、基于上述背景，本发明公开了一种复杂电力文档图像自适应校正增强方法。

技术实现思路

1、本发明公开了一种复杂电力文档图像自适应校正增强方法，设计了基于退化感知的duce-net网络结构，duce-net网络结构集成了抗反光、倾斜校正等图像优化算法，通过三阶段渐进训练策略和自适应联合校正模块，显著提升复杂场景下的字符识别精度。

2、本发明通过下述技术方案实现：

3、一种复杂电力文档图像自适应校正增强方法，基于duce-net网络结构实现，所述duce-net网络结构包括并行接收退化图像的退化分类器和以resnet残差网络为骨干的编码器，所述编码器与解码器之间设置有门控退化路由器和自适应联合校正模块，其特征在于，包括以下步骤：

4、步骤1、将退化图像输入退化分类器，通过退化分类器对退化图像进行压缩得到多维特征向量，对多维特征向量经全连接层映射转换为二维逻辑值，通过sigmoid函数将二维逻辑值转化为二维退化概率向量；

5、步骤2、对退化图像进行共享特征提取，所述退化图像经resnet残差网络结构前向传播，提取resnet残差网络结构的layer3输出作为退化图像的共享特征，所述共享特征的通道数为256；

6、步骤3、将二维退化概率向量和共享特征输入门控退化路由器，通过门控退化路由器将二维退化概率向量转换为通道级门控信号，基于通道级门控信号对共享特征的各个通道进行选择性激活或抑制，生成256维通道级门控权重，并对共享特征逐通道加权，得到门控共享特征；

7、步骤4、将门控共享特征输入抗反光分支网络进行反光校正，得到反光校正输出特征；

8、步骤5、将门控共享特征输入倾斜校正分支网络进行倾斜校正，得到倾斜校正输出特征；

9、步骤6、将反光校正输出特征、倾斜校正输出特征、共享特征输入自适应联合校正模块，所述自适应联合校正模块将反光校正输出特征、倾斜校正输出特征基于二维退化概率向量加权后，联合共享特征融合得到融合特征；

10、步骤7、对融合特征进行四级上采样，使融合特征的空间尺寸恢复至原始输入尺寸；采用3×3卷积将四级上采样输出的16通道特征映射为rgb三通道输出，并通过tanh激活函数将rgb三通道输出的输出像素值约束至(-1，1)区间，得到增强图像。

11、为了更好的实现本发明，进一步的，所述步骤1具体包括：

12、步骤1.1、将退化图像输入退化分类器，所述退化分类器包括堆叠的四个单元卷积块，所述单元卷积块包括步长为2的3×3卷积层、批量归一化层和relu激活函数；

13、步骤1.2、对第四级的单元卷积块的输出特征张量d(4)执行自适应平均池化，将第四级的单元卷积块的输出特征张量的空间维度压缩至1×1，得到256维的特征向量；

14、步骤1.3、特征向量经过第一个全连接层映射为中间表示向量，通过relu激活函数对中间表示向量进行激活，并对中间表示向量进行dropout正则处理；

15、步骤1.4、中间表示向量经过第二个全连接层转换为二维逻辑值，通过sigmoid函数将二维逻辑值转化为反光概率与倾斜概率，由反光概率与倾斜概率构成二维退化概率向量。

16、为了更好的实现本发明，进一步的，所述步骤3具体包括：

17、步骤3.1、门控退化路由器对共享特征执行全局平均池化，以对共享特征的空间维度进行压缩得到通道描述向量；

18、步骤3.2、将通道描述向量与二维退化概率向量沿通道维度进行拼接，得到258维的联合表征向量；

19、步骤3.3、所述门控退化路由器包括两个全连接层，将联合表征向量输入第一个全连接层，将联合表征向量从258维映射至64维后进行relu激活；

20、步骤3.4、通过第二个全连接层将64维的中间表示向量映射至256维后进行sigmoid激活，生成256维的通道级门控权重，并对共享特征逐通道加权，得到门控共享特征。

21、为了更好的实现本发明，进一步的，所述步骤4具体包括：

22、步骤4.1、将门控共享特征输入抗反光分支网络，得到反光输入特征；所述抗反光分支网络包括三个并行的深度卷积支路；

23、步骤4.2、将反光输入特征分别输入三个并行的深度卷积支路，三个深度卷积支路的卷积核尺寸分别为3×3、7×7和15×15，每个深度卷积支路的输入通道数和输出通道数均为256，分组数均为256；将三个深度卷积支路输出的256通道特征沿通道维度拼接，形成768通道特征张量，再通过输入通道数为768、输出通道数为256的1×1逐点卷积进行通道融合，得到256通道的多尺度融合特征；

24、步骤4.3、从多尺度融合特征中推导高光掩码，并将高光掩码作用于多尺度融合特征进行逐位置加权，再与反光输入特征进行残差连接，得到反光校正输出特征。

25、为了更好的实现本发明，进一步的，所述步骤5具体包括：

26、步骤5.1、将门控共享特征输入倾斜校正分支网络，得到倾斜输入特征；所述倾斜校正分支网络包括依次设置的两个3×3卷积层、第一1×1卷积层和第二1×1卷积层；

27、步骤5.2、倾斜输入特征经过第一个卷积层后输出128通道的第一层输出特征，所述第一层输出特征经过第二个卷积层后输出64通道的第二层输出特征；

28、步骤5.3、对第二层输出特征执行1×1卷积生成单通道空间注意力图；

29、步骤5.4、将单通道空间注意力图作用于第二层输出特征进行逐位置加权得到64通道特征，将加权后的64通道特征经第二1×1卷积层映射为256通道，再与倾斜输入特征进行残差连接，得到倾斜校正输出特征。

30、为了更好的实现本发明，进一步的，所述步骤6具体包括：

31、步骤6.1、从二维退化概率向量中提取反光概率，通过反光概率对反光校正输出特征加权；

32、步骤6.2、从二维退化概率向量中提取倾斜概率，通过倾斜概率对倾斜校正输出特征加权；

33、步骤6.3、将加权后的反光校正输出特征、加权后的倾斜校正输出特征、共享特征相加融合得到融合特征。

34、为了更好的实现本发明，进一步的，所述步骤7具体包括：

35、步骤7.1、将融合特征输入四级转置卷积进行4级上采样，以将融合特征的尺寸恢复至输入退化分类器时的原始尺寸；所述转置卷积的尺寸为4×4，步长为2；第一级转置卷积的输入通道为256，输出通道为128；第二级转置卷积的输入通道为128，输出通道为64；第三级转置卷积的输入通道为64，输出通道为32；第四级转置卷积的输入通道为32，输出通道为16；

36、步骤7.2、采用3×3卷积将四级转置卷积输出的16通道特征映射为rgb三通道输出；

37、步骤7.3、采用tanh激活函数将rgb三通道输出的输出像素值映射到(-1，1)区间，得到增强图像。

38、为了更好的实现本发明，进一步的，引入清洁图像，计算增强图像与清洁图像每个像素之间的误差作为像素级损失；将增强图像与清洁图像分别输入预训练的vgg-19网络，并提取vgg-19网络第36层输出的增强特征图与清洁特征图，计算增强特征图与清洁特征图上特征元素之间的距离作为感知损失；采用二维多标签二元交叉熵在反光维度与倾斜维度分别对二维退化概率向量计算损失均值作为退化分类损失；计算增强图像与清洁图像之间的结构相似性指数，并以1减去结构相似性指数作为ssim损失；基于像素级损失、感知损失、退化分类损失、ssim损失加权计算duce-net网络结构的总损失。

39、为了更好的实现本发明，进一步的，在duce-net网络结构中引入像素级损失、感知损失、退化分类损失和ssim损失，对duce-net网络结构采用基于退化强度递进的三阶段渐进训练；所述三阶段渐进训练均采用由像素级损失、感知损失、退化分类损失和ssim损失构成的总损失函数，像素级损失、感知损失、退化分类损失和ssim损失的权重在整个训练过程中保持不变，以保证不同阶段优化目标的一致性；所述三阶段渐进训练均设置无退化、单一反光、单一倾斜以及反光与倾斜联合退化四类样本，以覆盖退化标签的全部组合，使退化分类器获得完整的多标签监督信号；所述三阶段渐进训练逐渐增大退化模拟参数提高训练样本难度，第一阶段渐进训练采用轻度退化，反光强度参数为0.2～0.5，倾斜角度范围为±15°；第二阶段渐进训练采用中度退化，反光强度参数为0.3～0.8，倾斜角度范围为±25°；第三阶段渐进训练采用重度退化，反光强度参数为0.5～1.0，倾斜角度范围为±35°。通过上述退化强度递进方式，使模型首先在轻度退化条件下学习基本的图像重建与退化感知能力，随后逐步适应更加严重的反光和倾斜退化，最终提高模型在复杂联合退化条件下的图像重建精度与鲁棒性。

40、为了更好的实现本发明，进一步的，所述第一阶段的渐进训练的训练轮数不少于2轮；第二阶段的渐进训练的训练轮数不少于3轮；第三阶段的渐进训练的训练轮数不少于4轮。

41、本发明与现有技术相比，具有以下优点及有益效果：

42、（1）本发明在文档增强任务中引入退化分类器与门控退化路由器的联合学习框架，不同于现有方法对所有输入图像采用固定增强策略，duce-net网络结构能够自动识别输入文档图像的退化类型，通过门控退化路由器自适应调制共享特征，并利用二维退化概率向量调整抗反光分支与倾斜校正分支在融合结果中的贡献，显著提升了多退化耦合场景下的鲁棒性；

43、（2）本发明设计了反光抑制与倾斜校正双分支并行处理架构，通过二维退化概率向量加权的自适应融合机制，实现了多类型退化的协同校正；抗反光分支采用多尺度特征提取与高光掩码注意力机制，定位并抑制镜面反射区域，倾斜校正分支基于卷积特征提取和空间注意力机制，对倾斜畸变相关区域进行自适应特征增强和校正；双分支协同工作，避免了传统串行处理流程中误差累积的问题；

44、（3）本发明针对电力文档中专用术语、表格线、印章覆盖等场景特性，设计了基于退化强度递进的三阶段渐进训练策略，通过逐阶段提高训练样本的退化强度，在保持联合损失函数及各损失项权重不变的条件下，实现由轻度退化至重度退化的渐进优化；

45、（4）本发明采用resnet-18作为共享特征编码器骨干网络，通过该骨干网络提取256通道共享特征，为退化感知门控路由、抗反光校正、倾斜校正和渐进内容保持解码提供统一的特征表示；同时，模型输出可直接接入现有ocr流水线，无需修改后端识别模块，降低了与现有ocr系统的集成成本。

46、图1为本发明的方法流程示意图；

47、图2为duce-net网络结构的示意图；

48、图3为不同方法在三个数据集上的ocr精度对比示意图；

49、图4为duce-net网络结构三阶段训练损失曲线图；

50、图5为psnr变化趋势图；

51、图6为消融实验结果示意图；

52、图7为duce-net网络结构抗退化性能评估雷达图。