一种大角度斜拍梯形矫正和画质还原的高拍仪系统和方法与流程
本发明涉及图像处理与文档拍摄,具体涉及一种大角度斜拍梯形矫正和画质还原的高拍仪系统和方法。
背景技术:
1、高拍仪作为一种高速文档拍摄设备,已广泛应用于办公自动化、档案数字化、金融票据处理、教育信息化等领域。与传统平板扫描仪相比,高拍仪具有拍摄速度快、操作便捷、可拍摄装订文档和立体物品等优势,但同时也存在因拍摄角度倾斜导致的图像几何畸变问题。
2、在实际使用中,用户通常手持待拍摄文档置于高拍仪下方,由于手臂姿态的自然限制和操作习惯,文档很难与拍摄镜头光轴保持完全垂直。尤其是在拍摄较大幅面文档(如a3图纸、报纸等)或需要快速连续拍摄的场景中,用户往往以较大倾斜角度放置文档,导致拍摄图像出现明显的梯形畸变和透视变形。具体而言,靠近镜头的文档边缘在图像中显得较大,远离镜头的边缘显得较小,形成典型的透视梯形失真。同时,由于文档表面不同区域到镜头的距离不等,在远离镜头的区域还会出现分辨率下降、文字笔画模糊、色彩失真等画质退化问题。
3、现有技术中针对文档拍摄畸变问题的解决方案主要分为两类:一类是采用硬件校正方式,如通过多镜头阵列、可调角度支架或激光测距辅助定位等物理手段减少拍摄畸变,但这类方案增加了设备的复杂度和成本,且无法完全消除畸变;另一类是采用软件校正方式,即对拍摄后的图像进行数字图像处理,通过透视变换将梯形图像校正为矩形正视角图像。
4、然而,现有的软件校正方案存在以下不足:
5、(1)校正过程中的像素级插值失真问题。透视变换校正需要对图像像素进行重采样,双线性插值或双三次插值均会导致文字笔画边缘模糊、细节丢失,对于含有小字号文字的文档,校正后的文字可识别性明显下降。
6、(2)校正后图像的非均匀分辨率问题。透视校正使原本在图像中较小的远端区域被放大,该区域的像素被拉伸,分辨率实际下降;而近端区域被压缩,文字笔画可能发生粘连。这种非均匀分辨率变化使得后续ocr识别的准确率大幅降低,尤其是在大角度斜拍情况下更为严重。
7、(3)常规ocr引擎对畸变文字的鲁棒性不足。虽然基于深度学习的ocr模型对轻微的几何畸变具有一定的容忍度,但在大角度斜拍(如拍摄倾斜角超过30度)产生的严重畸变情况下,端到端ocr模型的识别准确率急剧下降,难以满足实际应用需求。
8、(4)缺乏对画质退化问题的系统解决方案。现有技术主要关注几何畸变的校正,而忽略了由于距离变化导致的图像亮度不均、清晰度下降等画质退化问题,导致校正后的图像虽然几何形状正确但整体视觉效果不佳。
技术实现思路
1、为解决现有技术中高拍仪在大角度斜拍条件下存在几何畸变校正精度低、像素插值失真、画质退化以及ocr识别准确率低的技术问题,本发明提供一种大角度斜拍梯形矫正和画质还原的高拍仪系统和方法。
2、本发明解决其技术问题所采用的技术方案是:
3、一种大角度斜拍梯形矫正和画质还原的高拍仪系统,包括图像采集模块、预处理模块、畸变参数提取模块、画质还原模块、矢量字库模块、矢量畸变匹配模块和输出模块。
4、所述图像采集模块用于在任意拍摄角度下获取包含文档页面的原始图像。所述预处理模块用于对原始图像进行灰度化、去噪和自适应二值化预处理,并利用边缘检测算子提取文档页面的最外层轮廓,通过多边形逼近算法获取文档页面的四个顶点坐标。所述畸变参数提取模块用于根据四个顶点坐标与标准矩形的对应关系,建立从标准矩形到畸变四边形的透视变换矩阵,并基于该透视变换矩阵导出畸变参数的空间分布函数,该函数描述了文档上任意位置经历的局部畸变特性。所述画质还原模块用于根据文档页面不同区域的空间位置,对原始图像进行亮度校正、清晰度增强和色彩还原处理,消除因拍摄距离变化导致的画质退化。所述矢量字库模块用于存储以矢量轮廓形式表示的字符字形数据,每个字符的字形由封闭轮廓控制点集及其曲线类型标记构成。所述矢量畸变匹配模块用于根据畸变参数提取模块建立的畸变参数空间分布函数,对矢量字库模块中的候选字符字形在矢量域中施加与拍摄图像完全相同的畸变变换,生成畸变矢量字符图像,再与原始图像中分割出的目标文字区域进行多层级匹配识别。所述输出模块用于输出最终的识别文本和矫正后的高质量文档图像。
5、作为优选,所述预处理模块包括灰度化处理子模块、去噪增强子模块、边缘检测与轮廓提取子模块和顶点提取子模块。所述灰度化处理子模块用于将彩色图像转换为灰度图像;所述去噪增强子模块用于采用高斯滤波或中值滤波去除图像噪声,并采用直方图均衡化增强图像对比度;所述边缘检测与轮廓提取子模块用于采用canny边缘检测算子提取文档页面的边缘像素点,并采用轮廓跟踪算法提取文档的最外层轮廓;所述顶点提取子模块用于对提取的文档轮廓采用douglas-peucker多边形逼近算法提取四边形的四个顶点坐标,当多边形逼近结果顶点数大于4时,采用最小外接四边形拟合算法以最小化面积损失为目标函数迭代求取最优四边形的四个顶点坐标。
6、作为优选,所述顶点提取子模块还用于检验四个顶点构成四边形的凸性,若为非凸四边形则判定拍摄角度超出可校正范围并触发重新拍摄提示;同时还计算四边形四边长度比值,当最长边与最短边的比值超过预设阈值时判定为拍摄角度超出系统校正能力范围并触发提醒。
7、作为优选,所述畸变参数提取模块包括透视变换矩阵求解子模块和局部畸变参数解析子模块。所述透视变换矩阵求解子模块用于以标准矩形的四个顶点坐标与图像中提取的四个顶点坐标之间的对应关系建立透视变换矩阵,将图像四边形的畸变特征参数化为一个八自由度的透视变换矩阵,该透视变换矩阵完整表征了文档因拍摄姿态而产生的全部畸变信息,包括透视变形、旋转、缩放和倾斜。所述局部畸变参数解析子模块用于基于透视变换矩阵导出雅可比矩阵,对雅可比矩阵进行奇异值分解得到两个奇异值和主方向角,由此建立从标准矩形中任意位置到局部畸变参数的连续映射函数。
8、作为优选,所述局部畸变参数解析子模块建立的连续映射函数为f_map:(x,y)→(σ1,σ2,φ),其中(x,y)为标准矩形中的任意点坐标,σ1和σ2分别为该点处雅可比矩阵的最大奇异值和最小奇异值,代表最大拉伸方向和最大压缩方向上的缩放倍数,φ为主方向角,代表最大拉伸方向与水平轴的夹角。在标准矩形的中心区域,σ1≈σ2≈1,畸变微弱;在标准矩形的边缘和角部区域,σ1和σ2偏离1的程度增大,二者的差异决定了畸变的方向性和拉伸程度,该映射函数完整描述了文档上每一点经历的非均匀畸变。
9、作为优选,所述画质还原模块包括亮度校正子模块、清晰度增强子模块和色彩还原子模块。所述亮度校正子模块用于根据文档页面各区域到镜头光心的相对距离和倾斜角度,建立亮度衰减模型,对远离镜头区域进行亮度提升补偿,使整个文档页面的亮度分布均匀一致;所述清晰度增强子模块用于根据文档页面各区域的离焦程度,采用空域自适应滤波算法对不同区域实施不同强度的清晰度增强,对离焦较为严重的远端区域施加较强的增强处理,对近端区域施加较弱的增强处理;所述色彩还原子模块用于根据光源在不同拍摄角度下的照射方向特性,建立色彩偏移模型,对因斜拍角度导致的色彩偏差进行校正还原。
10、作为优选,所述矢量字库模块中的字符字形以闭合轮廓控制点集的方式存储,每个字符由若干个轮廓环构成,每个轮廓环由若干直线段和贝塞尔曲线段依次连接而成,每个控制点坐标在标准em-square坐标系中定义,曲线类型标记用于标识相邻控制点之间的线段类型和阶数;字库覆盖多种常用字体的字符字形数据。
11、作为优选,所述矢量畸变匹配模块包括候选字符定位子模块、矢量畸变施加子模块和多层级匹配识别子模块。所述候选字符定位子模块用于对原始图像进行连通域分析,提取每个独立文字区域,并确定每个文字区域在标准矩形中的相对位置;所述矢量畸变施加子模块用于根据每个文字区域在标准矩形中的相对位置,通过畸变参数的空间分布函数获取该位置对应的局部畸变参数,对矢量字库中的候选字符字形的每个控制点坐标在矢量域中依次施加缩放变换和局部透视变换,生成与拍摄图像中该文字区域具有相同畸变方向和畸变程度的栅格化候选字符图像;所述多层级匹配识别子模块用于将生成的畸变候选字符图像与原始图像中分割出的目标文字图像进行多层级匹配识别。
12、作为优选,所述多层级匹配识别子模块采用三级递进匹配策略:第一级为形状上下文匹配,对目标文字轮廓和候选字符轮廓进行等距采样,计算每个采样点的形状上下文描述子,通过匈牙利算法进行轮廓点之间的最优匹配获得形状相似度得分;第二级为归一化交叉相关匹配,将第一级通过的候选字符的畸变渲染图像与目标文字图像进行像素级归一化交叉相关计算获得像素相似度得分,综合形状相似度得分和像素相似度得分生成综合匹配得分;第三级为语义校正,当所有候选字符的综合匹配得分低于置信阈值时,结合上下文已识别结果的n-gram语言模型进行语义纠错。
13、本发明还提供一种大角度斜拍梯形矫正和画质还原的方法,包括以下步骤:
14、步骤s1、图像采集步骤:通过高拍仪在任意拍摄角度下获取包含文档页面的原始图像;
15、步骤s2、预处理与顶点提取步骤:对原始图像进行灰度化、去噪和自适应二值化预处理,采用边缘检测算子提取文档页面的最外层轮廓,通过多边形逼近算法获取文档页面的四个顶点坐标;
16、步骤s3、畸变参数提取步骤:以标准矩形的四个顶点坐标与步骤二提取的四个顶点坐标之间的对应关系建立从标准矩形到畸变四边形的透视变换矩阵,基于该透视变换矩阵导出雅可比矩阵,对雅可比矩阵进行奇异值分解得到两个奇异值和主方向角,建立从标准矩形中任意位置到局部畸变参数的连续映射函数;
17、步骤s4、画质还原步骤:根据文档页面各区域到镜头光心的相对距离和倾斜角度,对原始图像进行亮度校正、清晰度增强和色彩还原处理;
18、步骤s5、矢量字库畸变匹配步骤:根据步骤三建立的畸变参数连续映射函数,对矢量字库中候选字符字形的每个控制点坐标在矢量域中施加相同的畸变变换,生成畸变矢量字符图像,再与原始图像中分割出的目标文字区域进行多层级匹配识别,得到识别结果;
19、步骤s6、输出步骤:输出最终识别文本和矫正后的高质量文档图像。
20、作为优选,步骤三中所述建立从标准矩形到畸变四边形的透视变换矩阵,具体为:设定标准矩形的四个顶点坐标分别为(0,0)、(w,0)、(w,h)、(0,h),其中w:h为文档纸张的标准宽高比,与步骤二提取的四个顶点坐标形成四组映射对应关系,代入透视变换公式建立八个线性方程,求解八个自由度参数从而获得透视变换矩阵。
21、作为优选,步骤三中所述建立从标准矩形中任意位置到局部畸变参数的连续映射函数,具体为:基于透视变换矩阵,在标准矩形中任意点(x,y)处求取其雅可比矩阵
22、j(x,y)=∂(u,v)/∂(x,y),
23、其中(u,v)为对应点在畸变图像中的像素坐标;对j(x,y)进行奇异值分解j=u·σ·vᵀ,得到两个奇异值σ1和σ2以及主方向角φ,由此建立连续映射函数
24、f_map:(x,y)→(σ1,σ2,φ)。
25、作为优选,步骤五中所述对矢量字库中候选字符字形的每个控制点坐标在矢量域中施加相同的畸变变换,具体包括:首先将矢量字库中字符字形的每个控制点坐标从标准em-square坐标系缩放至实际文档中的目标字号尺寸;然后根据该字符在标准矩形中的相对位置获取局部透视变换矩阵或局部畸变参数(σ1,σ2,φ);最后对缩放后的每个控制点坐标应用该局部透视变换得到畸变后的控制点坐标,或者以字符质心为旋转中心依次应用旋转对齐、各向异性缩放和反向旋转的近似仿射变换;再将畸变后的矢量轮廓曲线按原始曲线类型重新连接,得到完整的畸变矢量字符字形;最后对畸变矢量字符字形进行亚像素精度光栅化渲染,生成与拍摄图像中对应文字区域具有相同畸变方向和畸变程度的栅格化候选字符图像。
26、本发明与现有技术相比,具有以下有益效果:
27、(1)本发明创造性地采用"逆向畸变"技术路径,不对畸变拍摄图像进行像素级透视校正,而是对矢量字库中的字符轮廓施加与拍摄图像完全相同的畸变变换。由于矢量字库中的字符字形以控制点坐标方式存储,畸变过程在矢量域中对控制点直接进行数学变换完成,无需任何像素插值操作,从本质上避免了传统透视校正中因像素重采样导致的文字笔画边缘模糊、细节丢失等问题,畸变后的字符轮廓仍然保持光滑、精确的数学定义,实现了像素无损的畸变精度。
28、(2)本发明建立了从标准矩形到畸变四边形的透视变换模型,并通过雅可比矩阵奇异值分解导出了从标准矩形中任意位置到局部畸变参数(σ1,σ2,φ)的连续映射函数。该映射函数以封闭形式的数学解析模型完整描述了文档上每一点经历的非均匀畸变特性:在中心区域畸变微弱,在边缘和角部畸变加剧,且畸变的方向性和拉伸程度随位置连续变化。相比现有技术中采用固定模板或近似假设的简化处理方法,本发明的数学模型更加精确且物理意义清晰,计算代价极低,覆盖了任意拍摄角度的全部姿态可能性。
29、(3)本发明系统性地解决了画质退化问题,通过亮度校正、清晰度增强和色彩还原三个维度对不同空间位置的图像质量进行差异化补偿。根据文档页面各区域到镜头光心的相对距离和倾斜角度,建立亮度衰减模型和色彩偏移模型,对远离镜头的暗区进行亮度提升补偿,对离焦区域实施自适应的清晰度增强,对斜拍导致的色彩偏差进行校正,使整个文档页面的亮度、清晰度和色彩分布均匀一致,显著提升了矫正后文档图像的整体视觉效果和可用性。
30、(4)本发明采用三级递进的多层级匹配识别策略,结合形状上下文匹配、归一化交叉相关匹配和语义校正三个层级,在匹配精度和计算效率之间实现了最优平衡。第一级的形状上下文匹配可快速排除大量不相关候选字符,第二级的像素级归一化交叉相关匹配进行精细化验证,第三级的语义校正当图像信息不充分时提供兜底保障。由于匹配在畸变对齐后的空间中进行,匹配基准可靠,识别准确率显著高于传统ocr引擎在畸变图像上的表现。
31、为了更好地理解和实施,下面结合附图详细说明本技术。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com