一种基于双分支的指针仪表图像端到端几何校正方法
本发明涉及机器视觉与工业图像处理,具体为一种基于双分支的指针仪表图像端到端几何校正方法。
背景技术:
1、指针式仪表广泛应用于电力、石油、化工、机械制造、轨道交通和工业自动化等领域。随着智能巡检技术的发展,利用固定摄像机、移动终端、巡检机器人或无人机采集仪表图像,并通过机器视觉技术自动识别仪表读数,已成为替代人工抄表的重要技术手段。
2、在实际图像采集过程中,由于相机光轴通常无法始终垂直于仪表表盘,所采集的指针仪表图像容易同时存在透视畸变和平面旋转。透视畸变会使圆形表盘在图像中呈现为椭圆或其他投影形状,并导致刻度间距和指针角度发生非线性变化;平面旋转会使仪表的零刻度位置、数字方向和单位文字方向偏离预设标准方向。上述几何畸变会降低指针分割、刻度定位、指针角度计算和仪表读数映射的准确性。
3、现有几何校正方法主要包括基于霍夫变换的圆或椭圆检测方法、基于轮廓拟合的方法、基于角点或局部特征匹配的方法、基于模板匹配的方法以及基于相机标定参数的方法。此类方法通常依赖清晰、完整且稳定的表盘边缘、刻度或局部特征。当仪表图像中存在反光、雨滴、模糊、暗光、污渍或者复杂背景时,人工设计特征容易失效。
4、现有基于深度学习的仪表图像处理方法通常将仪表检测、表盘分割、透视校正和旋转校正设置为相互独立的处理阶段。一方面,多阶段处理会造成前一阶段的误差向后一阶段传播;另一方面,部分方法仅通过神经网络预测变换参数,而没有利用校正后图像的结构和像素信息进行端到端约束。还有部分方法采用单一参数分支同时输出不同类型的几何参数,容易造成透视参数与旋转参数之间的相互干扰。
5、此外,常规神经网络可能利用输入图像的矩形边界、填充区域或背景纹理等非表盘特征推断旋转方向,使模型在训练数据上获得较低损失,但在真实环境发生背景变化时产生较大校正误差。
6、因此,有必要提供一种能够利用指针仪表圆形结构先验、分别学习透视变换与平面旋转、并通过校正图像实施端到端联合监督的几何校正方法。
技术实现思路
1、(一)解决的技术问题
2、针对现有技术的不足,本发明提供了一种基于双分支的指针仪表图像端到端几何校正方法,以解决现有技术中透视畸变和平面旋转相互耦合、人工特征容易受到复杂环境干扰、背景边界造成方向判断偏差以及多阶段处理误差累积的问题。
3、(二)技术方案
4、为实现上述目的,本发明提供如下技术方案:一种基于双分支的指针仪表图像端到端几何校正方法,包括:获取包含指针仪表表盘的待校正图像,对所述待校正图像进行尺寸归一化,并根据所述指针仪表表盘的中心位置和表盘有效半径生成圆形掩膜,将所述待校正图像与所述圆形掩膜进行逐像素运算,得到掩膜输入图像;
5、将所述掩膜输入图像输入预先训练的几何校正网络,通过所述几何校正网络的共享特征提取网络提取所述掩膜输入图像的共享图像特征,并对所述共享图像特征进行全局特征聚合,得到同时表征表盘透视形变和表盘方向信息的全局特征向量;
6、将所述全局特征向量分别输入并行设置的透视参数回归分支和旋转参数回归分支,通过所述透视参数回归分支输出用于将所述掩膜输入图像映射至标准视角的单应性校正参数,通过所述旋转参数回归分支输出用于将所述指针仪表表盘调整至预设标准方向的旋转校正参数;
7、根据所述单应性校正参数构建单应性校正矩阵,并基于所述单应性校正矩阵建立由透视校正图像坐标指向所述掩膜输入图像坐标的第一逆向采样网格,利用所述第一逆向采样网格对所述掩膜输入图像进行可微插值采样,得到透视校正中间图像;
8、根据所述旋转校正参数建立由目标校正图像坐标指向所述透视校正中间图像坐标的第二逆向采样网格,利用所述第二逆向采样网格对所述透视校正中间图像进行可微插值采样,得到同时完成透视校正和平面旋转校正的标准化指针仪表图像。
9、优选的,所述共享特征提取网络包括依次连接的多个卷积特征提取单元和自适应全局平均池化层;所述透视参数回归分支和所述旋转参数回归分支共用所述共享特征提取网络,所述透视参数回归分支包括第一全连接层、第一非线性激活层和第一输出层,所述旋转参数回归分支包括第二全连接层、第二非线性激活层和第二输出层。
10、优选的,所述透视参数回归分支输出八个单应性校正参数,并按照下式构建所述单应性校正矩阵;所述透视参数回归分支的输出层被初始化为输出单位单应性矩阵对应的参数,所述旋转参数回归分支的输出层被初始化为输出零旋转参数。
11、优选的,所述圆形掩膜中的有效区域由所述表盘的中心位置和表盘有效半径确定,所述圆形掩膜在有效区域与无效区域的交界处设置连续变化的过渡区域;在训练所述几何校正网络时,采用所述圆形掩膜对标准化指针仪表图像和对应的标准正向图像之间的图像重建误差进行加权,以降低表盘外部背景像素对网络训练的影响。
12、优选的,所述几何校正网络的训练样本通过以下方式生成:获取标准正向指针仪表图像,对所述标准正向指针仪表图像依次施加随机透视变换和随机平面旋转变换,并施加亮度变化、对比度变化、颜色变化、模糊、噪声、反光、雨滴模拟和图像压缩中的至少一种图像退化处理,得到失真输入图像;记录所述随机透视变换的逆变换参数作为单应性校正参数标签,并记录所述随机平面旋转变换的逆旋转参数作为旋转校正参数标签。
13、优选的,所述几何校正网络采用联合损失函数进行训练,所述联合损失函数至少包括:根据所述标准化指针仪表图像和所述标准正向指针仪表图像确定的掩膜图像重建损失、根据预测的单应性校正参数和所述单应性校正参数标签确定的透视参数监督损失,以及根据预测的旋转校正参数和所述旋转校正参数标签确定的旋转参数监督损失;所述掩膜图像重建损失通过所述第一逆向采样网格和所述第二逆向采样网格反向传播至所述共享特征提取网络、所述透视参数回归分支和所述旋转参数回归分支。
14、优选的,所述透视参数监督损失还包括角点重投影损失,所述角点重投影损失根据预设表盘区域的多个参考点分别经预测的单应性校正矩阵和真实单应性校正矩阵变换后的位置差异确定;当所述旋转校正参数覆盖角度周期边界时,所述旋转参数监督损失根据预测角度与真实角度之间的最短周期角距离确定。
15、(三)有益效果
16、与现有技术相比,本发明提供了一种基于双分支的指针仪表图像端到端几何校正方法,具备以下有益效果:
17、降低透视参数与旋转参数之间的任务干扰。
18、通过共享特征提取网络与并行双分支回归结构,在共享表盘视觉特征的同时,对透视形变和旋转方向进行针对性参数回归。
19、抑制非表盘背景造成的错误关联。
20、圆形掩膜使网络重点利用表盘轮廓、刻度、数字、文字和指针等有效内容,减少矩形边界、填充区域及背景纹理对旋转参数预测的干扰。
21、实现端到端优化。
22、第一逆向采样网格和第二逆向采样网格采用可微插值,最终校正图像的重建损失能够同时约束透视分支、旋转分支及共享特征提取网络。
23、提高几何参数的物理可解释性。
24、透视分支输出具有明确投影几何意义的单应性矩阵,旋转分支输出具有明确方向意义的旋转参数,便于结果检测、异常判断及下游系统调用。
25、提高复杂工业环境下的泛化能力。
26、通过对训练图像施加亮度变化、颜色变化、模糊、反光、雨滴和图像压缩等退化,使网络减少对固定颜色和成像条件的依赖。
27、便于后续仪表读数。
28、输出图像同时完成透视校正和旋转校正,可为指针分割、刻度定位、指针角度计算和读数映射提供统一的标准化图像。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com