一种基于接触网安全巡检的杆号牌识别方法及系统与流程

技术特征：
1.一种基于接触网安全巡检的杆号牌识别方法，其特征在于，包括以下步骤：步骤s1、利用高速相机在安全巡检过程中沿巡检线路获取接触网巡检图像，并利用号牌定位网络对所述接触网巡检图像进行杆号牌区域提取以实现连续获取一组杆号牌巡检图像，并在一组杆号牌巡检图像中筛选出一张表征完整杆号牌数字编号且清晰的杆号牌巡检图像作为杆号牌编号识别图像；步骤s2、对接触网的所有杆号牌利用步骤s1得到所有杆号牌编号识别图像作为训练样本，基于所述训练样本构建杆号牌数字编号识别模型；步骤s3、为批量待识别的杆号牌的杆号牌编号识别图像建立图像特征关联属性得到一组关联的杆号牌编号识别图像，并将一组关联的杆号牌编号识别图像依次输入杆号牌数字编号识别模型中得到批量待识别的杆号牌的杆号牌数字编号，所述图像特征关联属性是指对批量待识别的杆号牌的杆号牌编号识别图像中相邻的杆号牌编号识别图像中后一杆号牌编号识别图像由前一杆号牌编号识别图像更新图像特征得到。2.根据权利要求1所述的一种基于接触网安全巡检的杆号牌识别方法，其特征在于：所述步骤s1中，在对所述杆号牌巡检图像进行筛选之前还包括对一组杆号牌巡检图像进行图像几何大小、位置规格调整，以使得一组杆号牌巡检图像实现表征同一图像特征的像素点对应匹配，所述对一组杆号牌巡检图像进行图像几何大小、位置规格调整的方法包括：步骤s101、为一组杆号牌巡检图像{i|i∈[1,n]}中每个杆号牌巡检图像均设置两个定位点，其中，两个所述定位点的坐标为o(x
i,1
，y
i,1
)，p(x
i,2
，y
i,2
)，x
i,1
，y
i,1
表征为杆号牌巡检图像i的定位点o的横、纵坐标，x
i,2
，y
i,2
表征为杆号牌巡检图像i的定位点p的横、纵坐标，i表征为杆号牌巡检图像的区分编号，n表征为一组杆号牌巡检图像中包含的杆号牌巡检图像的总数量；步骤s102、采用harris检测算法对一组杆号牌巡检图像中杆号牌巡检图像进行定位点检测，再通过定位点在杆号牌巡检图像上的几何变换实现对一组杆号牌巡检图像的几何大小、位置偏差进行调整至偏差消失，其中，所述几何大小、位置偏差的调整方法包括：以一组杆号牌巡检图像中的杆号牌巡检图像1为基准图像a，依次以一组杆号牌巡检图像中的剩余杆号牌巡检图像k(k∈[2,n])为调整图像b，计算基准图像a中两个定位点的水平偏角σ
op
和调整图像b中两个定位点的水平偏角σ
′
op
，其中，若σ
op
≠σ
′
op
，则对调整图像b进行σ
op-σ
′
op
角度的旋转变换；若σ
op
＝σ
′
op
，则调整图像b无需进行旋转变换；计算基准图像a中两个定位点之间的距离d
op
和调整图像b中两个定位点之间的距离d
′
op
，其中，若σ
op
＝σ
′
op
且d
op
≠d
′
op
，则对调整图像b进行d
′
op
/d
op
倍的缩放变换；若σ
op
＝σ
′
op
且d
op
＝d
′
op
，则调整图像b无需进行缩放变换；将所述调整图像b中两个定位点o(x
k,1
，y
k,1
)，p(x
k,2
，y
k,2
)进行位移调整至基准图像a中两个定位点o(x
1,1
，y
1,1
)，p(x
1,2
，y
1,2
)，并保留位移调整路线，将所述调整图像b沿位移调整路线进行位移调整完成对调整图像b的调整，使得调整图像b与所述基准图像a的像素点对应匹配；其中，x
k,1
，y
k,1
表征为调整图像b的定位点o的横、纵坐标，x
k,2
，y
k,2
表征为调整图像b的
定位点p的横、纵坐标。3.根据权利要求1所述的一种基于接触网安全巡检的杆号牌识别方法，其特征在于：所述步骤s1中，所述杆号牌编号识别图像的筛选方法包括：为一组杆号牌巡检图像设定图像质量衡量指标，所述图像质量衡量指标包括图像的清晰度，杆号牌数字编号的完整度，以及图像的像素信息量，其中，所述清晰度利用杆号牌巡检图像中像素点像素值的方差进行衡量，所述清晰度的计算公式为：式中，f1(i)表征为杆号牌巡检图像i的清晰度，i
j
表征为杆号牌巡检图像i中像素点j的像素值，μ表征为杆号牌巡检图像i的平均像素值；所述完整度利用杆号牌巡检图像中表征杆号牌数字编号的像素点信息熵进行衡量，所述完整度的计算公式为：式中，f2(i)表征为杆号牌巡检图像i的完整度，l1、l2分别表征为表征杆号牌数字编号的像素点的像素值最小取值和最大取值，p
i
表征为杆号牌巡检图像i中像素点像素值为l的出现概率；所述像素信息量利用杆号牌巡检图像所有像素点信息熵进行衡量，所述像素信息量的计算公式为：式中，f3(i)表征为杆号牌巡检图像i的像素信息量，l表征为杆号牌巡检图像所有像素点像素值最大取值，p
i
表征为杆号牌巡检图像i中像素点像素值为l的出现概率；基于所述图像质量衡量指标建立对一组杆号牌巡检图像进行图像质量评价的图像质量评价函数，并将图像质量评价函数值最高的杆号牌巡检图像作为杆号牌编号识别图像，其中，所述图像质量评价函数的计算公式为：f(i)＝f1(i) f2(i) f3(i)；式中，f(i)表征为杆号牌巡检图像i的图像质量评价函数值。4.根据权利要求3所述的一种基于接触网安全巡检的杆号牌识别方法，其特征在于：所述像素值最大取值l2和最小取值l1的确定方法包括：将杆号牌中杆号牌数字编号所在区域与杆号牌整个区域的横纵向位置关系等坐标映射到杆号牌巡检图像确定出表征杆号牌数字编号的像素点位置；
将表征杆号牌数字编号的像素点进行像素值比较得到像素值最大取值l2和最小取值l1。5.根据权利要求1所述的一种基于接触网安全巡检的杆号牌识别方法，其特征在于：所述步骤s2中，所述杆号牌数字编号识别模型的构建方法包括：步骤s201、利用步骤s1获得接触网中所有杆号牌的杆号牌编号识别图像作为样本特征，并人工提取出每个杆号牌编号识别图像中的杆号牌数字编号作为样本标签，将单个所述样本特征和单个样本标签进行对应且唯一绑定得到单个训练样本；步骤s202、使用加速区域卷积神经网络模型fasterr-cnn对所有训练样本进行训练得到杆号牌数字编号识别模型，所述杆号牌数字编号识别模型的输入为杆号牌编号识别图像，输出为杆号牌数字编号。6.根据权利要求1所述的一种基于接触网安全巡检的杆号牌识别方法，其特征在于：所述步骤s3中，所述一组关联的杆号牌编号识别图像的获得方法包括：步骤s301、为批量待识别的杆号牌的杆号牌编号识别图像{h|h∈[1,n]}设置表征相邻的杆号牌编号识别图像h和h 1中像素点{j|j∈[1,m]}差异性的差异监听因子其中，所述差异监听因子的计算公式为：式中，m表征为杆号牌编号识别图像h/h 1中像素点的总数目，h
j
、(h 1)
j
分别表征为杆号牌编号识别图像h和h 1中像素点j的像素值，j表征为像素点区分标号，n表征为批量待识别的杆号牌的总数目；步骤s302、设置差异阈值其中，若差异监听因子高于等于差异阈值则将所述差异监听因子对应的杆号牌编号识别图像h 1中的像素点j替换杆号牌编号识别图h中的像素点j；若差异监听因子低于差异阈值则将所述差异监听因子对应的杆号牌编号识别图像h中的像素点进行保留；步骤s303、依次将杆号牌编号识别图像h作为新的杆号牌编号识别图像h 1，实现将批量待识别的杆号牌的杆号牌编号识别图像{h|h∈[1,n]}转换为一组关联的杆号牌编号识别图像{h
′
|h
′
∈[1,n]}，h
′
表征为关联的杆号牌编号识别图像的区分标号。7.根据权利要求6所述的一种基于接触网安全巡检的杆号牌识别方法，其特征在于：所述批量待识别的杆号牌的杆号牌数字编号的获得方法包括：将一组关联的杆号牌编号识别图像{h
′
|h
′
∈[1,n]}依次输入至杆号牌数字编号识别模型中，依次得到一组关联的杆号牌编号识别图像{h
′
|h
′
∈[1,n]}的杆号牌数字编号；将一组关联的杆号牌编号识别图像{h
′
|h
′
∈[1,n]}的杆号牌数字编号对应映射至批量待识别的杆号牌的杆号牌编号识别图像{h|h∈[1,n]}上得到批量待识别的杆号牌的杆号牌编号识别图像{h|h∈[1,n]}的杆号牌数字编号；将批量待识别的杆号牌的杆号牌编号识别图像{h|h∈[1,n]}的杆号牌数字编号对应映射至批量待识别的杆号牌{h|h∈[1,n]}中得到批量待识别的杆号牌的杆号牌数字编号。
8.根据权利要求6所述的一种基于接触网安全巡检的杆号牌识别方法，其特征在于：所述批量待识别的杆号牌的杆号牌编号识别图像利用步骤s1得到。9.根据权利要求6所述的一种基于接触网安全巡检的杆号牌识别方法，其特征在于，所述像素值为rgb三通道像素分量r像素分量、g像素分量和b像素分量加权构成。10.一种根据权利要求1-9任一项所述的基于接触网安全巡检的杆号牌识别方法的识别系统，其特征在于，包括：图像拍摄单元(1)，用于利用高速相机在安全巡检过程中沿巡检线路获取接触网巡检图像，并利用号牌定位网络对所述接触网巡检图像进行杆号牌区域提取以实现连续获取一组杆号牌巡检图像，并在一组杆号牌巡检图像中筛选出一张表征完整杆号牌数字编号且清晰的杆号牌巡检图像作为杆号牌编号识别图像；模型建立单元(2)，用于对接触网的所有杆号牌利用步骤s1得到所有杆号牌编号识别图像作为训练样本，基于所述训练样本构建杆号牌数字编号识别模型；模型应用单元(3)，用于为批量待识别的杆号牌的杆号牌编号识别图像建立图像特征关联属性得到一组关联的杆号牌编号识别图像，并将一组关联的杆号牌编号识别图像依次输入杆号牌数字编号识别模型中得到批量待识别的杆号牌的杆号牌数字编号。

技术总结
本发明公开了一种基于接触网安全巡检的杆号牌识别方法及系统，包括以下步骤：步骤S1、利用高速相机在安全巡检过程中沿巡检线路获取接触网巡检图像，并利用号牌定位网络对所述接触网巡检图像进行杆号牌区域提取以实现连续获取一组杆号牌巡检图像，并在一组杆号牌巡检图像中筛选出杆号牌编号识别图像；步骤S2：对接触网的所有杆号牌利用步骤S1得到所有杆号牌编号识别图像作为训练样本，基于所述训练样本构建杆号牌数字编号识别模型。本发明利用对杆号牌的所有巡检图像进行图像质量筛选得到表征完整杆号牌数字编号且清晰的杆号牌巡检图像作为杆号牌编号识别图像，利用杆号牌编号识别图像可提高杆号牌检测的精度。号识别图像可提高杆号牌检测的精度。号识别图像可提高杆号牌检测的精度。


技术研发人员：苏茂才 林仁辉 唐泰可 廖峪
受保护的技术使用者：成都中轨轨道设备有限公司
技术研发日：2022.03.15
技术公布日：2022/5/10