一种基于计算机视觉的接触网缺陷目标增强方法与流程

1.本发明涉及接触网缺陷检测技术领域，具体涉及一种基于计算机视觉的接触网缺陷目标增强方法。


背景技术：

2.图像增强是指根据实际图像处理的需要将感兴趣的部分更加突出，而不感兴趣的部分加以削弱的图像处理方法。其目的是突出图像的有用特征，使得图像更清晰、明确，便于机器视觉的分析与神经网络的判别，以及对图像中目标的识别与检测。
3.由于接触网悬挂状态检测监测装置主要是在夜晚进行巡检，有些图片的拍得很暗细节也不是清晰。对图片增强可以将支撑装置部分进行突出而背景干扰部分进行削弱，通过增强就能更好的辨别缺陷是否存在。
4.现有技术频域增强是通过转换变换域，将图像转换到特定的变换域内，并且在此变换域中完成变换后的系数操作与处理，然后再将其逆变换到图像空间域，以实现图像增强的目的，这种增强方法实质为一种间接增强方法。但现有技术也存在一定的缺陷，在进行图像增强时也对背景区域进行频域转换运算，而图像增强所针对目标是缺陷目标，因此导致冗余运算，而且图像增强使用的传递函数选择由使用人员自主选择，导致图像增强的效果取决于传递函数，因此增强效果取决于人员主观性，增强效果难以得到保证。


技术实现要素：

5.本发明的目的在于提供一种基于计算机视觉的接触网缺陷目标增强方法，以解决现有技术中多层物料难以实现逐个分离的技术问题。
6.为解决上述技术问题，本发明具体提供下述技术方案：一种基于计算机视觉的接触网缺陷目标增强方法，包括以下步骤：步骤s1、在缺陷目标图像中利用像素邻节点的像素特征依次判定每个图像像素点的像素点类别，将表征为缺陷目标的图像像素点汇聚为目标像素区域，所述像素点类别包括表征为缺陷目标的图像像素点和表征为背景的图像像素点；步骤s2、对缺陷图像的目标像素区域进行多分支图像增强，并依次对多分支图像增强的各个传递函数进行增强效果评价，选取出实现最佳频域增强的最优传递函数，所述多分支图像增强包括频域图像增强、色度图像增强、对比度图像增强、饱和度图像增强；步骤s3、以传递函数作拟合结果，利用神经网络训练拟合出传递函数与目标像素区域映射关系的传递函数设定模型，以实现传递函数的模型化设定达到传递函数的精准匹配来提高图像增强效果。
7.作为本发明的一种优选方案，所述在缺陷目标图像中利用像素邻节点的像素特征依次判定每个图像像素点的像素点类别，包括：依次获取缺陷目标图像中位于每个图像像素点的上方、下方、左方、右方、左上方、左下方、右上方和右下方的图像像素点作为每个图像像素点的像素邻节点；
依次将每个图像像素点的像素值作为像素邻节点的像素期望，依次利用图像像素点及所有像素邻接点间的像素值方差计算图像像素点及所有像素邻接点间的像素离散度，所述像素离散度的计算公式为： ；式中，ij为第j个图像像素点及所有像素邻接点间的像素离散度，g
ji
为第j个图像像素点的第i个像素邻节点的像素值，gj为第j个图像像素点的像素值，n为像素邻节点总数量，j，i为计量常数；将像素离散度与离散度阈值进行比较，其中，若像素离散度大于或等于离散度阈值，则将对应的图像像素点标记为表征为缺陷目标的图像像素点；若像素离散度小于离散度阈值，则将对应的图像像素点标记为表征为背景的图像像素点。
8.作为本发明的一种优选方案，所述将表征为缺陷目标的图像像素点汇聚为目标像素区域，包括：连通表征为缺陷目标的图像像素点得到像素连通区域，并对所述像素连通区域进行边界平滑得到所述目标像素区域。
9.作为本发明的一种优选方案，所述对缺陷图像的目标像素区域进行多分支图像增强，包括：选取多组传递函数，依次利用每组传递函数将目标像素区域依次进行多分支图像增强得到多组目标像素增强区域，以实现所述频域图像增强、色度图像增强、对比度图像增强和饱和度图像增强，其中，所述多分支图像增强的函数表达式为：gk(x,y)=hk(x,y)*[f(x,y),s(x,y),d(x,y),b(x,y)]；式中，gk(x,y)为空间域内第k个目标像素增强区域的图像函数，hk(x,y)为第k组传递函数，f(x,y)为空间域内目标像素区域图像函数的频域函数，s(x,y)为空间域内目标像素区域图像函数的色度函数，d(x,y)为空间域内目标像素区域图像函数的对比度函数，b(x,y)为空间域内目标像素区域图像函数的饱和度函数，x,y分别为目标像素区域中图像像素点的位置二维坐标，k为计量常数。
[0010]
作为本发明的一种优选方案，所述依次对多类别频域增强的传递函数进行增强效果评价，包括：人工识别出缺陷目标图像中的缺陷目标边缘真实值、缺陷目标类别真实值，并将目标像素增强区域输入至预先建立的多个缺陷目标边缘识别模型中识别出缺陷目标边缘识别值、将目标像素增强区域输入至预先建立的多个缺陷目标类别识别模型中识别出缺陷目标类别识别值，以及量化目标像素区域与目标像素增强区域的像素相似度；将缺陷目标边缘识别值与缺陷目标边缘真实值相似度高于预设阈值的缺陷目标边缘识别模型在所有缺陷目标边缘识别模型中的占比、缺陷目标类别识别值与缺陷目标类别真实值相似度高于预设阈值的缺陷目标类别识别模型在所有缺陷目标类别识别模型中的占比以及所述像素相似度进行权重求和得到传递函数的增强效果评价值，所述增强效果
评价值的计算公式为：lk=w1*pk,1 w2*pk,2 w3*pk,3；式中，lk为第k组传递函数的增强效果评价值，pk,1、pk,2、pk,3分别为第k个目标像素增强区域中缺陷目标边缘识别模型在所有缺陷目标边缘识别模型中的占比、缺陷目标类别识别模型在所有缺陷目标类别识别模型中的占比、所述像素相似度，w1、w2、w3分别为pk,1、pk,2、pk,3的权重，w1∈[0,1],w2∈[0,1],w3∈[0,1],w1 w2 w3=1。
[0011]
作为本发明的一种优选方案，所述最优传递函数为最高增强效果评价值对应的传递函数。
[0012]
作为本发明的一种优选方案，所述利用神经网络训练拟合出传递函数与目标像素区域映射关系的传递函数设定模型，包括：将最优传递函数作为神经网络的输出项，将目标像素区域作为神经网络的输入项，利用神经网络基于所述输出项和输入项进行卷积训练得到所述传递函数设定模型，所述传递函数设定模型的函数表达式为：h(x,y)=network(f(x,y),s(x,y),d(x,y),b(x,y))；式中，h(x,y)为最优传递函数，f(x,y)为空间域内目标像素区域图像函数的频域函数，s(x,y)为空间域内目标像素区域图像函数的色度函数，d(x,y)为空间域内目标像素区域图像函数的对比度函数，b(x,y)为空间域内目标像素区域图像函数的饱和度函数，network为神经网络。
[0013]
作为本发明的一种优选方案，将缺陷目标边缘识别值与缺陷目标边缘真实值相似度高于预设阈值的缺陷目标边缘识别模型在所有缺陷目标边缘识别模型中的占比、缺陷目标类别识别值与缺陷目标类别真实值相似度高于预设阈值的缺陷目标类别识别模型在所有缺陷目标类别识别模型中的占比以及所述像素相似度在进行权重求和前进行归一化处理。
[0014]
作为本发明的一种优选方案，所述缺陷目标边缘识别模型、所述缺陷目标类别识别模型均利用神经网络基于海量图像样本进行训练得到。
[0015]
作为本发明的一种优选方案，所述像素相似度、所述缺陷目标边缘识别值与缺陷目标边缘真实值相似度、缺陷目标类别识别值与缺陷目标类别真实值相似度均利用相似度系数函数进行量化计算。
[0016]
本发明与现有技术相比较具有如下有益效果：本发明在缺陷目标图像中利用像素邻节点的像素特征得到目标像素区域，在进行图像增强时仅对目标像素区域进行频域图像增强、色度图像增强、对比度图像增强、饱和度图像增强运算，避免冗余运算，构建传递函数设定模型，以实现传递函数的模型化设定达到传递函数的精准匹配来提高增强效果，避免增强效果取决于人员主观性。
附图说明
[0017]
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
[0018]
图1为本发明实施例提供的接触网缺陷目标增强方法流程图；图2为本发明实施例提供的像素邻节点结构示意图。
具体实施方式
[0019]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0020]
如图1所示，本发明提供了一种基于计算机视觉的接触网缺陷目标增强方法，包括以下步骤：步骤s1、在缺陷目标图像中利用像素邻节点的像素特征依次判定每个图像像素点的像素点类别，将表征为缺陷目标的图像像素点汇聚为目标像素区域，像素点类别包括表征为缺陷目标的图像像素点和表征为背景的图像像素点；如图2所示，在缺陷目标图像中利用像素邻节点的像素特征依次判定每个图像像素点的像素点类别，包括：依次获取缺陷目标图像中位于每个图像像素点的上方、下方、左方、右方、左上方、左下方、右上方和右下方的图像像素点作为每个图像像素点的像素邻节点；依次将每个图像像素点的像素值作为像素邻节点的像素期望，依次利用图像像素点及所有像素邻接点间的像素值方差计算图像像素点及所有像素邻接点间的像素离散度，像素离散度的计算公式为： ；式中，ij为第j个图像像素点及所有像素邻接点间的像素离散度，g
ji
为第j个图像像素点的第i个像素邻节点的像素值，gj为第j个图像像素点的像素值，n为像素邻节点总数量，j，i为计量常数；将像素离散度与离散度阈值进行比较，其中，若像素离散度大于或等于离散度阈值，则将对应的图像像素点标记为表征为缺陷目标的图像像素点；若像素离散度小于离散度阈值，则将对应的图像像素点标记为表征为背景的图像像素点。
[0021]
将表征为缺陷目标的图像像素点汇聚为目标像素区域，包括：连通表征为缺陷目标的图像像素点得到像素连通区域，并对像素连通区域进行边界平滑得到目标像素区域。
[0022]
由于接触网悬挂状态检测监测装置主要是在夜晚进行巡检，有些图片的拍得很暗细节也不是清晰。对图片增强可以将支撑装置部分进行突出而背景干扰部分进行削弱，通过增强就能更好的辨别缺陷目标，本实施例对缺陷图像增强时，先在缺项图像中识别出缺陷目标所在的图像区域，即目标像素区域，利用的是图像像素点的各个像素邻节点进行像素点类别判定，这种判定是一种较粗略的判定，是为了剔除明显可被识别为背景像素的图
像像素点，而同时保留下可能是缺陷目标的图像像素点，即得到的目标像素区域中包含缺陷目标的图像像素点也包含着少量的背景图像像素点，对缺陷目标图像进行一定程度的数据降维，从而对后续图像增强的数据计算量进行降维，无需浪费大量运算量在无效背景的增强上，增强精准度更强。
[0023]
步骤s2、对缺陷图像的目标像素区域进行多分支图像增强，并依次对多分支图像增强的各个传递函数进行增强效果评价，选取出实现最佳频域增强的最优传递函数，多分支图像增强包括频域图像增强、色度图像增强、对比度图像增强、饱和度图像增强，在实际使用中可根据使用实际情况进行增强分支部分的修改或增删；对缺陷图像的目标像素区域进行多分支图像增强，包括：选取多组传递函数，依次利用每组传递函数将目标像素区域依次进行多分支图像增强得到多组目标像素增强区域，以实现频域图像增强、色度图像增强、对比度图像增强和饱和度图像增强，其中，多分支图像增强的函数表达式为：gk(x,y)=hk(x,y)*[f(x,y),s(x,y),d(x,y),b(x,y)]；式中，gk(x,y)为空间域内第k个目标像素增强区域的图像函数，hk(x,y)为第k组传递函数，f(x,y)为空间域内目标像素区域图像函数的频域函数，s(x,y)为空间域内目标像素区域图像函数的色度函数，d(x,y)为空间域内目标像素区域图像函数的对比度函数，b(x,y)为空间域内目标像素区域图像函数的饱和度函数，x,y分别为目标像素区域中图像像素点的位置二维坐标，k为计量常数。
[0024]
依次对多类别频域增强的传递函数进行增强效果评价，包括：人工识别出缺陷目标图像中的缺陷目标边缘真实值、缺陷目标类别真实值，并将目标像素增强区域输入至预先建立的多个缺陷目标边缘识别模型中识别出缺陷目标边缘识别值、将目标像素增强区域输入至预先建立的多个缺陷目标类别识别模型中识别出缺陷目标类别识别值，以及量化目标像素区域与目标像素增强区域的像素相似度；将缺陷目标边缘识别值与缺陷目标边缘真实值相似度高于预设阈值的缺陷目标边缘识别模型在所有缺陷目标边缘识别模型中的占比、缺陷目标类别识别值与缺陷目标类别真实值相似度高于预设阈值的缺陷目标类别识别模型在所有缺陷目标类别识别模型中的占比以及像素相似度进行权重求和得到传递函数的增强效果评价值，增强效果评价值的计算公式为：lk=w1*pk,1 w2*pk,2 w3*pk,3；式中，lk为第k组传递函数的增强效果评价值，pk,1、pk,2、pk,3分别为第k个目标像素增强区域中缺陷目标边缘识别模型在所有缺陷目标边缘识别模型中的占比、缺陷目标类别识别模型在所有缺陷目标类别识别模型中的占比、像素相似度，w1、w2、w3分别为pk,1、pk,2、pk,3的权重，w1∈[0,1],w2∈[0,1],w3∈[0,1],w1 w2 w3=1。
[0025]
缺陷目标边缘识别模型、缺陷目标类别识别模型均利用神经网络基于海量图像样本进行训练得到。
[0026]
像素相似度、缺陷目标边缘识别值与缺陷目标边缘真实值相似度、缺陷目标类别识别值与缺陷目标类别真实值相似度均利用相似度系数函数进行量化计算。
[0027]
最优传递函数为最高增强效果评价值对应的传递函数。
[0028]
选取多组类别的传递函数应用于目标像素区域的图像增强，并利用本实施例提供
的增强效果评价值进行传递函数的选取，其中，缺陷目标边缘识别值与缺陷目标边缘真实值相似度高于预设阈值的缺陷目标边缘识别模型在所有缺陷目标边缘识别模型中的占比、缺陷目标类别识别值与缺陷目标类别真实值相似度高于预设阈值的缺陷目标类别识别模型在所有缺陷目标类别识别模型中的占比越高，则表明用该传递函数得到的目标像素增强区域能够实现更高的模型适配度，即能够使更多的识别模型获得正确的识别结果，目标像素区域与目标像素增强区域的像素相似度越低，则说明增强后二者差距越大，即说明增强产生的变化明显，因此对这三者进行权重求和进行评价增强效果，在实际使用中根据需要对这三者进行修改或替换为自定义评价指标，以及对权重进行自定义设定。
[0029]
步骤s3、以传递函数作拟合结果，利用神经网络训练拟合出传递函数与目标像素区域映射关系的传递函数设定模型，以实现传递函数的模型化设定达到传递函数的精准匹配来提高图像增强效果。
[0030]
利用神经网络训练拟合出传递函数与目标像素区域映射关系的传递函数设定模型，包括：将最优传递函数作为神经网络的输出项，将目标像素区域作为神经网络的输入项，利用神经网络基于输出项和输入项进行卷积训练得到传递函数设定模型，传递函数设定模型的函数表达式为：h(x,y)=network(f(x,y),s(x,y),d(x,y),b(x,y))；式中，h(x,y)为最优传递函数，f(x,y)为空间域内目标像素区域图像函数的频域函数，s(x,y)为空间域内目标像素区域图像函数的色度函数，d(x,y)为空间域内目标像素区域图像函数的对比度函数，b(x,y)为空间域内目标像素区域图像函数的饱和度函数，network为神经网络。
[0031]
构建出传递函数与目标像素区域映射关系的传递函数设定模型，而后可以直接根据目标像素区域直接选取出使得模型适配度和增强效果最佳的最优传递函数，利用模型设置避免了人为设定传递函数的主观性，保障了传递函数自动化设定，且适配性和增强效果最佳。
[0032]
将缺陷目标边缘识别值与缺陷目标边缘真实值相似度高于预设阈值的缺陷目标边缘识别模型在所有缺陷目标边缘识别模型中的占比、缺陷目标类别识别值与缺陷目标类别真实值相似度高于预设阈值的缺陷目标类别识别模型在所有缺陷目标类别识别模型中的占比以及像素相似度在进行权重求和前进行归一化处理。
[0033]
本发明在缺陷目标图像中利用像素邻节点的像素特征得到目标像素区域，在进行图像增强时仅对目标像素区域进行频域图像增强、色度图像增强、对比度图像增强、饱和度图像增强运算，避免冗余运算，构建传递函数设定模型，以实现传递函数的模型化设定达到传递函数的精准匹配来提高增强效果，避免增强效果取决于人员主观性。
[0034]
以上实施例仅为本技术的示例性实施例，不用于限制本技术，本技术的保护范围由权利要求书限定。本领域技术人员可以在本技术的实质和保护范围内，对本技术做出各种修改或等同替换，这种修改或等同替换也应视为落在本技术的保护范围内。