一种基于计算机视觉的无标靶输电塔位移振动识别方法与流程

1.本发明提供一种基于计算机视觉的无标靶输电塔位移振动识别方法，属于计算机视觉技术领域。


背景技术：

2.全国范围内220kv及以上服役输电塔总数已超过200万基，作为输电线路的主要支撑结构，输电塔是重要的能源工程基础设施。为确保输电塔安全运营，延长其服役寿命，须定期对输电塔进行结构健康检测及维护。在输电塔的结构健康检测中，输电塔的振动和结构变形位移识别是重要的环节。
3.测量输电塔的振动和结构变形位移的方法有接触式和非接触式两种。其中接触式方法常需要在输电塔上安装大量传感器，这种方法比较麻烦，测量效率较低，对于输电塔的长期巡检，将会浪费大量的人力物力。基于计算机视觉的非接触式测量方法是研究热点，国内外已在桥梁结构健康检测上有应用。这种方法常常需要在结构上人工安装标靶，虽然节省了传感器的成本，但是难以避免人工安装的危险和复杂劳动，人力成本仍然较高，也会有标靶识别效果差等问题。


技术实现要素：

4.本发明利用输电塔的结构外形特点，提出了一种基于计算机视觉的无标靶输电塔位移振动识别方法。
5.一种基于计算机视觉的无标靶输电塔位移振动识别方法，包括以下步骤：
6.步骤一：根据被测电塔环境情况选择合适的相机，搭建设备，要求相机拍摄视频清晰度不小于4k，帧率不小于60帧，选定输电塔待测部位(即感兴趣区域)和内角点。将相机对焦到输电塔待测部位拍摄输电塔受外力产生振动和位移结构变形的视频，将视频传输至计算机。如图2，c为感兴趣区域，b为内角点。
7.步骤二：利用计算机对视频图像逐帧进行灰度化、二值化处理。
8.步骤三：利用计算机识别感兴趣区域。首先对二值图像识别图像轮廓，计算并存储每个内轮廓的大小、周长、紧实度数据。选取第一张图像作为初始状态，找到特征轮廓(待测部位对应的轮廓)大小、周长、紧实度并记录，后续图像中按照初始状态的特征轮廓数据来筛选特征轮廓。将特征轮廓的位置记录，利用计算机在灰度图像上截取特征轮廓的正外接矩形，作为感兴趣区域输出。
9.步骤四：利用计算机对感兴趣区域的图像进行角点检测。利用计算机计算角点形心坐标，对于一个三角形内轮廓，一般能够检测出三个角点，按照其位置关系找到待测部位内轮廓角点坐标并存储。
10.步骤五：利用输电塔结构尺寸计算从像素到真实距离(如毫米)转换的比例因子，计算输电塔位移的真实距离。
11.其中，步骤二所述灰度化处理公式：
12.gray＝b*0.114 g*0.587 r*0.299
ꢀꢀꢀ
(1)
13.图像是rgb是三通道彩色图，在图像存储的矩阵中的三个通道的存储顺序是b、g、r，分别对应蓝色、绿色、红色；gray是单通道灰度图，式中b、g、r分别代表图像在三个通道的颜色强度
14.步骤二中，图像二值化处理方法采用otsu算法，即最大类间方差法，作为图像二值化阈值分割方法；假设一副灰度图像有l个灰度级，对于这l个不同灰度级，选择一个阈值k，将图像所有像素分为两类，灰度级0到k分为c0类，灰度级k到(l-1)分为c1类，则两类间方差表达式为：
[0015][0016]
其中，p1表示像素被分为c1类的概率，mg表示图像全局均值，m表示灰度级k的累加均值。求得使类间方差最大的灰度级k就是otsu阈值。
[0017]
其中，步骤三识别图像轮廓方法采用suzuki边界跟踪算法；
[0018]
轮廓紧实度计算公式：
[0019][0020]
其中：tigh紧实度、arc轮廓周长、area轮廓面积。
[0021]
或者，步骤三中识别图像轮廓的方法采用传统的边界跟踪算法，其边界跟踪流程与suzuki边界跟踪算法相同，但是不保留边界的拓扑结构；
[0022]
轮廓区域特征的描述子有紧实度、圆度、偏心率；其中：
[0023][0024][0025]
式中，a为轮廓面积，p为轮廓周长；λ1，λ2分别为与轮廓有相同二阶矩的椭圆的长轴和短轴长。
[0026]
步骤四所述角点检测方法采用harris角点检测法。
[0027]
或者步骤四角点检测的方法采用shi-tomasi角点检测算法。
[0028]
步骤五从像素到毫米转换比例因子的计算方法：
[0029]
已知输电塔上bc两点间距离为d，在图像上ab两点差距为p个像素，可得图像中一个像素对应的真实距离l：
[0030]
l＝d/p(mm/pixel)
ꢀꢀꢀ
(10)。
[0031]
本发明提供的一种基于计算机视觉的无标靶输电塔位移振动识别方法优点如下：
[0032]
1.利用相机、计算机等设备采用无接触测量的方法实现输电塔的结构安全检测，提高了检测效率，能够实现输电塔的快速、安全、高效巡检，在很大程度上降低了人力和传感器成本。
[0033]
2.对比现有的无接触测量方法，本方法采用感兴趣区域、角点检测等方法，利用输电塔结构作为虚拟标靶监测输电塔的位移和振动情况，不需要人工安装其他标靶。
[0034]
3.传统的模板匹配方法需要预先利用标靶或以某个部位为模板，在后续图像中匹配该模板，由于模板在匹配时上下左右滑动，故再出现旋转时，会产生较大误差，本方法采用感兴趣区域提取、角点检测等方法追踪识别结构的内轮廓角点，对存在旋转位移的情况势识别效果较好。
附图说明
[0035]
图1为本发明的两种边界的判定方法；图中(a)为外边界，(b)为内边界示意；
[0036]
图2为实施例的电塔部分结构简图；c为待测部位，b为待测部位内轮廓的角点；
[0037]
图3为本发明的输电塔位移振动识别流程图。
具体实施方式
[0038]
结合实施例和附图说明本发明的具体技术方案。
[0039]
一种基于计算机视觉的无标靶输电塔位移振动识别方法，如图3所示，包括以下步骤：
[0040]
步骤一：根据被测电塔环境情况选择合适的相机，搭建设备，要求相机拍摄视频清晰度不小于4k，帧率不小于60帧，选定输电塔待测部位(即感兴趣区域)和内角点。将相机对焦到输电塔待测部位拍摄输电塔受外力产生振动和位移结构变形的视频，将视频传输至计算机。如图2，c为感兴趣区域，b为内角点。
[0041]
步骤二：利用计算机对视频图像逐帧进行灰度化、二值化处理。
[0042]
步骤三：利用计算机识别感兴趣区域。首先对二值图像识别图像轮廓，计算并存储每个内轮廓的大小、周长、紧实度数据。选取第一张图像作为初始状态，找到特征轮廓(待测部位对应的轮廓)大小、周长、紧实度并记录，后续图像中按照初始状态的特征轮廓数据来筛选特征轮廓。将特征轮廓的位置记录，利用计算机在灰度图像上截取特征轮廓的正外接矩形，作为感兴趣区域输出。
[0043]
步骤四：利用计算机对感兴趣区域的图像进行角点检测。利用计算机计算角点形心坐标，对于一个三角形内轮廓，一般能够检测出三个角点，按照其位置关系找到待测部位内轮廓角点坐标并存储。
[0044]
步骤五：利用输电塔结构尺寸计算从像素到真实距离(如毫米)转换的比例因子，计算输电塔位移的真实距离。
[0045]
步骤二所述图像灰度化处理公式：
[0046]
gray＝b*0.114 g*0.587 r*0.299
ꢀꢀꢀ
(1)
[0047]
图像是rgb是三通道彩色图，在图像存储的矩阵中的三个通道的存储顺序是b、g、r，分别对应蓝色、绿色、红色；gray是单通道灰度图，式中b、g、r分别代表图像在三个通道的颜色强度
[0048]
步骤二所述图像二值化处理方法采用otsu算法。otsu算法(最大类间方差法)是一种自适应阈值的图像分割算法，通过使两类间的方差最大，能够较好的分割出输电塔和背景(一般是天空)。
[0049]
otsu法(即最大类间方差法)作为图像二值化阈值分割方法。假设一副灰度图像有l个灰度级，对于这l个不同灰度级，选择一个阈值k，将图像所有像素分为两类，灰度级0到k分为c0类，灰度级k到(l-1)分为c1类，则两类间方差表达式为：
[0050][0051]
其中，p1表示像素被分为c1类的概率，mg表示图像全局均值，m表示灰度级k的累加均值。求得使类间方差最大的灰度级k就是otsu阈值。
[0052]
步骤三识别图像轮廓方法采用suzuki边界跟踪算法。轮廓即图像边界，suzuki边界跟踪算法能够迅速的识别二值图像边界，同时保留边界拓扑结构信息，利用这种方法，能够识别电塔的内轮廓。
[0053]
(1)边界跟踪流程：首先按照从上到下，从左到右的顺序扫描图像，寻找没有标记跟踪记号的第一个边界起始点a0，定义一个扫描方向变量dir，该变量用于记录上一步中沿着前一个边界点到当前边界点的移动方向，其初始化取值为：
[0054]
1)对4连通区域dir＝3
[0055]
2)对8连通区域dir＝7
[0056]
按逆时针方向搜索当前像素3*3邻域，其起始搜索方向设定如下：
[0057]
1)对4连通区域取(dir 3)mod4；
[0058]
2)对8连通区域，若dir为奇数，取(dir 6)mod8；若dir为偶数取(dir 7)mod8；
[0059]
在3*3邻域中搜索到的第一个与当前像素值相同的像素便更新为新的边界点an，同时更新变量dir为新的方向值。
[0060]
如果an等于第二个边界点a1且其哪一个边界点an-1等于第一个边界点a0，则停止搜索，结束跟踪，负责重复步骤2继续搜索。
[0061]
由边界点a0，a1，a2
……
an-2构成的边界便为想要跟踪的边界
[0062]
(2)拓扑结构分析：对于一个边界点，要么是外边界要么是孔边界(内边界)，当两个条件都满足时，为外边界。
[0063]
如图1所示，suzuki中把最新发现的边界算法称为nbd，扫描期间，保存上一个边界lnbd。这个被存储起来的边界要么是nbd的母边界(拓扑结构中较外层的边界)，要么是和nbd拥有同一个母边界。根据这两个边界的类型确定当前母边界的顺序，规则如下：
[0064]
表1当前边界的母边界确定规则
[0065][0066]
步骤四所述筛选特征轮廓方法，轮廓紧实度计算公式：
[0067][0068]
其中：tigh紧实度、arc轮廓周长、area轮廓面积
[0069]
步骤三中识别图像轮廓的方法可以采用传统的边界跟踪算法，其边界跟踪流程与suzuki边界跟踪算法相同，但是不保留边界的拓扑结构，这种算法可以加快运算速度，减少内存占用；步骤四中，轮廓区域特征的描述子有紧实度、圆度、偏心率等等。其中：
[0070][0071][0072]
式中，a为轮廓面积，p为轮廓周长；λ1，λ2分别为与轮廓有相同二阶矩的椭圆的长轴和短轴长。电塔的内轮廓多为三角形，这几种描述子均可用来筛选特征轮廓；
[0073]
步骤四中角点检测的方法与关键点检测的方法类似，此类方法有很多种，如shi-tomasi角点检测算法。shi-tomasi算法是harris角点检测算法的改进，在harris算法中，角点响应度量公式：
[0074]
r＝detm-k(tracem)2[0075]
shi-tomasi算法将矩阵m一个较小的特征值作为角点响应，即：r＝min(λ1，λ2)
[0076]
如此一来省去了调整k值得过程，提高了角点检测的稳定性，同时也提高了计算速度。
[0077]
步骤四所述角点检测方法采用harris角点检测法。
[0078]
像素点灰度变化描述如下：
[0079]
e(u，v)＝∑
x，y
w(x，y)[i(x u，y v)-i(x，y)]2ꢀꢀꢀ
(4)
[0080]
式中(u,v)窗口偏移量，(x,y)窗口内所对应的像素坐标位置，w(x,y)窗口函数。进一步演化得：
[0081][0082]
其中，m为：
[0083][0084]
ix为对x方向偏导数由1式泰勒展开求得。角点响应度量公式：
[0085]
r＝detm-k(tracem)2ꢀꢀꢀ
(7)
[0086]
detm＝λ1λ2ꢀꢀꢀ
（8)
[0087]
tracem＝λ1 λ
２
ꢀꢀꢀ
(9)
[0088]
k经验常数一般取值0.04～0.06，trace表示矩阵得迹，det为矩阵的行列式。r为角
点响应值得大小，通过设定一个阈值t，可以该窗口的像素是否为角点。
[0089]
步骤五中从像素到毫米转换比例因子的计算方法：
[0090]
已知输电塔上bc两点间距离为d，在图像上ab两点差距为p个像素，可得图像中一个像素对应的真实距离l：
[0091]
l＝d/p(mm/pixel)
ꢀꢀ
(10)。