一种基于标准模型孪生对比同类塔型的预警算法的制作方法

1.本发明属于图像处理与计算机视觉技术领域，具体涉及一种基于标准模型孪生对比同类塔型的预警算法。


背景技术：

2.图像处理与计算机视觉领域的目标检测预警算法，特别是指塔型检测、识别和预警算法。
3.塔型检测是为了找出在当前帧中塔型可能存在的区域，获得塔型的位置以及尺度大小。
4.传统塔型检测方法中常用的有背景减除法和基于形状的检测方法：
5.背景减除法将塔型抽象为一类运动特征，通过滤掉背景将塔型提取出来；
6.基于形状的检测方法通过判断提取的特征是否符合塔桅结构的标准模型。
7.这类传统塔型检测方法容易受到环境变化和图像分辨率的影响，前者需要从图像序列当中获取背景信息，不适用于对单帧图像当中的塔型进行检测，后者对亮度的敏感度较大。
8.而基于学习特征的方法能够较好的处理这些问题。
9.yolov3(youonlylookonceversion3，唯一观察)算法模型借鉴了fpn(特征金字塔网络)，采用多尺度对不同大小的目标进行检测，提高检测精度。
10.而renetal发表于2015年nips(神经信息处理系统大会)的文献《towardsreal
‑
timeobjectdetectionwithregionproposalnetworks》，提到fasterr
‑
cnn算法模型采用卷积神经网络、relu(rec
‑
tifiedlinearunit，线性修正单元)激活函数进行特征处理，并基于候选框方法实现塔型检测。fasterr
‑
cnn算法模型是上述论文中提出的概念，业界没有中文表述，均以fasterr
‑
cnn指代，具体可见引用论文出处。
11.塔型识别是指将采集到的塔型信息与模板或者数据库相比对，获取塔型的属性或者身份。
12.当前的塔型识别算法一般有三类：特征表示学习，距离度量学习以及深度学习算法。
13.塔型预警是指在一串图像序列中通过某种方法将指定目标的位置标记出来。
14.基于特征的方法：通过逐帧提取出跟模板相匹配的特征确定目标的位置，但是这种方法与传统的检测方法类似，对环境光度，图片清晰度的变化较为敏感。
15.基于滤波的方法跟上述方法相比的优势在于不需要模型的制作，计算效率较高，跟踪速度快，但是对于长时间遮挡的情况较难处理，例如核相关滤波(kcf)等。
16.基于学习特征的方法则能从图像当中提取出高级特征，其对环境的适应性比较好，例如塔桅结构等等。


技术实现要素：

17.针对现有技术中存在的上述不足之处，本发明提供了一种基于标准模型孪生对比同类塔型的预警算法，用以解决现有技术实际生产过程中塔类的当时大风荷载来临时，结构不稳定等问题。
18.为了解决上述技术问题，本发明采用了如下技术方案：
19.一种基于标准模型孪生对比同类塔型的预警算法，基于深度学习和对比不同塔桅结构的标准模型的交互识别和反馈控制：
20.s1，采用中心尺度预测算法模型进行塔类塔桅结构目标检测，标记所有塔桅结构类型；
21.s2，采用k最邻近算法模型对待检测图像进行目标识别，确定特定塔桅结构类型；
22.s3，采用simsiam孪生对比算法模型进行特定目标预警；
23.s4，搭建塔桅结构安全预警孪生系统，实现塔桅结构物理场景与虚拟场景的交互共融，迭代优化，实时在线可视化监控不同塔类的安全。
24.所述s4又包括：
25.s4
‑
1：选取孪生卷积网络的预警对比网络，选取alexnet网络的前五层，进行搭建神经网络框架，对需要进行监控的塔类目标进行网络输入；
26.s4
‑
2：在所述全卷积结构的基础上添加rpn层，所述rpn层由监督学习部分和滤波部分构成，所述监督学习部分由回归支路和分类支路组成，所述回归支路为reg支路，所述分类支路为cls支路；
27.将所述全卷积网络的输出和分别输入和所述rpn层的cls支路和reg支路并对两支路输出进行滤波处理；
28.用数学表达式为：
[0029][0030][0031]
其中，所述a表示rpn输出特征图，所述w表示输出特征图的宽，所述h表示输出特征图的高，所述k表示anchor数目，所述*表示滤波运算；
[0032]
在算法前向推理阶段，第一帧中的目标区域被送入template支路产生cls，reg卷积核之后template支路被去除，剩余帧依次通过detection支路(detectionbranch中相关卷积参数均提前计算完成)与cls，reg卷积核计算产生最终的特征图。因为预警所需要的目标信息，只由经过template支路的第一帧提供，所以本算法能够视为一次单样本检测任务
[0033]
其中，所述cls支路使用交叉熵作为损失函数，reg支路使用smoothl1loss作为损失函数。
[0034]
所述步骤s4
‑
3进一步包括：
[0035]
s4
‑3‑
1：定义ax,ay,aw,ah表示anchor的中心坐标以及宽高，tx,ty,tw,th表示地面实况的中心坐标以及宽高；
[0036]
归一化距离由下述数学表达式表示：
[0037]
[0038][0039]
s4
‑3‑
2：smoothl1loss的数学表达式为：
[0040][0041]
由s4
‑3‑
1得回归支路的损失函数为：
[0042][0043]
s4
‑3‑
3：loss＝lcls λlreg其中，lcls为分类支路的交叉熵损失函数，lreg为步骤s2 所描述的smoothl1损失函数，参数λ为超参数，所述λ用于平衡分类与回归两支路的权重；
[0044]
s4
‑3‑
4：所述滤波部分负责对目标和预警区域的特征图根据所述步骤s3的具体算法进行滤波操作获得输出响应图得出结果。
[0045]
所述步骤s1又包括以下步骤：
[0046]
s1
‑
1:特征提取，基于孪生卷积网络，提取塔桅结构特征来进行模型训练和检测；
[0047]
s1
‑
2:塔桅结构中心与尺度检测，获取塔类的位置和大小。
[0048]
所述步骤s1
‑
1进一步包括：用5层的卷积层进行特征的提取，获取5层不同分辨率的特征；
[0049]
将第3，4，5层的特征进行l2归一化，通过反卷积方式将特征尺度调整到与第2层塔桅结构特征相同的大小，再进行特征拼接。
[0050]
进一步的，利用两个1*1维的并联卷积层，获得待检测图像的中心热图和尺度图；
[0051]
设定目标的高度与宽度的比例值一定，通过图像分辨率与中心热图、尺度图的对应关系，获得图像中目标的位置和大小来对塔桅结构的异常做出预警。
[0052]
本发明与现有技术相比，具有如下有益效果：
[0053]
1、基于孪生神经网络的跟踪方法进行塔桅结构跟踪，完成塔桅结构的检测识别跟踪的完整过程，对检测环境不敏感，检测、识别和跟踪的精度、成功率较高；
[0054]
2、检测速度快，工作效率高，检测精度高，能够提供准确的塔类变形量化数据，能够根据实际监测的风荷载实际荷载，输入标准模型，当时大风荷载来临时，给出预警、分析；
[0055]
3、并且检测范围大，检测路线可以覆盖到塔桅结构全部位置，内壁上的检测路线可以为塔类轴向直线、圆周线或者两者组合。
附图说明
[0056]
图1为本发明一种基于标准模型孪生对比同类塔型的预警算法实施例的目标检测识别预警方法的流程图；
[0057]
图2为本发明一种基于标准模型孪生对比同类塔型的预警算法目标检测识别预警方法的完整流程图；
具体实施方式
[0058]
为了使本领域的技术人员可以更好地理解本发明，下面结合附图和实施例对本发明技术方案进一步说明：
[0059]
需要说明，本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
[0060]
另外，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
[0061]
在本发明的描述中，除非另有明确的规定和限定，若出现术语“连接”等指示部件之间的连接关系，该术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个部件内部的连通或两个部件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
[0062]
一种基于标准模型孪生对比同类塔型的预警算法，基于深度学习和对比不同塔桅结构的标准模型的交互识别和反馈预警：
[0063]
s1，采用中心尺度预测算法模型进行塔类塔桅结构目标检测，标记所有塔桅结构类型；
[0064]
s2，采用k最邻近算法模型对待检测图像进行目标识别，确定特定塔桅结构类型；
[0065]
s3，采用simsiam孪生对比算法模型进行特定目标跟踪；
[0066]
s4，搭建塔桅结构安全预警孪生系统，实现塔桅结构物理场景与虚拟场景的交互共融，迭代优化，实时在线可视化监控不同塔类的安全。
[0067]
s4又包括：
[0068]
s4
‑
1：选取孪生卷积网络的预警对比网络，选取alexnet网络的前五层，进行搭建神经网络框架，对需要进行监控的塔类目标进行网络输入；
[0069]
s4
‑
2：在全卷积结构的基础上添加rpn层，rpn层由监督学习部分和滤波部分构成，监督学习部分由回归支路和分类支路组成，回归支路为reg支路，分类支路为cls支路；
[0070]
将全卷积网络的输出和分别输入和rpn层的cls支路和reg支路并对两支路输出进行滤波处理；
[0071]
用数学表达式为：
[0072][0073]
[0074]
其中，a表示rpn输出特征图，w表示输出特征图的宽，h表示输出特征图的高，k表示 anchor数目，*表示滤波运算；
[0075]
在算法前向推理阶段，第一帧中的目标区域被送入template支路产生cls，reg卷积核之后template支路被去除，剩余帧依次通过detection支路(detectionbranch中相关卷积参数均提前计算完成)与cls，reg卷积核计算产生最终的特征图。因为跟踪所需要的目标信息，只由经过template支路的第一帧提供，所以本算法能够视为一次单样本检测任务
[0076]
其中，cls支路使用交叉熵作为损失函数，reg支路使用smoothl1loss作为损失函数。
[0077]
步骤s4
‑
3进一步包括：
[0078]
s4
‑3‑
1：定义ax,ay,aw,ah表示anchor的中心坐标以及宽高，tx,ty,tw,th表示地面实况的中心坐标以及宽高；
[0079]
归一化距离由下述数学表达式表示：
[0080][0081][0082]
s4
‑3‑
2：smoothl1loss的数学表达式为：
[0083][0084]
由s4
‑3‑
1得回归支路的损失函数为：
[0085][0086]
s4
‑3‑
3：loss＝lcls λlreg其中，lcls为分类支路的交叉熵损失函数，lreg为步骤s2 所描述的smoothl1损失函数，参数λ为超参数，λ用于平衡分类与回归两支路的权重；
[0087]
s4
‑3‑
4：滤波部分负责对目标和跟踪区域的特征图根据步骤s3的具体算法进行滤波操作获得输出响应图得出结果。
[0088]
步骤s1又包括以下步骤：
[0089]
s1
‑
1:特征提取，基于孪生卷积网络，提取塔桅结构特征来进行模型训练和检测；
[0090]
s1
‑
2:塔桅结构中心与尺度检测，获取塔类的位置和大小。
[0091]
步骤s1
‑
1进一步包括：用5层的卷积层进行特征的提取，获取5层不同分辨率的特征；将第3，4，5层的特征进行l2归一化，通过反卷积方式将特征尺度调整到与第2层塔桅结构特征相同的大小，再进行特征拼接。
[0092]
利用两个1*1维的并联卷积层，获得待检测图像的中心热图和尺度图；
[0093]
在csp算法模型的损失函数l，包括中心热图损失lc和尺度模型损失ls满足以下关系： l＝lc ls。
[0094]
中心热图模型的损失函数lc为：
[0095][0096]
其中：
[0097][0098][0099][0100][0101]
pij为当前位置是目标中心的概率，参数k是目标的个数，αij、r和γ是超参数，yij 是真值标签，m高斯是高斯掩模，用来调整负样本对结果的影响大小，β是惩罚系数。
[0102]
由于目标中心很难用一个固定的权值来表示，因而将其表示为一个二维高斯分布的函数 g，均值为xk,yk,方差为σw，σh，h，w是图像的高度和宽度。
[0103]
尺度模型的损失函数ls表示成：
[0104][0105][0106]
其中，参数sk和tk是第k个正样本的网络预测值和真值，k∈(1，k)，k是目标个数。
[0107]
检测区域分割通过以下roi算法模型实现：
[0108]
彩色图像在计算机中以长为640像素，宽为480像素的多通道矩阵进行存储，每一个矩阵元素代表一个像素点；
[0109]
根据检测出来的塔桅结构的像素坐标范围，将多通道矩阵的对应区域提取出来，形成一个单独的矩阵，该矩阵就对应一个目标区域。
[0110]
对图像中所有的检测目标执行该操作，便能分割出所有的塔桅结构检测结果。
[0111]
在完成分割之后，需要将目标图像处理成与模型相一致的图像格式，转化成灰度图。
[0112]
与彩色图像不同，灰度图在计算机中的存储方式是长为640像素，宽为480像素的单通道矩阵，因而，需要将多通道的彩色图像的各通道像素数值进行一定的换算放进单通道矩阵的相对应位置，其换算公式为：
[0113]
其中，p为灰度图的像素值，分母上r，g，b为彩色图像的三通道像素数值。[0149]s213、调整图像大小。
[0114]
为了平衡后k
‑
最近邻算法的精度与模型的大小，在训练模型时采用长宽像素合适图像。较佳的，合适图像的像素大小为长宽50像素。
[0115]
调整图像大小将上述步骤的灰度图转化为像素合适的图片，通过双线性插值法实现。
[0116]
所述双线性插值法是指：根据目标图像和原图像两者长边之间的比值与短边之间的比值，找出在原图像当中与目标图像各个像素相对应的位置。该位置未必正好落在某个像素点上，因而将该位置周围最近的四个像素点的值进行加权计算来获得该位置的像素值，以这样一个映射关系获得缩小之后的图像。
[0117]
目标图像特征矩阵用数学表达式表示为：
[0118][0119]
knn算法模型假定所有的实例对应于n维空间中的点，将任意的实例表示为一个特征向量：
[0120]
＜a1(x),...an(x)＞
[0121]
其中，ai为特征向量的第i个元素，i为1至n。
[0122]
根据欧式距离定义实例的距离，两个实例xi和xj的距离定义为：
[0123][0124]
d为两个特征向量之间的距离。
[0125]
通过获取待检测样本与样本中欧式距离最相近的k个实例，判定待检测样本所属类别。
[0126]
knn算法模型训练过程：在进行模型训练时，将每个训练样本处理成向量，其中不同种类的样本贴上不同的标签，最终形成划分不同种类数据的模型文件。
[0127]
设定目标的高度与宽度的比例值一定，通过图像分辨率与中心热图、尺度图的对应关系，获得图像中目标的位置和大小来对塔桅结构的异常做出预警。
[0128]
以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本技术给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本技术的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。