基于人工智能的桥梁安全检测方法及系统与流程

1.本发明涉及人工智能技术领域，具体涉及一种基于人工智能的桥梁安全检测方法及系统。


背景技术：

2.桥梁作为公路咽喉，是保证公路畅通运行的重要环节。随着交通基础建设的不断发展，桥梁建设也在不断地提升与进步。
3.桥梁在长期的使用过程中难免会发生各种结构损伤，损伤的原因可能是使用维护不当、车祸事故等人为因素，也可能是地震、台风和环境侵蚀等自然因素。随着桥梁使用时间的增长、环境等自然因素的长期作用和交通量及重车数量的不断增加，桥梁结构安全性和使用功能也必然发生退化。对桥梁的安全检测现有主流技术是依靠有限元分析，对桥梁进行建模，并优化有限元模型的参数，计算量庞大，且时间复杂度高，对桥梁安全检测的效率较低。


技术实现要素：

4.本发明的目的在于提供一种基于人工智能的桥梁安全检测方法及系统，用于解决现有技术对桥梁安全检测的效率较低的问题。
5.为了解决上述技术问题，本发明所采用的技术方案具体如下：
6.本发明提供了一种基于人工智能的桥梁安全检测方法，该方法包括以下步骤：
7.获取待检测桥梁的试验静态荷载时每一跨的侧面图像、无载荷时每一跨的侧面图像以及主梁上部结构的表面深度图像；
8.根据待检测桥梁的试验静态荷载时每一跨的侧面图像和无载荷时每一跨的侧面图像中的像素值，得到待检测桥梁的最大挠度限值；
9.根据待检测桥梁的主梁上部结构的表面深度图像，确定待检测桥梁的各个潜在损伤区域以及各个潜在损伤区域的面积和噪声值以及各个像素点的灰度值、rgb值和梯度值；
10.根据各个潜在损伤区域的噪声值和各个像素点的灰度值、rgb值、梯度值，进而得到各个潜在损伤区域的纹理复杂度、颜色复杂度和平滑度指标；
11.根据待检测桥梁的各个潜在损伤区域的面积、纹理复杂度、颜色复杂度和平滑度指标，得到待检测桥梁的各个潜在损伤区域的置信度指标；
12.获取各个潜在损伤区域的超声波检测信号，进而获取各个潜在损伤区域的质心曲线，并根据各个潜在损伤区域的质心曲线，得到各个潜在损伤区域的潜在损伤程度；
13.根据待检测桥梁的最大挠度限值、各个潜在损伤区域的置信度指标和潜在损伤程度，得到待检测桥梁的安全性指标。
14.进一步地，得到各个潜在损伤区域的纹理复杂度、颜色复杂度和的平滑度指标的步骤包括：
15.根据各个潜在损伤区域的噪声值和各个像素点的灰度值，计算各个像素点的局部
三值模式值，得到各个潜在损伤区域的纹理复杂度；
16.根据各个潜在损伤区域的各个像素点的rgb值以及各个像素点的八邻域像素点的rgb值，计算各个像素点的颜色复杂度，进而得到各个潜在损伤区域的颜色复杂度；
17.根据各个潜在损伤区域的各个像素点的梯度值，确定各个潜在区域的各个波峰像素点和波谷像素点，计算潜在损伤区域的各个波谷与其相邻波峰之间的梯度均值，得到各个潜在损伤区域的平滑度指标。
18.进一步地，待检测桥梁的最大挠度限值的计算公式为：
[0019][0020]
其中，md为待检测桥梁的最大挠度限值，i为待检测桥梁的总跨数，downj为待检测桥梁的第j跨的试验静态荷载与无载荷相比下沉的像素的行数，height为待检测桥梁的无载荷的像素的行数。
[0021]
进一步地，各个潜在损伤区域的纹理复杂度的计算公式为：
[0022][0023]
其中，ti为第i个潜在损伤区域的纹理复杂度，n为第i个潜在损伤区域的像素点个数，ltpj为第i个潜在损伤区域的第j个像素点的局部三值模式值。
[0024]
进一步地，各个潜在损伤区域的颜色复杂度的计算公式为：
[0025][0026][0027]
其中，cfj为第i个潜在损伤区域的第j个像素点的颜色复杂度，dsinj为第i个潜在损伤区域的第j个邻域像素点的颜色复杂度，ci为第i个潜在损伤区域的颜色复杂度，n为第i个潜在损伤区域的像素点个数。
[0028]
进一步地，各个潜在损伤区域的平滑度指标的计算公式为：
[0029][0030][0031]
其中，为第i个潜在损伤区域的波谷到其相邻各个波峰之间的梯度均值，n为第i个潜在损伤区域中波谷的个数，为第i个潜在损伤区域的第j个波谷到其相邻各个波峰之间的梯度值，si为第i个潜在损伤区域的平滑度指标，oi为第i个潜在损伤区域的波谷和波峰的个数。
[0032]
进一步地，各个潜在损伤区域的置信度指标的计算公式为：
[0033][0034]
其中，fi为待检测桥梁的第i个潜在损伤区域的置信度指标，ti为第i个潜在损伤区域的纹理复杂度，ci为第i个潜在损伤区域的颜色复杂度，ni为第i个潜在损伤区域的面积，si为第i个潜在损伤区域的平滑度指标。
[0035]
进一步地，各个潜在损伤区域的潜在损伤程度的计算公式为：
[0036]
faulti＝dtw(curvei，0)
[0037]
其中，faulti为第i个潜在损伤区域的潜在损伤程度，dtw(curvei，0)为第i个潜在损伤区域的质心曲线curvei和幅值为0的标准曲线之间的相似度。
[0038]
进一步地，待检测桥梁的安全性指标的计算公式为：
[0039][0040]
其中，safe为待检测桥梁的安全性指标，md为待检测桥梁的最大挠度限值，n为待检测桥梁的潜在损伤区域的个数，fi为第i个潜在损伤区域的置信度指标，faulti为第i个潜在损伤区域的潜在损伤程度。
[0041]
本发明还提供了一种基于人工智能的桥梁安全检测系统，包括处理器和存储器，处理器用于处理存储在存储器中的指令以实现上述的基于人工智能的桥梁安全检测方法。
[0042]
本发明具有如下有益效果：
[0043]
本发明通过获取待检测桥梁的试验静态荷载时每一跨的侧面图像、无载荷时每一跨的侧面图像以及主梁上部结构的表面深度图像，进而得到待检测桥梁的最大挠度限值，为后续可能存在的桥梁关键部位损伤点的定位提供数据支持，根据待检测桥梁的主梁上部结构的表面深度图像，得到各个潜在损伤区域的纹理复杂度、颜色复杂度和平滑度指标，根据待检测桥梁的各个潜在损伤区域的面积、纹理复杂度、颜色复杂度和平滑度指标，对桥梁表面的潜在损伤区域通过三种指标进行综合评估，得到待检测桥梁的各个潜在损伤区域的置信度指标，获取各个潜在损伤区域的超声波检测信号，得到各个潜在损伤区域的潜在损伤程度，获取各个潜在损伤区域内部的损伤情况，根据待检测桥梁的最大挠度限值、各个潜在损伤区域的置信度指标和潜在损伤程度，得到待检测桥梁的安全性指标。本发明通过对各个潜在损伤区域表面和内部可能出现的损伤情况进行针对性的评估，得到最终的桥梁安全性指标，避免了复杂的桥梁有限元模型拟合，在保证检测可靠性的同时，有效提高了对桥梁安全检测的效率。
附图说明
[0044]
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
[0045]
图1为本发明基于人工智能的桥梁安全检测方法的步骤流程图。
具体实施方式
[0046]
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的技术方案的具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
[0047]
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
[0048]
下面结合附图具体的说明本发明所提供的一种基于人工智能的桥梁安全检测方法及系统的具体方案。
[0049]
请参阅图1，其示出了本发明一个实施例提供的一种基于人工智能的桥梁安全检测方法的步骤流程图，该方法包括以下步骤：
[0050]
步骤1：获取待检测桥梁的试验静态荷载时每一跨的侧面图像、无载荷时每一跨的侧面图像以及主梁上部结构的表面深度图像。
[0051]
在待检测桥梁的侧面布置rgb相机，相机的数量根据待检测桥梁的每一跨的数量而定，本实施例设置相机距离桥梁主体中线的100米，在桥梁空载情况下，从侧面采集空载桥梁的每一跨图像，数据集为data＝{figure1，figure2，
…
，figurei}，其中，data为无载荷桥梁侧面图像，figurei为桥梁第i跨的侧面图像。
[0052]
为了对桥梁的整体进行检测，了解桥梁的工作状态和承载能力，在保证桥梁安全的情况下，对桥梁进行静载试验，静载试验是将试验载荷加在桥梁的不同位置，在载荷静止状态下获取所需数据。因此，在采集完空载桥梁的每一跨图像之后，对待检测桥梁的每一跨施加重量为load的静态载荷，load为待检测桥梁的每一跨的试验静态荷载，单位为吨，对待检测桥梁的每一跨施加重量为load的静态载荷，并对试验静态荷载的桥梁的每一跨重新进行图像采集，得到数据集其中，data
l
为施加试验静态荷载之后采集的桥梁侧面图像，为施加试验静态荷载之后桥梁第i跨的侧面图像。
[0053]
由于采集到的数据集data和数据集data
l
中的侧面图像含有背景区域，利用segnet语义分割对数据集data和数据集data
l
进行图像分割，获取待检测桥梁的试验静态荷载时每一跨的侧面图像、无载荷时每一跨的侧面图像。由于segnet语义分割为公知技术，在此不再详述。
[0054]
由于桥梁整体的关键部位为：主梁上部结构，其中共有m片梁，在本实施例中，对待检测桥梁的主梁上部结构设置rgb-d相机采集视频，以获取待检测桥梁的主梁上部结构的表面深度图像。本实施例设置相机以角速度ωa围绕主梁上部结构旋转拍摄视频，相机距离主梁上部结构表面的垂直距离为10米，角速度ωa为每秒一度，设置摄像机以10米的固定距离与每秒一厘米的水平移动的固定速度采集视频，采集到的图像数据集合为：离与每秒一厘米的水平移动的固定速度采集视频，采集到的图像数据集合为：其中，datai为待检测桥梁的主梁上部结构的m片梁的数据集，为待检测桥梁的主梁上部结构的第m片梁的第i幅视频帧。
[0055]
根据rgb-d相机采集的桥梁的主梁上部结构，得到桥梁的主梁上部结构的表面深度图像，该表面深度图像为rgb-d图像，该图像同时包含rgb图像和深度图像。
[0056]
步骤2：根据待检测桥梁的试验静态荷载时每一跨的侧面图像和无载荷时每一跨的侧面图像中的像素值，得到待检测桥梁的最大挠度限值。
[0057]
根据待检测桥梁的试验静态荷载时每一跨的侧面图像和无载荷时每一跨的侧面图像，对比待检测桥梁相对应的每一跨的图像，计算待检测桥梁的每一跨的试验静态荷载与无载荷相比下沉的像素的行数，根据待检测桥梁的每一跨的试验静态荷载与无载荷相比下沉的像素的行数和待检测桥梁每一跨无载荷的像素的行数，得到待检测桥梁的最大挠度限值，计算公式为：
[0058][0059]
其中，md为待检测桥梁的最大挠度限值，i为待检测桥梁的总跨数，downj为待检测桥梁的第j跨的试验静态荷载与无载荷相比下沉的像素的行数，height为待检测桥梁的无载荷的像素的行数。
[0060]
步骤3：根据待检测桥梁的主梁上部结构的表面深度图像，确定待检测桥梁的各个潜在损伤区域以及各个潜在损伤区域的面积和噪声值以及各个像素点的灰度值、rgb值和梯度值。
[0061]
根据步骤(1)获取的待检测桥梁的主梁上部结构的表面深度图像，由于待检测桥梁的主梁上部结构的表面深度图像是由rgb-d相机采集的rgb-d图像，rgb-d图像的深度值为物体表面与相机之间的距离，设定二值化的阈值ta＝10，若深度图像中的像素点的深度值大于阈值，则该像素点属于凹陷部位，若深度图像中的像素点的深度值小于阈值，则该像素点属于凸陷部位，将属于凹陷或凸陷的像素点标记为1，其余标记为0，统计待检测桥梁的主梁上部结构的表面深度图像中标记为1的像素点以及像素点的个数，确定待检测桥梁的各个潜在损伤区域以及各个潜在损伤区域的面积。
[0062]
根据本实施例先验可知，各个潜在损伤区域图像的噪声是均值为0，方差为σ的高斯噪声，对待检测桥梁的各个潜在损伤区域利用两个拉普拉斯掩模(laplacian mask)组成的卷积核来进行卷积操作，计算各个潜在损伤区域图像中高斯噪声的方差，计算公式为：
[0063][0064]
其中，σ为潜在损伤区域图像中噪声的方差，w为潜在损伤区域图像的行像素数量，h为潜在损伤区域图像列像素数量，i(x，y)为坐标x，y处像素点的灰度值，n为潜在损伤区域图像中像素点的数量。
[0065]
根据均值为0，方差为σ的高斯噪声分布，计算高斯分布中概率为99％处的噪声值，并取概率为99％处的噪声值为各个潜在损伤区域的噪声值，计算方法为现有技术，此处不过多赘述。
[0066]
根据待检测桥梁的rgb-d图像中的rgb图像，得到待检测桥梁的各个潜在损伤区域的各个像素点的rgb值，对rgb图像进行灰度化处理，得到rgb图像的灰度图像，并根据该灰度图像，得到待检测桥梁的各个潜在损伤区域的各个像素点的灰度值和梯度值。
[0067]
步骤4：根据各个潜在损伤区域的噪声值和各个像素点的灰度值、rgb值、梯度值，进而得到各个潜在损伤区域的纹理复杂度、颜色复杂度和平滑度指标。
[0068]
在本实施例确定的场景中，能够表征各个潜在损伤区域的潜在损伤置信度的特征包括：纹理特征，颜色特征，平滑度指标，为后续各个潜在损伤区域的置信度指标提供量化支持，具体步骤为：
[0069]
(4-1)根据各个潜在损伤区域的噪声值和各个像素点的灰度值，计算各个像素点的局部三值模式值，得到各个潜在损伤区域的纹理复杂度。
[0070]
根据步骤(3)获取的各个潜在损伤区域的噪声值和各个像素点的灰度值，将各个潜在损伤区域的噪声值作为各个潜在损伤区域的局部三值模式(ltp)的噪声阈值t，对于各个潜在损伤区域中的各个像素点，根据各个像素点以及各个像素点的十六邻域的像素点，得到各个像素点的局部三值模式(ltp)。由于局部三值模式(ltp)为公知技术，在此不再赘述。
[0071]
由于各个潜在损伤区域的各个像素点的局部三值模式(ltp)均值与各个潜在损伤区域的纹理复杂度成正比，各个潜在损伤区域的各个像素点的局部三值模式(ltp)的方差与各个潜在损伤区域的纹理复杂度成正比，根据上述分析，利用各个潜在损伤区域的各个像素点的局部三值模式(ltp)均值和方差表征各个潜在损伤区域的纹理复杂度，各个潜在损伤区域的纹理复杂度的计算公式为：
[0072][0073]
其中，ti为第i个潜在损伤区域的纹理复杂度，n为第i个潜在损伤区域的像素点个数，ltpj为第i个潜在损伤区域的第j个像素点的ltp值。其中ti的表达式的前一部分表示的是潜在损伤区域的各个像素点的ltp均值，后一部分表示的是潜在损伤区域的各个像素点的ltp值的方差。
[0074]
对于各个潜在损伤区域，若其对应的ti值越大，则该潜在损伤区域的纹理越复杂，桥梁结构中的该区域越有可能出现损伤。
[0075]
(4-2)根据各个潜在损伤区域的各个像素点的rgb值以及各个像素点的八邻域像素点的rgb值，计算各个像素点的颜色复杂度，进而得到各个潜在损伤区域的颜色复杂度。
[0076]
根据步骤(3)获取的各个潜在损伤区域的各个像素点的rgb值，各个潜在损伤区域的各个像素点的rgb值为颜色特征rgb
x，y
＝[r
x，y
，g
x，y
，b
x，y
]，其中，rgb
x，y
为坐标为x，y处的像素点的三维颜色特征向量，计算各个像素点与其八邻域的像素点的余弦相似度，得到各个像素点相对其八邻域像素点的颜色复杂度，并根据各个像素点相对其八邻域像素点的颜色复杂度，得到各个潜在损伤区域的颜色复杂度，计算公式为：
[0077][0078][0079]
其中，cfj为第i个潜在损伤区域的第j个像素点的颜色复杂度，dsinj为第i个潜在
损伤区域的第j个像素点相对其第i个邻域像素点的颜色复杂度，ci为第i个潜在损伤区域的颜色复杂度，n为第i个潜在损伤区域的像素点个数。
[0080]
对于各个潜在损伤区域，若其对应的ci值越大，则该潜在损伤区域颜色越复杂，桥梁结构中该潜在损伤区域越有可能出现损伤。
[0081]
(4-3)根据各个潜在损伤区域的各个像素点的梯度值，确定各个潜在区域的各个波峰像素点和波谷像素点，计算潜在损伤区域的各个波谷与其相邻波峰之间的梯度均值，得到各个潜在损伤区域的平滑度指标。
[0082]
根据步骤(3)获取的各个潜在损伤区域的梯度值，判断各个潜在损伤区域的各个像素点，若一像素点的八邻域像素点的梯度值都小于或等于中心像素点的梯度值，则该中心像素点为波谷，若一像素点的八邻域像素点的梯度值都大于中心像素点的梯度值，则该中心像素点为波峰，统计各个潜在损伤区域的波谷和波峰的总数oi，若潜在损伤区域的波谷和波峰数量越多，oi越大，潜在损伤区域越粗糙。
[0083]
根据各个潜在损伤区域的波谷和波峰，计算波谷到其相邻各个波峰之间的梯度均值若该梯度均值越高，则潜在损伤区域的表面起伏越粗糙，根据波谷的梯度值与波峰的梯度值之间的梯度均值，得到各个潜在损伤区域的平滑度指标，计算公式为：
[0084][0085][0086]
其中，为第i个潜在损伤区域的波谷到其相邻各个波峰之间的梯度均值，n为第i个潜在损伤区域中波谷的个数，为第i个潜在损伤区域的第j个波谷到其相邻各个波峰之间的梯度值，si为第i个潜在损伤区域的平滑度指标，oi为第i个潜在损伤区域的波谷和波峰的个数。
[0087]
对于各个潜在损伤区域，若其对应的si值越小，则潜在损伤区域的平滑度越小，桥梁结构中该潜在损伤区域越有可能出现损伤。
[0088]
步骤5：根据待检测桥梁的各个潜在损伤区域的面积、纹理复杂度、颜色复杂度和平滑度指标，得到待检测桥梁的各个潜在损伤区域的置信度指标。
[0089]
根据步骤(3)获取各个潜在损伤区域的面积，步骤(4)中的步骤(4-1)、(4-2)和(4-3)获取各个潜在损伤区域的纹理复杂度、颜色复杂度、平滑度指标，得到待检测桥梁的各个潜在损伤区域的置信度指标，计算公式为：
[0090][0091]
其中，fi为待检测桥梁的第i个潜在损伤区域的置信度指标，ti为第i个潜在损伤区域的纹理复杂度，ci为第i个潜在损伤区域的颜色复杂度，ni为第i个潜在损伤区域的面积，si为第i个潜在损伤区域的平滑度指标。
[0092]
步骤6：获取各个潜在损伤区域的超声波检测信号，进而获取各个潜在损伤区域的质心曲线，并根据各个潜在损伤区域的质心曲线，得到各个潜在损伤区域的潜在损伤程度。
[0093]
根据步骤(3)获取的各个潜在损伤区域，本实施例只针对各个潜在损伤区域进行超声波侦测，可以节省时间、资金和空间，超声波探伤仪器放置于各个潜在损伤区域，距离
各个潜在损伤区域表面20毫米，超声波探伤仪器的探头选用2.4mhz，考虑到超声波探伤仪器的探头频率的有效范围和奈奎斯特采样定律，设定采样频率为60mhz，基线为57，采样深度为12k。按照这种方向，超声波探伤仪器向各个潜在损伤区域分别发射超声波以对各个潜在损伤区域进行探测，并接收超声波反射信号，也就是超声波检测信号。
[0094]
基于超声波检测信号，获取超声波检测信号的质心曲线，记超声波检测信号的质心曲线为：
[0095][0096]
其中，curvei等价于centroid(t)，为超声波信号的质心随时间的曲线波形，ω为超声波接收装置接收到超声波检测信号的频率均值，stft(t，w)
spectrum
为超声波检测信号的短时傅里叶变换的结果。
[0097]
超声波接收到的信号的质心曲线的波动性越强，则潜在损伤区域的内部损伤可能越严重，利用时间动态规整(dtw)计算质心曲线的波动性，以幅值为0的波形作为基准，得到质心曲线与幅值为0的波形之间的相似度，得到各个潜在损伤区域的潜在损伤程度，计算公式为：
[0098]
faulti＝dtw(curvei，0)
[0099]
其中，faulti为第i个潜在损伤区域的潜在损伤程度，dtw(curvei，0)为第i个潜在损伤区域的质心曲线curvei和幅值为0的标准曲线之间的相似度。
[0100]
对于各个潜在损伤区域，若其对应的faulti值越大，则潜在损伤区域的潜在损伤程度越高。
[0101]
步骤7：根据待检测桥梁的最大挠度限值、各个潜在损伤区域的置信度指标和潜在损伤程度，得到待检测桥梁的安全性指标。
[0102]
根据步骤(2)、步骤(5)和步骤(6)获取的待检测桥梁的最大挠度限值、各个潜在损伤区域的置信度指标和潜在程度，得到待检测桥梁的安全性指标，计算公式为：
[0103][0104]
其中，safe为待检测桥梁的安全性指标，md为待检测桥梁的最大挠度限值，n为待检测桥梁的潜在损伤区域的个数，fi为第i个潜在损伤区域的置信度指标，faulti为第i个潜在损伤区域的潜在损伤程度。
[0105]
若safe值越大，则桥梁的安全性越高，若safe值越小，则桥梁的安全性越低。
[0106]
本实施例还提供了一种基于人工智能的桥梁安全检测系统，包括处理器和存储器，处理器用于处理存储在存储器中的指令以实现基于人工智能的桥梁安全检测方法，由于基于人工智能的桥梁安全检测方法在上文已做出详细说明，此处不再赘述。
[0107]
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者
可能是有利的。
[0108]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
[0109]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。