一种钢网架结构异常检测方法及装置与流程

1.本发明涉及钢网架结构检测技术领域，具体涉及一种钢网架结构异常检测方法及装置。


背景技术：

2.随着社会经济的迅猛腾飞, 游泳馆、体育场、航站楼、工业厂房、科展厅、宴会厅等大中型公共建筑受到了世界各国的高度重视。钢网架结构以其重量轻、空间刚度大、抗震性能好、用材经济、施工方便、造型美观等优点而应用广泛。然而,在大跨建筑发展同时，钢网架规模越来越大，网架结构形式也变得越发复杂，使得网架的施工难度增大。同时为了追求快速低成本的施工，钢网架结构在施工过程中发生质量安全问题的概率随之增大。此外，钢网架结构建成后长期受外环境腐蚀，构件有效截面减小，进而导致杆件的应力愈大，降低钢架强度和刚度而过早地进入材料的屈服极限，使结构产生更大的变形和内力重分布，影响其安全使用甚至造成突然倒塌。钢网架结构的耐久性及安全性问题日益突出。及时对钢网架结构进行异常检测鉴定非常必要，对安全事故防护具有重要的意义。
3.传统的方法多基于人工现场对钢网架结构情况进行目视检查，这种方式属于劳动密集型任务。由于钢网架结构跨度大且高度高，普通的目视检查难以完全涉及整个结构细节，势必会带来极其繁重的人工劳动。且由于个体差异，人工检查也不可避免的引入主观判断误差。更严重的是，高空攀爬作业会带来潜在的安全事故。这使得有必要开发一种兼顾安全性、便捷性、准确性的钢网架结构智能异常检测方法。因此，现有技术中提出了通过深度学习神经网络对钢网架结构异常进行智能检测，但由于钢网架结构复杂，往往呈不规则形，现有技术中的深度学习神经网络对钢网架结构异常检测的准确率较低。


技术实现要素：

4.有鉴于此，有必要提供一种钢网架结构异常检测方法和装置，用以解决现有技术中存在的钢网架结构异常检测准确率较低的技术问题。
5.一方面，本发明提供了一种钢网架结构异常检测方法，包括：获取训练完备的目标钢网架结构异常检测模型，所述目标钢网架结构异常检测模型包括多尺度融合模块和引导注意力模块；获取待检测钢网架结构图像；基于所述多尺度融合模块对所述待检测钢网架结构图像进行多尺度特征提取，获得多个特征图，并对所述多个特征图进行融合，获得多尺度融合特征图；基于所述引导注意力模块以及所述多个特征图、所述多尺度融合特征图确定钢网架结构异常检测结果。
6.在一些可能的实现方式中，所述引导注意力模块包括第一张量拼接子模块、空间注意力子模块、通道注意力子模块、第一张量加和子模块、第一编码解码器、第一点积运算子模块、第二点积运算子模块、第二张量拼接子模块、第二张量加和子模块、第二编码解码
器以及第三点积运算子模块；所述第一张量拼接子模块用于对所述多个特征图和所述多尺度融合特征图进行拼接，获得第一拼接特征图；所述空间注意力子模块用于提取所述第一拼接特征图中的空间特征，获得第一空间注意力特征图；所述通道注意力子模块用于提取所述第一拼接特征图中的通道特征，获得第一通道注意力特征图；所述第一张量加和子模块用于对所述第一空间注意力特征图和所述第一通道注意力特征图进行张量加和，获得第一注意力特征图；所述第一编码解码器用于对所述多个特征图和所述多尺度融合特征图进行编码和解码，获得第一编码特征和第一解码结果；所述第一点积运算子模块用于对所述第一注意力特征图和所述第一解码结果进行点积运算，获得第一点积结果；所述第二点积运算子模块用于对所述第一点积结果和所述多个特征图进行点积运算，获得第二点积结果；所述第二张量拼接子模块用于对所述第二点积结果和所述多尺度融合特征图进行拼接，获得第二拼接特征图；所述空间注意力子模块还用于提取所述第二拼接特征图中的空间特征，获得第二空间注意力特征图；所述通道注意力子模块还用于提取所述第二拼接特征图中的通道特征，获得第二通道注意力特征图；所述第二张量加和子模块用于对所述第二空间注意力特征图和所述第二通道注意力特征图进行张量加和，获得第二注意力特征图；所述第二编码解码器用于对所述多个特征图和所述多尺度融合特征图进行编码和解码，获得第二编码特征和第二解码结果；所述第三点积运算子模块用于对所述第二注意力特征图和所述第二解码结果进行点积运算，获得钢网架结构异常检测结果。
7.在一些可能的实现方式中，所述引导注意力模块的注意力损失函数为：在一些可能的实现方式中，所述引导注意力模块的注意力损失函数为：在一些可能的实现方式中，所述引导注意力模块的注意力损失函数为：在一些可能的实现方式中，所述引导注意力模块的注意力损失函数为：在一些可能的实现方式中，所述引导注意力模块的注意力损失函数为：
式中，为注意力损失函数；为总引导损失；为总重构约束损失；n为所述多个特征图的总个数；为第n个特征图中的引导损失；为第n个特征图的重构约束损失；为第一编码特征；为第二编码特征；为第一拼接特征图；为第一解码结果；为第二拼接特征图；为第二解码结果；为第一权重；为第二权重；|| ||2为二范数。
8.在一些可能的实现方式中，所述空间注意力子模块包括第一空间注意力卷积层、第二空间注意力卷积层、第三空间注意力卷积层、第一空间注意力重塑层、第二空间注意力重塑层、第三空间注意力重塑层、第一空间注意力点积运算层、空间注意力归一化运算层、第二空间注意力点积运算层、第四空间注意力重塑层以及空间注意力张量拼接层；所述第一空间注意力卷积层、第二空间注意力卷积层、第三空间注意力卷积层用于分别对所述第一拼接特征图进行空间特征提取，对应获得第一空间子特征图、第二空间子特征图和第三空间子特征图；所述第一空间注意力重塑层、第二空间注意力重塑层、第三空间注意力重塑层用于分别对所述第一空间子特征图、第二空间子特征图和第三空间子特征图进行空间维度重塑，对应获得第一空间重塑图、第二空间重塑图和第三空间重塑图；所述第一空间注意力点积运算层用于对所述第一空间重塑图和所述第二空间重塑图进行点积运算，获得所述第一空间重塑图和所述第二空间重塑图中各像素位置的空间相关性；所述空间注意力归一化运算层用于对所述空间相关性进行归一化运算，获得空间注意力权重；所述第二空间注意力点积运算层用于基于所述空间注意力权重和所述第三空间重塑图获得第二空间点积图；所述第四空间注意力重塑层用于对所述第二空间点积图进行空间维度重塑，获得第四空间重塑图；所述空间注意力张量拼接层用于对所述第四空间重塑图和所述第一拼接特征图进行张量拼接，获得所述第一空间注意力特征图。
9.在一些可能的实现方式中，所述通道注意力子模块包括第一通道注意力卷积层、第二通道注意力卷积层、第三通道注意力卷积层、第一通道注意力重塑层、第二通道注意力重塑层、第三通道注意力重塑层、第一通道注意力点积运算层、通道注意力归一化运算层、第二通道注意力点积运算层、第四通道注意力重塑层以及通道注意力张量拼接层；所述第一通道注意力卷积层、第二通道注意力卷积层、第三通道注意力卷积层用于分别对所述第一拼接特征图进行通道特征提取，对应获得第一通道子特征图、第二通道子特征图和第三通道子特征图；所述第一通道注意力重塑层、第二通道注意力重塑层、第三通道注意力重塑层用于分别对所述第一通道子特征图、第二通道子特征图和第三通道子特征图进行通道维度重塑，对应获得第一通道重塑图、第二通道重塑图和第三通道重塑图；
所述第一通道注意力点积运算层用于对所述第一通道重塑图和所述第二通道重塑图进行点积运算，获得所述第一通道重塑图和所述第二通道重塑图中各通道的通道相关性；所述通道注意力归一化运算层用于对所述通道相关性进行归一化运算，获得通道注意力权重；所述第二通道注意力点积运算层用于基于所述通道注意力权重和所述第三通道重塑图进行点积运算，获得第二通道点积图；所述第四通道注意力重塑层用于对所述第二通道点积图进行通道维度重塑，获得第四通道重塑图；所述通道注意力张量拼接层用于对所述第四通道重塑图和所述第一拼接特征图进行张量拼接，获得所述第一通道注意力特征图。
10.在一些可能的实现方式中，所述获取训练完备的目标钢网结构异常检测模型，包括：构建初始钢网架结构异常检测模型；构建钢网架结构样本集；根据所述钢网架结构样本集以及预设的总损失函数训练所述初始钢网架结构异常检测模型，得到训练完备的目标钢网架结构异常检测模型。
11.在一些可能的实现方式中，所述总损失函数为：在一些可能的实现方式中，所述总损失函数为：在一些可能的实现方式中，所述总损失函数为：式中，为总损失函数；为第三权重；为改进焦点损失函数；为像素点的真实类别；为像素点为第c类的置信度；为第c类像素点在钢网架结构样本集中的出现频率；为负类门控系数；为初始权值；为加权系数；为聚焦系数。
12.在一些可能的实现方式中，所述构建钢网架结构样本集，包括：获取钢网架结构图像，并对所述钢网架结构图像进行切片处理和标注，获得初始钢网架结构图像样本集；对所述初始钢网架结构图像样本集进行第一类增广处理，获得所述钢网架结构样本集；
和/或，对所述初始钢网架结构图像样本集进行第二类增广处理，获得所述钢网架结构样本集。
13.在一些可能的实现方式中，所述对所述初始钢网架结构图像样本集进行第二类增广处理，获得所述钢网架结构样本集，包括：从所述初始钢网架结构图像样本集中随机选取第一初始钢网架结构图像以及第二初始钢网架结构图像；分别确定所述第一初始钢网架结构图像和所述第二初始钢网架结构图像的第一标签图像和第二标签图像；将所述第一初始钢网架结构图像和所述第一标签图像进行随机缩放，获得第一缩放钢网架结构图像和第一随机标签图像；随机确定目标类别，并根据所述目标类别和所述第一随机标签图像获得二值化掩膜文件；根据所述二值化掩膜文件将所述第一缩放钢网架结构图像、第二初始钢网架结构图像、所述第一随机标签图像和所述第二标签图像进行混合，获得增广钢网架结构图像和增广标签图像；根据所述初始钢网架结构图像样本集、所述增广钢网架结构图像和所述增广标签图像获得所述钢网架结构样本集。
14.另一方面，本发明还提供了一种钢网架结构异常检测装置，包括：目标检测模型获取单元，用于获取训练完备的目标钢网架结构异常检测模型，所述目标钢网架结构异常检测模型包括多尺度融合模块和引导注意力模块；待检测图像获取单元，用于获取待检测钢网架结构图像；多尺度特征融合单元，用于基于所述多尺度融合模块对所述待检测钢网架结构图像进行多尺度特征提取，获得多个特征图，并对所述多个特征图进行融合，获得多尺度融合特征图；异常检测单元，用于基于所述引导注意力模块以及所述多个特征图、所述多尺度融合特征图确定钢网架结构异常检测结果。
15.采用上述实施例的有益效果是：本发明提供的钢网架结构异常检测方法，通过设置目标钢网架结构异常检测模型包括多尺度融合模块和引导注意力模块，通过引导注意力模块提高对复杂不规则网架结构的特征提取和学习能力，从而可提高钢网架结构异常检测结果的准确性。
附图说明
16.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1为本发明提供的钢网架结构异常检测方法的一个实施例流程示意图；图2为本发明提供的多尺度融合模块的一个实施例结构示意图；
图3为本发明提供的引导注意力模块的一个实施例结构示意图；图4为本发明提供的空间注意力子模块的一个实施例结构示意图；图5为本发明提供的通道注意力子模块的一个实施例结构示意图；图6为本发明图1中s101的一个实施例流程示意图；图7为本发明图6中s602的一个实施例流程示意图；图8为本发明图7中s703的一个实施例流程示意图；图9为本发明提供的钢网架结构异常检测装置的一个实施例结构示意图；图10为本发明提供的电子设备的一个实施例结构示意图。
具体实施方式
18.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.应当理解，示意性的附图并未按实物比例绘制。本发明中使用的流程图示出了根据本发明的一些实施例实现的操作。应当理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本发明内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
20.在本发明实施例的描述中，“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如：a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。
21.附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器系统和/或微控制器系统中实现这些功能实体。
22.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
23.本发明实施例提供了一种钢网架结构异常检测方法及装置，以下分别进行说明。
24.图1为本发明提供的钢网架结构异常检测方法的一个实施例流程示意图，如图1所示，钢网架结构异常检测方法包括：s101、获取训练完备的目标钢网架结构异常检测模型，目标钢网架结构异常检测模型包括多尺度融合模块和引导注意力模块；s102、获取待检测钢网架结构图像；s103、基于多尺度融合模块对待检测钢网架结构图像进行多尺度特征提取，获得多个特征图，并对多个特征图进行融合，获得多尺度融合特征图；s104、基于引导注意力模块以及多个特征图、多尺度融合特征图确定钢网架结构异常检测结果。
25.与现有技术相比，本发明实施例提供的钢网架结构异常检测方法，通过设置目标
钢网架结构异常检测模型包括多尺度融合模块和引导注意力模块，通过引导注意力模块提高对复杂不规则网架结构的特征提取和学习能力，从而可提高钢网架结构异常检测结果的准确性。
26.在本发明的具体实施例中，多尺度融合模块为resnet50出去连接层后剩下的网络结构，具体地：如图2所示，多尺度融合模块包括依次连接的4个残差单元、与4个残差单元一一对应的4个上采样层、多尺度张量拼接层和多尺度卷积层，每一残差单元均用于进行一个尺度的特征提取，提取到4个尺度的特征，并经过上采样层后获得四个特征图，分别为f1’
、f2’
、f3’
和f4’
。f1’
、f2’
、f3’
和f4’
经过多尺度张量拼接层和多尺度卷积层后生成多尺度融合特征图f
ms
。
27.在本发明的一些实施例中，如图3所示，引导注意力模块包括第一张量拼接子模块、空间注意力子模块、通道注意力子模块、第一张量加和子模块、第一编码解码器、第一点积运算子模块、第二点积运算子模块、第二张量拼接子模块、第二张量加和子模块、第二编码解码器以及第三点积运算子模块；第一张量拼接子模块用于对多个特征图和多尺度融合特征图进行拼接，获得第一拼接特征图；空间注意力子模块用于提取第一拼接特征图中的空间特征，获得第一空间注意力特征图；通道注意力子模块用于提取第一拼接特征图中的通道特征，获得第一通道注意力特征图；第一张量加和子模块用于对第一空间注意力特征图和第一通道注意力特征图进行张量加和，获得第一注意力特征图；第一编码解码器用于对多个特征图和多尺度融合特征图进行编码和解码，获得第一编码特征和第一解码结果；第一点积运算子模块用于对第一注意力特征图和第一解码结果进行点积运算，获得第一点积结果；第二点积运算子模块用于对第一点积结果和多个特征图进行点积运算，获得第二点积结果；第二张量拼接子模块用于对第二点积结果和多尺度融合特征图进行拼接，获得第二拼接特征图；空间注意力子模块还用于提取第二拼接特征图中的空间特征，获得第二空间注意力特征图；通道注意力子模块还用于提取第二拼接特征图中的通道特征，获得第二通道注意力特征图；第二张量加和子模块用于对第二空间注意力特征图和第二通道注意力特征图进行张量加和，获得第二注意力特征图；第二编码解码器用于对多个特征图和多尺度融合特征图进行编码和解码，获得第二编码特征和第二解码结果；第三点积运算子模块用于对第二注意力特征图和第二解码结果进行点积运算，获得钢网架结构异常检测结果。
28.需要说明的是：本发明实施例中的第一编码解码器和第二编码解码器的结构为unet网络结构，在此不做具体赘述。
29.在本发明的具体实施例中，引导注意力模块的注意力损失函数为：在本发明的具体实施例中，引导注意力模块的注意力损失函数为：在本发明的具体实施例中，引导注意力模块的注意力损失函数为：在本发明的具体实施例中，引导注意力模块的注意力损失函数为：在本发明的具体实施例中，引导注意力模块的注意力损失函数为：式中，为注意力损失函数；为总引导损失；为总重构约束损失；n为所述多个特征图的总个数；为第n个特征图中的引导损失；为第n个特征图的重构约束损失；为第一编码特征；为第二编码特征；为第一拼接特征图；为第一解码结果；为第二拼接特征图；为第二解码结果；为第一权重；为第二权重；|| ||2为二范数。
30.本发明实施例通过设置引导注意力模块的注意力损失函数约束空间注意力和通道注意力的结果在经过不同编码器和解码器前后是尽量一致，从而可进一步提高对钢网架结构异常进行检测的准确性。
31.在本发明的一些实施例中，如图4所示，空间注意力子模块包括第一空间注意力卷积层、第二空间注意力卷积层、第三空间注意力卷积层、第一空间注意力重塑层、第二空间注意力重塑层、第三空间注意力重塑层、第一空间注意力点积运算层、空间注意力归一化运算（softmax）层、第二空间注意力点积运算层、第四空间注意力重塑层以及空间注意力张量拼接层；第一空间注意力卷积层、第二空间注意力卷积层、第三空间注意力卷积层用于分别对第一拼接特征图进行空间特征提取，对应获得第一空间子特征图、第二空间子特征图和第三空间子特征图；第一空间注意力重塑层、第二空间注意力重塑层、第三空间注意力重塑层用于分别对第一空间子特征图、第二空间子特征图和第三空间子特征图进行空间维度重塑，对应获得第一空间重塑图、第二空间重塑图和第三空间重塑图；第一空间注意力点积运算层用于对第一空间重塑图和第二空间重塑图进行点积运算，获得第一空间重塑图和第二空间重塑图中各像素位置的空间相关性；空间注意力归一化运算层用于对空间相关性进行归一化运算，获得空间注意力权
重；第二空间注意力点积运算层用于基于空间注意力权重和第三空间重塑图获得第二空间点积图；第四空间注意力重塑层用于对第二空间点积图进行空间维度重塑，获得第四空间重塑图；空间注意力张量拼接层用于对第四空间重塑图和第一拼接特征图进行张量拼接，获得第一空间注意力特征图。
32.在本发明的具体实施例中，第一空间重塑图和第二空间重塑图中各像素位置的空间相关性为：式中，为第一空间重塑图和第二空间重塑图中各像素位置的空间相关性；为第一空间重塑图中的第i个像素位置；为第二空间重塑图中第j个像素位置；w，h分别为第一空间重塑图和第二空间重塑图的宽和高。
33.第一空间注意力特征图为：式中，为空间注意力权重；为第三空间重塑图；为第一空间重塑图和第二空间重塑图的空间相关性矩阵；为第一拼接特征图。
34.应当理解的是：空间注意力模块还用于根据第二拼接特征图获得第二空间注意力特征图，其过程与上述根据第一拼接特征图获得第一空间注意力特征图的过程一样，在此不做具体赘述。
35.在本发明的一些实施例中，如图5所示，通道注意力子模块包括第一通道注意力卷积层、第二通道注意力卷积层、第三通道注意力卷积层、第一通道注意力重塑层、第二通道注意力重塑层、第三通道注意力重塑层、第一通道注意力点积运算层、通道注意力归一化运算（softmax）层、第二通道注意力点积运算层、第四通道注意力重塑层以及通道注意力张量拼接层；第一通道注意力卷积层、第二通道注意力卷积层、第三通道注意力卷积层用于分别对第一拼接特征图进行通道特征提取，对应获得第一通道子特征图、第二通道子特征图和第三通道子特征图；第一通道注意力重塑层、第二通道注意力重塑层、第三通道注意力重塑层用于分
别对第一通道子特征图、第二通道子特征图和第三通道子特征图进行通道维度重塑，对应获得第一通道重塑图、第二通道重塑图和第三通道重塑图；第一通道注意力点积运算层用于对第一通道重塑图和第二通道重塑图进行点积运算，获得第一通道重塑图和第二通道重塑图中各通道的通道相关性；通道注意力归一化运算层用于对通道相关性进行归一化运算，获得通道注意力权重；第二通道注意力点积运算层用于基于通道注意力权重和第三通道重塑图进行点积运算，获得第二通道点积图；第四通道注意力重塑层用于对第二通道点积图进行通道维度重塑，获得第四通道重塑图；通道注意力张量拼接层用于对第四通道重塑图和第一拼接特征图进行张量拼接，获得第一通道注意力特征图。
36.在本发明的具体实施例中，第一空间重塑图和第二空间重塑图中各像素位置的通道相关性为：式中，为第一通道重塑图和第二通道重塑图中各通道的通道相关性；为第一通道重塑图中的第i个通道；为第二通道重塑图中第j个通道；c为第一通道重塑图和第二通道重塑图中的通道总数。
37.第一通道注意力特征图为：式中，为通道注意力权重；为第三通道重塑图；为第一通道重塑图和第二通道重塑图的通道相关性矩阵；为第一拼接特征图。
38.应当理解的是：通道注意力模块还用于根据第二拼接特征图获得第二通道注意力特征图，其过程与上述根据第一拼接特征图获得第一通道注意力特征图的过程一样，在此不做具体赘述。
39.在本发明的一些实施例中，如图6所示，步骤s101包括：s601、构建初始钢网架结构异常检测模型；s602、构建钢网架结构样本集；s603、根据钢网架结构样本集以及预设的总损失函数训练初始钢网架结构异常检
测模型，得到训练完备的目标钢网架结构异常检测模型。
40.由于在实际场景中，相对于背景和正常钢网架结构，出现异常钢网架结构的情况比较少见，即：钢网架结构异常数据在钢网架结构样本集中表现为不平衡的类别，为了提高对不平衡样本的检测准确性，在本发明的一些实施例中，总损失函数为：对不平衡样本的检测准确性，在本发明的一些实施例中，总损失函数为：对不平衡样本的检测准确性，在本发明的一些实施例中，总损失函数为：式中，为总损失函数；为第三权重；为改进焦点损失函数；为像素点的真实类别；为像素点为第c类的置信度；为第c类像素点在钢网架结构样本集中的出现频率；为负类门控系数；为初始权值；为加权系数；为聚焦系数。
41.初始权值的大小由加权系数控制，越大，出现频率较小的类的初始权值相对越大。权重的动态修正量的大小由聚焦系数控制，越大，模型通过调整权值缓解类别不平衡现象的作用越强。这样让样本量较少的类别训练损失和样本量较大的样本训练损失达到平衡状态，从而解决训练集类别不均衡带来的问题。从而可提高对钢网架结构异常检测的检测准确度。
42.进一步地，为了提高初始钢网架结构异常检测模型的训练速度，最快找到最优解，得到训练完备的目标钢网架结构异常检测模型，在本发明的一些实施例中，训练过程中的学习率动态调整策略为poly策略，具体地，poly策略为：式中，为新的学习率；为基准学习率；为当前迭代次数；为最大迭代次数；为控制曲线形状的形状因子。
43.本发明实施例通过设置训练过程中的学习率动态调整策略为poly策略，可提高初始钢网架结构异常检测模型的训练速度。
44.在本发明的一些实施例中，如图7所示，步骤s602包括：
s701、获取钢网架结构图像，并对钢网架结构图像进行切片处理和标注，获得初始钢网架结构图像样本集；s702、对初始钢网架结构图像样本集进行第一类增广处理，获得钢网架结构样本集；和/或，s703、对初始钢网架结构图像样本集进行第二类增广处理，获得钢网架结构样本集。
45.本发明实施例通过对初始钢网架结构图像样本集进行第一类增广处理和/或第二类增广处理，可提高形成的钢网架结构样本集的图像数量，从而可提高形成的目标钢网架结构异常检测模型的泛化能力。
46.在本发明的具体实施例中，步骤s701中切片处理具体为：将钢网架结构图像进行切片，每张切片尺寸大小为512*512*3。步骤s701中的标注具体为：将各个切片中的物体类型进行数字化表达，如将背景类、正常钢网架类、异常钢网架为分别表示为0，1，2。
47.在本发明的具体实施例中，步骤s702中的第一类增广处理为：对初始钢网架结构图像样本集中的各个切片进行翻转、旋转、缩放、裁剪、颜色为调整等处理。
48.在本发明的一些实施例中，如图8所示，步骤s703包括：s801、从初始钢网架结构图像样本集中随机选取第一初始钢网架结构图像以及第二初始钢网架结构图像；s802、分别确定第一初始钢网架结构图像ia和第二初始钢网架结构图像ib的第一标签图像和第二标签图像；s803、将第一初始钢网架结构图像和第一标签图像进行随机缩放，获得第一缩放钢网架结构图像和第一随机标签图像;s804、随机确定目标类别c，并根据目标类别c和第一随机标签图像获得二值化掩膜文件；s805、根据二值化掩膜文件将第一缩放钢网架结构图像、第二初始钢网架结构图像、第一随机标签图像和第二标签图像进行混合，获得增广钢网架结构图像x和增广标签图像y；s806、根据初始钢网架结构图像样本集、增广钢网架结构图像x和增广标签图像y获得钢网架结构样本集。
49.具体地，二值化掩膜文件为：
增广钢网架结构图像x和增广标签图像y分别为：式中，为哈达玛（hadamard）乘积运算。
50.本发明通过上述类别缩放混合的方法获得增广钢网架结构图像和增广标签图像，可进一步提高钢网架结构样本集的样本数量，确保目标钢网架结构异常检测模型的可靠性。
51.为了更好实施本发明实施例中的钢网架结构异常检测方法，在钢网架结构异常检测方法基础之上，对应的，本发明实施例还提供了一种钢网架结构异常检测装置，如图9所示，钢网架结构异常检测装置900包括：目标检测模型获取单元901，用于获取训练完备的目标钢网架结构异常检测模型，目标钢网架结构异常检测模型包括多尺度融合模块和引导注意力模块；待检测图像获取单元902，用于获取待检测钢网架结构图像；多尺度特征融合单元903，用于基于多尺度融合模块对待检测钢网架结构图像进行多尺度特征提取，获得多个特征图，并对多个特征图进行融合，获得多尺度融合特征图；异常检测单元904，用于基于引导注意力模块以及多个特征图、多尺度融合特征图确定钢网架结构异常检测结果。
52.上述实施例提供的钢网架结构异常检测装置900可实现上述钢网架结构异常检测方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述钢网架结构异常检测方法实施例中的相应内容，此处不再赘述。
53.如图10所示，本发明还相应提供了一种电子设备1000。该电子设备1000包括处理器1001、存储器1002及显示器1003。图10仅示出了电子设备1000的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
54.处理器1001在一些实施例中可以是一中央处理器（central processing unit，cpu），微处理器或其他数据处理芯片，用于运行存储器1002中存储的程序代码或处理数据，例如本发明中的钢网架结构异常检测方法。
55.在一些实施例中，处理器1001可以是单个服务器或服务器组。服务器组可为集中式或分布式的。在一些实施例中，处理器1001可为本地的或远程的。在一些实施例中，处理器1001可实施于云平台。在一实施例中，云平台可包括私有云、公共云、混合云、社区云、分布式云、内部间、多重云等，或以上的任意组合。
56.存储器1002在一些实施例中可以是电子设备1000的内部存储单元，例如电子设备1000的硬盘或内存。存储器1002在另一些实施例中也可以是电子设备1000的外部存储设备，例如电子设备1000上配备的插接式硬盘，智能存储卡（smart media card，smc），安全数字（secure digital，sd）卡，闪存卡（flash card）等。
57.进一步地，存储器1002还可既包括电子设备1000的内部储存单元也包括外部存储设备。存储器1002用于存储安装电子设备1000的应用软件及各类数据。
58.显示器1003在一些实施例中可以是led显示器、液晶显示器、触控式液晶显示器以及oled（organic light-emitting diode，有机发光二极管）触摸器等。显示器1003用于显示在电子设备1000的信息以及用于显示可视化的用户界面。电子设备1000的部件1001-1003通过系统总线相互通信。
59.在一实施例中，当处理器1001执行存储器1002中的钢网架结构异常检测程序时，可实现以下步骤：获取训练完备的目标钢网架结构异常检测模型，目标钢网架结构异常检测模型包括多尺度融合模块和引导注意力模块；获取待检测钢网架结构图像；基于多尺度融合模块对待检测钢网架结构图像进行多尺度特征提取，获得多个特征图，并对多个特征图进行融合，获得多尺度融合特征图；基于引导注意力模块以及多个特征图、多尺度融合特征图确定钢网架结构异常检测结果。
60.应当理解的是：处理器1001在执行存储器1002中的钢网架结构异常检测程序时，除了上面的功能之外，还可实现其它功能，具体可参见前面相应方法实施例的描述。
61.进一步地，本发明实施例对提及的电子设备1000的类型不做具体限定，电子设备1000可以为手机、平板电脑、个人数字助理(personal digital assistant，pda)、可穿戴设备、膝上型计算机(laptop)等便携式电子设备。便携式电子设备的示例性实施例包括但不限于搭载ios、android、microsoft或者其他操作系统的便携式电子设备。上述便携式电子设备也可以是其他便携式电子设备，诸如具有触敏表面(例如触控面板)的膝上型计算机(laptop)等。还应当理解的是，在本发明其他一些实施例中，电子设备1000也可以不是便携式电子设备，而是具有触敏表面(例如触控面板)的台式计算机。
62.相应地，本技术实施例还提供一种计算机可读存储介质，计算机可读存储介质用于存储计算机可读取的程序或指令，程序或指令被处理器执行时，能够实现上述各方法实施例提供的钢网架结构异常检测方法中的步骤或功能。
63.本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件（如处理器，控制器等）来完成，计算机程序可存储于计算机可读存储介质中。其中，计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
64.以上对本发明所提供的钢网架结构异常检测方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明
的限制。