一种基于迁移学习的边缘检测方法

1.本发明涉及零部件生产领域，具体是一种基于迁移学习的边缘检测方法。


背景技术：

2.随着工业制造水平的提高，零部件生产的效率也在提高，但是在生产过程中，由于现有技术，工作条件等因素的缺陷和局限性，制造产品的质量很容易受到影响，零部件的表面缺陷的产生则成了不可避免的问题，如表面的划痕、孔洞、皱纹、油污等。表面缺陷不仅会影响零部件的美观度，还对零部件所组成的产品使用性能有着重要的影响。目前，传统的人工拣选方式仍被各零部件生产厂商普遍采用，存在工作量大、误检率、漏检率高和检测效率低等缺点，严重限制了企业的生产能力。人工检测是基于经验的主观行为，检测的准确性和重复性难以达到高精度和一致性要求，特别是随着工业零部件生产过程的自动化程度在提高，人工检测越来越不能满足当今工业零部件生产领域对高效、高精度的检测要求。
3.深度学习常常被用来解决物体表面的缺陷检测问题，并取得了良好的结果，但由于其巨大的计算复杂性，因此它需要高性能的图形处理单元。虽然基于目前的硬件和集群技术的发展，已经有足够的计算资源完成模型的训练，但是网络带宽并没有充分的提高，网络带宽因此成为云计算架构的瓶颈。在高度自动化的工业生产中对缺陷检测的实时性要求非常高，而较长的物理传输链路带来了较高的延迟，无法满足实时性要求。在边缘计算中，大量的计算和存储资源置于网络的边缘，靠近工业生产中的传感器和移动设备等，边缘计算与终端设备上的数据源距离的减少降低了端到端的延迟，从而能够实现实时服务，并且数据和计算任务不需要全部上传至云计算中心，减少了网络带宽压力。深度学习的理想场景需要有丰富的标记训练实例并且训练实例与测试数据需具有相同的分布，然而工业生产中的产品有着多样性和高速迭代的特点，收集足够的缺陷图像数据通常是昂贵的、耗时的，而过少的数据也会造成卷积神经网络过度拟合，导致模型检测效果变差。随着零部件总类的增多，需要对不同零部件都收集足够的数据并分别训练缺陷检测模型，这将加大数据采集的难度并占用大量的计算资源和时间，导致缺陷检测系统的扩展性低。


技术实现要素：

4.本发明的目的是提供一种基于迁移学习的边缘检测方法，包括以下步骤：
5.1)搭建边缘检测系统，包括远程云服务器、宏基站、n个微基站、m个缺陷检测点；所述缺陷检测点设有图像采集设备；所述微基站搭载有边缘服务器；边缘服务器存储有基于迁移学习的边缘检测模型；
6.边缘服务器和缺陷检测点之间的关系如下所示：
7.8.式中，λ
mn
表示边缘服务器和缺陷检测点的关系参数。
9.2)第m个缺陷检测点am的图像采集设备采集待检测零部件的图像pm，其大小为sm，并上传至第n个微基站的边缘服务器en；n＝1,2,
…
,n；m＝1,2,
…
,m；m为缺陷检测点的数量；n为边缘服务器的数量。
10.所述图像采集设备包括工业摄像头；缺陷检测点am的工业摄像头通过有线网络或无线网络与边缘服务器en进行数据交互。
11.3)边缘服务器en将接收到的图像pm输入到基于迁移学习的边缘检测模型中，得到待检测零部件的缺陷检测结果；
12.边缘服务器en将待检测零部件的图像pm和缺陷检测结果通过宏基站上传至远程云服务器；
13.所述缺陷检测点还包括显示模块；
14.缺陷检测点am的显示模块接收边缘服务器en发送的待检测零部件的缺陷检测结果，并显示。
15.4)所述远程云服务器将待检测零部件的图像pm和缺陷检测结果写入训练集中，得到新的训练集，并利用新的训练集对基于迁移学习的边缘检测模型进行训练，得到更新后的权重；
16.5)远程云服务器通过宏基站将更新后的权重发送至微基站的边缘服务器，对边缘服务器的基于迁移学习的边缘检测模型进行更新。
17.对基于迁移学习的边缘检测模型进行训练的步骤包括：
18.a)获取若干零部件图像，并输入到远程云服务器；
19.b)远程云服务器框选出零部件图像的缺陷，并标明缺陷种类；
20.框选出零部件图像缺陷的工具包括labelimg软件。
21.c)远程云服务器对框选出缺陷的零部件图像进行数据增强，得到目标数据集将目标数据集划分为训练集和测试集；
22.对框选出缺陷的零部件图像进行数据增强的方法包括旋转、缩放、平移、剪切变换、透视。
23.d)远程云服务器将训练集输入到yolo v5s模型中，利用迁移学习中微调权重的方法对yolo v5s模型进行训练，得到基于迁移学习的边缘检测模型；训练流程包括：替换yolo v5s模型的头部网络，并保留模型的主干网络和颈部网络，通过预训练模型权重w
p
对这两个网络模块进行初始化，将目标数据集输入到模型中进行训练，直到模型损失函数收敛；
24.e)远程云服务器利用测试集对基于迁移学习的边缘检测模型进行测试，得到通过测试的后基于迁移学习的边缘检测模型；远程云服务器通过宏基站将基于迁移学习的边缘检测模型的权重w
p
发送至微基站的边缘服务器；
25.f)边缘服务器根据权重w
p
更新基于迁移学习的边缘检测模型。
26.边缘服务器en将接收到的图像pm输入到基于迁移学习的边缘检测模型中，得到待检测零部件的缺陷检测结果的检测时延如下所示：
27.28.式中，c
mn
表示在第n个边缘服务器对图像pm进行检测的时间；
29.其中，参数如下所示：
[0030][0031]
式中，bm、pm、h
mn
和分别代表第m个缺陷监测点的传输宽带、发射功率、信道增益和噪声功率。
[0032]
6)在得到缺陷检测结果后，利用人工对检测结果进行复查，标注检测的零部件真实缺陷位置和分类，若人工复查与系统检查的缺陷分类不同或缺陷检测框与真实框的重合度较低，则代表缺陷检测结果不正确，使用labelimg软件对检测结果进行纠正并保存。
[0033]
本发明的技术效果是毋庸置疑的，本发明通过深度学习满足缺陷检测的准确性、重复性和一致性要求，降低企业的经济和管理负担。通过边缘计算架构在边缘端完成缺陷检测任务的计算，降低时延满足实际生产中对缺陷检测的实时性要求。使用迁移学习策略，加快模型的训练速度并减少人工标识数据所带来的人力成本。
附图说明
[0034]
图1为系统模型图；
[0035]
图2为系统模型训练过程图；
[0036]
图3为缺陷检测流程图。
具体实施方式
[0037]
下面结合实施例对本发明作进一步说明，但不应该理解为本发明上述主题范围仅限于下述实施例。在不脱离本发明上述技术思想的情况下，根据本领域普通技术知识和惯用手段，做出各种替换和变更，均应包括在本发明的保护范围内。
[0038]
实施例1：
[0039]
参见图1至图3，一种基于迁移学习的边缘检测方法，包括以下步骤：
[0040]
1)搭建边缘检测系统，包括远程云服务器、宏基站、n个微基站、m个缺陷检测点；所述缺陷检测点设有图像采集设备；所述微基站搭载有边缘服务器；边缘服务器存储有基于迁移学习的边缘检测模型；
[0041]
边缘服务器和缺陷检测点之间的关系如下所示：
[0042][0043]
式中，λ
mn
表示边缘服务器和缺陷检测点的关系参数。
[0044]
2)第m个缺陷检测点am的图像采集设备采集待检测零部件的图像pm,其大小为sm，并上传至第n个微基站的边缘服务器en；n＝1,2,
…
,n；m＝1,2,
…
,m；m为缺陷检测点的数量；n为边缘服务器的数量。
[0045]
所述图像采集设备包括工业摄像头；缺陷检测点am的工业摄像头通过有线网络或
无线网络与边缘服务器en进行数据交互。
[0046]
3)边缘服务器en将接收到的图像pm输入到基于迁移学习的边缘检测模型中，得到待检测零部件的缺陷检测结果；
[0047]
边缘服务器en将待检测零部件的图像pm和缺陷检测结果通过宏基站上传至远程云服务器；
[0048]
所述缺陷检测点还包括显示模块；
[0049]
缺陷检测点am的显示模块接收边缘服务器en发送的待检测零部件的缺陷检测结果，并显示。
[0050]
4)所述远程云服务器将待检测零部件的图像pm和缺陷检测结果写入训练集中，得到新的训练集，并利用新的训练集对基于迁移学习的边缘检测模型进行训练，得到更新后的权重；
[0051]
5)远程云服务器通过宏基站将更新后的权重发送至微基站的边缘服务器，对边缘服务器的基于迁移学习的边缘检测模型进行更新。
[0052]
对基于迁移学习的边缘检测模型进行训练的步骤包括：
[0053]
a)获取若干零部件图像，并输入到远程云服务器；
[0054]
b)远程云服务器框选出零部件图像的缺陷，并标明缺陷种类；
[0055]
框选出零部件图像缺陷的工具包括labelimg软件。
[0056]
c)远程云服务器对框选出缺陷的零部件图像进行数据增强，得到目标数据集将目标数据集划分为训练集和测试集；
[0057]
对框选出缺陷的零部件图像进行数据增强的方法包括旋转、缩放、平移、剪切变换、透视。
[0058]
d)远程云服务器将训练集输入到yolo v5s模型中，利用迁移学习中微调权重的方法对yolo v5s模型进行训练，得到基于迁移学习的边缘检测模型；训练流程包括：替换yolo v5s模型的头部网络，并保留模型的主干网络和颈部网络，通过预训练模型权重w
p
对这两个网络模块进行初始化，将目标数据集输入到模型中进行训练，直到模型损失函数收敛；
[0059]
e)远程云服务器利用测试集对基于迁移学习的边缘检测模型进行测试，得到通过测试的后基于迁移学习的边缘检测模型；远程云服务器通过宏基站将基于迁移学习的边缘检测模型的权重w
p
发送至微基站的边缘服务器；
[0060]
f)边缘服务器根据权重w
p
更新基于迁移学习的边缘检测模型。
[0061]
边缘服务器en将接收到的图像pm输入到基于迁移学习的边缘检测模型中，得到待检测零部件的缺陷检测结果的检测时延如下所示：
[0062][0063]
式中，c
mn
表示在第n个边缘服务器对图像pm进行检测的时间；
[0064]
其中，参数如下所示：
[0065]
[0066]
式中，bm、pm、h
mn
和分别代表第m个缺陷监测点的传输宽带、发射功率、信道增益和噪声功率。
[0067]
6)在得到缺陷检测结果后，对检测结果进行检查，若检测结果错误则使用labelimg软件对零部件的缺陷进行纠正。
[0068]
具体而言，在得到缺陷检测结果后，利用人工对检测结果进行复查，标注检测的零部件真实缺陷位置和分类，若人工复查与系统检查的缺陷分类不同或缺陷检测框与真实框的重合度较低，则代表缺陷检测结果不正确，使用labelimg软件对检测结果进行纠正并保存。
[0069]
实施例2：
[0070]
一种基于迁移学习的边缘检测方法，主要内容见实施例1，其中，基于迁移学习的边缘检测方法中模型的训练过程包括
[0071]
1)建立超密集移动边缘计算系统。所述超密集移动边缘计算系统包括远程云服务器、宏基站、n＝{1,2,
…
,n,
…
,n}个不同密集部署的微基站、m＝{1,2,
…
,m,
…
,m}个缺陷检测点，记为{a1,a2,
…
,am,
…
,am})。其中，缺陷检测点由传送带和工业摄像头组成，每个微基站均具有边缘服务器，记为{e1,e2,
…
,en,
…
,en}。对第m个缺陷检测任务，sm代表该次缺陷检测任务的图像大小，c
mn
代表在第n个边缘服务器完成该检测任务需要的计算时间。在缺陷检测点和边缘服务器的分配中，λ
mn
表示第m个缺陷检测点和边缘服务器en之间关联的二元变量。其中
[0072][0073]
2)在云计算中心和边缘服务器部署yolo v5s模型。
[0074]
3)获取缺陷图像预训练集预训练集的挑选需要满足该缺陷与实际生产的零部件具有较高的特征相似度。由于我们面向工业领域零部件的缺陷检测，很多零部件都是由钢铁或者铝合金制造而成，所以我们选取钢铁表面缺陷的公开数据集作为预训练集在缺陷种类分布均匀的基础上对数据集随机进行划分，得到训练集和测试集并将数据集存储在云计算中心。
[0075]
4)通过旋转、缩放、平移、剪切变换、透视的方式对与训练集进行数据增强，将增强后的数据集输入到云计算中心的yolo v5s模型中，通过云计算中心强大的计算能力来对神经网络进行预训练，得到预训练权重w
p
。当损失函数收敛时，完成模型的训练。预训练使卷积神经网络学习到一些初级特征，如：颜色特征、纹理特征、边缘特征。
[0076]
5)当任一缺陷检测点am有新的缺陷检测需求时，云计算中心将训练好的权重w
p
发送到缺陷检测点对应的边缘服务器en，并使用w
p
初始化边缘服务器en中的yolo v5s模型，此时边缘服务器en中的yolo v5s的卷积神经网络能够识别一些初级的特征。
[0077]
6)工业摄像头通过有线连接或无线连接的方式与缺陷检测点am对应的边缘服务器en相连。工业摄像头将产品图像数据传输到边缘服务器en。通过使用labelimg软件对零部件的缺陷使用矩形框标注并标明缺陷种类，再通过旋转、缩放、平移、剪切变换、透视的方式
对缺陷数据进行数据增强，获得目标数据集
[0078]
在缺陷检测点am对应的边缘服务器en中将目标数据集输入yolo v5s模型。通过迁移学习中微调权重的方法进行训练，当损失函数收敛时，完成模型的训练，获得针对该产品缺陷检测的模型权重w
t
。由于边缘服务器中yolo v5s模型的权重不是随机初始化，而是通过预训练得来的，通过知识迁移来指导模型的训练，收敛速度会大幅度提升。训练后的yolo v5s模型能够完成对应缺陷监测点特定零部件的缺陷检测。
[0079]
实施例3：
[0080]
一种基于迁移学习的边缘检测方法，主要内容如下：
[0081]
1)缺陷检测点的工业摄像头am采集零部件图像数据上传到对应的边缘服务器en。
[0082]
2)将图像数据输入到边缘服务器en中部署yolo v5s模型得出检测结果。
[0083]
3)边缘服务器en将检测结果返回给缺陷检测点am，根据检测结果选择是否将零部件作为残次品挑选出来。
[0084]
检测过程的时延计算如下：
[0085][0086]
其中
[0087][0088]bm
，pm，h
mn
和分别代表第m个缺陷监测点的传输宽带，发射功率，信道增益和噪声功率。并且是为了避免分母为零值而引入的小值参数。
[0089]
5)将边缘服务器计算的检测结果进行缓存。通过对检测结果进行检查，若检测结果错误则使用labelimg软件对零部件的缺陷进行纠正。最终所有检测结果都将扩充到训练集中。
[0090]
6)边缘服务器将后续得到的数据对模型进行持续训练，降低模型的过拟合风险并提高模型对特定零部件的检测精度。