一种基于图网络的PCB板元器件图像目标检测方法与流程

一种基于图网络的pcb板元器件图像目标检测方法
技术领域
1.本发明涉及图像处理技术领域，尤其涉及一种基于图网络的pcb板元器件图像目标检测方法。


背景技术：

2.pcb板元器件的检测是自动化检测硬件的一个必要步骤，传统意义上的检测由质检工程师进行目检手动框定元器件(例如：电阻、电容)，然后识别组件类型，一片pcb板一般包含上百个元器件，质检工程师需要了解各样式的电子元器件才能标注准确，质检工程师需要花费大约两天时间标注一片pcb板，需要耗费大量的时间与精力，门槛高，标注成本昂贵；因此，有必要提供一种快速标注与识别元器件的方法，借助于深度学习中条件生成式对抗网络消除图像模糊性，与超像素、图神经网络的思想构建目标检测模型框架，能够快速有效的分类标注出pcb板上的各个元器件，节省大量人力成本。


技术实现要素：

3.本发明的目的是克服现有技术的不足，提供一种基于图网络的pcb板元器件图像目标检测方法。
4.本发明的技术方案如下：
5.一种基于图网络的pcb板元器件图像目标检测方法，包括如下步骤：
6.s1，获取pcb图片样本数据集，并将该pcb图片样本数据集中五分之四的样本划分为训练集，另外五分之一的样本划分为验证集；利用gans 生成式对抗网络对训练集的所有样本学习生成新样本；
7.s2，对于步骤s1生成的每一个新样本利用超像素构建一个k最近邻接矩阵，权值为：
[0008][0009]
式中xi和xj分别是超像素i和j的二维坐标，σx是放缩参数；
[0010]
s3，建立rpn网络，提取多个pcb超像素训练集样本图片的边框位置，并通过函数不断平移缩放修正靠近正确的标注数据框的概率，从而为下一步骤提供特征图；
[0011]
s4，采用图卷积网络并结合元器件模板图对步骤s3提供的特征图进行特性细化，生成特征图信息；
[0012]
s5，针对步骤s4生成的特征图信息利用相似度预测算法对步骤s3产生的每个特征图进行分类；再利用相似度预测算法计算每个被步骤s3和步骤s4处理后的图对元器件模板的相似性概率，并基于概率归类为相应元器件模板的类别。
[0013]
进一步地，所述步骤s4进行特性细化的具体实现过程如下：
[0014]
令图卷积网络中的图的实体表示成节点，节点间的连接表示成边，系统层面的特征用全局属性表示，节点表示为vi，边表示为ek，全局属性表示为u，并且使用sk和rk分别表示边k的发送节点和接收节点的索引；
[0015]
图用一个3元组表示g＝(u；v；e)，u代表的是一个全局属性，是整个图的一个特征；v代表图的节点的集合，其表示为：
[0016][0017]
e代表边的集合，其表示为：
[0018][0019]
式中ne和nv分别代表边和节点的数量，ek是第k个边的特征，sk和rk分别是接收节点和发送节点的编号；
[0020]
a、首先用当前的边信息、节点信息、以及全局属性u来生成新的边信息；
[0021]
b、基于新的边信息，生成新的节点信息；
[0022]
c、基于新的节点和边信息，生成新的全局属性u，整个过程完成。
[0023]
进一步地，所述gans生成式对抗网络包括生成模型和判别模型，所述生成模型用于学习训练集中样本的真实图像分布，使gans生成式对抗网络生成的新样本更加真实，所述判别模型用于判断图像是真实图像还是生成图像；
[0024]
所述gans生成式对抗网络采用深度卷积神经网络。
[0025]
进一步地，所述步骤s3是通过损失函数不断平移缩放修正靠近正确的标注数据框。
[0026]
采用上述方案，本发明具有以下有益效果：
[0027]
提供一种基于图网络的pcb板元器件图像目标检测方法，利用gans 生成式对抗网络消除模糊图像，提升了样本质量，并利用超像素的图像分割提升了目标检测性能，提高了标注效率，且基于图卷积网络抓取分析图谱之间的关联性提升了目标识别率，提高了标注准确率，实现快速有效的分类标注出pcb板上的各个元器件，极大地节省了人力成本。
附图说明
[0028]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
[0029]
图1为本发明提供的基于图网络的pcb板元器件图像目标检测方法的步骤流程图；
[0030]
图2(a)为图卷积网络的graph(图)的定义；
[0031]
图2(b)为gn block(图网络块)计算过程示意图。
[0032]
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0033]
以下结合附图和具体实施例，对本发明进行详细说明。
[0034]
参照图1所示，本发明提供一种基于图网络的pcb板元器件图像目标检测方法，包括如下步骤：
[0035]
s1，获取pcb图片样本数据集(该pcb图片样本数据集来源于网络开源的数据集，再经过人工对pcb板元器件进行大量标注后得到，用于进行训练)，并将该pcb图片样本数据集
中五分之四的样本划分为训练集，另外五分之一的样本划分为验证集；利用gans生成式对抗网络对训练集的所有样本学习生成新样本，从而消除图像模糊性；具体的，所述gans生成式对抗网络包括生成模型和判别模型，所述生成模型用于学习训练集中样本的真实图像分布，使gans生成式对抗网络生成的新样本更加真实，而所述判别模型用于判断图像是真实图像还是生成图像，随着gans生成式对抗网络不断迭代训练，生成模型和判别模型不断进行对抗学习，最终达到纳什平衡；更加具体的，所述gans生成式对抗网络采用深度卷积神经网络，以适应对不同pcb样本的图像环境数据的处理；
[0036]
s2，对于步骤s1生成的每一个新样本利用超像素构建一个k最近邻接矩阵(假如预定义参数k，k为预生成的超像素块数量，即预计将m*n大小的图像(像素数目即为m*n)分隔为k个超像素块，每个超像素块大小包含[(m*n)/k]个像素)，权值为：
[0037][0038]
式中xi和xj分别是超像素i和j的二维坐标，σ
x
是放缩参数(通过计算每个节点(即为新样本被分割后的块状分割图)的k个最近邻的平均距离xk得到)；
[0039]
s3，建立rpn网络(regionproposal network)，提取多个pcb超像素训练集样本图片的bounding box(边框，实际为预测的边框，包含四个坐标p(x，y，w，h))位置(通过确认中心点与长宽的坐标确认目标框位置)，并通过损失函数不断平移缩放修正靠近ground truth(正确的标注数据框，坐标为ground truth g(x，y，w，h))的概率(设定值》0.6)，以此确定正样本(包含元器件在内的目标框)，从而为下一步骤提供feature map (特征图)；
[0040]
s4，采用图卷积网络(gcn)并结合元器件模板图对步骤s3提供的 feature map(特征图)进行特性细化，生成特征图信息；进一步的，步骤 s4进行特性细化的具体实现过程如下：
[0041]
由于图卷积网络的主要计算单元是gn block(图网络块)，而gn block (图网络块)是一个输入和输出都是graph(图)的graph-to-graph(图到图) 模块，在图卷积网络的graph(图)中，entity(实体，由于图网络是由相互连接的图网络块(gn block)组成，实体在神经网络实现中也被称为“节点(node)”，节点间的连接被称为“边(edge)”，表示了节点间的依赖关系)表示成节点(node)，relation(节点间的连接)表示成边(edge)，系统层面的特征用global attribute(全局属性)表示；参考图2(a)：
[0042]
节点(node)表示为vi，边(edge)表示为ek，全局属性表示为u，并且还使用sk和rk分别表示边k(即第k个边)的发送节点(sender node) 和接收节点(receiver node)的索引；
[0043]
graph(图)用一个3元组(3-tuple)表示g＝(u；v；e)，u代表的是一个全局信息(也即全局属性global attribute)，是整个graph(图)的一个特征；v代表graph(图)的节点的集合，其表示为：
[0044][0045]
e代表边的集合，其表示为：
[0046][0047]
式中ne和nv分别代表边和节点的数量，ek是第k个边的特征(attribute)，sk和rk分
别是receiver node(接收节点)和sender node(发送节点)的编号；
[0048]
计算过程如图2(b)所示，图2(b)中1为计算并更新三个变量：node、 edge、u，2为循环计算update function(更新函数)迭代更新每一个edge， 3为基于上个循环，更新每个node的特征，4为生成v
′
和e
′
并分别进行聚合生成相应的信息和5为更新u，6为计算并最终更新(edge、 node、u)特征，整个过程总结为：
[0049]
a、首先用当前的edge(边)信息、node(节点)信息、以及全局信息 (全局属性)u来生成新的edge(边)的信息；
[0050]
b、基于新的edge(边)信息，生成新的node(节点)信息；
[0051]
c、基于新的node(节点)和edge(边)信息，生成新的全局信息(全局属性)u，整个更新过程完成；
[0052]
s5，针对步骤s4生成的特征图信息利用相似度预测算法(svm)对前一个阶段(即步骤s3)产生的每个特征图进行分类；再利用相似度预测算法(svm)计算每个proposal(rpn框定 gcn特征提取后的框图，即被步骤s3和步骤s4处理后的图)对元器件模板的相似性概率，并基于概率归类为相应元器件模板的类别，从而能够快速有效的分类标注出pcb板上的各个元器件，节省大量人力成本。
[0053]
与现有技术相比，本发明具有以下有益效果：
[0054]
提供一种基于图网络的pcb板元器件图像目标检测方法，利用gans 生成式对抗网络消除模糊图像，提升了样本质量，并利用超像素的图像分割提升了目标检测性能，提高了标注效率，且基于图卷积网络抓取分析图谱之间的关联性提升了目标识别率，提高了标注准确率，实现快速有效的分类标注出pcb板上的各个元器件，极大地节省了人力成本。
[0055]
以上仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。