基于对抗神经网络的陶瓷杯缺陷样本扩增方法及系统与流程

1.本技术涉及缺陷样本生成技术领域，特别地涉及一种基于对抗神经网络的陶瓷杯缺陷样本扩增方法及系统。


背景技术：

2.近年来，随着人工智能迅速发展，大数据的时代迅猛而来。在深度学习领域，卷积神经网络出现在人们视野当中，并应用在许多领域，推动着人工智能的更加迅速的发展，然而训练卷积神经网络需要大量的数据，数据的采集数量与质量决定着网络的稳定性与预测的准确性，并且有些数据难以采集。
3.比如在陶瓷杯缺陷检测中，需要大量且缺陷种类不同的陶瓷杯缺陷数据喂入网络进行训练，这种陶瓷杯缺陷数据往往需要通过人工采集，费时费力，而且很难采集到。


技术实现要素：

4.为了解决或至少部分地解决上述技术问题，本技术提供了一种基于对抗神经网络的陶瓷杯缺陷样本扩增方法，其中，该方法包括以下步骤：基于预搭建的第一对抗网络模型，生成新点云数据，并利用所述新点云数据进行三维建模，得到点云模型；其中，所述第一对抗网络模型由点云数据训练得到；获取陶瓷杯缺陷图集，输入预搭建的第二对抗网络模型，生成模拟缺陷图，并进行预处理；将预处理后的模拟缺陷图，贴合于所述点云模型，得到陶瓷缺陷模型。
5.通过第一对抗网络模型生成点云模型，通过第二对抗网络模型，生成模拟缺陷图，再进行贴合得到陶瓷缺陷模型，可以生成大量的陶瓷缺陷模型，解决了陶瓷杯缺陷样本难以采集的问题。
6.可选的，所述第一对抗网络模型的搭建方法如下：采集陶瓷杯rgb-d信息；从所述陶瓷杯rgb-d信息中，分别读取rgb图片和深度图片，并将所述rgb图片和所述深度图片转换为点云数据；将所述点云数据，训练采用elu激活函数的autoencoder网络，得到所述第一对抗网络模型，通过所述第一对抗网络模型生成新点云数据；其中， autoencoder网络中包括第一生成器、第一判别器；elu激活函数如下：x为输入数据，a为调节参数，a》0；将新点云数据进行三维建模，得到点云模型。
7.可选的，所述第一对抗网络模型生成所述点云数据包括：将数据g(z)输入至所述第一生成器中，生成陶瓷杯点云模型input；将所述陶瓷杯点云模型input与完整陶瓷杯点云数据true输入至所述判别器中，经过所述第一生成器与所述第一判别器中的elu激活函数限制下，判断陶瓷杯点云模型input与真实陶瓷杯点云模型的相似度，生成真实陶瓷杯点云模型的新点云数据；其中，数据g(z)为从随机均匀分布里采样一个噪声z所合成得到。
8.可选的，判断所述陶瓷杯点云模型input与真实陶瓷杯点云模型的相似度包括：提取获得的真实陶瓷杯点云模型的真实特征向量并存储；从随机均匀分布里采样一个噪声z合成的数据g(z)并 输入至生成器中；及提取当前模拟生成的陶瓷杯点云模型input的模拟特征向量，并基于所述真实特征向量判断所述模拟特征向量的相似度。
9.可选的，所述陶瓷杯缺陷图集包括一种或者多种不同的陶瓷真实缺陷图像。
10.可选的，所述第二对抗网络模型包括第二生成器网络、第二判别器网络；当噪声图像数据输入至所述第二对抗网络模型时；所述第二生成器生成陶瓷杯缺陷图；所述第二判别器比对生成的所述缺陷图与陶瓷真实缺陷图，得到判别结果；所述第二生成器根据所述判别结果改进相关参数；所述第二生成器再生成陶瓷杯缺陷图。
11.可选的，所述预处理包括：依次对图像进行图像去噪操作、图像增强操作。
12.可选的，所述得到陶瓷缺陷模型的步骤中；将所述模拟缺陷图，通过3dmax贴图到陶瓷杯模型上，并进行渲染构建所陷陶瓷缺陷模型。
13.可选的，贴图到陶瓷杯模型上的步骤中；先对三维模型网格进行划分，网格纹理坐标展开到平面后，将二维的陶瓷杯表面缺陷图片映射到三维网格上，根据纹理坐标值对网格进行渲染，最终获得三维模型。
14.本技术还提供了一种基于对抗神经网络的陶瓷杯缺陷样本扩增系统，包括：点云数据模型模块，用于基于预搭建的第一对抗网络模型，生成新点云数据，并利用所述新点云数据进行三维建模，得到点云模型；其中，所述第一对抗网络模型由点云数据训练得到；缺陷图模块，用于获取陶瓷杯缺陷图集，输入预搭建的第二对抗网络模型，生成模拟缺陷图，并进行预处理；贴合模块，用于将预处理后的模拟缺陷图，贴合于所述点云模型，得到陶瓷缺陷模型。
15.有益效果：本技术提供的陶瓷杯缺陷样本扩增方法，通过第一对抗网络模型生成点云模型，通过第二对抗网络模型，生成模拟缺陷图，再进行贴合得到陶瓷缺陷模型，可以生成大量的陶瓷缺陷模型，解决了陶瓷杯缺陷样本难以采集的问题。
附图说明
16.为了更清楚地说明本技术的实施方式，下面将对相关的附图做出简单介绍。可以理解，下面描述中的附图仅用于示意本技术的一些实施方式，本领域普通技术人员还可以根据这些附图获得本文中未提及的许多其他的技术特征和连接关系等。
17.图1为本技术实施方式提供的一种基于对抗神经网络的陶瓷杯缺陷样本扩增方法的流程示意图。
18.图2为本技术实施方式提供的一种对抗神经网络的陶瓷杯缺陷样本扩增系统的结构示意图。
19.图3为适于用来实现根据本技术一实施方式的方法的计算机系统的结构示意图。
具体实施方式
20.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术示例性实施例中的附图，对本技术示例性实施例中的技术方案进行清楚、完整地描述。
21.在本技术的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
22.下面将结合本技术示例性实施例中的附图，对本技术示例性实施例中的技术方案进行清楚、完整地描述，显然，所描述的示例性实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
23.本技术发明人发现，在陶瓷杯生产线上采集陶瓷杯缺陷时，通常需要通过人工使用相机拍照。而人工拍照，无法保证每个照片的角度相同、清晰度能够相同（因为人的手存在抖动的情况）。通过人工拍照的方法费时费力，无法大量获取缺陷样本数据。
24.为此，本技术实施方式提供的技术方案中，基于预搭建的第一对抗网络模型，生成新点云数据，并利用所述新点云数据进行三维建模，得到点云模型；其中，所述第一对抗网络模型由点云数据训练得到；获取陶瓷杯缺陷图集，输入预搭建的第二对抗网络模型，生成模拟缺陷图，并进行预处理；将预处理后的模拟缺陷图，贴合于所述点云模型，得到陶瓷缺陷模型。通过第一对抗网络模型生成点云模型，通过第二对抗网络模型，生成模拟缺陷图，再进行贴合得到陶瓷缺陷模型，可以生成大量的陶瓷缺陷模型，解决了陶瓷杯缺陷样本难以采集的问题。
25.下面结合具体实施方式，进行更加详细的说明。
26.实施方式一参见图1所示，图1为本技术实施方式提供的一种基于对抗神经网络的陶瓷杯缺陷样本扩增方法的流程示意图。该方法包括以下步骤：s1、获取陶瓷的图片信息，并转换为点云格式，基于预搭建的第一对抗网络模型，生成新点云数据，并利用新点云数据进行三维建模，得到点云模型；
其中，第一对抗网络模型，由以下方法获取：步骤s11、深度相机采集陶瓷杯rgb-d信息。
27.在步骤s11中，通过深度相机获取陶瓷杯模型信息，并利用标准重建方法获得离散点云数据。
28.其中，标准重建方法为已有的技术，此处不再对其进行详细说明。
29.在步骤s12中，用open3d软件，从陶瓷杯rgb-d信息中，分别读取rgb图片和深度图片，并将rgb图片和深度图片转换为点云(pcd)格式并存储，得到点云数据。
30.具体的，相机坐标下的点云数据是根据rgb图像提供的像素坐标系下的x、y坐标和相机内参就能求出相机坐标系下的x、y坐标值。
31.同时深度图直接提供相机坐标系下的z坐标值，进而得到坐标系下的坐标p=[xyz]，相机坐标系下的障碍物点的坐标，就是点云传感器数据，也就是相机坐标系下的点云数据。
[0032]
可以理解，在步骤s13中，利用点云数据，训练第一对抗网络模型，构造的深度卷积神经网络包括第一生成器与第一判别器，基于所搭建的第一对抗网络模型，生成新点云数据。
[0033]
本技术中的第一对抗网络模型：减少了三维点云在训练时，正常梯度与自然梯度之间的差距，从而加快了学习。本技术实施方式中的第一对抗网络模型，是在achlioptas等人提出的autoencoder网络的基础上，采用elu激活函数。
[0034]
其elu公式如下：其中x为输入数据，a为调节参数，a》0。
[0035]
输入点云数据，对autoencoder网络进行训练，其中，相关训练数据有：完整陶瓷杯形状的点云数据记为true，从一个随机均匀分布里采样一个噪声z所合成的数据g(z)记为input，生成器所产生的新点云数据记为output。
[0036]
在训练过程中，首先将数据g(z)输入至第一生成器中，用于生成新的陶瓷杯点云模型input，将所生成新的陶瓷杯点云模型input与完整陶瓷杯点云数据true一起输入至第一判别器中，经过第一生成器与第一判别器中的elu激活函数的限制下，判断模拟的陶瓷杯点云模型input与真实陶瓷杯点云模型的相似度，从而生成逐渐逼近真实陶瓷杯点云模型的新点云数据。
[0037]
此外，在步骤s13中，检测模拟的陶瓷杯点云模型input与真实陶瓷杯点云模型的相似度主要通过以下步骤：s131、提取获得的真实陶瓷杯点云模型的真实特征向量并存储；s132、从一个随机均匀分布里采样一个噪声z合成的数据g(z)并 输入至第一生成器中；及s133、第一判别器提取当前模拟生成的陶瓷杯点云模型input的模拟特征向量，并基于真实特征向量判断模拟特征向量的相似度。
[0038] s14、将新点云数据导入3d max工作面，根据点云结构特征，进行三维建模，得到
点云模型。
[0039]
可以理解，在步骤s14中，首先需要将采集到的点云数据的原始格式转换成autodesk软件可以利用的rcs文件，转换工具就是recap或者recap 360,转换完成之后，在3dmax中实体建模工具下找到点云工具，加载点云，然后会有一个管理点云数据的box命令（box在里面是指可以绘制出长方体、立方体的命令），这个box命令用来显示和隐藏点云数据，方便于对遮挡比较严重的地方进行正确建模。接下来就是在不同显示界面内建模。
[0040]
s2、获取陶瓷杯缺陷图集，输入预构建的第二对抗网络模型，生成模拟缺陷图；并进行预处理。
[0041]
具体的，步骤s2包括：s21、收集真实陶瓷杯缺陷图像。其中，真实陶瓷杯表面缺陷图像包括一种或者多种不同的真实缺陷图像，并进行图像预处理。此外，预处理步骤包括：依次对图像进行图像去噪操作、图像增强操作。
[0042]
s22、使用真实陶瓷杯表面缺陷图像训练得到的第二对抗网络，可以生成各种类别不一的缺陷图片，模拟生成陶瓷杯表面缺陷图像。
[0043]
可以理解，在步骤s22中，对于陶瓷杯表面缺陷图数据大量的虚拟生成，构建第二对抗神经网络，主要包括收集到陶瓷杯缺陷图数据并整理，网络参数的初始化，训练模型以及保存网络参数四个步骤。
[0044]
构建第二对抗网络模型，需要训练2个网络，一个是生成器网络，另一个是判别器网络，其中，生成器网络是一个二分类神经网络，判别器网络是一个串联起来的长网络，也是一个二分类神经网络（只用假样本进行训练）。生成器网络模型输入噪声分布, 把噪声分布映射成很像真实分布的分布, 生成仿造的样本。判断模型输入生成模型的仿造样本, 区分这个样本是否为真实样本。
[0045]
在步骤s22中，对第二对抗网络模型训练模式为：根据输入的噪声图像数据第二生成器生成一些陶瓷杯缺陷图——第二判别器比对生成的缺陷图与真实收集到的陶瓷杯缺陷图——第二生成器根据判别器结果改进自己的相关参数——第二生成器再生成陶瓷杯缺陷图
…
，这种模式会一直持续下去，直到生成网络和判别网络无法提升自己，这样整个对抗神经网络模型就会成为一个比较完美的模型，所虚拟生成的陶瓷杯缺陷图更加逼真。
[0046]
此外，在步骤s22中，还可以使用软件photoshop对图片进行裁剪、旋转、调色，能够使纹理贴图的逼真。
[0047]
s3、将预处理后的模拟缺陷图，贴合于点云模型，得到陶瓷缺陷模型。
[0048]
为了使陶瓷缺陷模型更加逼真，进行纹理贴图，将模拟缺陷图，再通过3dmax贴图到陶瓷杯模型上，并进行渲染构建真实感逼真的陶瓷缺陷模型。此外，将二维陶瓷杯表面缺陷图片贴在三维模型的表面，需要先对三维模型网格进行划分，网格纹理坐标展开到平面后，将二维的陶瓷杯表面缺陷图片映射到三维网格上，根据纹理坐标值对网格进行渲染，最终获得具有真实感的三维模型。
[0049]
实施方式二参见图2所示，图2为本技术实施方式提供的一种对抗神经网络的陶瓷杯缺陷样本扩增系统的结构示意图。该系统包括：点云数据模型模块301，用于基于预搭建的第一对抗网络模型，生成新点云数据，
并利用新点云数据进行三维建模，得到点云模型；其中，第一对抗网络模型由点云数据训练得到；还用于：第一对抗网络模型的搭建方法如下：采集陶瓷杯rgb-d信息；从陶瓷杯rgb-d信息中，分别读取rgb图片和深度图片，并将rgb图片和深度图片转换为点云数据；将点云数据，训练采用elu激活函数的autoencoder网络，得到第一对抗网络模型，通过第一对抗网络模型生成新点云数据；其中， autoencoder网络中包括第一生成器、第一判别器；elu激活函数如下：x为输入数据，a为调节参数，a》0；将新点云数据进行三维建模，得到点云模型。
[0050]
第一对抗网络模型生成点云数据包括：将数据g(z)输入至第一生成器中，生成陶瓷杯点云模型input；将陶瓷杯点云模型input与完整陶瓷杯点云数据true输入至判别器中，经过第一生成器与第一判别器中的elu激活函数限制下，判断陶瓷杯点云模型input与真实陶瓷杯点云模型的相似度，生成真实陶瓷杯点云模型的新点云数据；其中，数据g(z)为从随机均匀分布里采样一个噪声z所合成得到。
[0051]
判断陶瓷杯点云模型input与真实陶瓷杯点云模型的相似度包括：提取获得的真实陶瓷杯点云模型的真实特征向量并存储；从随机均匀分布里采样一个噪声z合成的数据g(z)并 输入至生成器中；及提取当前模拟生成的陶瓷杯点云模型input的模拟特征向量，并基于真实特征向量判断模拟特征向量的相似度。
[0052]
陶瓷杯缺陷图集包括一种或者多种不同的陶瓷真实缺陷图像。
[0053]
缺陷图模块302，用于获取陶瓷杯缺陷图集，输入预搭建的第二对抗网络模型，生成模拟缺陷图，并进行预处理；还用于：第二对抗网络模型包括第二生成器网络、第二判别器网络；当噪声图像数据输入至第二对抗网络模型时；第二生成器生成陶瓷杯缺陷图；第二判别器比对生成的缺陷图与陶瓷真实缺陷图，得到判别结果；第二生成器根据判别结果改进相关参数；第二生成器再生成陶瓷杯缺陷。
[0054]
贴合模块303，用于将预处理后的模拟缺陷图，贴合于点云模型，得到陶瓷缺陷模型。还用于：得到陶瓷缺陷模型的步骤中；将模拟缺陷图，通过3dmax贴图到陶瓷杯模型上，并进行渲染构建陶瓷缺陷模型。
[0055]
贴图到陶瓷杯模型上的步骤中；先对三维模型网格进行划分，网格纹理坐标展开
到平面后，将二维的陶瓷杯表面缺陷图片映射到三维网格上，根据纹理坐标值对网格进行渲染，最终获得三维模型。
[0056]
参见图3所示，图3为适于用来实现根据本技术一实施方式的方法的计算机系统的结构示意图。
[0057]
其中，计算机系统600包括处理器（cpu、gpu、fpga等）601，其可以根据存储在只读存储器（rom）602中的程序或者从存储部分608加载到随机访问存储器（ram）603中的程序而执行上述附图所示的实施方式中的部分或全部处理。在ram603中，还存储有系统600操作所需的各种程序和数据。处理器601、rom602以及ram603通过总线604彼此相连。输入/输出（i/o）接口605也连接至总线604。
[0058]
以下部件连接至i/o接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管（crt）、液晶显示器（lcd）等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至i/o接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
[0059]
特别地，根据本技术的实施方式，上文参考附图描述的方法可以被实现为计算机软件程序。例如，本技术的实施方式包括一种计算机程序产品，其包括有形地包含在及其可读介质上的计算机程序，计算机程序包含用于执行附图中的方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。
[0060]
附图中的流程图和框图，图示了按照本技术各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0061]
描述于本技术实施方式中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
[0062]
作为另一方面，本技术还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施方式中节点中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，程序被一个或者一个以上的处理器用来执行描述于本技术的方法。
[0063]
以上描述仅为本技术的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本技术中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行
任意组合而形成的其它技术方案。例如上述特征与本技术中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。