一种基于深度卷积对抗网络和泊松融合的数据增强方法及装置与流程

1.本发明涉及数据处理技术领域，尤其涉及一种基于深度卷积对抗网络和泊松融合的数据增强方法及装置。


背景技术：

2.公路(交通道路)是当今无轨车辆和行人通行的工程设施，通车使用后会陆续出现裂缝、车辙、坑洞、表面破损等路面病害；坑洞作为危害性最强的道路损伤，不仅致使路面颠簸、安全隐患增加，还使得车辆性能受损、道路使用寿命骤减，特别是雨水渗透到地下，腐蚀混凝土路基，削弱基层、土基的强度；坑洞检测是及时发现道路安全隐患的重要途径，传统的坑洞缺陷识别主要依赖于人的视觉，纵横交错的道路使得检测的效率和准确率低下。随着数字图像处理的发展，传统的人工检测方法逐渐被基于神经网络的检测方法所取代，目前，利用深度卷积神经网络(deep neural networks,dnn)可以准确的分析路面损伤。
3.基于神经网络的公路坑洞缺陷检测方法需要大量的图像样本进行训练以保证达到足够的准确率，然而，在现实的工程问题中，很难获取到庞大的、高质量的标记数据，环境的复杂性导致数据类型的差异，往往破坏的越严重，数据采集的越困难，由于相关工作人员会及时修复公路坑洞缺陷，导致真实的公路坑洞缺陷图像数量有限，需要通过数据增强方法得到更多的训练数据；常见的数据增强方法包括几何变换、颜色变换、随机擦除等，但其本质与原始图像相似，导致性能的改善具有局限性，无法满足公路坑洞缺陷图像识别技术中对训练样本数据量上的要求。


技术实现要素：

4.为了现有技术存在的上述技术缺陷，本发明提供了一种基于深度卷积对抗网络和泊松融合的数据增强方法及装置，可以有效解决背景技术中的问题。
5.为了解决上述技术问题，本发明提供的技术方案具体如下：
6.一方面，本发明实施例公开了一种基于深度卷积对抗网络和泊松融合的数据增强方法，包括以下步骤：
7.采集市道路图像并获取道路损伤数据集；
8.裁剪道路损伤数据集中的坑洞缺陷区域，并进行归一化；
9.将归一化后的坑洞缺陷图像作为深度卷积神经网络dcgan的输入，接收服从均匀分布的随机噪声生成假的坑洞缺陷图像，并对坑洞缺陷图像进行评判；
10.通过泊松融合将dcgan生成的坑洞缺陷图像平滑的插入到道路图像中，生成新的道路缺陷图像。
11.在上述任一方案中优选的是，将图像采集装置设置于交通载具上，并调整图像采集装置的图像采集角度，以实现拍摄范围大于交通道路的宽度。
12.在上述任一方案中优选的是，通过以下方式获取道路损伤数据集：
13.(1)在采集的交通道路损伤图像中，筛选出1920pixel
×
1080pixel、10fps/s的交通道路损伤图像做为初始数据集；
14.(2)对初始数据集中模糊和复杂的道路损伤图像通过人工进行去除；
15.(3)通过labe1img图像标注工具对步骤(2)中初始数据集的道路损伤图像下2/3部分进行标注，制得voc数据集，并将制得的voc数据集定义为道路损伤数据集。
16.在上述任一方案中优选的是，从道路损伤数据集中裁剪出路面包围坑洞缺陷的矩形框，生成坑洞缺陷图像，并将坑洞缺陷图像的分辨率归一化为96
×
96大小，其中，坑洞的定义为路面凹陷和道路表面被区域剥离。
17.在上述任一方案中优选的是，通过深度卷积神经网络dcgan生成新的坑洞缺陷，dcgan包括生成模型和判别模型，生成模型用于接收符合均匀分布的随机噪声，并通过学习已有的真实数据样本的概率分布，生成服从其概率分布的样本；判别模型用于进行二分类神经网络训练，并负责判别样本是来源于道路损伤数据集的真实实例还是来源于样本的伪造实例，输出结果表示真实数据样本的概率。
18.在上述任一方案中优选的是，生成模型接收服从均匀的100维的随机噪声，并采用全卷积神经网络将其维度转换为1024个4
×
4的特征图，通过4个卷积核为5
×
5，步长为2
×
2，卷积核数依次为512、256、128和3的转置卷积操作进行上采样，输出层采用tanh激活函数，其他层使用relu激活函数；其中，tanh激活函数的函数值为[-1,1]，均值为0，关于原点中心堆成。
[0019]
在上述任一方案中优选的是，判别模型由卷积网络构成，卷积层之后避免使用减缓收敛速度的全连接层，并使用dropout为卷积层提供加噪声的输入。
[0020]
在上述任一方案中优选的是，判别模型接收96pixel
×
96pixel
×
3的生成样本图像，经过卷积核大小为5
×
5，步长为2
×
2，卷积核数目依次为64、128、256、512的卷积，其他层使用leakrelu激活函数，通过一个卷积核为1
×
1的卷积和sigmoid激活函数映射输出样本的判别概率，判别生成模型生成的新的坑洞缺陷样本的真实性。
[0021]
在上述任一方案中优选的是，在训练过程中，生成模型用于生成和原始数据相似的样本；判别模型用于区分生成模型生成的样本和真实的样本，训练过程表示为：
[0022]
min,maxv(d,g)＝e
x～pdata(x)
[logad(x)] e
z～pz(z)
[loga(1-d(g(z)))]，其中，d为
[0023]
判别函数，g为生成函数，e(
·
)为计算期望值，x为真实数据样本，p
data
(x)为真实数据样本的概率分布，a为一个大于0且不等于1的任意数，d(x)为输入真实数据样本后判别为真实样本的概率，z为符合高斯分布或均匀分布的随机噪声，pz(z)为初始噪声数据的概率分布，d(g(z))为输入生成模型生成的样本后判别为真实样本的概率，g(z)为生成模型的样本。
[0024]
另一方面，一种基于深度卷积对抗网络和泊松融合的数据增强装置，包括：采集模块，用于采集市道路图像并获取道路损伤数据集；
[0025]
处理模块，用于裁剪道路损伤数据集中的坑洞缺陷区域，并进行归一化；
[0026]
判断模块，用于将归一化后的坑洞缺陷图像作为深度卷积神经网络dcgan的输入，接收服从均匀分布的随机噪声生成假的坑洞缺陷图像，并对坑洞缺陷图像进行评判；
[0027]
生成模块，用于通过泊松融合将dcgan生成的坑洞缺陷图像平滑的插入到道路图像中，生成新的道路缺陷图像。
[0028]
与现有技术相比，本发明的有益效果：
[0029]
本发明通过采集市道路图像并获取道路损伤数据集；裁剪道路损伤数据集中的坑洞缺陷区域，并进行归一化；将归一化后的坑洞缺陷图像作为深度卷积神经网络dcgan的输入，接收服从均匀分布的随机噪声生成假的坑洞缺陷图像，并对坑洞缺陷图像进行评判；通过泊松融合将dcgan生成的坑洞缺陷图像平滑的插入到道路图像中，生成新的道路缺陷图像；能够扩增道路坑洞缺陷图像，满足道路坑洞缺陷图像识别技术中对训练样本数据量的需求。
附图说明
[0030]
附图用于对本发明的进一步理解，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
[0031]
图1是本发明的基于深度卷积对抗网络和泊松融合的数据增强方法的流程图；
[0032]
图2是本发明的基于深度卷积对抗网络和泊松融合的数据增强方法的逻辑图；
[0033]
图3是本发明的基于深度卷积对抗网络和泊松融合的数据增强方法的生成模块流程图；
[0034]
图4是本发明的基于深度卷积对抗网络和泊松融合的数据增强方法的判别模块流程图；
[0035]
图5是本发明的基于深度卷积对抗网络和泊松融合的数据增强方法的泊松融合过程示意图；
[0036]
图6是本发明的基于深度卷积对抗网络和泊松融合的数据增强方法的图像采集装置的位置示意图；
[0037]
图7是本发明的基于深度卷积对抗网络和泊松融合的数据增强装置的模块示意图。
具体实施方式
[0038]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0039]
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。
[0040]
在本发明的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0041]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，
除非另有明确具体的限定。
[0042]
为了更好地理解上述技术方案，下面将结合说明书附图及具体实施方式对本发明技术方案进行详细说明。
[0043]
本发明提供了一种基于深度卷积对抗网络和泊松融合的数据增强方法，如图1和图2所示，包括以下步骤：
[0044]
步骤一，采集市道路图像并获取道路损伤数据集。
[0045]
具体的，如图6所示，为保证采集的交通道路损伤图像的真实性，将图像采集装置设置于交通载具上，并调整图像采集装置的图像采集角度，以实现拍摄范围大于交通道路的宽度。
[0046]
在一个具体的实施方式中，图像采集装置优选为大疆灵眸oaich相机，交通载具优选为汽车，进而，将相机固定于汽车后备箱距离地面120cm处，启动相机录像功能，并驱使汽车以60km/h～80km/h的速度进行行驶，以实现对交通道路的损伤图像进行采集。
[0047]
进一步的，通过以下方式获取道路损伤数据集：
[0048]
(1)在采集的交通道路损伤图像中，筛选出1920pixel
×
1080pixel、10fps/s的交通道路损伤图像做为初始数据集；
[0049]
(2)对初始数据集中模糊和复杂的道路损伤图像通过人工进行去除；
[0050]
(3)通过labe1img图像标注工具对步骤(2)中初始数据集的道路损伤图像下2/3部分进行标注，制得voc数据集，并将制得的voc数据集定义为道路损伤数据集。
[0051]
步骤二，裁剪道路损伤数据集中的坑洞缺陷区域，并进行归一化。
[0052]
具体的，从道路损伤数据集中裁剪出路面包围坑洞缺陷的矩形框，生成坑洞缺陷图像，并将坑洞缺陷图像的分辨率归一化为96
×
96大小，其中，坑洞的定义为路面凹陷和道路表面被区域剥离；在道路损伤数据集中，路面上出现的坑和洞不论形成原因，均认定为道路坑洞缺陷。
[0053]
步骤三，将归一化后的坑洞缺陷图像作为深度卷积神经网络dcgan的输入，接收服从均匀分布的随机噪声生成假的坑洞缺陷图像，并对坑洞缺陷图像进行评判。
[0054]
具体的，由于在道路损伤数据集中裁剪出的坑洞缺陷图像中，因坑洞缺陷的复杂性和危害性，会被及时修复，所以很难采集到足够数量的道路坑洞缺陷图像。
[0055]
进一步的，通过深度卷积神经网络dcgan生成新的坑洞缺陷，以达到扩增坑洞缺陷图像样本数量的目的；dcgan包括生成模型和判别模型，生成模型用于接收符合均匀分布的随机噪声，并通过学习已有的真实数据样本的概率分布，生成尽可能服从其概率分布的样本；判别模型用于进行二分类神经网络训练，并负责判别样本是来源于道路损伤数据集的真实实例还是来源于样本的伪造实例，输出结果表示真实数据样本的概率。
[0056]
进一步的，如图3所示，生成模型接收服从均匀的100维的随机噪声(1
×1×
100)，并采用全卷积神经网络将其维度转换为1024个4
×
4的特征图，通过4个卷积核为5
×
5，步长为2
×
2，卷积核数依次为512、256、128和3的转置卷积操作进行上采样，输出层采用tanh激活函数，其他层使用relu激活函数；其中，tanh激活函数的函数值为[-1,1]，均值为0，关于原点中心堆成。
[0057]
进一步的，生成模型使用的转置卷积操作方法包括对比最近邻插值、双线性插值，转置卷积的参数初始化方式与普通卷积初始化相同，但参数可以学习。
[0058]
进一步的，如图4所示，判别模型由卷积网络构成，使用卷积层代替空间池化层，以实现在下采样过程中不再丢弃某些固定位置的像素值，让网络自行学习下采样方式；在卷积层之后避免使用减缓收敛速度的全连接层，并使用dropout为卷积层提供加噪声的输入，防止过拟合。
[0059]
进一步的，判别模型接收96pixel
×
96pixel
×
3的生成样本图像，经过卷积核大小为5
×
5，步长为2
×
2，卷积核数目依次为64、128、256、512的卷积，其他层使用leakrelu激活函数，以避免神经网络无法学习，最后通过一个卷积核为1
×
1的卷积和sigmoid激活函数映射输出样本的判别概率，判别生成模型生成的新的坑洞缺陷样本的真实性；其中，通过卷积核选择5
×
5，能够获取足够大的感受野，在参数较少的同时有利于抑制噪声，提取裂缝的结构信息。
[0060]
进一步的，判别模型最后一层使用sigmoid激活函数输出概率，激活函数在输入为负时，relu函数激活值为0，神经元无法进行学习；leakyrelu函数的激活值不为0，虽然很小，但可使神经元继续学习。
[0061]
进一步的，dcgan中生成模型和判别模型均使用卷积网络，以实现提升生成和判别的能力；其中，生成模型利用转置卷积，判别模型使用常规卷积。
[0062]
在生成模型的输出层和判别模型的输入层以外，其他层均采用批标准化bn，bn能确保每个节点的输入都是均值为0、方差为1的正态分布，使激活函数处于对输入值敏感的区域，从而加快模型的训练，且bn能起到类似dropout正则化的作用，对初始化要求低，可以使用较大的学习率，能够保证足够强的梯度，防止生成模型把所有的样本收敛到同一个点。
[0063]
进一步的，在训练过程中，生成模型用于尽可能生成和原始数据相似的样本；判别模型用于尽可能的区分生成模型生成的样本和真实的样本，两个模型通过交替优化训练，相互提升，构成动态的博弈过程，最终生成模型和判别模型达到纳什均衡，其中，判别模型无法判别生成模型生成的样本。
[0064]
进一步的，训练过程表示为：
[0065]
其中，d为判别函数，g为生成函数，e(
·
)为计算期望值，x为真实数据样本，p
data
(x)为真实数据样本的概率分布，a为一个大于0且不等于1的任意数，d(x)为输入真实数据样本后判别为真实样本的概率，z为符合高斯分布或均匀分布的随机噪声，pz(z)为初始噪声数据的概率分布，d(g(z))为输入生成模型生成的样本后判别为真实样本的概率，g(z)为生成模型的样本。
[0066]
步骤四，通过泊松融合将dcgan生成的坑洞缺陷图像平滑的插入到道路图像中，生成新的道路缺陷图像。
[0067]
具体的，如图5所示，通过泊松融合的方法将dcgan生成的新的坑洞缺陷图像平滑的插入到道路图像中，插入图像时，使前景坑洞缺陷图像的边界尽可能的与背景道路图像被插入的区域边界特征值相同，前景和背景的梯度也要尽可能的相同，即不能直接的将坑洞缺陷图像粘粘到背景道路图像中，以免出现突出的边缘；道路坑洞缺陷图像、道路背景图像在边界处无缝隙，边界点位置上的像素值需要保持边界一致，即为更好的进行泊松融合，将坑洞缺陷遍历道路图像的下1/2区域，手动选择合
适的坑洞缺陷位置，为了进一步提高融合效果，必要时手动调整道路图像的亮度和对比度；其中，在式和式中，ω为合并后目标图像中被前景所覆盖的区域，v为前景融合区域的参考梯度场，f为合并后图像在ω内的像素值表示函数，f*为合并后图像在ω外的像素值表示函数。
[0068]
本发明还提供了一种基于深度卷积对抗网络和泊松融合的数据增强装置，如图7所示，包括：
[0069]
采集模块，用于采集市道路图像并获取道路损伤数据集；
[0070]
处理模块，用于裁剪道路损伤数据集中的坑洞缺陷区域，并进行归一化；
[0071]
判断模块，用于将归一化后的坑洞缺陷图像作为深度卷积神经网络dcgan的输入，接收服从均匀分布的随机噪声生成假的坑洞缺陷图像，并对坑洞缺陷图像进行评判；
[0072]
生成模块，用于通过泊松融合将dcgan生成的坑洞缺陷图像平滑的插入到道路图像中，生成新的道路缺陷图像。
[0073]
与现有技术相比，本发明提供的有益效果是：
[0074]
本发明通过采集市道路图像并获取道路损伤数据集；裁剪道路损伤数据集中的坑洞缺陷区域，并进行归一化；将归一化后的坑洞缺陷图像作为深度卷积神经网络dcgan的输入，接收服从均匀分布的随机噪声生成假的坑洞缺陷图像，并对坑洞缺陷图像进行评判；通过泊松融合将dcgan生成的坑洞缺陷图像平滑的插入到道路图像中，生成新的道路缺陷图像；能够扩增道路坑洞缺陷图像，满足道路坑洞缺陷图像识别技术中对训练样本数据量的需求。
[0075]
以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。