基于NonshadowGAN的无人机铁路扣件图像阴影去除方法及系统与流程

基于nonshadowgan的无人机铁路扣件图像阴影去除方法及系统
技术领域
1.本技术涉及高速铁路检测技术领域，具体而言涉及一种基于nonshadowgan的无人机铁路扣件图像阴影去除方法及系统。


背景技术：

2.高速铁路需要保证其安全高效的运行。现有的检测方法，如人工检测、检测车等，存在检测效率低、维修天窗限制、检测死角等问题。近年来，由于无人机巡检具有高效、灵活、低成本的特点，无人机巡逻检测在许多领域取得了良好的效果。基于无人机图像采集的铁路基础设施缺陷检测与监控是一种新的、有效的方法。然而，实际运用中，为避免干扰列车的正常运行，无人机不允许在铁路线上方拍摄。而在线路安全区域外斜拍所获得的无人机图像数据则不可避免地会受到阴影的干扰。因此，对于无人机采集的可见光照明条件下的扣件数据，为了便于后续缺陷检测，有必要对图像中的阴影进行适当的去除。
3.阴影去除是一个非常重要和具有挑战性的研究方向，其目的是在不破坏图像原始内容的情况下去除现有的阴影。其困难之处在于如何恢复阴影区域下的内容。目前的阴影去除算法大多基于成对数据的监督学习方法，存在一定的局限性。成对的数据要求除了阴影部分外，两张照片必须完全相同。因此训练过程中需要固定相机的位置和参数，手动添加或移除物体，人工生成一对有阴影和无阴影的数据。这样，图像中除了阴影内容之外的其他参数需要完全保持一致。并且，训练图像中，我们只能产生小范围内的阴影配对数据，不能将数据引入到大场景或不受阴影控制的场景中。由于训练数据的上述限制，无人机采集的铁路扣件数据属于现有技术中无法人工匹配的场景，我们无法提供成对的阴影扣件数据。


技术实现要素：

4.本技术针对现有技术的不足，提供一种基于nonshadowgan的无人机铁路扣件图像阴影去除方法及系统，本技术基于无监督生成对抗网络，不需要人工标注，并且，同时，本技术基于cyclegan的双向网络，在改进的循环一致性损失约束下，不需要对扣件的数据进行配对。本技术所提供的方法可以实现对铁路无人机图像扣件阴影的去除，以便于后续的缺陷坐标定位和分类。本技术具体采用如下技术方案。
5.首先，为实现上述目的，提出一种基于nonshadowgan的无人机铁路扣件图像阴影去除方法，其步骤包括：步骤一、接收无人机上搭载的可变焦相机所拍摄的轨道图像数据；步骤二、对接收获得的轨道图像数据进行预处理，扩充数据集，将扣件数据集以及阴影公开数据集分别按照2:1比例划分为阴影训练集和无阴影训练集；步骤三、构建nonshadowgan模型，该模型包括两个生成器和两个鉴别器，其中，中生成器用于执行阴影数据区域和无阴影数据区域的特征转换，由阴影训练集中图像生成无阴影图像，并在无阴影训练集图像中添加阴影以生成相应的阴影图像；其中，鉴别器用于判别由生成器所产生的虚假图像，并从生成器所生成的图像数据中区分出真实的图像数据；步骤四、在将阴影训练集和无阴影训练
集输入nonshadowgan模型中训练网络模型参数，在鉴别器获得无法判别生成器输出图像的真伪后，结束对网络模型参数的训练，将无人机所拍摄的轨道图像数据输入到训练所得网络模型中，实现扣件数据的阴影去除。
6.可选的，如上任一所述的基于nonshadowgan的无人机铁路扣件图像阴影去除方法，其中，所述步骤三中，nonshadowgan模型生成器基于cyclegan的双向网络，增加有身份验证损失约束网络结构，使用dense block密集块作为基线，经3次卷积运算，9个dense block密集块，然后对特征层进行步长为2的卷积和2次上采样的反卷积运算；所述鉴别器中使用70
×
70patchgan结构来判断70
×
70的添加有阴影的图像是否为生成器所产生的虚假图像。可选的，如上任一所述的基于nonshadowgan的无人机铁路扣件图像阴影去除方法，其中，所述步骤二中，对轨道图像数据进行预处理的步骤包括以下任意一种或其组合：对轨道图像数据进行旋转、添加高斯噪声、改变图像的对比度和亮度、图像弹性变形、对图像进行镜像处理。
7.可选的，如上任一所述的基于nonshadowgan的无人机铁路扣件图像阴影去除方法，其中，所述步骤三，nonshadowgan模型生成器中使用instance normalization作为规范化层，分别取出每个特征层的宽高进行归一化处理。
8.可选的，如上任一所述的基于nonshadowgan的无人机铁路扣件图像阴影去除方法，其中，所述步骤三中，nonshadowgan模型生成器中所增加的身份验证损失约束网络结构包含以下多任务损失函数：
9.l
final
(g
free
，d
free
，g
shadow
，d
shadow
)＝w1(l
gan
(g
free
，d
free
) l
gan
(g
shadow
，d
shadow
)) w2(l
cycle
(g
free
，g
shadow
) l
cycle
(g
shadow
，g
free
)) w3(l
identity
(g
free
) l
identity
(g
shadow
))；其中，w1、w2、w3的值分别为1、10、5，l
gan
()表示梯度损失，l
cycle
()表示循环一致性损失，l
identity
()表示身份验证损失，多任务损失函数以极小极大方式优化。
10.同时，为实现上述目的，本技术还提供一种基于nonshadowgan的无人机铁路扣件图像阴影去除系统，其包括：数据集单元，其接收无人机上搭载的可变焦相机所拍摄的轨道图像数据，对接收获得的轨道图像数据进行预处理，扩充数据集，将扣件数据集以及阴影公开数据集分别按照2∶1比例划分为阴影训练集和无阴影训练集；nonshadowgan模型单元，其包括两个生成器和两个鉴别器，其中，中生成器用于执行阴影数据区域和无阴影数据区域的特征转换，由阴影训练集中图像生成无阴影图像，并在无阴影训练集图像中添加阴影以生成相应的阴影图像；其中，鉴别器用于判别由生成器所产生的虚假图像，并从生成器所生成的图像数据中区分出真实的图像数据；所述nonshadowgan模型单元在将阴影训练集和无阴影训练集输入nonshadowgan模型中训练网络模型参数，在鉴别器获得无法判别生成器输出图像的真伪后，结束对网络模型参数的训练，将无人机所拍摄的轨道图像数据输入到训练所得网络模型中，实现扣件数据的阴影去除。
11.可选的，如上任一所述的基于nonshadowgan的无人机铁路扣件图像阴影去除系统，其中，所述nonshadowgan模型单元中，生成器基于cyclegan的双向网络，使用instance normalization作为规范化层，通过规范化层分别取出每个特征层的宽高进行归一化处理，使用dense block密集块作为基线，经3次卷积运算，9个dense block密集块，然后对特征层进行步长为2的卷积和2次上采样的反卷积运算。
12.可选的，如上任一所述的基于nonshadowgan的无人机铁路扣件图像阴影去除系
统，其中，所述nonshadowgan模型单元中使用如下的多任务损失函数：
13.l
final
(g
free
，d
free
，g
shadow
，d
shadow
)＝w1(l
gan
(g
free
，d
free
) l
gan
(g
shadow
，d
shadow
)) w2(l
cycle
(g
free
，g
shadow
) l
cycle
(g
shadow
，g
free
)) w3(l
identity
(g
free
) l
identity
(g
shadow
))；其中，w1、w2、w3的值分别为1、10、5，l
gan
()表示梯度损失，l
cycle
()表示循环一致性损失，l
identity
()表示身份验证损失，其中，所述多任务损失函数以极小极大方式优化。
14.可选的，如上任一所述的基于nonshadowgan的无人机铁路扣件图像阴影去除系统，其中，所述nonshadowgan模型单元中，鉴别器中使用70
×
70patchgan结构来判断70
×
70的添加有阴影的图像是否为生成器所产生的虚假图像。
15.可选的，如上任一所述的基于nonshadowgan的无人机铁路扣件图像阴影去除系统，其中，所述数据集单元中，对轨道图像数据进行预处理的方式包括以下任意一种或其组合：对轨道图像数据进行旋转、添加高斯噪声、改变图像的对比度和亮度、图像弹性变形、对图像进行镜像处理。
16.有益效果
17.本技术基于无人机所获取的铁路扣件图像，首先对扣件图像进行预处理，通过旋转、镜像、添加高斯噪声、改变图像的对比度和亮度、图像弹性变形等方式实现数据的增广，然后利用nonshadowgan网络实现对扣件部件的阴影去除。本技术将无人机铁路扣件图像输入到阴影去除网络中时，将损失函数分为三部分，通过生成对抗网络将对抗损失应用于学习阴影特征，完成阴影和无阴影特征的学习与识别任务，并通过循环一致性损失减少映射函数的可用空间，通过身份验证损失进一步约束网络结构，鉴别阴影生成结果，调整参数模型。从而，本技术能够基于非成对的阴影扣件数据实现模型训练，进而准确实现对无人机扣件数据中阴影部分的去除。
18.本技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术而了解。
附图说明
19.附图用来提供对本技术的进一步理解，并且构成说明书的一部分，并与本技术的实施例一起，用于解释本技术，并不构成对本技术的限制。在附图中表示
20.图1是本发明所提供的无人机扣件图像数据阴影去除方法的整体步骤流程图；
21.图2是无人机进行轨道拍摄的示意图；
22.图3是本技术所采用的模型改进的框架示意图；
23.图4是部分原始数据；
24.图5是部分扣件阴影去除结果图；
25.图6是dense block密集块示意图；
26.图7是各模型阴影去除效果的定性示意图；
27.图7中，a表示阴影图像；b表示无阴影图像；c表示nonshadowgan；d表示mask-shadowgan；e表示cyclegan；f表示gong et al；g表示guo et al；h表示single scale retinex；i表示multi scale retinex。
具体实施方式
28.为使本技术实施例的目的和技术方案更加清楚，下面将结合本技术实施例的附图，对本技术实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本技术的一部分实施例，而不是全部的实施例。基于所描述的本技术的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
29.本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本技术所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
30.本技术中所述的“连接”的含义可以是部件之间的直接连接也可以是部件间通过其它部件的间接连接。
31.本技术中所述的“上、下”的含义指的是使用者正对无人机飞行方向时，由轨道指向无人机的方向即为上，反之即为下，而非对本技术的装置机构的特定限定。
32.图1为根据本技术的基于nonshadowgan的无人机铁路扣件图像阴影去除系统对无人机采集图像实现阴影去除的步骤：
33.步骤一、通过无人机搭载相机以图2所示巡航方式获取扣件图像
34.选用满足需求的工业级无人机挂载工业级变焦相机距离轨面30-70m的空中偏移于铁路轨道正上方一定距离拍摄铁路扣件获得类似图4所示的原始数据。采用额外的智能电池延长飞行时间以及内置的api控制功能和可扩展的中心框架，最大起飞重量也满足需求。在扣件检测任务中，选用的无人机最大起飞重量为15.1kg，选用的可见光相机可达到30倍光学变焦，6倍数码变焦以及获取高清1080p视频的要求，完全满足了对于扣件数据的图像精度要求。
35.步骤二、扣件图像增强，扩充阴影数据集。
36.对扣件阴影数据进行图像处理，通过调整图像对比度、亮度、镜像、旋转图像角度、增加噪声、图像弹性变形等方法扩充数据集实现对数据的增广。将扣件数据集以及阴影公开数据集按照2:1比例划分为阴影训练集、无阴影训练集，其中阴影公开数据集选用了srd和istd配对数据集，只选用了其中阴影数据和无阴影的数据，并去掉了其中的二值化掩模数据以及自身的数据配对约束。
37.步骤三、构建nonshadowgan模型。(1)该模型包括图3所示的两个生成器和两个鉴别器。该生成器用于执行两个数据区域的特征转换。在阴影去除任务中，由阴影图像生成无阴影图像，并在无阴影数据的学习部分也添加阴影生成机制以由无阴影图像生成相应的阴影图像。这是因为，无阴影数据可能对应于多个阴影数据，阴影内容以多种方式在无阴影数据上生成，因此需要向生成器中添加阴影生成部分以显式输出它。鉴别器的任务是找出这些由生成器产生的虚假图像，并从生成的图像数据中区分真实的图像数据。生成器需要进一步学习完善阴影特征，以达到避免鉴别器检测的效果。随着模型训练的发展，生成器和鉴别器构成了一个动态博弈过程。无阴影数据的学习部分也需要添加阴影生成机制。由于无阴影数据可能对应于多个阴影数据，阴影内容以多种方式在无阴影数据上生成，因此需要向生成器中添加阴影生成部分以显式输出它。掩模部分可以根据样式进行迁移，去除未配对的阴影数据和无阴影数据，从而保证每幅图像对应一个单独的阴影去除和阴影生成结
果。(2)nonshadowgan基于cyclegan的生成器网络架构，该生成器的具体网络结构包括3次卷积运算，9个dense block密集块，各密集块如图6所示，然后对特征层进行步长为2的卷积和2次上采样的反卷积运算。nonshadowgan在鉴别器网络中使用70
×
70patchgan结构来判断70
×
70重叠图像是真还是假。
38.在生成器的结构中，我们使用densenet作为网络结构的骨干。改进后的生成器结构用densenet代替了传统的resnet。与resnet相比，densenet可以进一步减缓梯度消失，增强不同特征之间的传输能力。densenet使用了快捷连接，在所有的前、后层之间建立了密集的连接，并且使用了通道级联来实现特性重用。(3)nonshadowgan使用instance normalization作为规范化层。在gan网络的无监督学习中，instance normalization更适用于小批量训练更常用。instance normalization分别取出每个特征层的宽高进行归一化处理，不受通道和批次的影响，因此，实例规范化更适合于程式化迁移。利用损失函数和梯度下降法来反向传播网络参数，定义该网络的多任务损失函数为：
39.l
final
(g
free
，d
free
，g
shadow
，d
shadow
)＝w1(l
gan
(g
free
，d
free
) l
gan
(g
shadow
，d
shadow
)) w2(l
cycle
(g
free
，g
shadow
) l
cycle
(g
shadow
，g
free
)) w3(l
identity
(g
free
) l
identity
(g
shadow
))
40.其中，损失函数主要分为三部分。我们将对抗损失应用于阴影去除和阴影生成结构，为了进一步减少映射函数的可用空间，增加了循环一致性损失。增加了身份验证损失来进一步约束网络结构。w1、w2、w3的值分别为1、10、5，损失函数以极小极大方式优化。
41.将训练数据集输入到网络中训练模型。通过模型中的循环一致性约束以及损失函数，鉴别阴影生成结果，调整模型参数。
42.步骤四、最后将测试数据输入到网络中，基于nonshadowgan算法充分利用图像层级信息，不需要配对的阴影数据以及人工的阴影数据标注来实现图5所示的对无人机扣件数据的阴影去除效果，为后续提高目标识别精度，提升扣件检测效果提供一个良好的数据基础。
43.用nonshadowgan阴影去除算法，实现无人机扣件数据的阴影去除。一种有效的扣件阴影去除算法不仅可以有效去除图像的阴影干扰，而且可以保证原始无阴影区域和整体色彩效果不发生改变。而不改变原无阴影区内容往往是后续扣件缺陷检测中最重要的。因此，本发明引入均方根误差(rmse)和结构相似度(ssim)作为评价指标。rmse和ssim的定义分别为：
[0044][0045]
yi，对应于图像不同位置的像素大小，mn表示图像大小的值。rmse可以放大误差的幅度(误差越大，均方根误差越大)。
[0046][0047]
xy是相应的两张图片，μ
x
是图片x的平均像素，μy是图片y的平均像素，是图片x的像素方差，是图片y的像素方差，σ
xy
是图片x和图片y的协方差，c1c2是用来维持稳定的常数。ssim取值范围为0～1。当两张图片相同时取值为1。
[0048]
本实例采取京沪铁路廊坊段的无人机扣件图像数据集进行验证。无人机拍摄京沪
铁路廊坊段的扣件图像数量为500张。通过传统图像处理手段对数据量扩充为2000张，将带有阴影干扰的扣件数据全部划分为阴影训练数据集，将srd和istd阴影公开数据集的数据汇总并划分为2000张阴影训练数据集和2000张无阴影训练数据集，将扣件数据集以及阴影公开数据集按照2:1比例划分为阴影训练集、无阴影训练集。
[0049]
在扣件阴影数据集中，实验对比了传统的基于图像先验的阴影去除算法，基于图像增强的retinex算法，以及与nonshadowgan算法相似的生成对抗网络mask-shadowgan算法和cyclegan算法，获得图7所示的阴影去除效果。网络训练过程中使用随机噪声初始化所有生成器和判别器的参数以满足零均值高斯分布。通过adam优化器对网络进行优化，设置第一个动量值为0.5，第二个动量值为0.999。从零开始一共训练200个epoch，学习速率为0.0002。在前100个epoch中保持相同的学习速率，在后100个epoch中线性衰减到0直至完成训练。所有实验和网络训练都是在配备intel 8vcpu和nvidia titan p100 gpu的云服务器上进行的。
[0050]
表1无人机铁路扣件阴影数据集算法对比结果
[0051][0052]
根据试验结果可以看出nonshadowgan算法在测试数据集中达到了较高的ssim值以及较低的rmse取值，通过这两种定量的评价指标计算算法产生的去阴影数据与原始无阴影数据的差异，以证明所提方法的性能。nonshadowgan方法的rmse和ssim(％)均好于其他经典方法，可见本发明对于无人机采集的扣件数据的阴影去除达到了更好的效果，具有明显的实际应用价值。
[0053]
综上，本技术所提供的基于nonshadowgan的无人机铁路扣件图像阴影去除方法及系统相比于现有铁路扣件检测方式具有如下优势：
[0054]
(1)本技术利用无人机拍摄轨道，可在不影响线路运行、不必考虑轨道天窗期的情况下，直接获取图像质量更好的轨道图像。
[0055]
(2)本技术将nonshadowgan算法应用到扣件巡检中，能够实现对扣件数据图像中阴影的去除，能够有效提高后续检测算法的精度。与现有技术相比,本发明在扣件阴影去除效果方面优于经典算法，具有一定的应用价值。
[0056]
(3)本发明所提出的面向扣件数据阴影去除的方法，基于无监督生成对抗网络，不需要人工标注，克服了人工标注效率低、配对数据场景局限的缺点。本技术基于数据驱动的阴影去除方法，能够使用未配对的数据训练网络，以从无人机扣件数据中去除阴影干扰。本
申请所采用的nonshadowgan用未配对的数据训练网络，使网络能够自己学习阴影的特征，从而克服了现有阴影去除算法的不足。
[0057]
(4)本发明中，在改进的循环一致性损失约束下，不需要对扣件的数据进行配对。掩模生成部分可以根据样式迁移去除未配对的阴影数据和无阴影数据，从而保证每幅图像对应一个单独的阴影去除和阴影生成结果。在生成网络中，使用dense block密集块作为基线，使得模型算法兼顾了图像的浅层特征和深层语义信息。同时，在网络结构中使用实例归一化作为归一化层，进一步减少了梯度的损失，增强了不同特征映射之间特征转移的能力，这使得nonshadowgan更适合铁路扣件数据的阴影去除。
[0058]
以上仅为本技术的实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些均属于本技术的保护范围。