一种局部照度判别生成对抗网络的矿井下图像增强方法与流程

1.本发明属于矿下安全检测应用技术领域，尤其涉及一种局部照度判别生成对抗网络的矿井下图像增强方法。


背景技术：

2.随着信息技术的快速发展，煤矿井下由传统的无监控实现的自动化监控，为煤矿的安全生产提供了保障。现有的自动化监控主要通过摄像头对煤矿井的环境以及井下设备进行检测，通过视频对比的方式来确定井下的情况。
3.但煤矿井下环境复杂：煤尘和水雾较多、光照不均匀，井下通道整体偏暗，导致视频监控所采集到的图像存在对比度低、细节信息模糊以及整体呈现大量暗区域等缺点。低质量的视频以及图像会影响人员甚至是智能算法的判断并可能因此漏判或错判矿井下工作情况，导致系统无法对风险和事故进行预警，因此在视频和图像回传至服务端后应当进行必要的图像数据增强处理，提高图像质量，消除噪点和缺失，提高图像对比度，消除图像亮度不均匀，为图像和视频信息的后续使用制造良好的环境，提高诊断系统和人工判断的准确率，从而提高矿井下作业的安全性。


技术实现要素：

4.本发明针对上述的煤矿井下因环境原因导致的图像质量不高的技术问题，提出一种方法简单、操作方便且能够提高井下图像质量，提高图像对比度，为图像数据的后续使用提供高质量数据的局部照度判别生成对抗网络的矿井下图像增强方法。
5.为了达到上述目的，本发明采用的技术方案为，本发明提供一种局部照度判别生成对抗网络的矿井下图像增强方法，包括以下步骤：
6.a、采集正常照度图像与低照度图像作为数据集图像，并将其处理成统一大小；
7.b、然后，构建局部照度判别生成对抗网络模型，局部照度判别生成对抗网络模型包括用于将低照度图像生成数据增强图像的生成网络g以及用于对生成数据增强图像整体质量和生成数据增强图像局部区域照度进行判别、指导生成网络生成整体质量更高、整体照度均匀的增强图像的判别网络d；
8.c、将a步骤得到的低照度图像输入b步骤构建的生成网络g中生成数据增强图像，将生成数据增强图和a步骤得到的正常照度图像输入判别网络d中进行判别，通过判别结果计算损失函数lg反向传递更新生成网络和判别网络权重参数，得到训练后的生成网络模型；
9.d、将实时采集到的图像输入到c步骤得到的生成网络模型得到数据增强后的图像。
10.作为优选，所述判别网络d包括全局图像质量判别网络d1和局部区域照度判别网络d2，其中，全局图像质量判别网络d1用于对生成的数据增强图像整体质量进行判别，局部区域照度判别网络d2用于对生成的数据增强图像局部区域照度进行判别。
11.作为优选，所述c步骤中，训练使用的损失函数lg由全局图像质量判别网络d1和局部区域照度判别网络d2对抗损失组成。
12.作为优选，所述全局图像质量判别网络d1损失函数l
g1
定义如下：
[0013][0014]
其中，e代表期望值，ir表示正常照度图像，p(ir)表示正常照度图像数据分布，i
input
表示输入的低照度图像，g(i
input
)表示生成网络输出的增强图像，p(g(i
input
))表示生成网络输出增强图像数据分布，d1(*)表示判别网络d1对生成的数据增强图像与正常照度图像判别结果，对于正常照度图像给高的分数，对于生成网络输出的图像给低的分数，表示训练判别网络d1时最大化损失函数，表示训练生成网络g时最小化损失函数。
[0015]
作为优选，所述局部区域照度判别网络d2对抗l
g2
定义如下：
[0016][0017]
其中，e代表期望值，i
t
为正常照度图像局部区域，p(i
t
)表示正常照度局部图像数据分布，ig表示生成的数据增强图像局部区域，p(ig)表示生成的数据增强局部图像数据分布。d2(*)表示判别网络d2对生成的数据增强图像局部区域与正常照度图像局部区域照度判别结果，对于正常照度图像局部区域给高的分数，对于生成网络输出的数据增强图像局部区域给低的分数，表示训练判别网络d2时最大化损失函数，表示训练生成网络g时最小化损失函数。
[0018]
作为优选，所述损失函数lg为：
[0019]
lg＝λ
g1
l
g1
λ
g2
l
g2
[0020]
其中，λ
g1
、λ
g2
分别为两个判别网络对抗损失函数的系数。
[0021]
与现有技术相比，本发明的优点和积极效果在于，
[0022]
1、本发明设计了一种局部照度判别生成对抗网络的矿井下图像增强方法，通过训练得到的生成器网络对矿井下低照度图像进行数据增强。该方法通过对低照度图像增强整体质量、局部区域的照度的判别指导生成网络产生更加整体质量更高，图像照度更加均匀的数据增强图像；生成的增强图像不仅提高低照度图像的亮度信息，并且对低照度图像进行降噪，提高图像的细节，提升对比度，为矿井下图像的后续使用提供良好支持。
附图说明
[0023]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0024]
图1为实施例1提供的局部照度判别生成对抗网络的矿井下图像增强方法的流程图；
[0025]
图2为实施例1提供的网络模型的示意图；
[0026]
图3为实施例1提供的矿井低照度图像增强效果图示例1；
[0027]
图4为实施例1提供的矿井低照度图像增强效果图示例2；
[0028]
图5为实施例1提供的矿井低照度图像增强效果图示例3。
具体实施方式
[0029]
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和实施例对本发明做进一步说明。需要说明的是，在不冲突的情况下，本技术的实施例及实施例中的特征可以相互组合。
[0030]
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开说明书的具体实施例的限制。
[0031]
实施例1，如图1、图2所示，本实施例旨在解决现有矿下环境复杂导致的成像质量差进而影响判别的技术问题，为此，本实施例提供的局部照度判别生成对抗网络的矿井下图像增强方法，包括以下步骤：
[0032]
首先，采集正常照度图像与低照度图像作为数据集图像，并将其处理成统一大小，采集正常照度图像与低照度图像主要是为了训练模型，得到想要的网络模型。
[0033]
然后，构建局部照度判别生成对抗网络模型，局部照度判别生成对抗网络模型包括用于将低照度图像生成数据增强图像的生成网络g以及用于对生成数据增强图像整体质量和生成数据增强图像局部区域照度进行判别、指导生成网络生成整体质量更高、整体照度均匀的增强图像的判别网络d。
[0034]
生成网络g在本实施例中使用编码器-解码器模型结构，该模型分为两个部分：
[0035]
第一部分将低照度图像输入通过多层卷积加深通道，通过池化进行下采样提取图像特征生成特征向量；
[0036]
第二部分将提取的特征向量通过反卷积神经网络降低通道深度的同时进行上采样扩大特征图尺寸，输出层生成数据增强图像。
[0037]
而判别网络d包括全局图像质量判别网络d1和局部区域照度判别网络d2，其中，全局图像质量判别网络d1用于对生成的数据增强图像整体质量进行判别，局部区域照度判别网络d2用于对生成的数据增强图像局部区域照度进行判别。
[0038]
构建好局部照度判别生成对抗网络模型后，将低照度图像输入到构建的生成网络g中生成数据增强图像，然后将生成数据增强图和正常照度图像输入判别网络d中进行判别，通过判别结果计算损失函数lg反向传递更新生成网络和判别网络权重参数，得到训练后的生成网络模型。
[0039]
训练使用的损失函数lg由两个判别网络(全局图像质量判别网络d1和局部区域照度判别网络d2)对抗损失组成，分别是全局图像质量判别网络d1对抗损失l
g1
、局部区域照度判别网络d2对抗损失l
g2
；
[0040]
其中，全局图像质量判别网络d1损失函数l
g1
定义如下：
[0041][0042]
其中e代表期望，ir表示正常照度图像，p(ir)表示正常照度图像数据分布，i
input
表示输入的低照度图像，g(i
input
)表示生成网络输出的增强图像，p(g(i
input
))表示生成网络
输出增强图像数据分布，d1(*)表示判别网络d1对生成的数据增强图像与正常照度图像判别结果，对于正常照度图像给高的分数，对于生成网络输出的图像给低的分数，表示训练判别网络d1时最大化损失函数，表示训练生成网络g时最小化损失函数。
[0043]
局部区域照度判别网络d2对抗损失l
g2
定义如下：
[0044][0045]
其中e代表期望，i
t
为正常照度图像局部区域，p(i
t
)表示正常照度局部图像数据分布，ig表示生成的数据增强图像局部区域，p(ig)表示生成的数据增强局部图像数据分布。d2(*)表示判别网络d2对生成的数据增强图像局部区域与正常照度图像局部区域照度判别结果，对于正常照度图像局部区域给高的分数，对于生成网络输出的数据增强图像局部区域给低的分数，表示训练判别网络d2时最大化损失函数，表示训练生成网络g时最小化损失函数。
[0046]
训练过程中的综合对抗损失lg为：
[0047]
lg＝λ
g1
l
g1
λ
g2
l
g2
[0048]
其中λ
g1
、λ
g2
分别为两个判别网络对抗损失函数的系数，分别取1、0.5。
[0049]
训练中通过判别网络d1、d2与生成网络g交替训练，训练判别网络d1时最大化损失函数l
g1
，使得判别网络d1能很好的区分生成的增强图像和真实的正常照度图像；训练判别网络d2时最大化损失函数l
g2
，使得判别网络d2能很好的区分生成的增强图像局部区域和真实正常照度图像局部区域，训练生成网络g时最小化损失函数l
g1
和l
g2
，使得生成网络g生成的增强图像整体质量更高，局部区域照度更加均匀，训练过程通过生成网络g与判别网络d1、d2相互博弈，使得生成网络g生成整体质量更高，局部区域照度更加均匀的增强图像。
[0050]
最后，将实时采集到的图像输入到c步骤得到的生成网络模型得到数据增强后的图像。其结果如图3、图4以及图5所示，通过图3、图4以及图5所得到的结果，可以清洗的看清楚图像的内容，进而后续的监测提供了可靠保障。
[0051]
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。