一种基于生成对抗网络的低光照图像增强方法与流程
本发明涉及图像增强,尤其涉及一种基于生成对抗网络的低光照图像增强方法。
背景技术:
1、低光照图像增强技术常用于夜间监控、地下停车场、道路卡口、车载视觉和移动终端拍摄等场景,用于改善光照不足条件下的图像可视性。现有技术通常采用直方图均衡、retinex增强、卷积神经网络或生成对抗网络对低光照图像进行亮度提升,并结合去噪、颜色校正和细节增强等处理,使图像中的目标轮廓、暗区纹理和颜色信息更易被识别和利用。
2、现有低光照图像增强方法多侧重整体亮度映射或单阶段图像转换,增强过程缺少对低光照域向正常光照域逐级迁移的约束,难以同时协调光照分布、噪声残差、颜色分布和纹理结构之间的变化关系。在暗区占比较高、局部阴影明显或噪声较强的图像中,容易出现暗区被过度拉亮、噪声同步放大、颜色偏灰偏暗、边缘轮廓模糊以及纹理结构被削弱的问题,导致增强图像的视觉真实性和分布一致性不足。
3、因此,如何提供一种基于生成对抗网络的低光照图像增强方法是本领域技术人员亟需解决的问题。
技术实现思路
1、本发明的一个目的在于提出一种基于生成对抗网络的低光照图像增强方法,本发明利用生成对抗网络与薛定谔桥约束,详细描述了低光照图像逐级增强方法,具备细节清晰、噪声低和颜色自然的优点。
2、根据本发明实施例的一种基于生成对抗网络的低光照图像增强方法,包括如下步骤:
3、获取低光照图像样本和正常光照图像样本并进行图像预处理,生成图像训练基础数据集;
4、对图像训练基础数据集进行双域分布特征编码,生成双域图像分布表征数据;
5、基于双域图像分布表征数据确定起始分布状态和终止分布状态,并采用熵正则化最优传输求解二者之间的薛定谔桥,生成中间迁移状态和概率迁移路径约束;
6、将低光照图像样本输入生成网络,在概率迁移路径约束下按照中间迁移状态逐级输出增强图像,并按中间迁移状态顺序排列为中间增强序列;
7、将中间增强序列和正常光照图像样本输入判别网络,对增强图像的视觉真实性和概率迁移一致性进行联合判别,生成联合判别结果;
8、基于联合判别结果和概率迁移路径约束对生成网络与判别网络进行联合对抗训练,生成低光照图像增强模型;
9、将待增强低光照图像输入低光照图像增强模型,沿概率迁移路径约束进行图像增强处理,输出增强图像。
10、可选的,所述图像预处理包括尺寸统一、像素归一化、低照度区域标记、图像结构标记和样本配对标记。
11、可选的,所述双域图像分布表征数据的生成具体包括:
12、读取图像训练基础数据集并依据样本域类别标记进行双域样本划分,生成双域样本编排数据,所述双域样本编排数据包括低光照域样本数据和正常光照域样本数据;
13、对双域样本编排数据进行光照分布编码,生成光照分布编码数据;
14、结合低照度区域标记和光照分布编码数据对双域样本编排数据进行噪声残差编码,生成噪声残差编码数据;
15、对双域样本编排数据进行颜色分布编码,生成颜色分布编码数据;
16、依据图像结构标记对双域样本编排数据进行纹理结构编码,生成纹理结构编码数据;
17、按照样本域类别标记对光照分布编码数据、噪声残差编码数据、颜色分布编码数据和纹理结构编码数据进行双域特征对齐与差异表征,生成双域图像分布表征数据,所述双域图像分布表征数据包括低光照域分布表征数据、正常光照域分布表征数据和双域分布差异表征数据。
18、可选的,所述中间迁移状态和概率迁移路径约束的生成具体包括:
19、将双域图像分布表征数据中的低光照域分布表征数据编排为起始分布状态,并将正常光照域分布表征数据编排为终止分布状态;
20、调用双域分布差异表征数据配置分布迁移代价,并对起始分布状态和终止分布状态进行边界提取,生成起始分布状态边界和终止分布状态边界,所述分布迁移代价包括光照分布差异代价、噪声残差差异代价、颜色分布差异代价和纹理结构差异代价;
21、根据分布迁移代价、起始分布状态边界和终止分布状态边界配置起始分布状态向终止分布状态迁移的候选迁移权重,并对候选迁移权重进行非负归一化,生成归一化迁移权重;
22、计算归一化迁移权重的离散熵,得到熵正则项,并将分布迁移代价、起始分布状态边界、终止分布状态边界和熵正则项进行组合,生成熵正则化最优传输求解数据;
23、根据熵正则化最优传输求解数据对起始分布状态和终止分布状态之间的薛定谔桥进行迭代求解,生成桥接迁移数据,所述薛定谔桥为连接两类分布状态的概率迁移桥接结构,表示低光照域分布状态向正常光照域分布状态过渡的随机迁移过程;
24、对桥接迁移数据进行迁移阶段划分和状态顺序编排,生成中间迁移状态,所述中间迁移状态包括由低光照域分布状态向正常光照域分布状态逐级过渡的光照迁移状态、噪声迁移状态、颜色迁移状态和纹理结构迁移状态;
25、基于中间迁移状态和桥接迁移数据配置图像增强过程的概率迁移路径约束,所述概率迁移路径约束包括中间迁移状态顺序、相邻阶段转移权重以及末个中间迁移状态到终止分布状态的到达约束。
26、可选的,所述中间增强序列的生成具体包括:
27、对低光照图像样本、低照度区域标记和图像结构标记按照中间迁移状态顺序进行阶段编排,生成阶段增强输入数据;
28、依据阶段增强输入数据中的阶段序号,从中间迁移状态和概率迁移路径约束中提取与各阶段匹配的维度迁移占比和相邻阶段转移权重,并与阶段增强输入数据进行绑定,得到生成网络的阶段增强控制数据;
29、将首个阶段增强输入数据和阶段增强控制数据输入生成网络,并按照首个中间迁移状态对低光照图像样本进行起始阶段增强,生成首阶段增强图像;
30、将首阶段增强图像作为第二阶段输入图像,并依据相邻阶段转移权重控制相邻阶段之间的图像过渡幅度,逐级生成阶段增强图像;
31、依据概率迁移路径约束中的到达约束对末个阶段增强图像进行终止分布匹配,并将各阶段增强图像按照中间迁移状态顺序排列,生成中间增强序列。
32、可选的,所述联合判别结果的生成具体包括:
33、依据中间迁移状态顺序、阶段序号和样本配对标记,将中间增强序列与正常光照图像样本进行同批次、同维度和样本来源标记编排,生成判别输入数据;
34、由判别网络的共享特征提取层接收判别输入数据,并按照样本来源标记对增强图像和正常光照图像样本进行同维度特征提取,生成增强图像判别特征和正常图像判别特征;
35、由视觉真实性判别分支对增强图像判别特征和正常图像判别特征进行逐项差异计算和真实性值转换,生成阶段视觉真实性值;
36、由概率迁移一致性判别分支依据阶段序号、相邻阶段转移权重和终止分布匹配偏差进行顺序核验、幅度计算和到达偏差换算,生成阶段迁移一致性值;
37、将阶段视觉真实性值和阶段迁移一致性值输入联合判别层,在相同阶段序号下进行同阶段融合,生成阶段联合判别值,并对各阶段联合判别值进行序列汇总,生成联合判别结果。
38、可选的,所述低光照图像增强模型的生成具体包括:
39、固定生成网络的网络参数,由判别网络接收正常光照图像样本、中间增强序列和样本来源标记,并进行真实样本与增强样本的来源判别训练,生成判别网络更新数据;
40、固定判别网络的网络参数,并对当前轮联合判别结果进行生成对抗误差计算,得到生成对抗误差,所述当前轮联合判别结果由判别网络对当前轮中间增强序列进行联合判别得到,所述当前轮中间增强序列由生成网络在概率迁移路径约束下对低光照图像样本进行阶段增强得到;
41、依据概率迁移路径约束对当前轮中间增强序列进行路径约束误差计算,生成路径约束训练误差;
42、将生成对抗误差和路径约束训练误差进行加权融合,并依据加权融合结果更新生成网络的网络参数,得到生成网络更新数据;
43、按照判别网络更新数据和生成网络更新数据进行交替迭代训练,并在训练稳定条件下固化生成网络的网络参数,生成低光照图像增强模型,所述训练稳定条件根据序列联合判别值变化量和终止分布匹配偏差配置。
44、可选的,所述增强图像的输出具体包括:
45、对待增强低光照图像进行预处理后输入低光照图像增强模型,并按照概率迁移路径约束配置推理阶段标记,生成待增强推理输入数据;
46、依据中间迁移状态顺序对待增强推理输入数据进行阶段递进增强,生成阶段推理增强图像;
47、依据相邻阶段转移权重对阶段推理增强图像进行过渡幅度控制,生成路径约束增强序列;
48、依据到达约束对路径约束增强序列中的末个阶段推理增强图像进行终止分布校正,生成待输出增强图像;
49、对待输出增强图像进行像素范围限制和像素通道重映射,生成暗区细节保持、亮度恢复、噪声抑制和颜色校正后的增强图像。
50、本发明的有益效果是:
51、本发明利用低光照图像样本和正常光照图像样本构建图像训练基础数据集,并对光照分布、噪声残差、颜色分布和纹理结构进行双域分布特征编码,使低光照域与正常光照域之间的差异能够以统一维度进行表征。相较于仅依赖整体亮度拉伸或单次网络映射的增强方式,本发明能够在增强前区分亮度不足、局部阴影、细节弱化、边缘轮廓和纹理结构等不同图像区域,使后续增强处理具有明确的数据依据,减少暗区被整体拉亮后出现噪声放大、边缘模糊和颜色偏移的问题。
52、本发明基于双域图像分布表征数据确定起始分布状态和终止分布状态,并采用熵正则化最优传输求解二者之间的薛定谔桥,生成中间迁移状态和概率迁移路径约束,使低光照图像增强过程由直接映射转变为沿迁移路径逐级过渡。生成网络在中间迁移状态顺序和相邻阶段转移权重控制下逐级输出增强图像,能够分阶段完成亮度恢复、噪声残差削弱、颜色校正和纹理结构保持,降低一次性强增强造成的局部过曝、暗区颗粒噪声增强和目标结构破坏风险,提高增强过程的连续性和稳定性。
53、本发明还将中间增强序列和正常光照图像样本输入判别网络,对视觉真实性和概率迁移一致性进行联合判别,并基于联合判别结果和概率迁移路径约束对生成网络与判别网络进行联合对抗训练,使模型不仅关注增强图像是否接近正常光照图像,还关注各阶段增强结果是否符合迁移路径。由此得到的低光照图像增强模型在实际推理时能够沿概率迁移路径约束输出暗区细节保持、亮度恢复、噪声抑制和颜色校正后的增强图像,提高低光照场景下图像的可视性、结构完整性和颜色自然性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com