一种基于图像风格迁移的雨雾天气交通流数据集扩增方法

技术特征：
1.一种基于图像风格迁移的雨雾天气交通流数据集扩增方法，其特征在于，包括：s1：获取正常天气条件下的交通流图片数据集d
n
与标签l
n
，获取雨雾天气条件下的交通流图片数据集d
a
与标签l
a
，获取一段目标路段的交通流视频图像序列d
t
；s2：根据正常天气条件下的交通流图片的标签l
n
从正常天气条件下的交通流图片数据集d
n
中分割目标域图像样本和背景域图像样本，根据雨雾天气条件下的交通流图片的标签l
a
从雨雾天气条件下的交通流图片数据集d
a
中分割目标域图像样本和背景域图像样本，所述背景域图像样本为交通流图片数据集中剥离目标域图像样本的图像样本；s3：构造无监督生成式对抗网络，将目标域图像样本与完整图像样本分别送入无监督生成式对抗网络中进行风格迁移学习，获取迁移后的目标域d
t,f
与迁移后的完整图像d
t,p
；s4：将正常天气条件下的交通流图片数据集d
n
与雨雾天气条件下的交通流图片数据集d
a
的背景域图像样本送入无监督生成式对抗网络中的分类器t
bg
，获取特定场景标签基于迁移后的目标域d
t,f
、迁移后的完整图像d
t,p
和特定场景标签形成交通流图片数据集从正常天气条件至雨雾天气条件的风格迁移模型；s5：将目标路段的交通流视频图像序列d
t
输入风格迁移模型中的分类器t
bg
，获取目标路段的交通流背景标签并生成对应的背景，将随机的迁移后的目标域d
t,f
映射至前述背景中，得到目标路段在雨雾天气条件下的交通流数据集d
ft
与标签l
ft
。2.根据权利要求1所述的基于图像风格迁移的雨雾天气交通流数据集扩增方法，其特征在于，所述步骤s1中正常天气条件下的交通流图片数据集d
n
中含标签图片的采集视角与目标路段的交通流视频图像序列d
t
的采集视角相同或相近，雨雾天气条件下的交通流图片数据集d
a
中含标签图片包括目标路段的交通流视频图像序列d
t
的采集视角的场景。3.根据权利要求1所述的基于图像风格迁移的雨雾天气交通流数据集扩增方法，其特征在于，所述步骤s1中正常天气条件下的交通流图片的标签l
n
、雨雾天气条件下的交通流图片的标签标签l
a
、目标路段在雨雾天气条件下的交通流标签l
ft
的类型为外接框或目标掩模，且三者类型一致。4.根据权利要求1所述的基于图像风格迁移的雨雾天气交通流数据集扩增方法，其特征在于，所述步骤s1中正常天气条件下的交通流图片数据集d
n
中含标签l
n
的图片总量大于5000张，雨雾天气条件下的交通流图片数据集d
a
中含标签图片总量大于100张。5.根据权利要求1所述的基于图像风格迁移的雨雾天气交通流数据集扩增方法，其特征在于，所述步骤s3中进行风格迁移学习的生成式对抗网络结构包括生成器g、判别器d、分类器t
bg
与稳定器st，其中：生成器g的输入包括正常天气条件下的交通流图片数据集d
n
与随机噪声，生成器g的输出为雨雾迁移图像d
t
；判别器d的输入为雨雾迁移图像d
t
与雨雾天气条件下的交通流图片数据集d
a
，判别器d的输出为雨雾迁移图像d
t
与雨雾天气条件下的交通流图片数据集d
a
的判别结果以及生成器g的调整策略；分类器t
bg
的输入为正常天气条件下的交通流图片数据集d
n
与雨雾天气条件下的交通流图片数据集d
a
中剥离目标域样本的背景图像，分类器t
bg
的输出为特定场景标签
稳定器st的输入为迁移后的目标域结果d
t,f
与雨雾天气条件下的交通流图片的标签l
a
对应的迁移后的整幅图像结果d
t,p
，稳定器st的输出为调整后的完整雨雾天气数据集d
tj
与对应标签l
tj
。6.根据权利要求5所述的基于图像风格迁移的雨雾天气交通流数据集扩增方法，其特征在于，所述生成器g的结构为包含残差模块的卷积神经网络，其中，随机噪声通过全连接层特化特征，并与正常天气条件下的交通流图片数据集d
n
的图像合并，再通过步长为1、维数为64的卷积层与激活函数relu进行下采样，然后通过5层残差模块提取残差特征，并采用步长为1、维数为3的反卷积层进行上采样，最后经过激活函数tanh输出雨雾迁移图像d
t
。7.根据权利要求5所述的基于图像风格迁移的雨雾天气交通流数据集扩增方法，其特征在于，所述判别器d采用四层卷积层提取特征，并通过批标准化bn与激活函数lrelu归一特征，最后通过激活函数tanh输出对应图像为真的概率。8.根据权利要求5所述的基于图像风格迁移的雨雾天气交通流数据集扩增方法，其特征在于，所述分类器t
bg
包括两层4*4下采样层，经过两层下采样层后的背景图像在压缩尺寸的基础上仍保留道路范围、光线条件、采集视角等关键场景信息。9.根据权利要求1所述的基于图像风格迁移的雨雾天气交通流数据集扩增方法，其特征在于，所述步骤s3的风格迁移对抗网络中，生成器g的损失函数如下：其中，表示生成器对抗损失，由对抗网络中判别器给出，l
con
为内容损失，用于描述生成图像与源图像的底层信息差异，l
t
为分类器损失，用于区分由分类器给出的特定场景中生成图像的差异，λ1、λ2与λ3为调节三种损失重要性的权重系数；对抗损失取判别器d对伪融合图像判别结果的交叉熵，即：其中，d(g(v,i))表示判别器d对生成图像的判真概率；内容损失l
con
定义如下：其中，l
ssim
表示由结构相似性指标ssim计算得到的结构损失，用于约束生成图像结构相似性，l
pmse
表示像素对均方误差mse的损失，用于约束生成图像边缘相似性，δ1与δ2为调节l
ssim
和l
pmse
重要性的权重参数。10.根据权利要求1所述的基于图像风格迁移的雨雾天气交通流数据集扩增方法，其特征在于，所述步骤s3的风格迁移对抗网络中，判别器d的损失函数如下：l
d
＝p1e
cross
[-logd(d
n
)] p2e
cross
[-log(1-d(g(d
n
,z)))其中，p1、p2为反映源图像与生成图像信息量的权重系数，计算方式与生成器ssim损失函数中权重计算方式相同。

技术总结
本发明提供了一种基于图像风格迁移的雨雾天气交通流数据集扩增方法，获取正常天气与雨雾天气的交通流数据集以及目标路段的交通流图像序列，构造生成式对抗网络将正常天气数据集的场景转化为雨雾天气，其中先分割数据集中背景域与目标域，再将目标域样本与整幅图像样本分别送入对抗网络中进行风格迁移学习，然后将背景域图像送入分类器获取特定场景标签，完成雨雾天气场景数据集扩增，最后将训练好的网络模型带入目标路段图像序列中，获取目标路段场景雨雾天气扩增后的数据集。本发明提升了现有风格迁移图像的成像质量，增加迁移图像中目标的清晰度与可辨识度，算法训练过程稳定，可移植性强，适用于各种不同交通场景的雨雾天气数据及扩增。气数据及扩增。气数据及扩增。


技术研发人员：李志斌
受保护的技术使用者：东南大学
技术研发日：2022.08.26
技术公布日：2022/12/16