一种基于深度学习的自适应数字伪装方法

1.本发明属于图像处理领域，具体来说是一种可以通过周围环境的颜色信息对伪装目标进行计算最佳伪装颜色的一种技术，能够保证伪装目标有着极大的隐蔽性。


背景技术：

2.传统的数码迷彩生成方法的实现步骤较为繁琐，通常需要经过背景主色提取和斑块提取来生成数码迷彩斑块，最后在生成的斑块上进行色彩的填充来完成整个数码迷彩伪装生成的过程。尽管传统方法生成的数码迷彩应用广泛，但由于人眼的视觉暂留效应，这种方法在伪装物体运动的过程中无法实现良好伪装，而自适应数字伪装技术可以弥补这样的缺陷，能够使伪装物体在运动中也能实现良好的伪装效果。本文提出了一种基于深度学习的自适应数字伪装算法，实现了端到端的自适应数字伪装的生成。本文提出的方法利用深度神经网络从参考帧中提取时间和空间信息，能在伪装物体运动过程中实现良好伪装。


技术实现要素：

3.本发明为克服在待伪装目标运动的过程中，数码迷彩无法保证运动待伪装目标的良好伪装的问题，并对于此提出了解决方案，通过摄像头等设备采集待伪装目标周围的环境信息，时刻为运动待伪装目标计算出与周围环境最相似的伪装色彩，实现快速高效的目的，同时也为提高自适应数字伪装技术的进一步研究打下坚实基础。
4.为了实现上述目的，本发明采用的技术方案如下：一种基于深度学习的自适应数字伪装方法，该方法包括：
5.步骤1：通过摄像头拍摄出当前待伪装目标周围的环境信息视频，获取出最接近当前时间视频图像；
6.步骤2：对这六帧的视频图像进行制作掩膜信息，使得伪装目标在掩膜视频图像中是黑色，环境信息在掩膜视频图像中是白色；
7.步骤3：将步骤1得到的颜色信息和步骤2得到的掩膜信息作为输入，送到基于深度学习的自适应伪装网络中；
8.步骤4：利用提前训练好的深度学习神经网络权重对步骤3得到的输入进行计算，得到基于深度学习的自适应伪装算法的结果；
9.步骤5：将结果进行提取，得到当前这一帧的伪装色彩信息，然后利用待伪装目标的可变色超材料和柔性oled进行色彩伪装；
10.步骤6：本时刻伪装结束，重复步骤1-5一直到完成伪装任务；
11.所述深度学习的自适应伪装网络包括编码器和解码器，一共有17层；其中编码器一共有12层，首先是6层串行的具有不同卷积核的时空门控卷积模块，然后是4层串行的空洞卷积模块，最后是2层串行的时空门控卷积模块；解码器一共有5层，依次为转置卷积模块、门控卷积模块、转置卷积模块、门控卷积模块、门控卷积模块；
12.所述时空门控卷积模块是件输入的连续帧图像同时采用门控卷积和时空卷积相
结合的方式得到结果；所述门控卷积是将原输入使用卷积运算得到一个分支的结果，再将原输入用相同卷积方式和sigmoid激活函数进行特征选择得到另一个分支的结果，然后两个分支的结果进行相乘就是时空门控卷积的输出；所述时空卷积是将连续的多帧图像中的通道数的前四分之一部门整体往后移动一帧，空余出来的第一帧用0填充，再对接下来的四分之一向前移动一帧，空余出来的最后一帧的信息补零，最后剩余的二分之一部分保持不变；再使用二维卷积对处理后的连续多帧图像进行特征提取，然后合并特征信息；
13.所述空洞卷积模块是使用卷积核将输入连续帧图像进行等间隔采样；
14.所述转置卷积模块时将输入图像的四边补零，然后将卷积核旋转180
°
，再进行卷积。
15.进一步的，所述步骤1中获取出最接近当前时间的六十帧的周围环境的颜色信息，对这六十帧的视频图像进行等间隔抽样，抽样间隔是十帧，最后得到6帧视频图像，采用这6帧图像进行后续处理。
16.本发明为克服在待伪装目标运动的过程中，数码迷彩无法保证运动待伪装目标的良好伪装的问题，并对于此提出了解决方案，通过摄像头等设备采集待伪装目标周围的环境信息，时刻为运动待伪装目标计算出与周围环境最相似的伪装色彩，实现快速高效的目的，同时也为提高自适应数字伪装技术的进一步研究打下坚实基础。
17.为了满足实时性的要求，本发明采用时空门控卷积来代替3d卷积，能够有效的减少运算参数；在神经网络的后半部分，采用转置卷积和门控卷积这种2d卷积模块，只对当前帧的图像进行解码生成，能够最大程度的降低神经网络的参数量，减少运算时间。根据实验证明，在cpu为amd ryzen-5 3600cpu@3.60ghz,显卡为nvidia getorce gtx 1660ti gpu，内存为16g ram的计算机条件下，其运算速度可达12帧/秒以上。
附图说明
18.图1为自适应数字伪装技术的流程图。
19.图2为本发明的深度学习网络结构。
20.图3是本发明一次实验的伪装的结果图。
具体实施方式
21.下面结合附图和实例对本发明做进一步的详细说明，但是本发明的实施方式并不局限于此。
22.本发明算法流程图如图1所示，一种基于深度学习的自适应数字伪装方法，具体的来说，包括以下步骤：
23.步骤1：通过摄像头拍摄出当前待伪装目标周围的环境信息视频，获取出最接近当前时间的六十帧的周围环境的颜色信息，对这六十帧的视频图像进行等间隔抽样，抽样间隔是十帧，最后得到六帧视频图像；
24.步骤2：对这六帧的视频图像进行制作掩膜信息，使得伪装目标在掩膜视频图像中是黑色(像素为0)，环境信息在掩膜视频图像中是白色(像素为255)；
25.步骤3：将步骤1得到的颜色信息和步骤2得到的掩膜信息作为输入，送到基于深度学习的自适应伪装算法中；
26.步骤4：利用提前训练好的深度学习神经网络权重对步骤3得到的输入进行计算，得到基于深度学习的自适应伪装算法的结果；
27.步骤5：将结果进行提取，得到当前这一帧的伪装色彩信息，然后利用待伪装目标的可变色超材料和柔性oled进行色彩伪装。
28.步骤6：本时刻伪装结束，重复步骤1-5一直到完成伪装任务。
29.对于具体实施方案中步骤3的基于深度学习的自适应伪装算法，该算法需要详细介绍：
30.a.对于该算法总体结构的介绍。该算法是一种端到端的卷积神经网络，主要由空洞卷积，时空门控卷积和转置卷积组成。该算法结构采用编码器解码器结构，一共有17层，其中编码器一共有12层，首先是6层串行的具有不同卷积核的时空门控卷积模块，然后是2层串行的空洞卷积模块，最后是2层串行的时空门控卷积模块.解码器一共有5层，分别为转置卷积模块、门控卷积模块、转置卷积模块、门控卷积模块、门控卷积模块。
31.b.对于空洞卷积的介绍
32.空洞卷积是一种使用卷积核将输入矩阵等间隔采样的卷积方式。空洞卷积有两大作用，第一是能在不降低空间分辨率的同时扩大感受野。第二是能够捕获多尺度上下文信息。
33.c.对于时空门控卷积的介绍
34.时空门控卷积是由时空卷积和门控部分组成。时空卷积是将通道信息的前四分之一整体往后移动一帧，第一帧用0填充；再对四分之一向前移动一帧，最后一帧的信息补零，最后二分之一部分保持不变，然后再使用二维卷积进行特征提取然后合并特征信息。门控卷积是将输入分为两部分，一部分采用时空卷积方式等卷积方式，另一部分在使用这种卷积后再使用sigmoid激活函数进行特征选择，然后两部分的结果进行相乘就是时空门控卷积的输出。
35.gating
y,x
＝∑∑wg*i
36.tsmfeature
y,x
＝∑∑wf*i
[0037][0038]
其中，γ是sigmoid函数，只输出0和1，0表示无效位置，1表示有效位置。是激活函数，可以是relu或者elu等等。wf和wg表示两种不同的时空卷积核。
[0039]
d.对于转置卷积的介绍
[0040]
转置卷积是一种特殊的卷积方式，它可以输出比输入尺寸大的信息，往往用于进行图像上采样。转置卷积的操作是先将输入四边补零，然后将卷积核旋转180
°
，再进行普通卷积得到最终的输出。