一种用于旋转衍射的多光谱图像重建方法

1.本发明属于光谱成像技术、深度学习领域的一种多光谱图像重建方法，具体涉及了一种用于旋转衍射的多光谱图像重建方法。


背景技术：

2.光谱成像技术作为一种成像技术和光谱技术相结合的多维信息获取技术，与传统成像技术相比，其优势在于能探测获得被测目标的二维空间信息及一维光谱信息，是物质成分类型、热辐射特性等研究的主要信息获取手段。自上世纪光谱成像技术诞生以来，其在农业、食品、资源勘探、环境保护、生物医学、军事等领域得到了广泛的应用。
3.然而传统的高光谱成像系统存在着光学系统复杂、含有精密运动器件、曝光时间长等问题，极大地限制了其在许多动态场景中的应用。近年来，高光谱成像系统向着轻小型化、快照式测量方向发展，尤其是随着计算机资源的发展，出现了众多基于计算重建的轻小型快照式高光谱成像系统，旋转衍射高光谱成像系统便是其中的一种。
4.2019年jeon等提出了基于旋转衍射的快照式高光谱成像系统，这种成像系统仅利用一片衍射元件辅以相应的重建算法就可实现快照式光谱成像。具有轻小型、快照式、结构简单等特点，最后实现了420nm～660nm谱段的10nm间隔，25通道高光谱成像。但是在这个系统提出的重建算法中，需要衍射元件点扩散函数的辅助，最后的输出光谱通道数必须和标定得到的点扩散函数光谱通道数保持一致，且在重建过程中存在更新迭代的步骤，计算成本较高，计算资源消耗大。


技术实现要素：

5.为了解决背景技术中存在的技术问题，针对现有重建算法中存在的需要点扩散函数辅助，重建结果光谱通道数量必须与点扩散函数光谱通道数量保持一致，重建过程中需要迭代更新，计算资源消耗大等问题。本发明提出了一种用于旋转衍射的多光谱图像重建方法，在重建过程中不需要点扩散函数辅助，重建结果光谱通道数量灵活，不需要迭代更新，计算成本较低。
6.本发明是通过以下技术方案来实现的：
7.本发明包含以下步骤：
8.s1：获取旋转衍射多光谱图像数据集，旋转衍射多光谱图像数据集由旋转衍射模糊图像以及对应的高光谱真实图像组成；
9.s2：搭建用于光谱图像重建的卷积神经网络，卷积神经网络包括编码部分、解码部分和光谱上采样残差连接部分；卷积神经网络的输入分别输入到编码部分和光谱上采样残差连接部分中，编码部分的输出输入到解码部分，解码部分的输出与光谱上采样残差连接部分的输出进行按元素相加后的输出作为卷积神经网络的输出；
10.s3：将s1中旋转衍射多光谱图像数据集输入s2中的卷积神经网络并对卷积神经网络进行训练，获得训练好的卷积神经网络；
11.s4：将待重建旋转衍射模糊图像输入训练好的卷积神经网络中，训练好的卷积神经网络输出重建高光谱图像。
12.所述s1中旋转衍射多光谱图像数据集的获取方法包括：
13.利用基于位移台的旋转衍射数据集拍摄系统采集多组旋转衍射模糊图像以及对应的高光谱真实图像，从而构成旋转衍射多光谱图像数据集；
14.或者利用已知高光谱真实图像数据集和旋转衍射高光谱成像系统的点扩散函数计算生成旋转衍射模糊图像，由已知高光谱真实图像数据集和对应的旋转衍射模糊图像组成旋转衍射多光谱图像数据集。
15.所述编码部分包括五个残差卷积块和四个下采样层，编码部分的输入输入到第一残差卷积块，第一残差卷积块依次经第一下采样层、第二残差卷积块、第二下采样层、第三残差卷积块、第三下采样层、第四残差卷积块和第四下采样层后与第二残差卷积块相连，第一残差卷积块的输出作为编码部分的第一输出，第二残差卷积块的输出作为编码部分的第二输出，第三残差卷积块的输出作为编码部分的第三输出，第四残差卷积块的输出作为编码部分的第四输出，第五残差卷积块的输出作为编码部分的第五输出，编码部分的第一-五输出分别依次输入到解码部分的第一-五输入。
16.所述解码部分包括四个转置卷积层、四个残差卷积块和第一2d卷积层，
17.解码部分的第五输入输入到第一转置卷积层，第一转置卷积层的输出与解码部分的第四输入进行级联后的输出输入到第六残差卷积块，第六残差卷积块的输出与第二转置卷积层相连，第二转置卷积层的输出与解码部分的第三输入进行级联后的输出输入到第七残差卷积块，第七残差卷积块的输出与第三转置卷积层相连，第三转置卷积层的输出与解码部分的第二输入进行级联后的输出输入到第八残差卷积块，第八残差卷积块的输出与第四转置卷积层相连，第四转置卷积层的输出与解码部分的第一输入进行级联后的输出输入到第九残差卷积块，第九残差卷积块的输出与第一2d卷积层相连，第一2d卷积层的输出作为解码部分的输出。
18.所述光谱上采样残差连接部分包括光谱上采样残差模块，光谱上采样残差连接部分的输入和输出分别为光谱上采样残差模块的输入和输出。
19.所述残差卷积块包括3个2d卷积层、3个批归一化层、2个激活层和se注意力模块，残差卷积块的输入分别输入到第三2d卷积层和第四2d卷积层中，第三2d卷积层依次经第一激活层、第一批归一化层和第五2d卷积层的输出作为注意力输入特征，注意力输入特征输入到se注意力模块后的输出再与注意力输入特征进行按通道相乘后的输出作为中间特征，第四2d卷积层经第二批归一化层后输出与中间特征进行按元素相加后的输出输入到第二激活层，第二激活层经第三批归一化层的输出作为残差卷积块的输出。
20.所述s3中卷积神经网络训练时采用的总损失函数的公式为：
21.l＝αl1 βl
ssim
γl
grad
22.l1＝|x-y|
[0023][0024]
[0025]
其中，l为总损失函数值，l1为内容损失函数值，l
ssim
为结构相似性损失函数值，l
grad
为梯度差损失函数值，a、β、γ分别表示内容损失函数、结构相似性损失函数、梯度差损失函数的权重，x为重建的高光谱图像，y为高光谱真实图像，u
x
、uy分别为重建的高光谱图像x、高光谱真实图像y的均值，x、高光谱真实图像y的均值，分别为重建的高光谱图像x、高光谱真实图像y的方差，σ
xy
为重建的高光谱图像x和高光谱真实图像y的协方差，c1和c2分别为第一、第二平滑因子，；为重建的高光谱图像的梯度算子；为高光谱真实图像的梯度算子，||表示取绝对值操作。
[0026]
所述的旋转衍射模糊图像的生成公式如下：
[0027][0028]
其中，jc(x,y)表示c颜色通道下的旋转衍射模糊图像，c表示颜色通道，满足c∈{r,g,b}，r,g,b分别为红色、绿色、蓝色通道，m表示高光谱真实图像的光谱通道数量，i(x,y；λi)表示在第i个光谱通道的高光谱真实图像切片，表示卷积操作，kc(x,y；λi)表示在第i个光谱通道下c颜色通道的点扩散函数。
[0029]
本发明与现有技术相比，其有益效果为：
[0030]
(1)本发明提出的重建方法在重建过程中不需要点扩散函数的辅助；
[0031]
(2)本发明的输出高光谱图像的通道数量可以随旋转衍射数据集的通道数量灵活改变；
[0032]
(3)本发明在重建过程中不需要迭代更新，计算资源消耗相对较少，网络的训练过程耗时较少。
附图说明
[0033]
图1为本发明的网络结构示意图；
[0034]
图2为本发明的残差卷积块示意图；
[0035]
图3为生成的具有旋转衍射模糊特征的rgb图像的三个通道可视化图像；
[0036]
图4为无标定旋转衍射多光谱数据集构建系统示意图；
[0037]
图5为本发明的重建结果在不同谱段的图像；
[0038]
图6为本发明重建结果部分色块的光谱曲线图；
[0039]
图7为对比方法的重建结果在不同谱段的图像；
[0040]
图8为对比方法重建结果部分色块的光谱曲线图；
[0041]
图9为本发明与对比方法重建结果的空间分辨率细节对比图。
具体实施方式
[0042]
下面结合附图对本发明做进一步详细的描述。
[0043]
按照本发明的发明内容，完整实施的实施例及其实施过程如下：
[0044]
本发明包含以下步骤：
[0045]
s1：获取旋转衍射多光谱图像数据集，旋转衍射多光谱图像数据集由旋转衍射模糊图像以及对应的高光谱真实图像组成；
[0046]
s1中旋转衍射多光谱图像数据集的获取方法包括：
[0047]
利用基于位移台的旋转衍射数据集拍摄系统采集多组旋转衍射模糊图像以及对应的高光谱真实图像，从而构成旋转衍射多光谱图像数据集；高光谱图像为光谱分辨率高于10nm的光谱图像。
[0048]
如图4所示，基于位移台的旋转衍射数据集拍摄系统包括宽谱光源1、宽谱光源2、旋转衍射高光谱成像系统3、高光谱相机4以及位移台5，宽谱光源1和宽谱光源2出射光的光谱范围至少覆盖480nm～900nm谱段。旋转衍射高光谱成像系统3与高光谱相机4设置在位移台5上，旋转衍射高光谱成像系统3与高光谱相机4的光学系统的视场角、放大率相同，且两者使用的探测器空间分辨率相同。旋转衍射高光谱成像系统3与高光谱相机4的光轴方向平行并且垂直于位移台5的移动方向。
[0049]
调节位移台5使旋转衍射高光谱成像系统3的光轴正对拍摄场景，拍摄场景中的物体位于系统像面中间，拍摄一张旋转衍射模糊图像，再次调节位移台5，使得高光谱相机4的光轴正对拍摄场景，拍摄到的物体所处像面位置与旋转衍射模糊图像中物体所处像面位置保持一致，拍摄对应的高光谱真实图像。
[0050]
或者利用已知高光谱真实图像数据集和旋转衍射高光谱成像系统的点扩散函数计算生成旋转衍射模糊图像，由已知高光谱真实图像数据集和对应的旋转衍射模糊图像组成旋转衍射多光谱图像数据集。
[0051]
旋转衍射模糊图像的生成公式如下：
[0052][0053]
其中，jc(x,y)表示c颜色通道下的旋转衍射模糊图像，c表示颜色通道，满足c∈{r,g,b}，r,g,b分别为红色、绿色、蓝色通道，m表示高光谱真实图像的光谱通道数量，i(x,y；λi)表示在第i个光谱通道的高光谱真实图像切片，表示卷积操作，kc(x,y；λi)表示在第i个光谱通道下c颜色通道的点扩散函数。
[0054]
本实施例中，使用计算仿真的方法来构建数据对，首先对系统的点扩散函数进行标定，并对点扩散函数进行裁剪、配准、去噪，随后使用建立的61组光谱范围为480～900nm，光谱间隔10nm，43通道，分辨率2048*2048的高光谱真实图像数据集，点扩撒函数与高光谱真实图像数据集卷积生成具有旋转衍射模糊特征的旋转衍射模糊图像，由旋转衍射模糊图像与对应的高光谱真实图像组成数据对，由多组数据对构成旋转衍射多光谱数据集。从61组数据对中选取56组用于训练，剩下的5组用于验证和测试，图3的(a)、(b)、(c)所示的图像即为测试集中的rgb图像的三个通道。将分辨率为2048*2048的数据对按照相同的裁剪方法裁剪为256*256的图像块，即可用于训练神经网络。
[0055]
s2：搭建用于光谱图像重建的卷积神经网络，如图1所示，卷积神经网络包括编码部分、解码部分和光谱上采样残差连接部分；卷积神经网络的输入分别输入到编码部分和光谱上采样残差连接部分中，编码部分的输出输入到解码部分，解码部分的输出与光谱上采样残差连接部分的输出进行按元素相加后的输出作为卷积神经网络的输出；
[0056]
编码部分包括五个残差卷积块和四个下采样层，具体实施中，下采样层的池化函数为最大池化函数，编码部分的输入输入到第一残差卷积块，第一残差卷积块依次经第一下采样层、第二残差卷积块、第二下采样层、第三残差卷积块、第三下采样层、第四残差卷积
块和第四下采样层后与第二残差卷积块相连，第一残差卷积块的输出作为编码部分的第一输出，第二残差卷积块的输出作为编码部分的第二输出，第三残差卷积块的输出作为编码部分的第三输出，第四残差卷积块的输出作为编码部分的第四输出，第五残差卷积块的输出作为编码部分的第五输出，编码部分的第一-五输出分别依次输入到解码部分的第一-五输入。
[0057]
解码部分包括四个转置卷积层、四个残差卷积块和第一2d卷积层，
[0058]
解码部分的第五输入输入到第一转置卷积层，第一转置卷积层的输出与解码部分的第四输入进行级联后的输出输入到第六残差卷积块，第六残差卷积块的输出与第二转置卷积层相连，第二转置卷积层的输出与解码部分的第三输入进行级联后的输出输入到第七残差卷积块，第七残差卷积块的输出与第三转置卷积层相连，第三转置卷积层的输出与解码部分的第二输入进行级联后的输出输入到第八残差卷积块，第八残差卷积块的输出与第四转置卷积层相连，第四转置卷积层的输出与解码部分的第一输入进行级联后的输出输入到第九残差卷积块，第九残差卷积块的输出与第一2d卷积层相连，第一2d卷积层的输出作为解码部分的输出，具体实施中，解码部分输出的特征为43通道。
[0059]
输入图像首先经过一个残差卷积块，变为256
×
256
×
32的特征x
in
，随后经过第一个maxpooling下采样和残差卷积块，变为128
×
128
×
64的特征x
down1
，然后经过第二个maxpooling下采样和残差卷积块，变为64
×
64
×
128的特征x
down2
，随后经过第三个maxpooling下采样和残差卷积块，变为32
×
32
×
256的特征x
down3
，最后经过第四个maxpooling下采样和残差卷积块，变为16
×
16
×
256的特征x
down4
，至此完成编码工作。
[0060]
在解码过程中，x
down4
经过转置卷积上采样，与x
down3
进行跳变连接，随后输入残差卷积块，得到32
×
32
×
128的特征x
up1
，x
up1
经过转置卷积上采样，与x
down2
进行跳变连接，随后输入残差卷积块，得到64
×
64
×
64的特征x
up2
，x
up2
经过转置卷积上采样，与x
down1
进行跳变连接，随后输入残差卷积块，得到128
×
128
×
32的特征x
up3
，x
up3
经过转置卷积上采样，与x
in
进行跳变连接，随后输入残差卷积块，得到256
×
256
×
64的特征x
up4
，x
up4
最后经过一个1
×
1大小的卷积块得到256
×
256
×
43的解码结果。解码结果与光谱上采样结果相加即可得到重建高光谱图像。
[0061]
光谱上采样残差连接部分包括光谱上采样残差模块，具体实施中，光谱上采样残差模块为第二2d卷积层。光谱上采样残差连接部分的输入和输出分别为光谱上采样残差模块的输入和输出。光谱上采样残差连接部分输出尺度为256
×
256
×
43的光谱上采样结果
[0062]
如图2所示，残差卷积块包括3个2d卷积层、3个批归一化层、2个激活层和se注意力模块，具体实施中，激活层的激活函数为relu。残差卷积块的输入分别输入到第三2d卷积层和第四2d卷积层中，第三2d卷积层依次经第一激活层、第一批归一化层和第五2d卷积层的输出作为注意力输入特征，注意力输入特征输入到se注意力模块后的输出再与注意力输入特征进行按通道相乘后的输出作为中间特征，第四2d卷积层经第二批归一化层后输出与中间特征进行按元素相加后的输出输入到第二激活层，第二激活层经第三批归一化层的输出作为残差卷积块的输出。
[0063]
设输入的图像表示为x，则残差卷积块的作用可以按如下方式描述：
[0064]
经过第一个卷积块之后的特征可以表示为x1＝bn(f
act
(f1(x)))，其中f1(
·
)表示卷积核为3
×
3的二维卷积，f
act
(
·
)为relu激活函数，bn为批量归一化操作。
[0065]
随后x1经过注意力机制后的特征可以描述为x2＝f2(x1)
·fse
(f2(x1))，其中f2(
·
)表示卷积核为3
×
3的二维卷积，f
se
(
·
)为se attention操作。se attention全称为squeeze-and-excitation attention，是广泛使用的attention机制模块。
[0066]
经过残差操作的特征可以描述为x
res
＝bn(f3(x))，其中f3(
·
)表示卷积核为3
×
3的二维卷积。
[0067]
最后残差卷积块的输入可以表示为：
[0068]
x
out
＝bn(f
act
(x
res
x2))
[0069]
其中f
act
(
·
)为relu激活函数，bn为批量归一化操作。
[0070]
s3：将s1中旋转衍射多光谱图像数据集输入s2中的卷积神经网络并对卷积神经网络进行训练，获得训练好的卷积神经网络进行训练；
[0071]
在训练过程中使用adam优化器，设置学习率为10-4
，每30个epoch学习率下降一半，batch size设置为8，训练结束的条件为epoch数量等于150。s3中卷积神经网络训练时采用的总损失函数的公式为：
[0072]
l＝al1 βl
ssim
γl
grad
[0073]
l1＝|x-y|
[0074][0075][0076]
其中，l为总损失函数值，l1为内容损失函数值，l
ssim
为结构相似性损失函数值，l
grad
为梯度差损失函数值，a、β、γ分别表示内容损失函数、结构相似性损失函数、梯度差损失函数的权重，x为重建的高光谱图像，y为高光谱真实图像，u
x
、uy分别为重建的高光谱图像x、高光谱真实图像y的均值，x、高光谱真实图像y的均值，分别为重建的高光谱图像x、高光谱真实图像y的方差，σ
xy
为重建的高光谱图像x和高光谱真实图像y的协方差，c1和c2分别为第一、第二平滑因子，是防止分母为0而设置的常数项；为重建的高光谱图像的梯度算子；为高光谱真实图像的梯度算子，||表示取绝对值操作。
[0077]
s4：将待重建旋转衍射模糊图像输入训练好的卷积神经网络中，训练好的卷积神经网络输出重建的高光谱图像。
[0078]
卷积神经网络在重建过程中不需要点扩散函数辅助，不需要迭代更新，重建速度快，计算成本低，使用1
×
1大小的卷积块改变光谱通道数进行光谱上采样，重建结果的光谱通道数量可以随不同旋转衍射数据集灵活改变。
[0079]
选取其中一组重建结果，重建的高光谱图像在各个谱段的表现如图5所示，从图中可以看出来各个谱段的图像空间信息得到了较好的恢复。选取重建的高光谱图像中的几个色块，对光谱精度进行评价，结果如图6所示，图6的(a)为选取的重建的高光谱图像，图6的(b)-(e)分别为选取的重建的高光谱图像中第一-第四色块的光谱曲线。从图中可以看出对应色块的重建结果光谱曲线与数据集中的label保持一致，选取的色块光谱曲线与label的均方根误差(rmse)分别为0.01531、0.02444、0.01485、0.01798。表1为本发明和其他重建方法在构建数据集上的客观评价指标对比，评价指标分别为峰值信噪比(psnr)、结构相似性
(ssim)、光谱角制图(sam)，其中psnr和ssim越高越好，sam数值越低越好。相比于其他重建方法，本发明在所有指标上都取得了较优的效果。
[0080]
表1本发明和其他重建方法在构建数据集上的客观评价指标对比表
[0081][0082]
为了验证本发明方法的先进性，将传统的jeon等的方法重建结果与本发明重建结果进行对比。使用峰值信噪比(psnr)、结构相似性(ssim)、光谱角制图(sam)作为评价指标，其中psnr和ssim越高越好，sam数值越低越好，对比结果如表1所示。从表1中可以看出来本发明在所有指标上都取得了较优的效果。除了评价指标上的对比，图7中展示了对比方法重建结果在不同谱段的表现，从图中可以看出各个谱段的复原图像清晰度不如图5，图8展示了对比方法重建结果部分色块的光谱曲线图，图8的(a)为选取的重建的高光谱图像，图8的(b)-(e)分别为选取的重建的高光谱图像中第一-第四色块的光谱曲线。从图中可以看出虽然重建结果大致正确，但是选取的色块光谱曲线与label的均方根误差(rmse)分别为0.09163、0.07776、0.08523、0.08566，精度低于本发明的方法，图9展示了本发明与对比方法重建结果的空间分辨率细节对比图，图9的(a)和(c)分别为在500nm光谱谱段处下本发明与对比方法的重建结果，图9的(b)和(d)分别为在800nm光谱谱段处本发明与对比方法的重建结果，从图中可以看出本发明重建结果含有更丰富的空间信息。