一种基于卷积神经网络的自监督扩展目标像差探测方法

1.本发明主要涉及像差探测领域，具体涉及一种基于卷积神经网络的自监督扩展目标像差探测方法，主要通过建立基于物理光学模型的自监督神经网络来实现对于扩展目标的像差探测。


背景技术：

2.扩展目标探测与清晰化成像一直都是光电望远镜系统需要解决的关键问题。尤其在水平大气环境下，强烈的大气湍流效应导致成像目标出现模糊和抖动等现象引发探测误差，降低系统成像分辨率，严重影响对目标的探测与跟踪。
3.为降低大气湍流对光学成像系统的影响，传统方法采用自适应光学技术校正像差，或者采用图像后处理技术对目标图像进行探测与复原。波前探测作为自适应光学系统的关键技术之一，在天文观测等领域得到了广泛的应用。但是由于高空扩展目标的张角通常都远大于波前探测器等晕角范围(可见光波段几个角秒)，使得传统的波前探测系统难以实现对整个扩展目标的波前畸变信息进行完整探测；同时在水平大气等强湍流环境下容易出现探测失灵。相位恢复算法等图像后处理技术能够实现对点目标与扩展目标的像差探测，但是在复杂波前条件下，探测准确性与实时性有待提升。
4.神经网络是具有非线性拟合以及自主学习的信息处理技术，可以通过调节每一层的参数来拟合输入数据与输出数据之间的关系。扩展目标的像差探测网络通过学习在湍流影响下的数据集，学习隐层的关系实现对目标像差的探测。这种方法在湍流影响较大的时候也具有一定的适用性。但是目前许多技术在观测目标发生改变时效果变差，特征提取时需要对目标信息进行噪声预处理，降低系统的实时性，算法稳定性有待提高；同时对实际环境中连续场景的波前探测需要做进一步的研究。并且训练时依赖标签，极大的降低了模型的适用性。
5.针对以上的问题，本发明提出一种基于卷积神经网络的自监督扩展目标像差探测方法。采用在现有数据集基础上生成的扩展目标在湍流效果影响下的在焦图像与离焦图像作为训练集与测试集。利用物理模型对于数据集进行前处理可以提取出仅与像差有关的特征，输入网络，网络通过卷积与非线性变化得到特征向量，并将向量传递到之后的物理解码模块重建像差特征，通过自我修改权重使得输入与输出相似，完成输出。此方法既消除了多种类型目标对模型的影响，并且消除了训练过程对于标签的需求，仅在像差与特征之间建立关系，提高了网络的适用性，具有一定的应用价值与研究意义。


技术实现要素：

6.本发明要解决的技术问题为：提出一种基于卷积神经网络的自监督扩展目标像差探测方法，主要利用物理模型提取与原目标无关的像差特征，且解决训练过程需要标签的问题，有利用实际应用。
7.本发明采用的技术方案为：一种基于卷积神经网络的自监督扩展目标像差探测方
法，该方法包括如下步骤：
8.步骤一、利用光学成像模型生成扩展目标在湍流影响下的图像；
9.步骤二、使用步骤一中的图像，再利用物理模型提取出像差特征；
10.步骤三、根据生成的像差特征，进行扩展目标的像差自监督神经网络训练；扩展目标的像差自监督神经网络主要由神经网络与光学成像模型组成，其中神经网络使用轻量化网络mobilenet v2，光学模块实现像差到对应像差特征的转换；网络的结构如下：
11.1)mobilenet v2结构首先是卷积核大小为3x3的卷积，之后是多层depthwise separable convolution，其中包括depthwise convolution(dw卷积)与pointwiseconvolution(pw卷积)其中dw传统卷积区别在于它的每一个卷积核深度为1也就是与输入矩阵的一个通道对应，大大降低了运算过程中参数的数量，而pw卷积则是卷积核大小为1的传统卷积；
12.2)mobilenet还引入了两个超参widthmulitiplier(α)以及resolutionmultiplier(β)，其中α代表卷积核个数的倍率，可以控制卷积过程中采用卷积核的个数，β则是输入图像分辨率的一个参数；
13.3)mobilenet v1由于在训练过后发现许多层的参数为零，故mobilenet v2相对于mobilenet v1新增加了inverted residuals(倒残差结构)和linear bottlenecks，通过更新原来的激活函数以及改变残差结构为先增维再降维将网络的计算量大幅减少并且增加了准确率；
14.4)为将模型适配像差探测的需求，将原有用于分类的输出层删除，修改为可以输出波前参数的全连接层。
15.步骤四、通过成像模型生成大量数据并训练之后，网络可以根据输入由成像探测器采集到的在焦与离焦图像输出zernike系数，实现像差探测。
16.网络主要具有一下的特征：
17.1)自监督扩展目标像差探测网络主要由三部分组成包括：卷积网络编码、特征传递以及物理解码；
18.2)卷积网络编码部分主要由mobilenet构成包含若干卷积层与全连接层；
19.3)物理解码部分则利用光学模型以及成像原理，实现重建像差特征，输出比对；
20.4)训练过程：将卷积网络编码的特征通过解码，根据比对前后特征之间的相似度计算损失，例如计算输入输出的相似度或者相关性来实现网络的自我监督。
21.本发明与现有方法相比所具有的优点如下：
22.(1)神经网络与传统波前探测器相比较，网络直接建立探测图像与像差之间的关系，不需要依赖测量光路，简化光路，并且可以更好的针对扩展目标。
23.(2)与当前的扩展目标神经网络像差探测技术相比，在观测目标发生变化时不会产生影响，并且训练过程中不需要标签，更好的针对了外场环境，有利于提高神经网络相差探测技术的适用性。
附图说明
24.图1是本发明的基于卷积神经网络的扩展目标自监督学习像差探测方法流程图；
25.图2是本发明的扩展目标自监督学习神经网络模型的结构图；
26.图3是本发明的扩展目标自监督学习神经网络训练流程图。
具体实施方式
27.以下结合附图对本发明的具体实施方式做详细说明。
28.如图1所示，基于卷积神经网络的扩展目标自监督学习像差探测方法，该方法包括如下步骤：
29.步骤一、利用光学成像模型生成扩展目标在湍流影响下的图像；
30.利用光学成像模型与网上现有的数据集生成不同类型的扩展目标在不同的湍流影响下的在焦图像以及离焦图像。
31.步骤二、使用步骤一中的图像，再利用物理模型提取出像差特征；
32.步骤三、将利用模型生成的大量特征，输入扩展目标自监督学习像差探测网络，进行自监督训练；
33.本发明的网络主要利用卷积网络非线性拟合特征与zernike系数之间的关系，后利用zernike系数与物理模型在网络中重建特征，再利用相似度损失函数进行训练。
34.步骤四、通过大量的像差特征信息学习训练之后，根据训练出的非线性关系得出所需的波前信息，实现对目标的像差探测。
35.测试时将测试集的像差特征输入已训练好的网络，根据训练好的权重信息，拟合像差的特征，实现像差探测。
36.其中，不需要成像探测器临时采集大量的用于构成数据集的图像，具体方式为：利用光学成像模型生成在湍流影响下的样本，具体模型如下：
37.系统中的广义光瞳函数p(u,v)如下：
38.p(u,v)＝o(u,v)e
2πiφ(u,v)
(1)
39.其中，o(u,v)是孔径函数，φ(u,v)是待测像差，通常表示为zernike多项式的加权组合，u是光瞳平面的横坐标，v是光瞳平面的纵坐标，对于离焦位置的平面图像可以等效为在波前信息上添加了一个附加相位，该附加相位具体表示如下：
[0040][0041]
其中，d代表焦点位置的偏移量，f为成像透镜的焦距。离焦图像的离焦距离需已知，一般取1～3mm；k是与波长相关的常数；
[0042]
光学系统的点扩散函数psf(u,v)为：
[0043]
psf(u,v)＝|fft(p(u,v))|2(3)
[0044]
其中，fft代表傅里叶变换算子，p则表示广义光瞳函数，光学系统的点扩散函数为广义光瞳函数的傅里叶变化后的与其复共轭的乘积。
[0045]
可由物理模型生成自监督学习网络所需要的训练、测试数据，其中卷积神经网络使用轻量级的mobilenetv2网络，其在准确率小幅下降的前提下大大减少模型参数与运算量，具体结构如下：
[0046]
1)mobilenetv2结构首先是卷积核大小为3x3的卷积，之后是多层depthwiseseparableconvolution，其中包括depthwiseconvolution(dw卷积)与pointwiseconvolution(pw卷积)其中dw传统卷积区别在于它的每一个卷积核深度为1也就是与输入
矩阵的一个通道对应，大大降低了运算过程中参数的数量，而pw卷积则是卷积核大小为1的传统卷积；
[0047]
2)mobilenet还引入了两个超参widthmulitiplier(α)以及resolutionmultiplier(β)，其中α代表卷积核个数的倍率，可以控制卷积过程中采用卷积核的个数，β则是输入图像分辨率的一个参数；
[0048]
3)mobilenetv1由于在训练过后发现许多层的参数为零，故mobilenetv2相对于mobilenetv1新增加了invertedresiduals(倒残差结构)和linearbottlenecks，通过更新原来的激活函数以及改变残差结构为先增维再降维将网络的计算量大幅减少并且增加了准确率；
[0049]
4)为了将网络适配到扩展目标的像差探测将分类使用的softmax输出层修改为全连接层，输出所需波前参数。
[0050]
可以根据现有数据集进行自监督训练，不需要实时采集数据集并且消除了对于标签的依赖：
[0051]
1)自监督扩展目标像差探测网络主要由三部分组成包括：卷积网络编码、特征传递以及物理解码；
[0052]
2)卷积网络编码部分主要由mobilenet构成：包含若干卷积层与全连接层；
[0053]
3)物理解码部分则利用光学模型以及成像原理，实现重建像差特征，输出比对；光学成像函数如公式(4)：
[0054]
i＝o*psf(4)
[0055]
其中，i为最终成像，o为原目标图像，psf为光学系统的点扩散函数；
[0056]
傅里叶变换之后在焦与离焦情况下可以获得如下公式：
[0057]
if＝o
·
otff(5)
[0058]
id＝o
·
otfd(6)
[0059]
其中，if、id为原在焦与离焦图像的傅里叶变换，o为原目标图像的傅里叶变换，otff、otfd为在焦与离焦的光学传递函数，为相应光学传递函数傅里叶变换所得；
[0060]
将两个公式做如下运算可得到与像差有关而与原目标无关的特征s：
[0061][0062]
4)训练过程：将卷积网络编码的特征通过解码，根据比对前后特征之间的相似度计算损失，例如计算输入输出的相似度或者相关性来实现网络的自我监督；
[0063]
相似度损失函数为相关系数，可以描述为：
[0064][0065]
其中，a
mn
和b
mn
是两个光斑图像的像素值，和分别是a
mn
和b
mn
的平均值，m和n分别代表横向与纵向的像素数。
[0066]
在利用现有数据集进行训练之后，在实验系统中验证网络实际效果时，包括如下两个步骤：
[0067]
1)测试过程中，将实际系统采集到的在焦图像与离焦图像同属输入到已经训练好
的自监督网络中；
[0068]
2)利用网络的非线性拟合，得到映射关系，实现扩展目标的像差探测。
[0069]
如图2所示，自监督卷积神经网络模型主要包括：mobilenet构成的编码结构，以及光学模型构成的像差特征重建过程。
[0070]
如图3所示，训练和测试过程中，利用在大气湍流影响下的焦面与离焦面图像对网络进行训练，训练结束后使用实验设备采集到的图像直接进行测试。