一种高速TDICCD相机图像暗弱条纹噪声识别的模型构建方法与系统与流程

一种高速tdi ccd相机图像暗弱条纹噪声识别的模型构建方法与系统
技术领域
1.本发明涉及图像条纹噪声识别技术领域，具体涉及高速tdi ccd相机图像暗弱条纹噪声识别的模型构建方法与系统。


背景技术：

2.在高速tdi ccd相机研制过程中，由于电源系统及pcb设计不合理，导致获取的图像会受到系统中高速信号间串扰及各电源模块的干扰，使得图像数据中存在频率及方向均不固定的暗弱条纹噪声。为确保在相机研制初期及时验证成像过程中是否存在暗弱条纹噪声，需对研制过程图像进行分析。使用相机在暗室条件下拍摄的图像对暗弱条纹噪声进行评估，在此条件下获取的图像中，相机驱动电路的1/f噪声、读出噪声和暗弱条纹噪声的量级相差不大，即要在多种量级相差不多的混合噪声中识别出其中是否含有暗弱条纹噪声，且待识别的暗弱条纹噪声虽然在视觉上具有一定规律性，但其频率和方向均不固定，在统计分布上也不具有确定性的规律，识别难度大。
3.目前，针对图像暗弱条纹噪声识别方法有：
4.1、使用photoshop软件，人工查看图像中是否包含所述暗弱条纹噪声，由于暗弱条纹噪声在图像上可视性较差，查看时需对图像进行多次线性拉伸，因此，此方法效率低，平均单张图的识别时间约60s；
5.2、统计图像中偏离均值3倍标准差的数值比例，若该比例高于某一设定阈值，认为此图像中存在暗弱条纹噪声，此方法相对方法1效率稍有提高，但准确率低，仅约75％，且统计完成后仍需配合人工复核，来进一步确认图像中是否存在所述暗弱条纹噪声，因此识别效率并没有获得显著提升。此外，此方法中阈值的选取难度大，针对不同相机的图像数据，其阈值选取会影响到最终的识别准确率，需对不同相机分别选取。
6.3、图像中的暗弱条纹噪声视作图像的边缘特征，使用sobel边缘检测算子对图像进行二值化，统计二值化后图像中1-0比例，设定一比例阈值，当1-0比例高于该阈值时，认为此图像中存在所述暗弱条纹噪声，此方法识别准确率约80％，同样在统计完成后需配合人工复核，来进一步确认图像中是否存在暗弱条纹噪声。此外，该方法还存在与方法2类似的问题，此方法中阈值的选取难度大，针对不同相机的图像数据，其阈值选取会影响到最终的识别准确率，需对不同相机分别选取。
7.4、采用卷积神经网络识别方法进行图像暗弱条纹噪声识别，大多数是基于现有的分类模型构造的，比如googlenet、alexnet模型，模型复杂度高、且是针对特定图像尺寸的，无法适配本发明所述相机的图像尺寸，如果强行调整图像尺寸去适配现有的网络模型，由于暗弱条纹噪声幅值很小，调整之后暗弱条纹噪声将被淹没，无法识别，而且若采用复杂度高的模型，训练和识别效率也会降低。对于本文所述无固定方向且不具备周期性的暗弱条纹噪声，仅采用卷积神经网络进行分类识别，识别准确率仅约为60％。
8.所以，采用现有的图像暗弱条纹噪声识别方法存在缺陷为：
9.1)识别效率低；
10.2)识别准确率低，且需通过人工复核辅助完成；
11.3)阈值的选取难度大。
12.综上因素，虽然现有的技术可以用来识别图像暗弱条纹噪声，但识别图像暗弱条纹噪声的效率与准确率低，需通过人工复核辅助完成，且阈值的选取难度大。
13.因此，在现有技术中，针对识别图像暗弱条纹噪声的效率与准确率低，需通过人工复核辅助完成，且阈值的选取难度大的问题并没有明确的改善，例如：专利文献cn113487547a公开了“卫星遥感图像条带噪声定位方法及装置”，通过构建卷积神经网络模型解决了现有技术中基于深度学习的图像条纹噪声检测方法只能处理尺寸较小的普通图像，而无法处理大尺寸卫星遥感图像的问题。该专利文献所述技术方案仅仅能够解决处理大尺寸卫星遥感图像的问题，没有针对识别图像暗弱条纹噪声的效率与准确率低，需通过人工复核辅助完成，且阈值的选取难度大给出技术方案。专利文献cn106469436b公开了“图像去噪系统及图像去噪方法”，通过sobel算子处理图像去噪系统，在对图像进行去噪的同时能够尽可能地保留图像细节，提高图像信噪比水平。该专利文献所述技术方案仅仅能够提高图像信噪比，其技术方案也不能够给出针对识别图像暗弱条纹噪声的效率与准确率低，需通过人工复核辅助完成，且阈值的选取难度大给出有效的解决方案。


技术实现要素：

14.本发明解决了现有的图像暗弱条纹噪声识别方法的效率与准确率低，需通过人工复核辅助完成，且阈值的选取难度大的问题。
15.本发明所述的一种高速tdi ccd相机图像暗弱条纹噪声识别的模型构建方法，包括以下步骤：
16.步骤s1，采集tdi ccd相机样本图像数据，对采集的样本图像数据进行人工分类标注；
17.步骤s2，人工分类标注的样本图像数据预处理后得到的二值化图像，将其作为卷积神经网络的输入样本集，此样本集分为训练样本集、验证样本集；
18.步骤s3，构建卷积神经网络分类器，将训练样本集、验证样本集输入到卷积神经网络进行模型训练与参数调优。
19.进一步地，在本发明的一个实施例中，所述步骤s1中，所述的采集tdi ccd相机样本图像数据的条件为：
20.在暗室条件下进行，以降低图像中的其他噪声对暗弱条纹噪声干扰。
21.进一步地，在本发明的一个实施例中，所述步骤s2中，所述的样本图像数据预处理是基于sobel算子对样本图像数据进行边缘检测与提取，增强暗弱条纹噪声在图像中的辨识度。
22.进一步地，在本发明的一个实施例中，所述的sobel算子采用水平、垂直、45
゜
、135
゜
四组算子模板。
23.进一步地，在本发明的一个实施例中，所述步骤s2中，所述的样本集分为训练样本集、验证样本集的比例为7：2。
24.进一步地，在本发明的一个实施例中，所述步骤s3中，所述的构建卷积神经网络包
括：
25.输入层、第一卷积层c1、第一池化层pool1、第二卷积层c2、第二池化层pool2、第三卷积层c3、第三池化层pool3、全连接层fc1、softmax输出层。
26.本发明所述的一种高速tdi ccd相机图像暗弱条纹噪声识别系统，所述系统包括以下模块：
27.模块s1，用于采集tdi ccd相机样本图像数据，对采集的样本图像数据进行人工分类标注；
28.模块s2，用于人工分类标注的样本图像数据预处理后得到的二值化图像，将其作为卷积神经网络的输入样本集，此样本集分为训练样本集、验证样本集；
29.模块s3，用于构建卷积神经网络分类器，将训练样本集、验证样本集输入到卷积神经网络进行模型训练与参数调优。
30.本发明所述的一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法中任意一项方法所述的步骤。
31.本发明所述的一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时执行上述方法中任意一项方法所述的步骤。
32.本发明解决了现有的图像暗弱条纹噪声识别方法的效率与准确率低，需通过人工复核辅助完成，且阈值的选取难度大的问题。具体有益效果包括：
33.1、本发明采用改进的sobel算子与卷积神经网络的识别方法，对暗弱条纹噪声的识别准确率可达99.15％，识别效率可达200张/60s，且不需要人工干预，实现了图像中暗弱条纹噪声的高准确度、高效率、全自动识别。
34.2、本发明使用的sobel算子设计自适应阈值算法，根据不同的图像数据自动设置阈值，解决了现有的sobel算子进行二值化时需人工设定适当的阈值难度大的问题。
35.3、本发明使用的sobel算子在现有的水平和垂直两组算子基础上，增加了45
゜
和135
゜
两组算子模板，不仅可检测图像的水平和垂直方向梯度，还可以同时检测多个方向梯度，有效提高检测效果。
36.4、本发明建立了一种新的适用于本发明中所述tdi ccd相机输出图像尺寸的卷积神经网络模型，定义不同大小的卷积核进行特征提取，获取图像不同尺度的特征信息，解决了现有的卷积神经网络因无法适配本发明所述相机的图像尺寸造成识别效率低的问题。
37.本发明适用于图像噪声识别技术领域，解决高速tdi ccd相机图像中暗弱条纹噪声识别难度大、识别准确率低的技术问题。
附图说明
38.本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
39.图1是本发明所述的一种高速tdi ccd相机图像暗弱条纹噪声识别的模型构建方法的流程图。
40.图2是实施方式二所述的测试及训练样本示例图，(a)正常暗场图；(b)含条纹噪声暗场图。
41.图3是实施方式六所述的卷积神经网络结构图，1输入层；2卷积层；3池化层；4全连接层fc1；5softmax输出层。
42.图4是实施方式六所述的训练过程图。
具体实施方式
43.下面结合附图将对本发明的多种实施方式进行清楚、完整地描述。通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
44.实施方式一、本实施方式所述的一种高速tdi ccd相机图像暗弱条纹噪声识别的模型构建方法，参照图1可以更好理解本实施方式，包括以下步骤：
45.步骤s1，采集tdi ccd相机样本图像数据，对采集的样本图像数据进行人工分类标注；
46.步骤s2，人工分类标注的样本图像数据预处理后得到的二值化图像，将其作为卷积神经网络的输入样本集，此样本集分为训练样本集、验证样本集与测试样本集；
47.步骤s3，构建卷积神经网络分类器，将训练样本集、验证样本集输入到卷积神经网络进行模型训练与参数调优；
48.步骤s4，测试样本集输入到步骤s3获得的卷积神经网络分类模型对其进行分类识别，测试该模型对测试样本集的分类准确率。
49.本实施方式中，实验环境是在windows 10系统下搭建的平台，cpu型号为intel xeon 5222，内存大小为128g，实验的软件平台为matlab r2018b。
50.实施方式二、本实施方式是对实施方式一所述的一种高速tdi ccd相机图像暗弱条纹噪声识别的模型构建方法进一步地限定，本实施方式中，所述步骤s1中，所述的采集tdi ccd相机样本图像数据的条件为：
51.在暗室条件下进行，以降低图像中的其他噪声对暗弱条纹噪声干扰。
52.本实施方式中，在暗室测试条件下，获取n》1000张相机暗场图像。获取的样本图像如图2所示，由于暗弱干扰条纹幅度较小，在原始图像中难以直接分辨，因此，所给出的示例图均进行了对比度拉伸及亮度调整，以增强暗弱干扰条纹在图像中的辨识度。
53.具体地，根据获取的暗场图像中是否存在所述暗弱条纹噪声对样本数据进行人工分类标注，现将获取1000张相机暗场图像进行人工分类标注，受暗弱条纹噪声干扰的图像与未受暗弱条纹噪声干扰的图像各获取了500张。
54.实施方式三、本实施方式是对实施方式一所述的一种高速tdi ccd相机图像暗弱条纹噪声识别的模型构建方法进一步地限定，本实施方式中，所述步骤s2中，所述的样本图像数据预处理是基于sobel算子对样本图像数据进行边缘检测与提取，增强暗弱条纹噪声在图像中的辨识度。
55.本实施方式中，针对图像中的条纹干扰相对背景信号而言幅值通常较小，影响算法的辨识效果的问题，基于sobel边缘提取算子对样本数据进行边缘检测与提取，增强干扰暗弱条纹在图像中的辨识度。样本图像数据经sobel算子运算后的结果为一幅二值化的边缘图像。
56.实施方式四、本实施方式是对实施方式三所述的一种高速tdi ccd相机图像暗弱条纹噪声识别的模型构建方法进一步地限定，本实施方式中，所述的sobel算子采用水平、
垂直、45
゜
、135
゜
四组算子模板。
57.本实施方式中，sobel算子采用四个方向的算子模板，提高sobel算子检测效果。所述四个方向的算子模板如下：
[0058][0059][0060]
式中，m1表示垂直方向算子模板；m2表示水平方向算子模板；m3表示45
゜
方向算子模板；m4表示135
゜
方向算子模板。
[0061]
设计自适应阈值算法，根据梯度矩阵g(x,y)自动设置sobel算子的二值化阈值t，并使g(x，y)＞t的像素点置1，g(x，y)≤t的像素点置0，完成图像的二值化。
[0062]
具体地，在自适应阈值算法中引入中值滤波，选取3
×
3的像素模板作为阈值判断模板，提取模板窗口内梯度矩阵g(x,y)的最大值、中值和最小值，取三者均值作为模板窗口内像素点的阈值t，实现sobel算子的二值化阈值t的自动调整。
[0063]
使用的自适应阈值算法，根据不同的图像数据自动设置阈值，解决了现有的sobel算子进行二值化时需人工设定适当的阈值难度大的问题。
[0064]
采用本实施方式中的sobel算子在现有的水平和垂直两组算子基础上，增加了45
゜
和135
゜
两组算子模板，不仅可检测图像的水平和垂直方向梯度，还可以同时检测多个方向梯度，有效提高检测效果。
[0065]
实施方式五、本实施方式是对实施方式一所述的一种高速tdi ccd相机图像暗弱条纹噪声识别的模型构建方法进一步地限定，本实施方式中，所述步骤s2中，所述的样本集分为训练样本集、验证样本集、测试样本集的比例为7：2：1。
[0066]
本实施方式中，将此二值图像作为卷积神经网络输入样本集，并将此样本集按7：2：1的比例分为训练样本集、验证样本集与测试样本集。其中训练样本集用于训练卷积神经网络分类模型并在训练过程中确定模型参数；验证样本集用于在模型迭代训练过程中调整模型的超参数并对模型的分类能力进行初步评估，验证当前模型的泛化能力；测试样本集用来检验训练好的模型对暗弱条纹噪声的分辨能力。
[0067]
具体地，用于获取样本数据的tdi ccd相机包含p、b1、b2、b3、b4五个谱段，由3片tdi ccd光学拼接而成，单次成像可获取共15张图像数据，由于所述条纹噪声只在相机部分谱段、部分ccd中存在，而为了确保样本的多样性，样本数据从多台tdi ccd相机获取，对于获取的大量原始样本图像，需要人工逐张进行分类确认当前图像是否存在暗弱条纹噪声，故而本实例涉及的样本获取难度较大，样本集数量较少，因此在将样本送入卷积神经网络前，先对样本集进行了增广处理，以增加训练集的样本数量，提高模型的泛化能力。
[0068]
实施方式六、本实施方式是对实施方式一所述的一种高速tdi ccd相机图像暗弱条纹噪声识别的模型构建方法进一步地限定，本实施方式中，所述步骤s3中，所述的构建卷积神经网络包括：
[0069]
输入层、第一卷积层c1、第一池化层pool1、第二卷积层c2、第二池化层pool2、第三卷积层c3、第三池化层pool3、全连接层fc1、softmax输出层。
[0070]
本实施方式中，如图3所示，卷积层利用卷积核进行图像特征提取，得到图像的特征图，是构建卷积神经网络的核心层；池化层用于产生更低维度的特征图，降低卷积层对位置的敏感度，减少计算量。全连接层用于获取图像的一维特征，将此一维特征输入到softmax输出层，即可获取图像各个类别的概率并输出当前图像的具体类别。
[0071]
对于构建好的神经网络分类器，需利用构建的训练样本集和验证样本集对模型进行训练并不断进行参数调优，以获得具有最优识别准确率的分类模型。训练过程中涉及的主要参数包括卷积核大小、卷积核滑动步长、池化单元函数、激活函数、学习率、batchsize等。通过对搭建好的神经网络模型的多次训练调优，最终建立的分类模型参数如下：
[0072]
(1)输入层：卷积神经网络的输入训练样本为灰度图像，大小为750
×
1536像素。
[0073]
(2)第一卷积层c1的卷积核大小为11
×
11，卷积核数量为3，卷积滑动步长为1，经过第一卷积层后得到的特征图大小为750
×
1536
×
3。c1采用relu激活函数激活神经元。池化层pool1采用采用最大池化函数进行下采样操作。最大池化可以保留区域(2
×
2)内的最大值。经过池化层后，图像特征映射大小变为375
×
768
×
3。
[0074]
(3)第二卷积层c2卷积核大小为5
×
5，滑动步长为1，对第二卷积层的输出同样采用relu激活函数进行激活，采用步长为2，池化窗口2
×
2的池化层进行下采样，得到图像特征映射大小为187
×
384
×
16。
[0075]
(4)第三卷积层c3卷积核大小为3
×
3，滑动步长为1，采用relu激活函数进行激活，并采用步长为2，池化窗口2
×
2的池化层进行下采样，得到输出图像特征映射大小为93
×
192
×
32。
[0076]
(5)第三池化层pool3输出的图像特征映射经过全连接层fc1处理得到图像的一维特征，再经过softmax处理即可得到每个类别的概率并输出当前输入图像所属类别。
[0077]
建立的卷积神经网络仅包含9层，网络模型复杂度低，可以定义不同大小的卷积核进行特征提取，获取图像不同尺度的特征信息，提高图像的识别率。
[0078]
采用本实施方式建立的适用于tdi ccd相机输出图像尺寸的卷积神经网络模型，定义不同大小的卷积核进行特征提取，获取图像不同尺度的特征信息，解决了现有的卷积神经网络因无法适配本发明所述相机的图像尺寸造成识别效率低的问题。
[0079]
综上，对上述搭建好的卷积神经网络模型进行训练，训练过程如图4所示，经过10个epoch后此模型对于验证样本集的精度可达99.15％，识别效率可达200张/60s，且不需要人工干预，实现了图像中暗弱条纹噪声的高准确度、高效率、全自动识别。
[0080]
实施方式七、本实施方式所述的一种高速tdi ccd相机图像暗弱条纹噪声识别系统，所述系统包括以下模块：
[0081]
模块s1，用于采集tdi ccd相机样本图像数据，对采集的样本图像数据进行人工分类标注；
[0082]
模块s2，用于人工分类标注的样本图像数据预处理后得到的二值化图像，将其作为卷积神经网络的输入样本集，此样本集分为训练样本集、验证样本集与测试样本集；
[0083]
模块s3，用于构建卷积神经网络分类器，将训练样本集、验证样本集输入到卷积神经网络进行模型训练与参数调优；
[0084]
模块s4，用于测试样本集输入到模块s3获得的卷积神经网络分类模型对其进行分类识别，测试该模型对测试样本集的分类准确率。
[0085]
实施方式八、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现实施方式一至六中任意一项实施方式所述的方法的步骤。
[0086]
实施方式九、一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时执行实施方式一至六中任意一项实施方式所述的方法的步骤。