基于自动化深度学习的雷达或声呐图像目标检测与分类方法与流程

1.本发明属于图像处理技术领域，尤其涉及基于自动化深度学习的雷达或声呐图像目标检测与分类方法。


背景技术：

2.目前，成像雷达和声纳是遥感领域中不可缺少的传感器，它们可以提供陆地、海底、空中甚至外太空中所观测区域的丰富视觉信息。目标检测和分类是雷达、声呐图像解译的基础任务，近年来，基于深度学习的rs图像目标检测与分类研究开始蓬勃发展。
3.深度神经网络模型复杂度高，容易对训练数据过拟合，尤其是在雷达声呐这类小样本数据集上。为此，通常使用转导迁移学习(通常直接称之为迁移学习)将可泛化知识迁移到目标任务上以改善深度神经网络模型的泛化能力。但是，使用目前迁移学习范式进行雷达声呐图像目标检测至少存在三个方面的问题：(a)不同于imagenet与pascal voc在光学图像之间的迁移，rs图像与光学图像之间的分布差异巨大，严格意义上不符合归纳迁移学习对源领域(sourcefield)和目标领域(target field)有相同的输入空间的要求，会引起迁移学习不适应的问题，影响迁移效果。(b)目前rs图像检测研究常使用的骨干网络resnet、zfnet、vggnet、darknet等都是针对大规模光学图像分类任务设计的，而rs 图像数据集通常包含的有效目标较少(如，合成孔径雷达图像目标分类数据集 mstar在扩充之后只有5171张图像，sar舰船识别数据集ssdd只有1174 个样本)，故目前的网络模型过于复杂冗余且不具有针对性。(c)外部数据集的预训练并不能自动地提供更好的正则化，许多超参数需要精心选择以避免在微调过程中发生过拟合，特别是在小规模数据集上。
4.在小数据集上直接进行自训练是解决上述问题的主要途径，因此深度学习目标检测领域最新的研究开始关注如何在任务数据集上更好地进行从头训练。从头训练的目标检测算法的骨干网络无需加载分类任务上预训练之后的模型参数，只需常规的初始化方法(如xavier)即可实现在检测数据集上的成功训练，得到的模型不仅有较高的准确率而且模型尺寸和计算量会极大的降低。从头训练地核心在于设计与任务数据集相匹配的卷积网络模型。
5.设计一个合适的卷积神经网络结构需要耗费机器学习专家大量的精力，且有许多网络的超参数需要依赖经验试错法、网格搜索、随机搜索以确定，因此自动化深度学习领域研究了如何让机器自动地设计性能更优异的网络架构，即神经架构搜索。但目前的神经网络架构搜索技术大都是针对分类任务设计的，即便最近的detnas针对检测任务设计，但其仍然依赖于外部大数据预训练，这就无法克服前文所述使用迁移学习范式进行雷达声呐图像目标检测存在的三个方面的问题。因此要使用神经架构搜索设计自训练的深度学习检测器结构还需要实现架构搜索在检测数据集上的自训练并且面向检测任务设计卷积网络结构。
6.通过上述分析，现有技术存在的问题及缺陷为：
7.(1)深度神经网络模型复杂度高，容易对训练数据过拟合，尤其是在雷达声呐这类
小样本数据集上。
8.(2)使用目前迁移学习范式进行雷达声呐图像目标检测时，不同于imagenet与pascal voc在光学图像之间的迁移，rs图像与光学图像之间的分布差异巨大，严格意义上不符合归纳迁移学习对源领域和目标领域有相同的输入空间的要求，会引起迁移学习不适应的问题，影响迁移效果。
9.(3)目前rs图像检测研究常使用的骨干网络resnet、zfnet、vggnet、darknet等都是针对大规模光学图像分类任务设计的，而rs图像数据集通常包含的有效目标较少，故目前的网络模型过于复杂冗余且不具有针对性。
10.(4)外部数据集的预训练并不能自动地提供更好的正则化，许多超参数需要精心选择以避免在微调过程中发生过拟合，特别是在小规模数据集上。
11.(5)设计合适的卷积神经网络结构需要耗费机器学习专家大量的精力，且有许多网络的超参数需要依赖经验试错法、网格搜索、随机搜索以确定。
12.(6)目前的神经网络架构搜索技术大都是针对分类任务设计的，即便最近的detnas针对检测任务设计，但其仍然依赖于外部大数据预训练，无法克服所述使用迁移学习范式进行雷达声呐图像目标检测存在的三个方面的问题。
13.解决以上问题及缺陷的难度为：
14.解决上述问题及缺陷的核心问题在于实现深度神经网络结构的自动化设计，但现有的用于深度神经网络结构自动化设计的神经架构搜索方法大多为分类网络设计，且架构搜索时的内存、计算量等资源开销大。
15.解决以上问题及缺陷的意义为：
16.通过自动化深度学习的神经架构搜索方法实现对于特定雷达或声呐图像目标检测与分类数据集自动地设计深度神经网络，可以解决手工设计分类任务或检测任务中神经网络的设计复杂的问题，取消现有深度学习方法对迁移学习的依赖并提高神经网络在雷达或声呐图像目标检测与分类数据集上的泛化性能。同时，在理论上也丰富了深度学习检测器的自动化设计方法。


技术实现要素：

17.针对现有技术存在的问题，本发明提供了基于自动化深度学习的雷达或声呐图像目标检测与分类方法，尤其涉及一种基于自动化深度学习的雷达或声呐图像目标检测与分类方法。
18.本发明是这样实现的，基于自动化深度学习的雷达或声呐图像目标检测与分类方法，所述雷达声呐图像目标检测与分类方法包括以下步骤：
19.步骤一，给定雷达或声呐图像数据集，如果是分类数据集则直接进行步骤三，如果是检测任务则依次执行步骤二、步骤三、步骤四。
20.步骤二，从检测数据集中根据标注信息提取衍生分类数据集；
21.步骤三，使用卷积神经网络架构搜索对衍生分类数据集(对于分类问题则直接使用任务分类数据集)进行卷积网络结构的自动化设计和重训练。重训练之后的自动化网络即可直接用于雷达或声呐图像的分类任务。
22.步骤四，使用步骤三自动设计的自训练的骨干网络构建自动化深度学习目标检测
器，并在任务检测数据集上进行自动化深度学习目标检测器的训练和验证。训练之后的自动化深度学习目标检测器即可直接用于雷达或声呐图像的检测任务。
23.进一步，所使用的神经架构搜索算法包括但不限于可微分神经架构搜索算法。
24.进一步，步骤二中，所述从检测数据集中根据标注信息提取衍生分类数据集，包括：
25.(1)对于检测任务，衍生数据集是从雷达声呐检测数据集的训练集中提取的包含各类目标和背景图像，通过衍生数据集，可以间接地实现检测器骨干卷积网络的设计和自训练；
26.(2)衍生数据集完全从检测数据集的训练集、验证集中提取；从检测训练集中提取的分类数据train-dc和val-dc分别用于主干网络的训练和验证；从检测验证集中提取的测试分类数据集test-dc，用于骨干网络分类性能的测试；
27.(3)使用nas方法在衍生分类数据集上取得较高的自训练分类准确度，将步骤(2)所得train-dc数据集划分为train-search和val-search，分别用于骨干网络架构搜索期间的训练和验证。
28.进一步，步骤(1)中，采用7：1：2的比例将检测数据集划分为训练集、验证集合测试集。
29.进一步，步骤(3)中，采用5：5的比例将train-dc数据集划分为train-search 和val-search。
30.进一步，步骤三中，所述使用卷积神经网络架构搜索对衍生分类数据集进行最优卷积网络结构的自动化设计和重训练，包括：
31.(1)通过功能抽象将卷积网络整体结构搜索简化为卷积网络组成单元内的结构搜索；将卷积神经网络功能抽象为两类计算单元
‑‑
标准单元和缩减单元，标准单元在提取特征的过程中能够保持特征图尺寸，而缩减单元会在提取特征的过程中将特征图尺寸缩小并增加特征图通道数。
32.(2)为两类卷积网络组成单元设计算子集合，标准单元on(6)、缩减单元 or(6)；将每个计算单元内的卷积网络结构建模为有向无环图；计算单元内部有0， 1，2，3共4个计算节点，设计算子集合，用于将计算节点连结起来。
33.(3)构建搜索和推理期间计算单元内部特征图转化计算方式。设每一个节点所表示的特征图为x
(j)
，在网络推理期间，每条有向边(i,j)从on(6)或or(6)中指定一种卷积运算o
(i,j)
用于转换前继特征图x(i)，即每个节点接收所有的前级节点作为输入：
[0034][0035]
在搜索期间将对on(6)或or(6)内所有的运算采用连续化松弛的方式分配注意力，即使用所有运算处理结果的加权平均值代替o
(i,j)
(x(i))。
[0036]
(4)在(1)式基础上设计内存友好的网络结构搜索方案。假设前继特征层x(i)有m个通道，那么fl-darts会根据采用率1/k随机地采样出其中的m/k个通道作为采样特征s
(i,j)
，而未被采样的其他特征直接作为输出，这样x
(j)
接收的来自x(i)的部分加权特征可以记为：
[0037][0038]
其中，
[0039]
(5)采用边标准化，即对每条边(i,j)赋予显式的权重β
(i,j)
，此时使用通道采样与边正则化的的计算将变成：
[0040][0041]
其中，
[0042]
(6)采用步骤(7)到步骤(10)所述双层优化算法对(2)或(3)式所构建的超网络进行优化，从优化后的平均运算优化结果中抽取离散的结构，每个输出节点x
(j)
都需要从{x
(0)
,x
(1)
,...,x
(j-1)
}随机挑选两个输入节点，权重分别为：即通过最有可能的运算替代混合运算来获得离散的网络结构，即通过argmax选择权重最大的运算以此得到离散的结构：
[0043][0044]
式中，每条有向边上的平均运算权重α即可看做网络架构搜索算法对卷积运算的注意力分配，即可以将α表示为卷积结构的连续编码。
[0045]
(7)构建卷积网络架构搜索可微分的双层优化方案。在式(2)和(3)中，混合运算的注意力通过条件概率建模，而po以|o|维向量α
(i,j)
作为参数，如此，架构搜索的问题被简化成一组松弛后的连续矢量α＝{α
(i,j)
}学习问题。用l
train
表示训练集损失，l
val
表示测试集损失，对运算权重进行连续化松弛之后，就可以联合学习结构参数α和权重w。将验证集的分类准确度作为最终的奖励或者拟合优度，对偶的目标即为最小化验证集损失，优化方法使用带动量的梯度下降法；进行架构搜索的核心原则是通过梯度优化确定最优网络架构αo，以最小化验证集损失l
val
(wo(αo),αo)，即：
[0046]
αo＝argmin
α
l
val
(wo(α),α)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0047]
式中，计算验证集损失时使用的网络权重wo＝wo(α)是通过最小化训练集损失得到的，即：
[0048]
wo＝wo(α)＝argminwl
train
(w,α)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0049]
对于架构搜索期间的超网络模型，不仅要优化用于网络结构编码的有向边上的平均运算权重α，还需要学习超网络本身的权重w。故使用下式双层优化公式进行架构优化：
[0050][0051]
s.t.wo(α)＝argminwl
train
(w,α)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0052]
式中，α为外层结构优化变量，w为内层网络权重优化变量。
[0053]
(8)采用一次推理的方式加速性能评估以求解公式(7)所示双层优化问题。每一次的内层模型学习只进行单步训练，得到当前超网络近似权重w
*
(α)。通过这种近似，使用内层模型的训练时的梯度为：
[0054][0055]
设内层优化的学习率为ξ，那么进行单步学习之后得到的当前结构α的近似权重w
*
(α)为：
[0056][0057]
(9)每执行一次内层优化后，即可评估当前结构在验证集上的分类准确度，计算当前结构在验证集上的分类损失l
val
(w
*
(α),α)，继续通过梯度下降法进行外层优化，更新结构权重α以实现更高的分类准确度。外层优化时使用验证集分类损失的进行梯度下降，具有下面的形式：
[0058][0059]
在进行外层结构优化时只使用标准的梯度下降法进行优化。
[0060]
(10)区别于普通的神经架构搜索，在搜索期间采用多辅助分类分支进行稳定架构搜索过程，两分支权重分别设置为0.4,0.2。
[0061]
(11)抽取得到最优离散并在rs衍生分类数据集上对最终的结构进行重训练，以得到最优的网络权重。
[0062]
(12)若需进行检测任务，则在重训练之后继续对网络结构裁剪，以去除多余的分类头和辅助分类分支并组合形成标准的多尺度特征金字塔。
[0063]
进一步，步骤四中，所述使用设计的自训练的骨干网络构建自训练的自动化深度学习目标检测器，包括：
[0064]
(1)使用所述自动设计的骨干网络取代手工设计常规深度学习检测器中手工设计的骨干网络，并将这类检测器称为自动检测器；
[0065]
(2)分别选取单阶段的retinanet、双阶段的faster r-cnn与多阶段cascade r-cnn作为自动检测器的检测框架，可以分别得到arn、afr和acr；
[0066]
(3)结合自动检测器训练流程为雷达声呐数据集设计特定的数据增强方案；在衍生分类数据集上进行骨干网络搜索和重训练时，对目标图像块进行随机旋转和随机裁剪和随机擦除，在检测器自训练时，对检测数据集采用随机裁剪和随机翻转。
[0067]
本发明另一目的在于提供一种实施所述基于自动化深度学习的雷达或声呐图像目标检测与分类方法地基于自动化深度学习的雷达或声呐图像目标检测与分类控制系统。
[0068]
本发明另一目的在于提供一种所述基于自动化深度学习的雷达或声呐图像目标检测与分类方法在陆地、海底、空中观测区域视觉信息处理上的应用。
[0069]
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的雷达声呐图像目标检测与分类方法，通过使用自动化深度学习技术所自动设计的深度卷积神经网络进行雷达声呐图像目标检测与分类。本发明提出的高效神经架构搜索方法可以快速地自动地为雷达、声呐数据集设计一个最优的卷积神经网络结构以实现目标分类和检测的目的。其次，该神经架构搜索算法可以用于检测骨干网络的自动化设计，且设计过程不依赖
于外部数据的预训练。相较于现有的用于雷达和声呐图像的深度学习分类器、检测器，本发明提供的自动化深度学习方法实现了直接在任务数据集上的自训练，网络结构更加简洁、参数量低、计算量小、推理速度快、分类准确度和检测精度高。
[0070]
本发明提出使用自动化深度学习领域的神经架构搜索技术自动地设计与雷达声呐数据集相匹配的卷积网络结构。但大部分用户而言，现有神经架构搜索技术需要的算力过于庞大，因此，本发明首先提出了减小神经架构搜索期间的运算量的方法。其次，针对检测问题，现有深度学习检测器的骨干网络大多使用为分类任务设计的卷积神经网络提取特征，因此本发明在神经网络架构搜索期间还考虑了检测器对卷积网络的特殊需求，并克服了检测器骨干网络在检测数据集上自训练的难题。
[0071]
对于分类任务，在合成孔径雷达分类数据集mstar上使用步骤s2(a)-s2(j) 可以取得99.9％的分类准确度。
[0072]
对于检测任务，分别在雷达舰船目标检测数据集ssdd和声呐常见目标检测数据集sctd上执行步骤s1和步骤s2可以得到如图8所示的网络结构。然后采用步骤s3设计的arn、afr、acr三类检测器在ssdd和sctd可以得到表3和表4 所达到的检测性能。
[0073]
表3本发明与现有深度学习检测器在雷达舰船目标检测数据集ssdd上检测性能对比
[0074][0075]
表4本发明自动检测器和传统迁移学习检测器在声呐检测数据集sctd上检测性能对比
[0076][0077]
根据表3所示的检测结果可知，在相同训练与测试条件下，使用本发明设计的自动骨干网络可以分别使三类检测器检测的map提高2.2％，1.3％，1.5％，其中对单阶段的检测器性能提高最为明显，而在检测召回率方面，本发明的自动检测器则分别在迁移学习检测器的基础上提高了0.1％，2.7％，1.4％。在模型复杂度方面，自动检测器的参数量分别为49.59mb，21.79mb，13.89mb，仅为对应迁移学习方法参数量的3/5，1/2和1/3左右。在计算复杂度方面，三类自动检测器可以分别节约33％、37％、38％的计算量。由此可见，自动检测器除了在检测效果上优于迁移学习方法，模型本身通常更加简洁，模型推理速度更快。为展示
自动检测器在雷达目标检测数据集ssdd上的检测效果，分别在测试集中选取复杂背景下的小目标和大目标进行检测，使用arn、afr与acr边界框位置、类别置信度的预测效果的如图9所示，图9表明自动检测器对测试集内物体边界框位置回归较为准确。
[0078]
在声呐图像目标检测方面，从表4可知，自动检测器在sctd上的平均检测精度明显优于迁移学习方法，相对于迁移学习方法，自动检测器分别使 retinanet，faster rcnn，cascade rcnn的map提高了1.15％，23.98％，75.42％，性能改善率远高于在ssdd数据集上的检测结果。此外，针对样本不平衡的问题，自动检测器在小样本上，如human，实现了更高的召回率和检测精度，说明了在衍生分类数据集上对骨干网络进行搜索和自训练的有效性；此外表4还表明自动检测器相较于与之对应的检测器在推理速度(fps)方面更具有优势。分别在测试集中选取不同类别的大、中、小型目标进行检测，使用arn、afr 与acr边界框预测的效果的如图10所示，图10同样表明自动检测器对测试集内物体边界框位置回归较为准确。
[0079]
推理速度可以进一步优化，并且可以采用硬件平台感知的架构搜索算法针对边缘计算平台，如国产开发板，进行推理加速，弥补硬件差距带来的推理速度差距。
附图说明
[0080]
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
[0081]
图1是本发明实施例提供的雷达声呐图像目标检测与分类方法原理图。
[0082]
图2是本发明实施例提供的从雷达声呐数据集中提取衍生数据集的方法流程图。
[0083]
图2(a)是本发明实施例提供的数据集加工与分步式自训练方法流程图(数据集按照从上至下划分，而自训练期间使用数据集的顺序为自下至上)。
[0084]
图2(b)是本发明实施例提供的衍生分类数据集提取方法流程图(首先根据检测数据集边界框标注信息将目标区域提取成不同类别的目标图像块，然后将目标区域剔除后的其他部分作为背景区域候选区，并从将候选区域分割成满足特定要求的矩形块作为背景区域)。
[0085]
图3是本发明实施例提供的卷积神经网络架构搜索超结构示意图。
[0086]
图4是本发明实施例提供的卷积网络结构搜索期间组成超网络的每个计算单元内部的结构示意图。
[0087]
图5是本发明实施例提供的用于优化图4所示的超网络结构的架构搜索双层优化算法流程图。
[0088]
图6是本发明实施例提供的对搜索得到的网络结构进行裁剪形成多尺度特征金字塔示意图。
[0089]
图7是本发明实施例提供的所使用的三类自动检测器组成框架示意图；
[0090]
图中：“pool”表示区域级特征提取，“b0”为预定义的锚框，“h”通常由全连接模块组成，用于输出类别c和边框b。
[0091]
图8是本发明实施例提供的使用图5所示双层优化算法为ssdd和sctd 的衍生分类
数据集设计的计算单元内部网络结构示意图(通过图3所示的级联方法可以组成最终的卷积网络)。
[0092]
图8(a)是本发明实施例提供的ssdd搜索的标准单元结构示意图。
[0093]
图8(b)是本发明实施例提供的ssdd搜索的缩减单元结构示意图。
[0094]
图8(c)是本发明实施例提供的sctd搜索的标准单元结构示意图。
[0095]
图8(d)是本发明实施例提供的sctd搜索的缩减单元结构示意图。
[0096]
图9是本发明实施例提供的三类自动检测器实例在ssdd雷达图像检测数据集的检测效果示意图(物体周围浅色细线边框表示标注，深色粗线边框表示检测器的预测输出，二者越重合说明检测精度越高)。
[0097]
图9(a)是本发明实施例提供的arn在ssdd雷达图像检测数据集的检测效果示意图。
[0098]
图9(b)是本发明实施例提供的afr在ssdd雷达图像检测数据集的检测效果示意图。
[0099]
图9(c)是本发明实施例提供的acr在ssdd雷达图像检测数据集的检测效果示意图。
[0100]
图10是本发明实施例提供的三类自动检测器实例在sctd声呐图像检测数据集的检测效果示意图(物体周围浅色细线边框表示标注，深色粗线边框表示检测器的预测输出，二者越重合说明检测精度越高，在(b),(c),(d)图中从左至右依次是arn,afr,acr的预测输出)。
[0101]
图10(a)是本发明实施例提供的声呐检测场景(检测器输入图像)示意图。
[0102]
图10(b)是本发明实施例提供的沉船检测结果局部放大效果示意图。
[0103]
图10(c)是本发明实施例提供的沉底飞机检测结果局部放大效果示意图。
[0104]
图10(d)是本发明实施例提供的沉底假人检测结果局部放大效果示意图。
[0105]
图11是本发明实施例提供的雷达声呐图像目标检测与分类方法流程图。
[0106]
图12是本发明实施例提供的雷达声呐图像目标检测与分类系统结构框图；
[0107]
图中：1、数据集确定模块；2、数据集提取模块；3、最优卷积网络构建模块；4、目标检测器构建模块；5、指标输出模块。
具体实施方式
[0108]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0109]
针对现有技术存在的问题，本发明提供了基于自动化深度学习的雷达或声呐图像目标检测与分类方法，下面结合附图对本发明作详细的描述。
[0110]
如图11所示，本发明实施例提供的雷达声呐图像目标检测与分类方法包括以下步骤：
[0111]
s101，给定雷达声呐图像数据集，并判断问题种类；其中，所述问题种类包括分类问题和检测问题；
[0112]
s102，对于检测问题，从检测数据集中根据标注信息提取衍生分类数据集；
[0113]
s103，对于分类问题，使用卷积神经网络架构搜索对衍生分类数据集进行最优卷积网络结构的自动化设计和重训练，并将分类准确输出；
[0114]
s104，使用s103设计的自训练的骨干网络构建自训练的自动化深度学习目标检测器，并在任务检测数据集上进行训练和检测；
[0115]
s105，进行检测精度和召回率指标的输出。
[0116]
如图12所示，本发明实施例提供的雷达声呐图像目标检测与分类系统包括：
[0117]
数据集确定模块1，用于给定雷达声呐图像数据集，并判断问题种类；其中，所述问题种类包括分类问题和检测问题；
[0118]
数据集提取模块2，对于检测问题，用于从检测数据集中根据标注信息提取衍生分类数据集；
[0119]
最优卷积网络构建模块3，对于分类问题，用于使用卷积神经网络架构搜索对衍生分类数据集进行最优卷积网络结构的自动化设计和重训练，并将分类准确输出；
[0120]
目标检测器构建模块4，用于使用设计的自训练的骨干网络构建自训练的自动化深度学习目标检测器，并在任务检测数据集上进行训练和检测；
[0121]
指标输出模块5，用于进行检测精度和召回率指标的输出。
[0122]
下面结合实施例对本发明作进一步描述。
[0123]
1、发明概述
[0124]
在雷达声呐图像数据集上部署自训练深度学习分类、检测器有助于改善目标分类和检测性能，但在雷达声呐图像上实现深度学习检测或分类器的自训练首先需要克服与数据集相匹配的卷积网络结构设计的难题。为此，本发明提出使用自动化深度学习领域的神经架构搜索技术自动地设计与雷达声呐数据集相匹配的卷积网络结构。但大部分用户而言，现有神经架构搜索技术需要的算力过于庞大，因此，本发明首先提出了减小神经架构搜索期间的运算量的方法。其次，针对检测问题，现有深度学习检测器的骨干网络大多使用为分类任务设计的卷积神经网络提取特征，因此本发明在神经网络架构搜索期间还考虑了检测器对卷积网络的特殊需求，并克服了检测器骨干网络在检测数据集上自训练的难题。
[0125]
2、发明内容
[0126]
如图1所示，本方法共分为3个主要步骤，对于雷达声呐图像检测任务需要依次执行s1、s2、s3，对于雷达声呐图像分类任务，执行s2即可。
[0127]
步骤s1：对于检测任务，首先从检测数据集中根据标注信息提取衍生分类数据集。
[0128]
(a)衍生数据集是从雷达声呐检测数据集的训练集中提取的包含各类目标和背景图像，通过衍生数据集，可以间接地实现检测器骨干卷积网络的设计和自训练，根据这种自训练权重初始化检测器精调可以实现更好的检测效果。如图2(a)所示，首先对检测将检测数据集划分为训练、验证、测试集。本方法采用7：1：2划分。
[0129]
(b)衍生数据集完全从检测数据集的训练集、验证集中提取，不会影响检测器测试的有效性。其中从检测训练集中提取的分类数据train-dc和val-dc分别用于主干网络的训练和验证。根据需要，可从检测验证集中提取的测试分类数据集test-dc，用于骨干网络分类性能的测试。
[0130]
(c)同检测数据集一致，衍生分类数据集仍然是小样本数据集，如何设计合理的卷积网络结构对于骨干网络的特征提取效果至关重要。使用nas方法可以在衍生分类数据集
上取得较高的自训练分类准确度，为此需要将(b)所得train-dc 数据集进一步划分为train-search和val-search，分别用于骨干网络架构搜索期间的训练和验证，本方法采用5：5划分。
[0131]
步骤s2：使用内存友好的结构灵活的卷积神经网络架构搜索对衍生分类数据集(分类任务则直接是任务分类数据集)进行最优卷积网络结构的自动化设计和重训练。
[0132]
(a)通过功能抽象将卷积网络整体结构搜索简化为卷积网络组成单元内的结构搜索。如图3所示，首先将卷积神经网络功能抽象为两类计算单元
‑‑
标准单元和缩减单元，标准单元在提取特征的过程中能够保持特征图尺寸，而缩减单元会在提取特征的过程中将特征图尺寸缩小并增加特征图通道数。
[0133]
(b)为两类卷积网络组成单元设计算子集合，标准单元on(6)、缩减单元or(6)。将每个计算单元内的卷积网络结构建模为有向无环图。如图4所示计算单元内部有0，1，2，3共4个计算节点，本发明设计了表1所示的算子集合(如池化、卷积)，用于将把这些计算节点连结起来。
[0134]
表1两种运算单元的自定义算子集合
[0135][0136]
‘
none’、
‘
skip_connect’表示分别对输入乘以0和1。
‘
sep_conv’和
‘
dil_conv’分别表示可分离卷积和空洞卷积，
‘
max_pool’和
‘
avg_pool’表示最大池化和平均池化。
‘
3x3’和
‘
5x5’表示上述运算的滤波器核尺寸。
[0137]
(c)构建搜索和推理期间计算单元内部特征图转化计算方式。设每一个节点所表示的特征图为x
(j)
，在网络推理期间，每条有向边(i,j)从on(6)或or(6)中指定一种卷积运算o
(i,j)
用于转换前继特征图x(i)，即每个节点接收所有的前级节点作为输入：
[0138][0139]
在搜索期间将对on(6)或or(6)内所有的运算采用连续化松弛的方式分配注意力，即使用所有运算处理结果的加权平均值代替o
(i,j)
(x(i))。
[0140]
(d)在(1)式基础上设计内存友好的网络结构搜索方案。假设前继特征层x(i)有m个通道，那么fl-darts会根据采用率1/k随机地采样出其中的m/k个通道作为采样特征s
(i,j)
，而未被采样的其他特征直接作为输出，这样x
(j)
接收的来自x(i)的部分加权特征可以记为：
[0141][0142]
其中，
[0143]
(e)特别地，为了克服(2)式通道采样可能导致的梯度下降方向不稳定问题，可以
采用边标准化，即对每条边(i,j)赋予显式的权重β
(i,j)
，此时使用通道采样与边正则化的的计算将变成：
[0144][0145]
其中，
[0146]
(f)采用步骤(g)到步骤(j)所述双层优化算法对(2)或(3)式所构建的超网络进行优化，从优化后的平均运算优化结果中抽取离散的结构，每个输出节点x
(j)
都需要从{x
(0)
,x
(1)
,...,x
(j-1)
}随机挑选两个输入节点，权重分别为：即通过最有可能的运算替代混合运算来获得离散的网络结构，即通过argmax选择权重最大的运算以此得到离散的结构：
[0147][0148]
式中，每条有向边上的平均运算权重α即可看做网络架构搜索算法对卷积运算的注意力分配，即可以将α表示为卷积结构的连续编码。
[0149]
(g)构建卷积网络架构搜索可微分的双层优化方案。在式(2)和(3)中，混合运算的注意力通过条件概率建模，而po以|o|维向量α
(i,j)
作为参数，如此，架构搜索的问题可以被简化成一组松弛后的连续矢量α＝{α
(i,j)
}学习问题。用l
train
表示训练集损失，l
val
表示测试集损失，对运算权重进行连续化松弛之后，就可以联合学习结构参数α和权重w。将验证集的分类准确度作为最终的奖励或者拟合优度，对偶的目标即为最小化验证集损失，优化方法使用带动量的梯度下降法。进行架构搜索的核心原则是通过梯度优化确定最优网络架构αo，以最小化验证集损失l
val
(wo(αo),αo)，即：
[0150]
αo＝argmin
α
l
val
(wo(α),α)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0151]
式中，计算验证集损失时使用的网络权重wo＝wo(α)是通过最小化训练集损失得到的，即：
[0152]
wo＝wo(α)＝argminwl
train
(w,α)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0153]
对于架构搜索期间的超网络模型，不仅要优化用于网络结构编码的有向边上的平均运算权重α，还需要学习超网络本身的权重w。故本发明使用下式双层优化公式进行架构优化：
[0154][0155]
s.t.wo(α)＝argminwl
train
(w,α)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0156]
式中，α为外层结构优化变量，w为内层网络权重优化变量。
[0157]
(h)采用一次推理的方式加速性能评估以求解公式(7)所示双层优化问题。每一次的内层模型学习只进行单步训练，得到当前超网络近似权重w
*
(α)。通过这种近似，本发明实施例使用内层模型的训练时的梯度为：
[0158][0159]
设内层优化的学习率为ξ，那么进行单步学习之后得到的当前结构α的近似权重w
*
(α)为：
[0160][0161]
(i)每执行一次内层优化后，就可以评估当前结构在验证集上的分类准确度，计算当前结构在验证集上的分类损失l
val
(w
*
(α),α)，然后继续通过梯度下降法进行外层优化，更新结构权重α以实现更高的分类准确度(更低的验证集分类损失)。外层优化时使用验证集分类损失的进行梯度下降，具有下面的形式：
[0162][0163]
在进行外层结构优化时只使用标准的梯度下降法进行优化，故双层优化的整体流程如图5所示。
[0164]
(j)区别于普通的神经架构搜索，本发明在搜索期间采用多辅助分类分支进行稳定架构搜索过程，本实施例中两分支权重分别设置为0.4,0.2。
[0165]
(k)抽取得到最优离散并在rs衍生分类数据集上对最终的结构进行重训练，以得到最优的网络权重。
[0166]
(h)若需进行检测任务，则在重训练之后继续对网络结构裁剪，以去除多余的分类头和辅助分类分支并组合形成标准的多尺度特征金字塔，如图6所示。
[0167]
步骤s3：使用s2设计的自训练的骨干网络构建自训练的自动化深度学习目标检测器。
[0168]
(a)使用步骤s2(h)所自动设计的骨干网络取代手工设计常规深度学习检测器中手工设计的骨干网络，如图7所示。本发明将这类检测器称为自动检测器。
[0169]
(b)分别选取单阶段的retinanet、双阶段的faster r-cnn与多阶段cascader-cnn作为自动检测器的检测框架，可以分别得到auto retinanet(arn)、autofasterrcnn(afr)、auto cascadercnn(acr)。
[0170]
(c)结合自动检测器训练流程为雷达声呐数据集设计特定的数据增强方案。为提高对旋转和形变的鲁棒性，在衍生分类数据集上进行骨干网络搜索和重训练时，对目标图像块进行随机旋转和随机裁剪、随机擦除等，在检测器自训练时，对检测数据集采用随机裁剪和随机翻转。本实施例所使用的数据增强方案如表2所示。
[0171]
表2本实施例对雷达声呐图像目标检测任务所使用的数据增强方法
[0172][0173]
本发明所取得的雷达和声呐图像分类和检测效果：
[0174]
对于分类任务，在合成孔径雷达分类数据集mstar上使用步骤s2(a)-s2(j) 可以
取得99.9％的分类准确度。
[0175]
对于检测任务：分别在雷达舰船目标检测数据集ssdd和声呐常见目标检测数据集sctd上执行步骤s1和步骤s2可以得到如图8所示的网络结构。然后采用步骤s3设计的arn、afr、acr三类检测器在ssdd和sctd可以得到表3和表4 所达到的检测性能。
[0176]
表3本发明与现有深度学习检测器在雷达舰船目标检测数据集ssdd上检测性能对比
[0177][0178]
表4本发明自动检测器和传统迁移学习检测器在声呐检测数据集sctd上检测性能对比
[0179][0180]
根据表3所示的检测结果可知，在相同训练与测试条件下，使用本发明设计的自动骨干网络可以分别使三类检测器检测的map提高2.2％，1.3％，1.5％，其中对单阶段的检测器性能提高最为明显，而在检测召回率方面，本发明的自动检测器则分别在迁移学习检测器的基础上提高了0.1％，2.7％，1.4％。在模型复杂度方面，自动检测器的参数量分别为49.59mb，21.79mb，13.89mb，仅为对应迁移学习方法参数量的3/5，1/2和1/3左右。在计算复杂度方面，三类自动检测器可以分别节约33％、37％、38％的计算量。由此可见，自动检测器除了在检测效果上优于迁移学习方法，模型本身通常更加简洁，模型推理速度更快。为展示自动检测器在雷达目标检测数据集ssdd上的检测效果，分别在测试集中选取复杂背景下的小目标和大目标进行检测，使用arn、afr与acr边界框位置、类别置信度的预测效果的如图9所示，图9表明自动检测器对测试集内物体边界框位置回归较为准确。
[0181]
在声呐图像目标检测方面，从表4可知，自动检测器在sctd上的平均检测精度明显优于迁移学习方法，相对于迁移学习方法，自动检测器分别使 retinanet，faster rcnn，cascade rcnn的map提高了1.15％，23.98％，75.42％，性能改善率远高于在ssdd数据集上的检测结果。此外，针对样本不平衡的问题，自动检测器在小样本上，如human，实现了更高的召回率和检测精度，说明了在衍生分类数据集上对骨干网络进行搜索和自训练的有效性；此外表4还表明自动检测器相较于与之对应的检测器在推理速度(fps)方面更具有优势。分别在测试集中选取不同类别的大、中、小型目标进行检测，使用arn、afr与acr边界框
预测的效果的如图10所示，图10同样表明自动检测器对测试集内物体边界框位置回归较为准确。
[0182]
在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上；术语“上”、“下”、“左”、“右”、“内”、“外”、“前端”、“后端”、“头部”、“尾部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0183]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
[0184]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。