一种基于自适应解码器的目标检测方法及装置

技术特征：
1.一种基于自适应解码器的目标检测方法，其特征是构建一个目标检测模型adamixer，根据3d采样特征空间对图片的多尺度特征进行采样，并基于查询机制通过编码器和解码器自适应地根据查询的空间位置信息和语义内容信息进行采样点位置和特征解码的调节，再配合ffn完成对查询的增强，实现查询位置的检测，所述目标检测网络的实现包括生成3d特征阶段、网络配置阶段、训练阶段以及测试阶段：1)生成3d特征阶段：使用骨干网络对训练样例图像进行特征提取，对于每个输入图像，基于骨干网络不同阶段输出的不同长宽、不同通道数的特征图，得到一个3d特征空间，用于在其中完成后续的采样处理；2)网络配置阶段，基于初始查询配置和解码器，建立目标检测模型adamixer，包括以下配置：2.1)初始查询配置：为输入特征图初始化编码生成n个初始查询量，查询量中包括初始语义向量q0，以及对应查询采样点的初始位置向量(x,y,z,r)，(x,y,z)是采样点在3d特征空间中的坐标，r是特征图的高宽比的以2为底的对数，初始语义向量q0从标准正态分布n(0,1)中随机采样得到，初始位置向量(x,y,z,r)设置为能够覆盖整张特征图；2.2)解码器：解码器的输入是2.1)中编码生成的查询量，输出是经过解码器优化之后的相同格式的查询量，解码器中包含以下模块，用于自适应地利用查询中语义信息和位置信息：2.2.1)多头自注意力模块：将n个查询量输入一个多头自注意力模块，使用正弦形式的位置信息附加到语义向量上，并将交集前景比iof作为一个偏置加入注意力的权重，经过该多头自注意力模块得到一个增强后的语义向量输出q；2.2.2)3d采样模块：使用2.2.1)中得到的q，经过一个线性层的变换之后，利用q的语义信息得到p
in
个采样点位移集合，结合查询量中对应的位置向量四元组，得到p
in
个3d特征空间采样点坐标p，根据采样点坐标p先在(x,y)的特征空间中做两点插值，得到一个不考虑z轴权重的特征矩阵,然后再在z轴上做高斯权重插值，进而得到完整的采样后的特征矩阵x；2.2.3)自适应混合模块：对特征矩阵x进行自适应地解码，分两步对采样后的特征矩阵x进行自适应混合，分别为自适应语义通道混合以及自适应空间信息混合，在自适应语义通道混合中，使用基于q的动态权重矩阵在特征通道上对特征矩阵x进行通道语义增强；在自适应空间信息混合中，使用基于q的动态权重矩阵在空间信息上对特征矩阵x进行空间信息增强；最终得到信息增强后的特征矩阵x’；2.2.4)ffn模块：对于2.2.3)中输出的更新后的特征矩阵x’，结合其位置向量，对整体的查询中的语义向量和位置向量进行更新，即对2.2.3)得到特征矩阵x’展平，经过一组ffn，将其通道数转换到q的相同通道数，得到更新后的查询中的语义向量q
′
；根据更新后的语义向量q
′
，再经过一组ffn，得到一组更新后的查询中的位置向量(x
′
,y
′
,z
′
,r
′
)；2.3)得到最终的查询语义向量q
′
以及位置向量(x
′
,y
′
,z
′
,r
′
)后，将q
′
送入一个ffn分类网络中得到分类结果，将(x
′
,y
′
,z
′
,r
′
)翻译成包围框的坐标得到包围框的结果；3)训练阶段：对配置的网络模型采用训练数据进行训练，使用focal loss，l1 loss和giou loss组合作为损失函数，使用adamw优化器，通过反向传播算法来更新网络参数，不断重复步骤1)和步骤2)，直至达到迭代次数；4)训练阶段：将待测试数据的图片特征输入到训练完成的adamixer模型中，根据2.3)
中的方式，得到最终的目标分类结果以及目标包围框位置，验证所训练adamixer模型的效果，达到所需目标检测效果的adamixer模型作为最终所得目标检测模型，用于目标检测。2.根据权利要求1所述的一种基于自适应解码器的目标检测方法，其特征是步骤1)中的骨干网络为resnet，对骨干网络resnet的第二到第五阶段的特征图，经过线性变换，将通道数统一为d
feat
，叠放在一个三维空间中，得到3d特征空间。3.根据权利要求1所述的一种基于自适应解码器的目标检测方法，其特征是解码器首先将查询量送入一个多头自注意力模块，得到一个增强后的语义查询量将q经过一个线性层的变换之后，得到p
in
个采样点集合利用采样点集合在3d特征空间中进行采样，首先把特征空间分成g组，分组后每组特征空间的通道数为d
feat
/g，d
feat
为特征空间的通道数，每组中采样p
in
个点，得到特征矩阵每组的特征矩阵为其中c＝d
feat
/g，进行自适应混合，先进行自适应语义通道混合，得到语义特征增强输出接着进行自适应空间信息混合，得到空间信息增强输出最后将此输出送入ffn网络，更新查询的语义向量和位置向量，得到和输入格式相同，且经过自适应优化后的查询量q
′
和位置向量(x
′
,y’,z
′
,r
′
)。4.根据权利要求1所述的一种基于自适应解码器的目标检测方法，其特征是将解码器多层叠加来加深网络，每层解码器都包括一个多头自注意力模块、一个3d采样模块、一个自适应混合模块和一个ffn模块。5.一种基于自适应解码器的目标检测装置，其特征是具有计算机可读存储介质，所述计算机存储介质中配置有计算机程序，所述计算机程序用于实现权利要求1-4所述的目标检测模型adamixer，所述计算机程序被执行时实现权利要求1-4所述的目标跟踪方法。

技术总结
一种基于自适应解码器的目标检测方法及装置，构建一个目标检测模型AdaMixer，包括网络配置阶段、训练阶段以及测试阶段，配合骨干网络得到的不同大小的特征图组合成3D特征空间，在其中进行高效的特征采样，并通过自适应地配合查询量的空间信息和位置信息完成对采样特征的增强，实现目标检测任务。本发明通过对不同图片查询量的自适应模块，有效利用查询量中的信息，避免了冗余网络结构，节省了计算量，使网络快速稳定收敛。引入了3D特征空间的采样，对位置信息和语义信息进行高效的编码，能更好地配合自适应模块，灵活、高效、快速、准确地完成目标检测任务。确地完成目标检测任务。确地完成目标检测任务。


技术研发人员：王利民 高子腾 刘春旭 武港山
受保护的技术使用者：南京大学
技术研发日：2022.03.08
技术公布日：2022/6/10