神经网络、目标检测方法、神经网络训练方法及相关产品与流程

技术特征：
1.一种用于目标检测的神经网络，其特征在于，所述神经网络包括编码网络和解码网络，所述解码网络包括第一解码层；所述编码网络，用于对待检测图像进行特征提取，得到多个第一特征图，其中，所述多个第一特征图的分辨率不同；所述第一解码层，用于对目标第一特征图和多个目标参考向量进行注意力处理，得到多个第一参考向量，其中，所述目标第一特征图为所述多个第一特征图中分辨率小于第一阈值的第一特征图中的任意一个，所述多个目标参考向量为所述神经网络的网络参数；对所述多个第一参考向量进行目标检测，得到多个第一候选框和多个第一类别；对所述多个第一候选框中的每个所述第一候选框对应的特征图和所述多个第一参考向量中的每个所述第一参考向量进行处理，得到多个第二参考向量，其中，每个所述第一候选框对应的特征图表征所述第一候选框在所述多个第一特征图中的至少一个第一特征图中所框选的特征，所述多个第一候选框和所述多个第一参考向量一一对应；基于所述多个第二参考向量和所述多个第一候选框，得到多个第二候选框。2.根据权利要求1所述的神经网络，其特征在于，所述解码网络还包括第二解码层；所述第二解码层，用于对所述目标第一特征图和所述多个第二参考向量进行注意力处理，得到多个第三参考向量；基于所述多个第三参考向量以及所述多个第二候选框，得到多个第三候选框和多个第二类别；对所述多个第三候选框中的每个所述第三候选框对应的特征图和所述多个第三参考向量中的每个第三参考向量进行处理，得到多个第四参考向量，其中，每个所述第三候选框对应的特征图表征所述第三候选框在所述多个第一特征图中的至少一个第一特征图中所框选的特征，所述多个第三候选框和所述多个第三参考向量一一对应；基于所述多个第四参考向量和所述多个第三候选框，得到多个第四候选框。3.根据权利要求1或2所述的神经网络，其特征在于，所述编码网络包括骨干网络和特征金字塔网络；所述骨干网络，用于对所述待检测图像进行特征提取，得到多个第二特征图，其中，所述多个第二特征图的分辨率不同；所述特征金字塔网络，用于对所述多个第二特征图进行特征提取，得到所述多个第一特征图。4.根据权利要求1或2所述的神经网络，其特征在于，所述编码网络包括骨干网络、特征金字塔网络和编码器；所述骨干网络，用于对所述待检测图像进行特征提取，得到多个第二特征图，其中，所述多个第二特征图的分辨率不同；所述特征金字塔网络，用于对所述多个第二特征图进行特征提取，得到所述多个第三特征图，其中，所述多个第三特征图的分辨率不同；所述编码器，用于对多个第一特征向量和目标位置编码进行编码，得到多个第二特征向量，其中，所述多个第一特征向量为对目标第三特征图进行平铺得到，所述目标第三特征图为所述多个第三特征图中分辨率小于第二阈值的第三特征图中的任意一个，所述目标位
置编码为所述神经网络的网络参数；其中，所述多个第一特征图包括第四特征图和所述多个第三特征图中除所述目标特征图之外的第三特征图，所述第四特征图为按照对所述目标第三特征图进行平铺的逆顺序将所述多个第二特征向量进行组合得到。5.一种目标检测方法，其特征在于，包括：对待检测图像进行特征提取，得到多个第一特征图，其中，所述多个第一特征图的分辨率不同；对目标第一特征图和多个目标参考向量进行注意力处理，得到多个第一参考向量，其中，所述目标第一特征图为所述多个第一特征图中分辨率小于第一阈值的第一特征图中的任意一个，每个所述目标参考向量用于表征一个物体的特征；根据所述多个第一参考向量进行目标检测，得到多个第一候选框和多个第一类别；对所述多个第一候选框中的每个所述第一候选框对应的特征图和所述多个第一参考向量中的每个所述第一参考向量进行处理，得到多个第二参考向量，其中，每个所述第一候选框对应的特征图表征所述第一候选框在所述多个第一特征图中的至少一个第一特征图中所框选的特征，所述多个第一候选框和所述多个第一参考向量一一对应；根据所述多个第二参考向量和所述多个第一候选框，得到多个第二候选框；基于所述多个第二候选框和所述多个第一类别，得到所述待检测图像的目标检测结果。6.根据权利要求5所述的方法，其特征在于，基于所述多个第二候选框和所述多个第一类别，得到所述待检测图像的目标检测结果之前，所述方法还包括：对所述目标第一特征图和所述多个第二参考向量进行注意力处理，得到多个第三参考向量；根据所述多个第三参考向量和所述多个第二候选框，得到多个第三候选框和多个第二类别；对所述多个第三候选框中的每个所述第三候选框对应的特征图和所述多个第三参考向量中的每个第三参考向量进行处理，得到多个第四参考向量，其中，每个所述第三候选框对应的特征图表征所述第三候选框在所述多个第一特征图中的至少一个第一特征图中所框选的特征，所述多个第三候选框和所述多个第三参考向量一一对应；根据所述多个第四参考向量和所述多个第三候选框，得到多个第四候选框；所述基于所述多个第二候选框和所述多个第一类别，得到所述待检测图像的目标检测结果，包括：基于所述多个第四候选框和所述多个第二类别，得到所述待检测图像的目标检测结果。7.根据权利要求5或6所述的方法，其特征在于，所述对待检测图像进行特征提取，得到多个第一特征图，包括：将所述待检测图像输入到骨干网络进行特征提取，得到多个第二特征图，其中，所述多个第二特征图的分辨率不同；将所述多个第二特征图输入到特征金字塔网络进行特征提取，得到所述多个第一特征图。
8.根据权利要求5或6所述的方法，其特征在于，所述对待检测图像进行特征提取，得到多个第一特征图，包括：将所述待检测图像输入到骨干网络进行特征提取，得到多个第二特征图，其中，所述多个第二特征图的分辨率不同；将所述多个第二特征图输入到特征金字塔网络进行特征提取，得到多个第三特征图，其中，所述多个第三特征图的分辨率不同；对目标第三特征图进行平铺，得到多个第一特征向量，所述目标第三特征图为所述多个第三特征图中分辨率小于第二阈值的第三特征图中的任意一个；将所述多个第一特征向量和目标位置编码输入到编码器进行编码，得到多个第二特征向量，所述目标位置编码用于表征所述待检测图像中各个像素点之间的空间关系；按照对所述目标第三特征图进行平铺的逆顺序将所述多个第二特征向量进行组合，得到第四特征图；将所述第四特征图和所述多个第三特征图中除所述目标第三特征图之外的第三特征图作为所述多个第一特征图。9.一种神经网络训练方法，其特征在于，所述神经网络用于目标检测，所述神经网络包括编码网络和解码网络，所述解码网络第一解码层，所述方法包括：将训练图像输入到所述编码网络进行特征提取，得到多个第五特征图，其中，所述多个第五特征图的分辨率不同；将目标第五特征图和初始参考向量输入到所述第一解码层进行目标检测，得到多个第六候选框和多个第三类别，其中，所述目标第五特征图为所述多个第五特征图中分辨率小于第一阈值的第五特征图中的任意一个，所述多个初始参考向量为初始化得到；其中，所述第一解码层，用于对所述目标第五特征图和所述多个初始参考向量进行注意力处理，得到多个第五参考向量；对所述多个第五参考向量进行目标检测，得到多个第五候选框和所述多个第三类别；对所述多个第五候选框中每个所述第五候选框对应的特征图和所述多个第五参考向量中的第五参考向量进行处理，得到多个第六参考向量，其中，每个所述第五候选框对应的特征图表征所述第五候选框在所述多个第五特征图中的至少一个第五特征图中所框选的特征；基于所述多个第六参考向量和所述多个第五候选框，得到所述多个第六候选框，所述多个第五候选框和所述多个第五参考向量一一对应；根据所述多个第五候选框、所述多个第六候选框、所述多个第三类别以及所述训练图像的标签，对所述神经网络进行训练。10.根据权利要求9所述的方法，其特征在于，所述解码网络还包括第二解码层；根据所述多个第五候选框、所述多个第六候选框、所述多个第三类别以及所述训练图像的标签，对所述神经网络进行训练之前，所述方法还包括：将所述目标第五特征图、所述多个第六参考向量以及所述多个第六候选框输入到所述第二解码层进行目标检测，得到多个第八候选框和第四类别；其中，所述第二解码层，用于对所述目标第五特征图和所述多个第六参考向量进行注意力处理，得到多个第七参考向量；基于所述多个第七参考向量以及所述多个第六候选框，得到多个第七候选框和所述多个第四类别；对所述多个第七候选框中每个所述第七候选框
对应的特征图和所述多个第七参考向量中的每个第七参考向量进行处理，得到多个第八参考向量，其中，每个所述第七候选框对应的特征图表征所述第七候选框在所述多个第五特征图中的至少一个第五特征图中所框选的特征；基于所述多个第八参考向量和所述多个第七候选框，得到所述多个第八候选框；所述根据所述多个第五候选框、所述多个第六候选框、所述多个第三类别以及所述训练图像的标签，对所述神经网络进行训练，包括：根据所述多个第五候选框、所述多个第六候选框、所述多个第三类别、所述多个第七候选框、所述多个第八候选框、所述多个第四类别以及所述训练图像的标签，对所述神经网络进行训练。11.根据权利要求9或10所述的方法，其特征在于，所述编码网络包括骨干网络和特征金字塔网络；所述将训练图像输入到所述编码网络进行特征提取，得到多个第五特征图，包括：将所述训练图像输入到所述骨干网络对所述训练图像进行特征提取，得到多个第六特征图，其中，所述多个第六特征图的分辨率不同；将所述多个第六特征图输入到所述特征金字塔网络进行特征提取，得到所述多个第五特征图。12.根据权利要求9或10所述的方法，其特征在于，所述编码网络包括骨干网络、特征金字塔网络和编码器；所述将训练图像输入到所述编码网络进行特征提取，得到多个第五特征图，包括：将所述训练图像输入到所述骨干网络对所述训练图像进行特征提取，得到多个第六特征图，其中，所述多个第六特征图的分辨率不同；将所述多个第六特征图输入到所述特征金字塔网络进行特征提取，得到多个第七特征图，其中，所述多个第七特征图的分辨率不同；对目标第七特征图进行平铺，得到多个第三特征向量，所述目标第七特征图为所述多个第七特征图中分辨率小于第二阈值的第七特征图中的任意一个；将所述多个第三特征向量和初始位置编码输入到所述编码器进行编码，得到多个第四特征向量，其中，所述初始位置编码为初始化得到；按照对所述目标第七特征图进行平铺的逆顺序将所述多个第四特征向量进行组合，得到第八特征图；将所述第八特征图和所述多个第七特征图中除所述目标第七特征图之外的第七特征图作为所述多个第五特征图。13.一种目标检测装置，其特征在于，包括：获取单元和处理单元；所述获取单元，用于获取待检测图像；所述处理单元，用于对待检测图像进行特征提取，得到多个第一特征图，其中，所述多个第一特征图的分辨率不同；对目标第一特征图和多个目标参考向量进行注意力处理，得到多个第一参考向量，其中，所述目标第一特征图为所述多个第一特征图中分辨率小于第一阈值的第一特征图中的任意一个，每个所述目标参考向量用于表征一个物体的特征；根据所述多个第一参考向量进行目标检测，得到多个第一候选框和多个第一类别；
对所述多个第一候选框中的每个所述第一候选框对应的特征图和所述多个第一参考向量中的每个所述第一参考向量进行处理，得到多个第二参考向量，其中，每个所述第一候选框对应的特征图表征所述第一候选框在所述多个第一特征图中的至少一个第一特征图中所框选的特征，所述多个第一候选框和所述多个第一参考向量一一对应；根据所述多个第二参考向量和所述多个第一候选框，得到多个第二候选框；基于所述多个第二候选框和所述多个第一类别，得到所述待检测图像的目标检测结果。14.根据权利要求13所述的装置，其特征在于，在所述处理单元基于所述多个第二候选框和所述多个第一类别，得到所述待检测图像的目标检测结果之前，所述处理单元，还用于：对所述目标第一特征图和所述多个第二参考向量进行注意力处理，得到多个第三参考向量；根据所述多个第三参考向量和所述多个第二候选框，得到多个第三候选框和多个第二类别；对所述多个第三候选框中的每个所述第三候选框对应的特征图和所述多个第三参考向量中的每个第三参考向量进行处理，得到多个第四参考向量，其中，每个所述第三候选框对应的特征图表征所述第三候选框在所述多个第一特征图中的至少一个第一特征图中所框选的特征，所述多个第三候选框和所述多个第三参考向量一一对应；根据所述多个第四参考向量和所述多个第三候选框，得到多个第四候选框；所述基于所述多个第二候选框和所述多个第一类别，得到所述待检测图像的目标检测结果，包括：基于所述多个第四候选框和所述多个第二类别，得到所述待检测图像的目标检测结果。15.根据权利要求13或14所述的装置，其特征在于，在所述处理单元对待检测图像进行特征提取，得到多个第一特征图方面，所述处理单元，具体用于：将所述待检测图像输入到骨干网络进行特征提取，得到多个第二特征图，其中，所述多个第二特征图的分辨率不同；将所述多个第二特征图输入到特征金字塔网络进行特征提取，得到所述多个第一特征图。16.根据权利要求13或14所述的装置，其特征在于，在所述处理单元对待检测图像进行特征提取，得到多个第一特征图方面，所述处理单元，具体用于：将所述待检测图像输入到骨干网络进行特征提取，得到多个第二特征图，其中，所述多个第二特征图的分辨率不同；将所述多个第二特征图输入到特征金字塔网络进行特征提取，得到多个第三特征图，其中，所述多个第三特征图的分辨率不同；对目标第三特征图进行平铺，得到多个第一特征向量，所述目标第三特征图为所述多个第三特征图中分辨率小于第二阈值的第三特征图中的任意一个；将所述多个第一特征向量和目标位置编码输入到编码器进行编码，得到多个第二特征向量，所述目标位置编码用于表征所述待检测图像中各个像素点之间的空间关系；
按照对所述目标第三特征图进行平铺的逆顺序将所述多个第二特征向量进行组合，得到第四特征图；将所述第四特征图和所述多个第三特征图中除所述目标第三特征图之外的第三特征图作为所述多个第一特征图。17.一种神经网络训练装置，其特征在于，所述神经网络用于目标检测，所述神经网络包括编码网络和解码网络，所述神经网络训练装置包括获取单元和处理单元；所述获取单元，用于获取训练图像；所述处理单元，用于将训练图像输入到所述编码网络进行特征提取，得到多个第五特征图，其中，所述多个第五特征图的分辨率不同；将目标第五特征图和初始参考向量输入到所述第一解码层进行目标检测，得到多个第六候选框和多个第三类别，其中，所述目标第五特征图为所述多个第五特征图中分辨率小于第一阈值的第五特征图中的任意一个，所述多个初始参考向量为初始化得到；其中，所述第一解码层，用于对所述目标第五特征图和所述多个初始参考向量进行处理，得到多个第五参考向量；对所述多个第五参考向量进行目标检测，得到多个第五候选框和所述多个第三类别；对所述多个第五候选框中每个所述第五候选框对应的特征图和所述多个第五参考向量中的第五参考向量进行处理，得到多个第六参考向量，其中，每个所述第五候选框对应的特征图表征所述第五候选框在所述多个第五特征图中的至少一个第五特征图中所框选的特征；基于所述多个第六参考向量和所述多个第五候选框，得到所述多个第六候选框，所述多个第五候选框和所述多个第五参考向量一一对应；根据所述多个第五候选框、所述多个第六候选框、所述多个第三类别以及所述训练图像的标签，对所述神经网络进行训练。18.根据权利要求17所述的装置，其特征在于，所述解码网络还包括第二解码层；在所述处理单元根据所述多个第五候选框、所述多个第六候选框、所述多个第三类别以及所述训练图像的标签，对所述神经网络进行训练之前，所述处理单元，还用于：将所述目标第五特征图、所述多个第六参考向量以及所述多个第六候选框输入到所述第二解码层进行目标检测，得到多个第八候选框和第四类别；其中，所述第二解码层，用于对所述目标第五特征图和所述多个第六参考向量进行注意力处理，得到多个第七参考向量；基于所述多个第七参考向量以及所述多个第六候选框，得到多个第七候选框和所述多个第四类别；对所述多个第七候选框中每个所述第七候选框对应的特征图和所述多个第七参考向量中的每个第七参考向量进行处理，得到多个第八参考向量，其中，每个所述第七候选框对应的特征图表征所述第七候选框在所述多个第五特征图中的至少一个第五特征图中所框选的特征；基于所述多个第八参考向量和所述多个第七候选框，得到所述多个第八候选框；所述根据所述多个第五候选框、所述多个第六候选框、所述多个第三类别以及所述训练图像的标签，对所述神经网络进行训练，包括：根据所述多个第五候选框、所述多个第六候选框、所述多个第三类别、所述多个第七候选框、所述多个第八候选框、所述多个第四类别以及所述训练图像的标签，对所述神经网络进行训练。
19.根据权利要求17或18所述的装置，其特征在于，所述编码网络包括骨干网络和特征金字塔网络；在所述处理单元将训练图像输入到所述编码网络进行特征提取，得到多个第五特征图方面，所述处理单元，具体用于：将所述训练图像输入到所述骨干网络对所述训练图像进行特征提取，得到多个第六特征图，其中，所述多个第六特征图的分辨率不同；将所述多个第六特征图输入到所述特征金字塔网络进行特征提取，得到所述多个第五特征图。20.根据权利要求17或18所述的装置，其特征在于，所述编码网络包括骨干网络、特征金字塔网络和编码器；在所述将训练图像输入到所述编码网络进行特征提取，得到多个第五特征图方面，所述处理单元，具体用于：将所述训练图像输入到所述骨干网络对所述训练图像进行特征提取，得到多个第六特征图，其中，所述多个第六特征图的分辨率不同；将所述多个第六特征图输入到所述特征金字塔网络进行特征提取，得到多个第七特征图，其中，所述多个第七特征图的分辨率不同；对目标第七特征图进行平铺，得到多个第三特征向量，所述目标第七特征图为所述多个第七特征图中分辨率小于第二阈值的第七特征图中的任意一个；将所述多个第三特征向量和初始位置编码输入到所述编码器进行编码，得到多个第四特征向量，其中，所述初始位置编码为初始化得到；按照对所述目标第七特征图进行平铺的逆顺序将所述多个第四特征向量进行组合，得到第八特征图；将所述第八特征图和所述多个第七特征图中除所述目标第七特征图之外的第七特征图作为所述多个第五特征图。21.一种电子设备，其特征在于，包括：存储器，用于存储程序；处理器，用于执行存储器存储的程序；当存储器存储的程序被执行时，处理器用于实现权利要求5
‑
8或权利要求9
‑
12中任一项所述的方法。22.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储用于设备执行的程序代码，所述程序代码包括用于实现权利要求5
‑
8或权利要求9
‑
12中任一项所述的方法。23.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机实现权利要求5
‑
8或权利要求9
‑
12中任一项所述的方法。

技术总结
本申请实施例公开了一种用于目标检测的神经网络、目标检测方法、神经网络训练方法及相关产品，该用于目标检测的神经网络包括编码网络和解码网络，解码网络包括第一解码层；编码网络，用于对待检测图像进行特征提取，得到多个第一特征图；第一解码层，用于对目标第一特征图和多个目标参考向量进行注意力处理，得到多个第一参考向量；对多个第一参考向量进行目标检测，得到多个第一候选框和多个第一类别；对多个第一候选框中的每个所述第一候选框对应的特征图和多个第一参考向量中的每个第一参考向量进行处理，得到多个第二参考向量；基于多个第二参考向量和多个第一候选框，得到多个第二候选框。本申请实施例有利于提高目标检测精度。检测精度。检测精度。


技术研发人员：曹锡鹏 袁鹏 冯柏岚
受保护的技术使用者：华为技术有限公司
技术研发日：2021.08.11
技术公布日：2021/12/17