图像检测方法和图像检测模型的训练方法、装置与流程

技术特征：
1.一种图像检测方法，包括：提取待处理图像的特征，获得多个尺度下的多个图像特征，其中，每个图像特征中包括至少两个像素级特征；针对所述多个图像特征中包括的多个像素级特征，确定所述多个像素级特征各自的重要度；根据所述重要度对所述多个图像特征进行解码，得到分别对应所述多个图像特征的多个解码特征；以及根据所述多个解码特征，确定针对所述待处理图像的检测结果。2.根据权利要求1所述的方法，其中，所述针对所述多个图像特征中包括的多个像素级特征，确定所述多个像素级特征各自的重要度包括：对所述多个图像特征进行维度变换，得到分别对应所述多个图像特征的多个一维特征；拼接所述多个一维特征，得到级联特征；以及对所述级联特征进行非线性处理，得到分别对应所述多个图像特征的多个重要度向量，其中，所述多个重要度向量中的每个重要度向量包括：所述级联特征中的多个像素级特征对于所述每个重要度向量所对应的图像特征的多个重要度。3.根据权利要求2所述的方法，其中，根据所述重要度对所述多个图像特征进行解码，得到分别对应所述多个图像特征的多个解码特征包括：针对所述每个图像特征，根据所述重要度确定所述级联特征中针对所述每个图像特征的目标比例的目标特征；以及根据所述目标特征和所述每个图像特征，确定针对所述每个图像特征的解码特征。4.根据权利要求3所述的方法，其中，所述根据所述目标特征和所述每个图像特征，确定针对所述每个图像特征的解码特征包括：以所述目标特征作为键特征和值特征，以所述每个图像特征作为查询特征，采用多头交叉注意力机制得到针对所述每个图像特征的解码特征。5.根据权利要求1所述的方法，其中，所述根据所述多个解码特征，确定针对所述待处理图像的检测结果包括：融合所述多个解码特征，得到针对所述待处理图像的融合特征；以及根据所述融合特征，确定所述检测结果。6.根据权利要求1所述的方法，其中，所述提取待处理图像的特征，获得多个尺度下的多个图像特征包括：对所述待处理图像提取n个尺度下的特征，得到尺寸依次减小的n个初始特征；针对所述n个初始特征中的第i个初始特征，融合所述第i个初始特征和所述n个初始特征中的第(i 1)个初始特征，得到所述多个图像特征中的第i个图像特征；以及根据所述n个初始特征中的第n个初始特征，确定所述多个图像特征中的第n个图像特征，其中，i的取值区间为[1，n-1]，所述多个图像特征的数目为n个，n为大于1的整数。7.一种图像检测模型的训练方法，其中，所述图像检测模型包括特征提取网络、预测网
络、解码网络和检测网络；所述方法包括：将样本图像输入所述特征提取网络，得到多个尺度下的多个图像特征；其中，所述样本图像包括实际检测结果，每个图像特征包括至少两个像素级特征；将所述多个图像特征中包括的多个像素级特征输入所述预测网络，得到所述多个像素级特征各自的重要度；将所述重要度和所述多个图像特征输入所述解码网络，得到分别对应所述多个图像特征的多个解码特征；将所述多个解码特征输入所述检测网络，得到针对所述样本图像的预测检测结果；以及根据所述预测检测结果和所述实际检测结果，对所述图像检测模型进行训练。8.根据权利要求7所述的方法，其中，所述预测网络包括变换子网络和预测子网络；所述将所述多个图像特征中包括的多个像素级特征输入所述预测网络，得到所述多个像素级特征各自的重要度包括：将所述多个图像特征输入所述变换子网络进行维度变换，并对维度变换得到的多个一维特征进行拼接，得到级联特征；以及将所述级联特征输入所述预测子网络进行非线性处理，得到重要度矩阵，其中，所述重要度矩阵由分别对应所述多个图像特征的多个重要度向量构成，所述多个重要度向量中的每个重要度向量包括：所述级联特征中的多个像素级特征对于所述每个重要度向量所对应的图像特征的多个重要度。9.根据权利要求8所述的方法，其中，所述解码网络包括决策子网络和解码子网络；所述将所述重要度和所述多个图像特征输入所述解码网络，得到分别对应所述多个图像特征的多个解码特征包括：将所述重要度矩阵输入所述决策子网络，得到与所述多个重要度向量分别对应的多个决策特征，作为分别针对所述多个图像特征的决策特征；以及针对所述每个图像特征：根据针对所述每个图像特征的决策特征、所述每个图像特征和所述级联特征，采用所述解码子网络得到对应所述每个图像特征的解码特征，其中，针对所述每个图像特征的决策特征指示所述级联特征包括的各个像素级特征是否被选择。10.根据权利要求9所述的方法，其中，根据针对所述每个图像特征的决策特征、所述每个图像特征和所述级联特征，采用所述解码子网络得到对应所述每个图像特征的解码特征包括：根据针对所述每个图像特征的决策特征，确定针对所述每个图像特征的掩膜特征；以及将所述掩膜特征、所述每个图像特征和所述级联特征输入所述解码子网络，采用多头交叉注意力机制得到对应所述每个图像特征的解码特征。11.根据权利要求10所述的方法，其中，采用多头交叉注意力机制得到对应所述每个图像特征的解码特征包括：以所述每个图像特征作为查询特征，以所述级联特征作为键特征，得到初始得分特征；根据所述掩膜特征对所述初始得分特征进行调整，得到调整后得分特征；以及
以所述级联特征作为值特征，根据所述调整后得分特征得到对应所述每个图像特征的解码特征。12.根据权利要求8所述的方法，其中，根据所述预测检测结果和所述实际检测结果，对所述图像检测模型进行训练包括：根据所述预测检测结果与所述实际检测结果的差异，确定所述图像检测模型的第一损失；针对所述多个重要度向量中的每个向量，确定所述每个向量中元素的平均值，得到多个平均值；根据所述多个平均值与目标比例之间的差异，确定所述图像检测模型的第二损失；以及根据所述第一损失和所述第二损失，对所述图像检测模型进行训练。13.一种图像检测装置，包括：特征提取模块，用于提取待处理图像的特征，获得多个尺度下的多个图像特征，其中每个图像特征中包括至少两个像素级特征；重要度确定模块，用于针对所述多个图像特征中包括的多个像素级特征，确定所述多个像素级特征各自的重要度；解码模块，用于根据所述重要度对所述多个图像特征进行解码，得到分别对应所述多个图像特征的多个解码特征；以及检测确定模块，用于根据所述多个解码特征，确定针对所述待处理图像的检测结果。14.根据权利要求13所述的装置，其中，所述重要度确定模块包括：变换子模块，用于对所述多个图像特征进行维度变换，得到分别对应所述多个图像特征的多个一维特征；拼接子模块，用于拼接所述多个一维特征，得到级联特征；以及处理子模块，用于对所述级联特征进行非线性处理，得到分别对应所述多个图像特征的多个重要度向量，其中，所述多个重要度向量中的每个重要度向量包括：所述级联特征中的多个像素级特征对于所述每个重要度向量所对应的图像特征的多个重要度。15.根据权利要求14所述的装置，其中，所述解码模块包括：第一特征确定子模块，用于针对所述每个图像特征，根据所述重要度确定所述级联特征中针对所述每个图像特征的目标比例的目标特征；以及解码子模块，用于根据所述目标特征和所述每个图像特征，确定针对所述每个图像特征的解码特征。16.根据权利要求15所述的装置，其中，所述解码子模块用于：以所述目标特征作为键特征和值特征，以所述每个图像特征作为查询特征，采用多头交叉注意力机制得到针对所述每个图像特征的解码特征。17.根据权利要求13所述的装置，其中，所述检测确定模块包括：第一融合子模块，用于融合所述多个解码特征，得到针对所述待处理图像的融合特征；以及检测子模块，用于根据所述融合特征，确定所述检测结果。
18.根据权利要求13所述的装置，其中，所述特征提取模块包括：特征提取子模块，用于对所述待处理图像提取n个尺度下的特征，得到尺寸依次减小的n个初始特征；第二融合子模块，用于针对所述n个初始特征中的第i个初始特征，融合所述第i个初始特征和所述n个初始特征中的第(i 1)个初始特征，得到所述多个图像特征中的第i个图像特征；以及第二特征确定子模块，用于根据所述n个初始特征中的第n个初始特征，确定所述多个图像特征中的第n个图像特征，其中，i的取值区间为[1，n-1]，所述多个图像特征的数目为n个，n为大于1的整数。19.一种图像检测模型的训练装置，其中，所述图像检测模型包括特征提取网络、预测网络、解码网络和检测网络；所述装置包括：特征提取模块，用于将样本图像输入所述特征提取网络，得到多个尺度下的多个图像特征；其中，所述样本图像包括实际检测结果，每个图像特征包括至少两个像素级特征；重要度确定模块，用于将所述多个图像特征中包括的多个像素级特征输入所述预测网络，得到所述多个像素级特征各自的重要度；解码模块，用于将所述重要度和所述多个图像特征输入所述解码网络，得到分别对应所述多个图像特征的多个解码特征；检测确定模块，用于将所述多个解码特征输入所述检测网络，得到针对所述样本图像的预测检测结果；以及模型训练模块，用于根据所述预测检测结果和所述实际检测结果，对所述图像检测模型进行训练。20.根据权利要求19所述的装置，其中，所述预测网络包括变换子网络和预测子网络；所述重要度确定模块包括：变换子模块，用于将所述多个图像特征输入所述变换子网络进行维度变换，并对维度变换得到的多个一维特征进行拼接，得到级联特征；以及处理子模块，用于将所述级联特征输入所述预测子网络进行非线性处理，得到重要度矩阵，其中，所述重要度矩阵由分别对应所述多个图像特征的多个重要度向量构成，所述多个重要度向量中的每个重要度向量包括：所述级联特征中的多个像素级特征对于所述每个重要度向量所对应的图像特征的多个重要度。21.根据权利要求20所述的装置，其中，所述解码网络包括决策子网络和解码子网络；所述解码模块包括：决策确定子模块，用于将所述重要度矩阵输入所述决策子网络，得到与所述多个重要度向量分别对应的多个决策特征，作为分别针对所述多个图像特征的决策特征；以及解码子模块，用于针对所述每个图像特征：根据针对所述每个图像特征的决策特征、所述每个图像特征和所述级联特征，采用所述解码子网络得到对应所述每个图像特征的解码特征，其中，针对所述每个图像特征的决策特征指示所述级联特征包括的各个像素级特征是否被选择。
22.根据权利要求21所述的装置，其中，所述解码子模块包括：掩膜确定单元，用于根据针对所述每个图像特征的决策特征，确定针对所述每个图像特征的掩膜特征；以及解码单元，用于将所述掩膜特征、所述每个图像特征和所述级联特征输入所述解码子网络，采用多头交叉注意力机制得到对应所述每个图像特征的解码特征。23.根据权利要求22所述的装置，其中，所述解码单元包括：得分确定子单元，用于以所述每个图像特征作为查询特征，以所述级联特征作为键特征，得到初始得分特征；调整子单元，用于根据所述掩膜特征对所述初始得分特征进行调整，得到调整后得分特征；以及解码子单元，用于以所述级联特征作为值特征，根据所述调整后得分特征得到对应所述每个图像特征的解码特征。24.根据权利要求19所述的装置，其中，所述模型训练模块包括：第一损失确定子模块，用于根据预测检测结果与所述实际检测结果的差异，确定所述图像检测模型的第一损失；平均值确定子模块，用于针对所述多个重要度向量中的每个向量，确定所述每个向量中元素的平均值，得到多个平均值；第二损失确定子模块，用于根据所述多个平均值与目标比例之间的差异，确定所述图像检测模型的第二损失；以及训练子模块，用于根据所述第一损失和所述第二损失，对所述图像检测模型进行训练。25.一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1～12中任一项所述的方法。26.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1～12中任一项所述的方法。27.一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令在被处理器执行时实现根据权利要求1～12中任一项所述方法的步骤。

技术总结
本公开提供了一种图像检测方法和图像检测模型的训练方法、装置、电子设备、存储介质，涉及人工智能领域，具体涉及深度学习领域和计算机视觉领域。图像检测方法的具体实现方式为：提取待处理图像的特征，获得多个尺度下的多个图像特征，其中每个图像特征中包括至少两个像素级特征；针对多个图像特征中包括的多个像素级特征，确定多个像素级特征各自的重要度；根据重要度对多个图像特征进行解码，得到分别对应多个图像特征的多个解码特征；以及根据多个解码特征，确定针对待处理图像的检测结果。果。果。


技术研发人员：伍天意 朱欤 郭国栋
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：2022.01.18
技术公布日：2022/4/29