目标分割追踪方法、装置、电子设备和存储介质与流程

技术特征：
1.一种目标分割追踪方法，其特征在于，所述方法包括：获取待处理图像；通过卷积神经网络对所述待处理图像进行卷积编码，获得所述待处理图像的特征金字塔；根据所述特征金字塔对所述待处理图像中的各个目标的类别和位置进行预测，并基于各个目标的类别和位置计算各个目标的形心坐标；针对所述待处理图像中的每一个目标，根据所述特征金字塔对所述目标的轮廓进行回归，并基于所述形心坐标计算所述目标的多个轮廓点的坐标；针对每一个目标，根据所述特征金字塔和所述目标的各个轮廓点的坐标生成所述目标的追踪向量；通过匈牙利匹配算法对连续多帧待处理图像中的所述目标的追踪向量进行匹配，获得所述目标的追踪id。2.根据权利要求1所述的方法，其特征在于，通过卷积神经网络对所述待处理图像进行卷积编码，获得所述待处理图像的特征金字塔，包括：使用卷积神经网络对所述待处理图像进行卷积编码和多次下采样，获得所述待处理图像的多个不同尺度的第一特征图；对所述待处理图像的最小尺度的第一特征图进行卷积和多次上采样，以获得所述待处理图像的多个不同尺度的第二特征图；将相同尺度的第一特征图和第二特征图进行拼接，获得所述待处理图像的特征金字塔。3.根据权利要求1所述的方法，其特征在于，根据所述特征金字塔对所述待处理图像中的各个目标的类别和位置进行预测，并基于各个目标的类别和位置计算各个目标的形心坐标，包括：通过目标类别预测模型对所述特征金字塔进行处理，获得多尺度热力图预测结果，所述多尺度热力图预测结果用于表征各个所述目标在特征图上的位置和类别；通过多尺度热力图预测结果获得各个类别的热力图，其中，所述热力图包括多个同类别的目标；将所述热力图中热力值最大的点作为各个目标的形心，获得各个目标的形心坐标。4.根据权利要求1所述的方法，其特征在于，针对所述待处理图像中的每一个目标，根据所述特征金字塔对所述目标的轮廓进行回归，并基于所述形心坐标计算所述目标的多个轮廓点的坐标，包括：针对每一个目标，基于所述目标的形心为所述目标构建坐标系，其中，所述目标的形心为所述目标的坐标系中的原点；根据所述目标的轮廓获得所述目标的多个轮廓点，并基于所述目标的形心坐标分别计算各个轮廓点的坐标。5.根据权利要求1所述的方法，其特征在于，针对每一个目标，根据所述特征金字塔和所述目标的各个轮廓点的坐标生成所述目标的追踪向量，包括：针对每一个目标，根据所述目标的各个轮廓点的坐标及所述目标的形心坐标计算获得所述目标的掩膜图像；
根据所述目标的掩膜图像及所述特征金字塔获取所述掩膜图像的特征图；将所述掩膜图像的特征图输入至全连接层，获得所述目标的追踪向量。6.根据权利要求5所述的方法，其特征在于，针对每一个目标，根据所述特征金字塔和所述目标的各个轮廓点的坐标生成所述目标的追踪向量，还包括：通过tripletloss对各个目标的追踪向量进行优化。7.一种目标分割追踪装置，其特征在于，所述装置包括：图像获取模块，用于获取待处理图像；卷积模块，用于通过卷积神经网络对所述待处理图像进行卷积编码，获得所述待处理图像的特征金字塔；形心计算模块，用于根据所述特征金字塔对所述待处理图像中的各个目标的类别和位置进行预测，并基于各个目标的类别和位置计算各个目标的形心坐标；目标轮廓计算模块，用于针对所述待处理图像中的每一个目标，根据所述特征金字塔对所述目标的轮廓进行回归，并基于所述形心坐标计算所述目标的多个轮廓点的坐标；追踪向量计算模块，用于针对每一个目标，根据所述特征金字塔和所述目标的各个轮廓点的坐标生成所述目标的追踪向量；匹配模块，用于通过匈牙利匹配算法对连续多帧待处理图像中的所述目标的追踪向量进行匹配，获得所述目标的追踪id。8.根据权利要求7所述的装置，其特征在于，所述卷积模块具体用于：使用卷积神经网络对所述待处理图像进行卷积编码和多次下采样，获得所述待处理图像的多个不同尺度的第一特征图；对所述待处理图像的最小尺度的第一特征图进行卷积和多次上采样，以获得所述待处理图像的多个不同尺度的第二特征图；将相同尺度的第一特征图和第二特征图进行拼接，获得所述待处理图像的特征金字塔。9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储器之间通过所述总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1
‑
6任一项所述的目标分割追踪方法。10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1
‑
6任一项所述的目标分割追踪方法。

技术总结
本申请实施例提供了一种多目标分割追踪方法、装置、电子设备和存储介质，首先通过卷积神经网络对待处理图像进行卷积编码并构建特征金字塔；根据特征金字塔对各个目标的类别和位置进行预测，并计算各个目标的形心坐标；然后对各个目标的轮廓进行回归，并基于形心坐标计算各个目标的轮廓点的坐标；根据轮廓点的坐标生成目标的追踪向量；最后对连续帧中的各个目标的追踪向量进行匹配，获得各个目标的追踪ID。本申请实施例基于形心坐标预测目标的轮廓点的坐标，并计算目标追踪向量，将复杂的多目标分割追踪问题转化为目标形心的定位、轮廓和追踪向量的生成问题，简化了模型预测难度和学习难度，提升了模型总体的推算速度。提升了模型总体的推算速度。提升了模型总体的推算速度。


技术研发人员：欧阳真超 董晓云 崔家赫 果泽龄 牛建伟
受保护的技术使用者：北京航空航天大学杭州创新研究院
技术研发日：2021.08.23
技术公布日：2021/12/14