基于视频的图像分割方法、分割模型的训练方法以及设备与流程

技术特征：
1.一种基于视频的图像分割方法，所述方法包括：获取第一图像和第二图像，其中，所述第二图像为当前帧图像，所述第一图像为时间位于所述第二图像之前的图像；将所述第一图像输入至分割模型的第一模型中，得到所述第一图像的图像特征，并将所述图像特征存储至所述分割模型的存储池中，得到第一特征；其中，所述第一特征包括多帧图像的图像特征，所述多帧图像中的图像均为时间位于所述第二图像之前的图像，所述多帧图像中的每帧图像均标注出目标对象；将所述第二图像输入至所述分割模型的第二模型中，得到所述第二图像的第二特征；其中，所述第一模型和所述第二模型为孪生网络下的两个模型；基于所述分割模型对所述第一特征和所述第二特征进行编解码处理，得到所述第二图像的分割图像，其中，所述第二图像的分割图像被标注出目标对象。2.根据权利要求1所述的方法，基于所述分割模型对所述第一特征和所述第二特征进行编解码处理，得到所述第二图像的分割图像，包括：将所述第一特征输入至所述分割模型中的特征编码器中，得到编码特征；并将所述第二特征输入至所述分割模型的特征解码器中，得到解码特征；基于所述分割模型对所述编码特征和所述解码特征进行处理，得到所述第二图像的分割图像。3.根据权利要求2所述的方法，基于所述分割模型对所述编码特征和所述解码特征进行处理，得到所述第二图像的分割图像，包括：对所述编码特征和所述解码特征进行卷积处理，得到待处理特征；基于所述分割模型的分割解码器对所述待处理特征进行处理，得到所述第二图像的分割图像。4.根据权利要求3所述的方法，将所述第一特征输入至所述分割模型中的特征编码器中，得到编码特征，包括：将所述第一特征输入至所述分割模型中的特征编码器中，对所述第一特征进行特征建模处理，以将所述第一特征映射到多个维度上，得到增强后的第一特征；对所述增强后的第一特征进行卷积处理，得到所述编码特征；其中，所述编码特征的通道数少于所述增强后的第一特征的通道数。5.根据权利要求4所述的方法，将所述第二特征输入至所述分割模型的特征解码器中，得到解码特征，包括：将所述第二特征输入至所述分割模型的特征解码器中，对所述第二特征进行特征建模处理，以将所述第二特征映射到多个维度上，得到增强后的第二特征；对所述增强后的第二特征进行卷积处理，得到所述解码特征；其中，所述解码特征的通道数少于所述增强后的第二特征的通道数。6.根据权利要求5所述的方法，所述增强后的第一特征包括第一维度上的第一特征、第二维度上的第一特征、以及第三维度上的第一特征；所述增强后的第二特征包括第一维度上的第二特征、第二维度上的第二特征、以及第三维度上的第二特征；对所述增强后的第一特征进行卷积处理，得到所述编码特征，包括：对所述第一维度上的第一特征、所述第二维度上的第二特征、以及所述第三维度上的第二特征进行卷积处理，
得到所述编码特征；对所述增强后的第二特征进行卷积处理，得到所述解码特征，包括：对所述第一维度上第二特征、所述第二维度上的第一特征、以及融合特征进行卷积处理，得到所述解码特征；其中，所述融合特征包括所述多帧图像中各图像中的目标对象的特征、以及所述第一特征。7.根据权利要求6所述的方法，所述方法还包括：获取所述多帧图像中每一图像的目标对象的特征，对所述多帧图像中每一图像的目标对象的特征、以及所述第一特征进行融合处理，得到所述融合特征。8.根据权利要求6所述的方法，对所述第一特征进行特征建模处理，包括：基于所述特征编码器中的第一自注意力模型，对所述第一特征进行特征建模处理；对所述第一维度上的第一特征、所述第二维度上的第二特征、以及所述第三维度上的第二特征进行卷积处理，得到所述编码特征，包括：基于所述特征编码器中的第一交叉注意力模型对所述第一维度上的第一特征、所述第二维度上的第二特征、以及所述第三维度上的第二特征进行卷积处理，得到卷积处理后的特征；对该卷积处理后的特征进行残差连接处理和归一化处理，得到所述编码特征。9.根据权利要求6所述的方法，对所述第二特征进行特征建模处理，包括：基于所述特征解码器中的第二自注意力模型，对所述第二特征进行特征建模处理；对所述第一维度上第二特征、所述第二维度上的第一特征、以及融合特征进行卷积处理，得到所述解码特征，包括：基于所述特征解码器中的第二交叉注意力模型对所述第一维度上第二特征、所述第二维度上的第一特征、以及所述融合特征进行卷积处理，得到卷积处理后的特征；对该卷积处理后的特征进行残差连接处理和归一化处理，得到所述解码特征。10.根据权利要求3所述的方法，对所述编码特征和所述解码特征进行卷积处理，得到待处理特征，包括：基于所述特征解码器中的第三交叉注意力模型对所述编码特征和所述解码特征进行卷积处理，得到待处理特征。11.根据权利要求3所述的方法，基于所述分割模型的分割解码器对所述待处理特征进行处理，得到所述第二图像的分割图像，包括：基于所述分割模型的分割解码器对所述待处理特征、以及所述第二图像的层级特征中的c3特征进行卷积处理，得到所述第二图像的分割图像。12.根据权利要求11所述的方法，基于所述分割模型的分割解码器对所述待处理特征、以及所述第二图像的层级特征中的c3特征进行卷积处理，得到所述第二图像的分割图像，包括：基于所述分割模型的分割解码器对所述待处理特征、以及所述第二图像的层级特征中的c3特征进行卷积处理，得到第一输出特征；基于所述分割模型的分割解码器对所述第一输出特征、以及第二图像的层级特征中的c2特征进行卷积处理，得到第二输出特征；对所述第二输出特征进行卷积处理和分割处理，得到所述第二图像的分割图像。13.根据权利要求12所述的方法，基于所述分割模型的分割解码器对所述待处理特征、以及所述第二图像的层级特征中的c3特征进行卷积处理，得到第一输出特征，包括：基于所述分割模型的分割解码器对所述待处理特征进行上次采样处理，得到第一上采
样特征；其中，所述第一上采样特征的维度大于所述待处理特征的维度；将所述第一上采样特征、以及所述第二图像的层级特征中的c3特征进行特征融合，得到第一中间特征，并对所述第一中间特征进行卷积处理，得到第一输出特征；基于所述分割模型的分割解码器对所述第一输出特征、以及第二图像的层级特征中的c2特征进行卷积处理，得到第二输出特征，包括：基于所述分割模型的分割解码器对所述第一输出特征进行上次采样处理，得到第二上采样特征；其中，所述第二上采样特征的维度大于所述第一输出特征的维度；对所述第二上采样特征、以及所述第二图像的层级特征中的c2特征进行特征融合，得到第二中间特征，并对所述第二中间特征进行卷积处理，得到第二输出特征。14.根据权利要求13所述的方法，对所述第二输出特征进行卷积处理和分割处理，得到所述第二图像的分割图像，包括：对所述第二输出特征进行卷积处理和分割处理，得到初始分割图像；对所述初始分割图像进行上采样处理，得到所述第二图像的分割图像。15.根据权利要求3所述的方法，在基于所述分割模型的分割解码器对所述待处理特征进行处理，得到所述第二图像的分割图像之前，还包括：对所述待处理特征进行矩阵变换处理，得到变换后的待处理特征；其中，变换后的待处理特征为三维矩阵，变换前的待处理特征为二维矩阵。16.根据权利要求1-15任一项所述的方法，将所述第一图像输入至分割模型的第一模型中，得到所述第一图像的图像特征，包括：将所述第一图像输入至分割模型的第一模型中，输出所述第一图像的层级特征；确定所述第一图像的层级特征中的c4特征，为所述图像特征。17.根据权利要求16所述的方法，在将所述图像特征存储至所述分割模型的存储池中，得到第一特征之前，还包括：在图像的通道维度上对所述图像特征进行变换映射处理，得到处理后的图像特征；其中，处理后的图像特征的通道数少于处理前的图像特征的通道数。18.根据权利要求1-15任一项所述的方法，将所述第二图像输入至所述分割模型的第二模型中，得到所述第二图像的第二特征，包括：将所述第二图像输入至所述分割模型的第二模型中，输出所述第二图像的层级特征；在图像的通道维度上对所述第二图像的层级特征中的c4特征进行变换映射处理，得到所述第二特征；其中，所述第二特征的通道数少于所述第二图像的层级特征中的c4特征的通道数。19.一种用于图像分割的分割模型的训练方法，所述方法包括：重复以下各步骤，直至到预设条件：获取第一图像和第二图像，其中，所述第二图像为当前帧图像，所述第一图像为时间位于所述第二图像之前的图像；所述第二图像被标注出目标对象；将所述第一图像输入至初始模型的第一模型中，得到所述第一图像的图像特征，并将所述图像特征存储至所述初始模型的存储池中，得到第一特征；其中，所述第一特征包括多帧图像的图像特征，所述多帧图像中的图像均为时间位于所述第二图像之前的图像，所述多帧图像中的每帧图像均标注出目标对象；
将所述第二图像输入至所述初始模型的第二模型中，得到所述第二图像的第二特征；其中，所述第一模型和所述第二模型为孪生网络下的两个模型；基于所述初始模型对所述第一特征和所述第二特征进行编解码处理，得到所述第二图像的分割图像，其中，所述第二图像的分割图像被标注出目标对象；基于所述第二图像的分割图像和所述第二图像被标注出的目标对象，对所述初始模型进行参数调整；其中，达到预设条件时所得到的分割模型，用于对图像进行图像分割，以得到目标对象。20.根据权利要求19所述的方法，基于所述初始模型对所述第一特征和所述第二特征进行编解码处理，得到所述第二图像的分割图像，包括：将所述第一特征输入至所述初始模型中的特征编码器中，得到编码特征；并将所述第二特征输入至所述初始模型的特征解码器中，得到解码特征；基于所述初始模型对所述编码特征和所述解码特征进行处理，得到所述第二图像的分割图像。21.根据权利要求20所述的方法，基于所述初始模型对所述编码特征和所述解码特征进行处理，得到所述第二图像的分割图像，包括：对所述编码特征和所述解码特征进行卷积处理，得到待处理特征；基于所述初始模型的分割解码器对所述待处理特征进行处理，得到所述第二图像的分割图像。22.根据权利要求21所述的方法，将所述第一特征输入至所述初始模型中的特征编码器中，得到编码特征，包括：将所述第一特征输入至所述初始模型中的特征编码器中，对所述第一特征进行特征建模处理，以将所述第一特征映射到多个维度上，得到增强后的第一特征；对所述增强后的第一特征进行卷积处理，得到所述编码特征；其中，所述编码特征的通道数少于所述增强后的第一特征的通道数。23.根据权利要求22所述的方法，将所述第二特征输入至所述初始模型的特征解码器中，得到解码特征，包括：将所述第二特征输入至所述初始模型的特征解码器中，对所述第二特征进行特征建模处理，以将所述第二特征映射到多个维度上，得到增强后的第二特征；对所述增强后的第二特征进行卷积处理，得到所述解码特征；其中，所述解码特征的通道数少于所述增强后的第二特征的通道数。24.根据权利要求23所述的方法，所述增强后的第一特征包括第一维度上的第一特征、第二维度上的第一特征、以及第三维度上的第一特征；所述增强后的第二特征包括第一维度上的第二特征、第二维度上的第二特征、以及第三维度上的第二特征；对所述增强后的第一特征进行卷积处理，得到所述编码特征，包括：对所述第一维度上的第一特征、所述第二维度上的第二特征、以及所述第三维度上的第二特征进行卷积处理，得到所述编码特征；对所述增强后的第二特征进行卷积处理，得到所述解码特征，包括：对所述第一维度上第二特征、所述第二维度上的第一特征、以及融合特征进行卷积处理，得到所述解码特征；
其中，所述融合特征包括所述多帧图像中各图像中的目标对象的特征、以及所述第一特征。25.根据权利要求24所述的方法，所述方法还包括：获取所述多帧图像中每一图像的目标对象的特征，对所述多帧图像中每一图像的目标对象的特征、以及所述第一特征进行融合处理，得到所述融合特征。26.根据权利要求24所述的方法，对所述第一特征进行特征建模处理，包括：基于所述特征编码器中的第一自注意力模型，对所述第一特征进行特征建模处理；对所述第一维度上的第一特征、所述第二维度上的第二特征、以及所述第三维度上的第二特征进行卷积处理，得到所述编码特征，包括：基于所述特征编码器中的第一交叉注意力模型对所述第一维度上的第一特征、所述第二维度上的第二特征、以及所述第三维度上的第二特征进行卷积处理，得到卷积处理后的特征；对该卷积处理后的特征进行残差连接处理和归一化处理，得到所述编码特征。27.根据权利要求24所述的方法，对所述第二特征进行特征建模处理，包括：基于所述特征解码器中的第二自注意力模型，对所述第二特征进行特征建模处理；对所述第一维度上第二特征、所述第二维度上的第一特征、以及融合特征进行卷积处理，得到所述解码特征，包括：基于所述特征解码器中的第二交叉注意力模型对所述第一维度上第二特征、所述第二维度上的第一特征、以及所述融合特征进行卷积处理，得到卷积处理后的特征；对该卷积处理后的特征进行残差连接处理和归一化处理，得到所述解码特征。28.根据权利要求21所述的方法，对所述编码特征和所述解码特征进行卷积处理，得到待处理特征，包括：基于所述特征解码器中的第三交叉注意力模型对所述编码特征和所述解码特征进行卷积处理，得到待处理特征。29.根据权利要求21所述的方法，基于所述初始模型的分割解码器对所述待处理特征进行处理，得到所述第二图像的分割图像，包括：基于所述初始模型的分割解码器对所述待处理特征、以及所述第二图像的层级特征中的c3特征进行卷积处理，得到所述第二图像的分割图像。30.根据权利要求29所述的方法，基于所述初始模型的分割解码器对所述待处理特征、以及所述第二图像的层级特征中的c3特征进行卷积处理，得到所述第二图像的分割图像，包括：基于所述初始模型的分割解码器对所述待处理特征、以及所述第二图像的层级特征中的c3特征进行卷积处理，得到第一输出特征；基于所述初始模型的分割解码器对所述第一输出特征、以及第二图像的层级特征中的c2特征进行卷积处理，得到第二输出特征；对所述第二输出特征进行卷积处理和分割处理，得到所述第二图像的分割图像。31.根据权利要求30所述的方法，基于所述初始模型的分割解码器对所述第一输出特征、以及第二图像的层级特征中的c2特征进行卷积处理，得到第二输出特征，包括：基于所述初始模型的分割解码器对所述待处理特征进行上次采样处理，得到第一上采样特征；其中，所述第一上采样特征的维度大于所述待处理特征的维度；将所述第一上采样特征、以及所述第二图像的层级特征中的c3特征进行特征融合，得到第一中间特征，并对所述第一中间特征进行卷积处理，得到第一输出特征；
基于所述初始模型的分割解码器对所述第一输出特征、以及第二图像的层级特征中的c2特征进行卷积处理，得到第二输出特征，包括：基于所述初始模型的分割解码器对所述第一输出特征进行上次采样处理，得到第二上采样特征；其中，所述第二上采样特征的维度大于所述第一输出特征的维度；对所述第二上采样特征、以及所述第二图像的层级特征中的c2特征进行特征融合，得到第二中间特征，并对所述第二中间特征进行卷积处理，得到第二输出特征。32.根据权利要求31所述的方法，对所述第二输出特征进行卷积处理和分割处理，得到所述第二图像的分割图像，包括：对所述第二输出特征进行卷积处理和分割处理，得到初始分割图像；对所述初始分割图像进行上采样处理，得到所述第二图像的分割图像。33.根据权利要求21所述的方法，在基于所述初始模型的分割解码器对所述待处理特征进行处理，得到所述第二图像的分割图像之前，还包括：对所述待处理特征进行矩阵变换处理，得到变换后的待处理特征；其中，变换后的待处理特征为三维矩阵，变换前的待处理特征为二维矩阵。34.根据权利要求19-33任一项所述的方法，将所述第一图像输入至初始模型的第一模型中，得到所述第一图像的图像特征，包括：将所述第一图像输入至初始模型的第一模型中，输出所述第一图像的层级特征；确定所述第一图像的层级特征中的c4特征，为所述图像特征。35.根据权利要求34所述的方法，在将所述图像特征存储至所述初始模型的存储池中，得到第一特征之前，还包括：在图像的通道维度上对所述图像特征进行变换映射处理，得到处理后的图像特征；其中，处理后的图像特征的通道数少于处理前的图像特征的通道数。36.根据权利要求19-33任一项所述的方法，将所述第二图像输入至所述初始模型的第二模型中，得到所述第二图像的第二特征，包括：将所述第二图像输入至所述初始模型的第二模型中，输出所述第二图像的层级特征；在图像的通道维度上对所述第二图像的层级特征中的c4特征进行变换映射处理，得到所述第二特征；其中，所述第二特征的通道数少于所述第二图像的层级特征中的c4特征的通道数。37.根据权利要求19-33任一项所述的方法，基于所述第二图像的分割图像和所述第二图像被标注出的目标对象，对所述初始模型进行参数调整，包括：基于损失函数对所述第二图像的分割图像和所述第二图像被标注出的目标对象进行计算处理，得到计算结果；基于计算结果对所述初始模型进行参数调整。38.根据权利要求19-33任一项所述的方法，所述预设条件为以下的任意一种：迭代次数大于预设次数阈值、每一第二图像的分割图像中的目标对象与每一第二图像被标注出的目标对象一致。39.一种基于视频的图像分割装置，所述装置包括：第一获取单元，用于获取第一图像和第二图像，其中，所述第二图像为当前帧图像，所述第一图像为时间位于所述第二图像之前的图像；第一处理单元，用于将所述第一图像输入至分割模型的第一模型中，得到所述第一图
像的图像特征；存储单元，用于将所述图像特征存储至所述分割模型的存储池中，得到第一特征；其中，所述第一特征包括多帧图像的图像特征，所述多帧图像中的图像均为时间位于所述第二图像之前的图像，所述多帧图像中的每帧图像均标注出目标对象；第二处理单元，用于将所述第二图像输入至所述分割模型的第二模型中，得到所述第二图像的第二特征；其中，所述第一模型和所述第二模型为孪生网络下的两个模型；第三处理单元，用于基于所述分割模型对所述第一特征和所述第二特征进行编解码处理，得到所述第二图像的分割图像，其中，所述第二图像的分割图像被标注出目标对象。40.一种用于图像分割的分割模型的训练装置，所述装置包括：执行单元，用于重复以下各步骤，直至到预设条件：第一获取单元，用于获取第一图像和第二图像，其中，所述第二图像为当前帧图像，所述第一图像为时间位于所述第二图像之前的图像；所述第二图像被标注出目标对象；第一处理单元，用于将所述第一图像输入至初始模型的第一模型中，得到所述第一图像的图像特征；存储单元，用于将所述图像特征存储至所述初始模型的存储池中，得到第一特征；其中，所述第一特征包括多帧图像的图像特征，所述多帧图像中的图像均为时间位于所述第二图像之前的图像，所述多帧图像中的每帧图像均标注出目标对象；第二处理单元，用于将所述第二图像输入至所述初始模型的第二模型中，得到所述第二图像的第二特征；其中，所述第一模型和所述第二模型为孪生网络下的两个模型；第三处理单元，用于基于所述初始模型对所述第一特征和所述第二特征进行编解码处理，得到所述第二图像的分割图像，其中，所述第二图像的分割图像被标注出目标对象；调整单元，用于基于所述第二图像的分割图像和所述第二图像被标注出的目标对象，对所述初始模型进行参数调整；其中，达到预设条件时所得到的分割模型，用于对图像进行图像分割，以得到目标对象。41.一种电子设备，包括：存储器，处理器；存储器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为如权利要求1-18任一项所述的方法，或者，所述处理器被配置为如权利要求19-38任一项所述的方法。42.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-18任一项所述的方法，或者，所述计算机执行指令被处理器执行时用于实现如权利要求19-38任一项所述的方法。43.一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现权利要求1-18中任一项所述的方法，或者，该计算机程序被处理器执行时实现权利要求19-38中任一项所述的方法。

技术总结
本申请实施例提供一种基于视频的图像分割方法、分割模型的训练方法以及设备，涉及图像技术领域和视频技术领域，其中，该方法包括：获取第一图像和第二图像，将第一图像输入至分割模型的第一模型中，得到第一图像的图像特征；将图像特征存储至分割模型的存储池中，得到第一特征；第一特征包括多帧图像的图像特征，多帧图像中的每帧图像均标注出目标对象；将第二图像输入至分割模型的第二模型中，得到第二图像的第二特征；第一模型和第二模型为孪生网络下的两个模型；基于分割模型对第一特征和第二特征进行编解码处理，得到第二图像的分割图像。避免了特征的重复提取，可以将特征进行复用，降低了图像分割的计算量，提高了图像分割的效率和速度。分割的效率和速度。分割的效率和速度。


技术研发人员：陶大程 兰猛
受保护的技术使用者：京东科技信息技术有限公司
技术研发日：2021.12.09
技术公布日：2022/2/24