集成交互式图像分割的制作方法

技术特征：
1.一种计算机实现的方法，所述方法包括：接收与图像的交互；基于所述交互，执行所述图像的分割以生成概率分布图；将所述图像的特征图与所述概率分布图、以及与先前概率分布图组合，所述先前概率分布图是基于所述图像的先前分割而被生成的；以及基于与所述概率分布图、以及与所述先前概率分布图组合的所述特征图的连结来生成分割掩模。2.根据权利要求1所述的计算机实现的方法，还包括：生成针对所述图像的所述特征图；以及将移除信息合并到所述特征图中，所述移除信息基于所述交互是移除交互，所述移除交互指示用于从所述分割掩模排除的所述图像的对象、特征和部分。3.根据权利要求1所述的计算机实现的方法，还包括：确定要用于所述分割的图像分割方法，其中所述图像分割方法是基于所述交互的。4.根据权利要求1所述的计算机实现的方法，其中使用神经网络，将所述图像的所述特征图与所述概率分布图、以及与所述先前概率分布图组合，以维持有关所述先前概率分布图的隐藏状态。5.根据权利要求1所述的计算机实现的方法，其中所述分割掩模使用分类神经网络而被生成，以将与所述概率分布图和所述先前概率分布图组合的所述特征图转换成图像形式。6.根据权利要求1所述的计算机实现的方法，其中所述分类神经网络被训练以智能地连结与所述概率分布图和所述先前概率分布图组合的所述特征图。7.根据权利要求6所述的计算机实现的方法，其中所述神经网络被训练以集成各种图像分割方法，所述训练包括：接收与第一图像的第一交互；基于所述第一交互，执行所述第一图像的第一分割以生成第一概率分布图；使用隐藏状态存储所述第一概率分布图；接收与所述第一图像的第二交互；基于所述第二交互，执行所述第一图像的第二分割以生成第二概率分布图；将所述第一图像的图像特征图与所述第二概率分布图和第一先前概率分布图组合，所述第一先前概率分布图使用所述隐藏状态表示；以及基于与所述第二概率分布图和所述第一概率分布图组合的所述图像特征图来生成优化的分割掩模。8.根据权利要求7所述的计算机实现的方法，所述训练还包括：将所述优化的分割掩模与地面真值分割掩模进行比较，以确定误差；以及基于所确定的所述误差来更新所述神经网络。9.一个或多个计算机可读介质，其上体现有多个可执行指令，所述多个可执行指令在由一个或多个处理器执行时使所述一个或多个处理器执行方法，所述方法包括：接收与图像的交互；基于所述交互，执行所述图像的分割以生成概率分布图；
使用神经网络生成所述图像的特征图；使用所述神经网络将所述特征图与所述概率分布图组合以生成第一特征，并且将所述特征图与先前概率分布图组合以生成第二特征，所述先前概率分布图是基于所述图像的先前分割而被生成的，其中所述先前概率分布图使用所述神经网络的隐藏状态表示；以及基于所述第一特征和所述第二特征的连结来生成分割掩模。10.根据权利要求9所述的介质，所述方法还包括：将移除信息合并到所述特征图中，所述移除信息基于所述交互是移除交互，所述移除交互指示用于从所述分割掩模排除的所述图像的对象、特征和部分。11.根据权利要求9所述的介质，所述方法还包括：确定要用于所述分割的图像分割方法，其中所述图像分割方法是基于所述交互的。12.根据权利要求9所述的介质，所述方法还包括：接收要用于所述分割的图像分割方法的指示，其中所述指示是由用户输入的。13.根据权利要求9所述的介质，所述方法还包括：接收与所述图像的进一步交互；基于所述进一步交互，执行所述图像的后续分割以生成后续概率分布图；使用所述神经网络将所述特征图与所述后续概率分布图组合以生成更新的第一特征，并且将所述特征图与所述概率分布图组合以生成更新的第二特征，其中所述概率分布图使用所述神经网络的更新的隐藏状态表示；以及基于所述更新的第一特征和所述更新的第二特征的新连结来生成优化的分割掩模。14.根据权利要求9所述的介质，其中所述神经网络系统通过以下而被训练：接收与第一图像的第一交互；基于所述第一交互，执行所述第一图像的第一分割以生成第一概率分布图；使用第一隐藏状态存储所述第一概率分布图；接收与所述第一图像的第二交互；基于所述第二交互，执行所述第一图像的第二分割以生成第二概率分布图；将所述第一图像的图像特征图与所述第二概率分布图和第一先前概率分布图组合，所述第一先前概率分布图使用所述第一隐藏状态表示；以及基于与所述第二概率分布图和所述第一概率分布图组合的所述图像特征图来生成优化的分割掩模。15.根据权利要求14所述的介质，所述训练还包括：将所述优化的分割掩模与地面真值分割掩模进行比较，以确定误差；以及基于所确定的所述误差来更新所述神经网络。16.根据权利要求9所述的介质，所述方法还包括：生成图像分割方法的统一库，其中所述神经网络使用所述图像分割方法中的一个或多个图像分割方法而被训练。17.一种计算系统，包括：用于接收与图像的交互的部件；用于执行所述图像的分割以生成概率分布图的部件；用于将所述图像的特征图与所述概率分布图组合以生成第一特征、并且将所述图像的
特征图与先前概率分布图组合以生成第二特征的部件，所述先前概率分布图是基于所述图像的先前分割而被生成的；以及用于基于所述第一特征和所述第二特征的连结来生成分割掩模的部件。18.根据权利要求17所述的系统，还包括：用于将移除信息合并到所述特征图中的部件，所述移除信息基于所述交互是移除交互，所述移除交互指示用于从所述分割掩模排除的所述图像的对象、特征和部分。19.根据权利要求17所述的系统，还包括：用于确定要用于所述分割的图像分割方法的部件，其中所述图像分割方法是基于所述交互的。20.根据权利要求17所述的系统，还包括：用于生成图像分割方法的统一库的部件，其中神经网络使用所述图像分割方法中的一个或多个图像分割方法而被训练。

技术总结
本公开的实施例涉及集成交互式图像分割。提供了基于多个分割的图像的最优分割方法和系统。特别地，多个分割方法可以通过考虑先前分割而被组合。例如，可以通过将(例如，使用图像分割方法的)先前分割与(例如，使用相同或不同的图像分割方法的)当前分割迭代地集成来生成最优分割。为了允许基于多个分割的图像最优分割，可以使用一个或多个神经网络。例如，当从一种分割方法过渡到下一种分割方法时，卷积RNN可以被用来维持有关一个或多个先前分割的信息。卷积RNN可以将(多个)先前分割与当前分割组合，而不需要关于用于生成分割的图像分割方法的任何信息。方法的任何信息。方法的任何信息。


技术研发人员：B
受保护的技术使用者：奥多比公司
技术研发日：2021.01.19
技术公布日：2021/10/26