用于对图像中的对象进行分割的方法与流程

技术特征：
1.一种用于对由相机(cam)获取的至少一个图像(im)中的对象(obj)进行分割的计算机实现的方法，包括以下步骤：a)基于所述图像(im)来计算边缘概率图像(epi)，所述边缘概率图像(epi)包括：针对所述图像(im)的每个像素，所述像素是边缘的概率；b)基于所述图像(im)来计算分割概率图像(spi)，所述分割概率图像(spi)包括：针对所述图像(im)的每个像素，所述像素属于所述对象(obj)的概率；c)基于所述边缘概率图像(epi)并且基于所述分割概率图像(spi)来计算所述对象(obj)的二元掩码(mas)。2.根据权利要求1所述的方法，其中，步骤c)包括以下子步骤：c1)构建包括多个节点(n
i,j
)的图(gra)，所述多个节点(n
i,j
)通过n链接彼此连接，每个节点表示由所述相机(cam)获取的图像(im)的像素(p
i,j
)，所述图(gra)还包括表示所述对象(obj)的源(src)和表示所述图像(im)的背景的汇(snk)，每个节点通过t链接连接到所述源和所述汇；c2)定义以下各项：-链接成本，对于每个n链接，所述链接成本等于对应的邻近像素之间不存在边缘的概率；-源成本和汇成本，对于每个t链接，所述源成本等于对应的像素属于所述对象的概率，所述汇成本等于所述对应的像素不属于所述对象的概率；c3)计算最小割，所述最小割将所述源(src)和所述汇(snk)分开，并且使所述割所切断的对应的n链接或t链接的链接成本、源成本和汇成本的总和最小化。3.根据权利要求2所述的方法，包括在步骤c)之后进行以下操作：d)以部分透明度来显示被叠加在所述图像(im)上的所述二元掩码(mas)的步骤；e)通过以下操作校正所述二元掩码(mas)的步骤：-指示用户在所述二元掩码的应该被移除的部分上绘制第一预定义颜色的笔画(str1)，和/或在所述对象的应该被添加到所述二元掩码的部分上绘制第二预定义颜色的笔画(str2)，-通过以下操作修改每个节点的汇成本和源成本：-如果所述对应的像素是利用所述第一预定义颜色被绘制的，则将空源成本指派给所述节点，并且如果所述对应的像素是利用所述第二预定义颜色被绘制的，则将无穷大源成本指派给所述节点；-如果所述对应的像素是利用所述第一预定义颜色被绘制的，则将无穷大汇成本指派给所述节点，并且如果所述对应的像素是利用所述第二预定义颜色被绘制的，则将空源成本指派给所述节点，利用修改后的源成本和汇成本来迭代计算二元掩码(mas)的步骤c)。4.根据前述权利要求中任一项所述的方法，包括以下预备步骤：校准所述相机，并且提供包围所述对象(obj)并且具有八个顶点和六个面的3d边界框(3dbb)，计算分割概率图像的步骤b)包括以下子步骤：-将所述八个顶点投影在相机平面上；-生成包含所投影的八个顶点的最小矩形(rec)；
‑
通过在所述最小矩形(rec)上使用分割算法来计算所述分割概率图像(spi)。5.根据权利要求4所述的方法，其中，所述分割算法为深度学习算法。6.根据权利要求4或5中任一项所述的方法，还包括细化所述3d边界框(3dbb)的步骤f)，所述步骤f)包括以下子步骤：-将所述3d边界框(3dbb)的六个面(f1、f2、f3、f4、f5、f6)中的每一个投影在所述相机平面(pln)中；-确定所述二元掩码(mas)是否完全适合在所投影的面(f1、f2、f3、f4、f5、f6)中的一个面内，所述一个面被称为第一面；-如果所述二元掩码(mas)完全适合在所述第一面内，则生成包围所述掩码(mas)的2d边界矩形(2dbr)，并且推导出所述2d边界矩形(2dbr)的四个角点(cp1、cp2、cp3、cp4)；-将四条光线(r1、r2、r3、r4)从所述相机(cam)投射到相应的四个角点；-计算所述四条光线(r1，r2，r3，r4)与所述第一面(f1)的平面以及与和所述第一面相对的面的平面的交叉，由此获得八个交叉点(ip1、ip2、ip3、ip4、ip5、ip6、ip7、ip8)，和所述第一面相对的所述面被称为第二面(f2)；-生成包含所述八个交叉点(ip1、ip2、ip3、ip4、ip5、ip6、ip7、ip8)的最小3d边界框(sbb)；-计算细化的3d边界框(rbb)，所述细化的3d边界框(rbb)是所述3d边界框(3dbb)与所述最小3d边界框(sbb)的交叉；步骤a)到步骤c)针对从不同视角获取的不同图像被多次迭代，针对每个下一次迭代，通过使用所述细化的3d边界框(rbb)来进行。7.根据权利要求6所述的方法，包括：如果确定所述二元掩码(mas)在所投影的面(f1、f2、f3、f4、f5、f6)中的任一个面内都不完全适合，则进行以下步骤：-将所述3d边界框(3dbb)离散化为体素网格；-针对所述图像(im)的每个像素(p
i,j
)，从所述相机投射光线(r11、r12)，并且如果所述像素不属于所述掩码，则雕刻与所述光线交叉的体素，由此获得新的被雕刻的体素网格；-针对另一图像，从所述相机投射光线，并且针对所述另一图像的每个像素确定所述像素是否与未被雕刻的体素交叉，如果所述像素与未被雕刻的体素交叉，则向所述像素指派预定义二元值；-通过使用具有所述预定义值的像素，在所述另一图像上生成新的2d边界框。8.根据权利要求1至3中任一项所述的方法，其中，计算分割概率图像的步骤b)包括以下子步骤：-指示用户绘制包围所述对象的轮廓的线，由此形成环形线(lop)；-向位于所述环形线(lop)内的像素指派最大概率值，并且向位于所述环形线(lop)外部的像素指派最小概率值；-向位于所述环形线(lop)周围的像素周围的概率值指派梯度。9.根据权利要求8所述的方法，包括以下子步骤：如果所述环形线的末端(el1、el2)分开的距离小于预定义阈值，则自动完成所述环形线(lop)。10.根据权利要求9所述的方法，其中，所述预定义阈值等于所述图像(im)的对角线的5％。
11.根据权利要求8或9中任一项所述的方法，包括以下子步骤：如果多个环形线(lop1、lop2)被绘制为在另一环形线内，则交替地指派最小概率值和最大概率值。12.根据前述权利要求中任一项所述的方法，其中，计算边缘概率图像(epi)的步骤a)使用深度学习算法。13.根据权利要求12所述的方法，其中，所述深度学习算法使用整体嵌套的边缘检测。14.一种计算机程序产品，其包括计算机可执行指令，所述计算机可执行指令用于使得与相机(cam)接合的计算机系统执行根据前述权利要求中任一项所述的方法。15.一种非暂时性计算机可读数据存储介质(m1、m2、m3、m4)，其包含计算机可执行指令，所述计算机可执行指令用于使得与相机(cam)接合的计算机系统执行根据权利要求1至13中任一项所述的方法。16.一种计算机系统，其包括耦合到存储器(m1、m2、m3、m4)、屏幕(dy)和相机(cam)的处理器(p)，所述存储器存储计算机可执行指令，所述计算机可执行指令用于使得所述计算机系统执行根据权利要求1至13中任一项所述的方法。

技术总结
本发明涉及一种用于对由相机(CAM)获取的至少一个图像(IM)中的对象(OBJ)进行分割的计算机实现的方法，包括以下步骤：a)基于图像(IM)来计算边缘概率图像(EPI)，所述边缘概率图像(EPI)包括：针对图像(IM)的每个像素，所述像素是边缘的概率；b)基于所述图像(IM)来计算分割概率图像(SPI)，所述分割概率图像(SPI)包括：针对图像(IM)的每个像素，所述像素属于对象(OBJ)的概率；c)基于边缘概率图像(EPI)并且基于分割概率图像(SPI)来计算对象(OBJ)的二元掩码(MAS)。元掩码(MAS)。元掩码(MAS)。


技术研发人员：N
受保护的技术使用者：达索系统公司
技术研发日：2021.07.23
技术公布日：2022/2/24