实例分割方法、装置、设备、存储介质及程序产品与流程

摘要: 本技术涉及三维图像处理,尤其涉及一种实例分割方法、装置、设备、存储介质及程序产品。背景技术:1、3d高斯泼溅(3dgaussiansplatting,3dgs)...
实例分割方法、装置、设备、存储介质及程序产品与流程

本技术涉及三维图像处理,尤其涉及一种实例分割方法、装置、设备、存储介质及程序产品。

背景技术:

1、3d高斯泼溅(3d gaussian splatting,3dgs)技术为通过使用数万个3d高斯基元,创建轻量且高精度的场景表示方法。每个基元通过位置、协方差、不透明度和球谐系数等参数进行建模,3d高斯泼溅技术为三维重建和新视角生成领域提供了新的技术标准。

2、其中,基于3d高斯泼溅技术的3d高斯实例分割方法,通过为每个3d高斯基元添加实例信息,标识其所属的场景物体。这样可以将属于同一物体的所有3d高斯基元分割出来,形成一个具有分类属性的整体对象。

3、目前,基于3d高斯泼溅技术的3d高斯实例分割方法涉及大量的模型训练、视角选择和物体编码等复杂步骤,影响实例分割的分割效率,且不同视角可能导致分割结果的显著差异,增加了处理的复杂性和不确定性,不适应于大规模场景分割。

技术实现思路

1、本技术提供一种实例分割方法、装置、设备、存储介质及程序产品,用于提供一种适用于变电站等大规模场景的实例分割的技术方案。

2、第一方面,本技术提供了一种实例分割方法,所述方法包括:

3、对目标场景的3d高斯数据进行3d高斯泼溅,并确定目标渲染图;

4、确定所述目标渲染图中目标实例的多个前景点作为所述目标实例的提示点;

5、基于所述目标实例的提示点,对所述渲染图进行分割,得到目标分割掩膜,并基于目标分割掩膜,得到所述目标实例的第一3d分割结果;

6、采用稀疏连接策略,对所述第一3d分割结果中的每个3d点进行处理,得到所述目标实例的第二3d分割结果。

7、在一种可选的实施方式中,所述对目标场景的3d高斯数据进行3d高斯泼溅,并确定目标渲染图包括:

8、在交互界面中,对目标场景的3d高斯数据进行3d高斯泼溅,得到多个视角下的多个渲染图;

9、根据所述目标实例,从所述多个渲染图确定目标渲染图。

10、在一种可选的实施方式中,所述基于所述目标实例的提示点,对所述渲染图进行分割,得到目标分割掩膜包括:

11、基于所述目标实例的提示点,利用微调的分割模型,对所述渲染图进行分割推理;

12、根据所述分割推理的结果,确定目标分割掩膜。

13、在一种可选的实施方式中,根据所述分割推理的结果,确定目标分割掩膜包括:

14、根据所述分割推理的结果包括的多个分割掩膜,确定最优分割掩膜,并将所述最优分割掩膜作为所述目标分割掩膜。

15、在一种可选的实施方式中,所述微调的分割模型为利用目标数据集对分割基模型进行微调后得到的模型;

16、其中,所述目标数据集包括用于表征所述目标场景的图像数据集,且所述目标数据集中的图像数据为进行了数据标准化预处理的图像数据。

17、在一种可选的实施方式中,所述提示点包括所述目标实例的关键点和/或特征点,所述关键点和/或所述特征点用于描述目标实例的形状和/或边界。

18、在一种可选的实施方式中,并基于目标分割掩膜,得到所述目标实例的第一3d分割结果,所述方法还包括:

19、获取所述目标分割掩膜的中目标实例的轮廓坐标;

20、将目标实例的轮廓坐标传输至交互界面,并在所述交互界面中,识别并标定所述目标实例的轮廓坐标中的特定点为前景种子点;

21、基于所述前景种子点,将所述目标分割掩膜投影到3d空间中,得到所述目标实例的第一3d分割结果。

22、在一种可选的实施方式中,将目标实例的轮廓传输至交互界面之前,所述方法还包括:

23、基于所述目标实例的轮廓坐标,在所述渲染图中确定所述目标实例的切割图;

24、利用微调的目标检测模型对所述目标实例的切割图进行推理,得到所述目标实例的类别。

25、在一种可选的实施方式中,将目标实例的轮廓坐标传输至交互界面,并在所述交互界面中,识别并标定所述目标实例的轮廓坐标中的特定点为前景种子点包括:

26、将所述目标实例的轮廓坐标以及所述目标实例的类别传输至所述交互界面;

27、在所述交互界面中,基于所述目标实例的类别,识别并标定所述目标实例的轮廓坐标中的特定点为前景种子点。

28、在一种可选的实施方式中,所述微调的目标检测模型为利用目标数据集对目标检测基模型进行微调后得到的模型;

29、其中,所述目标数据集包括用于表征所述目标场景的图像数据集,且所述目标数据集中的图像数据为进行了数据标准化预处理的图像数据。

30、在一种可选的实施方式中,所述采用稀疏连接策略,对所述第一3d分割结果中的每个3d点进行处理,得到所述目标实例的第二3d分割结果包括:

31、将所述第一3d分割结果中的每个3d点作为图中的一个节点,利用稀疏连接策略为每个所述节点构建多个连接边,并计算所述连接边的综合权重;

32、基于所述连接边的综合权重,利用图切割算法进行图分割,得到所述目标实例的第二3d分割结果。

33、在一种可选的实施方式中,所述将所述第一3d分割结果中的每个3d点作为图中的一个节点,利用稀疏连接策略为每个所述节点构建多个连接边,并计算所述连接边的综合权重包括:

34、所述将所述第一3d分割结果中的每个3d点作为图中的一个节点,所述节点的属性信息包括空间坐标和法向量;

35、利用稀疏连接策略为每个所述节点构建多个连接边,计算每个所述连接边的综合权重,所述综合权重包括:空间项权重和法向量项权重的乘积。

36、在一种可选的实施方式中,基于所述连接边的综合权重,利用图切割算法进行图分割,得到所述目标实例的第二3d分割结果包括:

37、基于所述连接边的综合权重,在最小化割断边的总权重的约束下,利用图切割算法进行图分割,得到所述目标实例的第二3d分割结果。

38、第二方面,本技术提供了一种变电站场景的实例分割方法,所述方法包括:

39、对变电站场景中多个设备的3d高斯数据进行3d高斯泼溅,并获取目标视角下的渲染图;

40、确定所述目标渲染图中目标实例的多个前景点作为所述目标实例的提示点;

41、基于所述目标实例的提示点,对所述渲染图进行分割,得到目标分割掩膜;

42、将所述目标分割掩膜投影到3d空间中,得到所述目标实例的第一3d分割结果;

43、采用稀疏连接策略,对所述第一3d分割结果中的每个3d点进行处理,得到所述目标实例的第二3d分割结果。

44、在一种可选的实施方式中,所述基于所述目标实例的提示点,对所述渲染图进行分割,得到目标分割掩膜包括:

45、基于所述目标实例的提示点,利用微调的分割模型,对所述渲染图进行分割推理;所述微调的分割模型为利用目标数据集对分割基模型进行微调后得到的模型;其中,所述目标数据集包括所述变电站场景的图像数据集,且所述目标数据集中的图像数据为进行了数据标准化预处理的图像数据。

46、根据所述分割推理的结果,确定目标分割掩膜。

47、第三方面,本技术提供了一种实例分割装置,所述装置包括:第一获取模块,第一确定模块以及第一分割模块;

48、所述第一获取模块用于对目标场景中多个对象的3d高斯数据进行3d高斯泼溅,并获取目标视角下的渲染图;

49、所述第一确定模块用于确定所述目标渲染图中目标实例的多个前景点作为所述目标实例的提示点;

50、所述第一分割模块用于:

51、基于所述目标实例的提示点,对所述渲染图进行分割,得到目标分割掩膜;

52、将所述目标分割掩膜投影到3d空间中,得到所述目标实例的第一3d分割结果;

53、采用稀疏连接策略,对所述第一3d分割结果中的每个3d点进行处理,得到所述目标实例的第二3d分割结果。

54、第四方面,本技术提供一种变电站场景的实例分割装置,所述装置包括:第二获取模块,第二确定模块以及第二分割模块;

55、所述第二获取模块用于对变电站场景中多个设备的3d高斯数据进行3d高斯泼溅,并获取目标视角下的渲染图;

56、所述第二确定模块用于确定所述目标渲染图中目标实例的多个前景点作为所述目标实例的提示点;

57、所述第二分割模块用于:

58、基于所述目标实例的提示点,对所述渲染图进行分割,得到目标分割掩膜;

59、将所述目标分割掩膜投影到3d空间中,得到所述目标实例的第一3d分割结果;

60、采用稀疏连接策略,对所述第一3d分割结果中的每个3d点进行处理,得到所述目标实例的第二3d分割结果。

61、第五方面,本技术提供一种电子设备,包括:至少一个处理器和存储器;

62、所述存储器存储计算机执行指令;

63、所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如第一方面或第二方面任一项所述的方法。

64、第六方面,本技术提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,当处理器执行计算机执行指令时,实现如第一方面或第二方面任一项所述的方法。

65、第七方面,本技术提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如第一方面或第二方面任一项所述的方法。

66、本技术实施例提供的一种实例分割方法、装置、设备、存储介质及程序产品,实例分割方法包括:对目标场景中多个对象的3d高斯数据进行3d高斯泼溅,并获取目标渲染图,确定所述目标渲染图中目标实例的多个前景点作为所述目标实例的提示点,基于所述目标实例的提示点,对所述渲染图进行分割,得到目标分割掩膜。该目标分割掩膜用于对目标实例区域进行定位,且该目标分割掩膜是基于目标实例的提示点进行确定的,故该分割掩膜能够实现实例区域的精准定位。之后,基于目标分割掩膜,得到所述目标实例的第一3d分割结果;并采用稀疏连接策略,对所述第一3d分割结果中目标实例对应的每个3d点进行处理,得到所述目标实例的第二3d分割结果。基于此,本技术实施例将第一3d分割结果中目标实例对应的每个3d点视为图中的一个节点,采用稀疏连接策略,将目标实例第一3d分割结果中目标实例的3d点作为前景种子点,将图分为包含前景种子点和排除前景点的两个子集,实现对3d高斯模型进行分割的目的。

67、基于以上描述,本技术实施例通过直接对目标场景中的多个对象进行3d高斯泼溅并获取目标渲染图,减少了复杂的视角选择和物体编码步骤,不仅提高实例分割的效率的同时,简化了视角选择步骤,使得该方法更适合于实时应用和大规模场景的分割任务,还减少了不同视角导致的分割结果差异,提高了分割的精度和一致性。且通过在目标渲染图中确定目标实例的多个前景点作为提示点,能够更加准确地识别和分割目标实例。再者,本技术采用稀疏连接策略对第一3d分割结果中目标实例的每个3d点进行处理,不仅能够有效处理大规模场景中的复杂结构,还能够在保持计算效率的同时,确保分割结果的完整性和准确性。