标注方法、装置、计算设备集群及计算机程序产品与流程

本技术涉及人工智能技术(artificial intelligence，ai)领域，尤其涉及一种标注方法、装置、计算设备集群及计算机程序产品。

背景技术：

1、随着智能制造的快速发展，计算机辅助设计(computer aided design，cad)技术在制造业中扮演着越来越重要的角色，其广泛应用于产品的初步设计、生产规划、质量控制、维护保养等多个环节。基于cad设计的三维(three dimensional，3d)模型往往具有种类复杂且数量众多的加工特征(machining feature)，如孔洞、螺纹、倒角等，通常需要对其进行标注，以便于对3d模型进行后续处理，如用于训练机器学习模型、帮助数控机床生成加工代码、简化编程过程，等等。

2、目前的标注方法主要依赖于工程师们手动在3d模型中标注加工特征，这样非常耗时，容易出错，且人工成本较高。少量的3d图像标注软件可以提供智能建议来加速标注过程，但这些标注软件依赖于预定义规则，而规则的设置又依赖于人工经验，难以准确地定义需要标注的加工特征，对于处理复杂3d模型的标注需求来说，灵活性和适应性有限，且自动化程度较低。如何对3d模型中的加工特征进行高效、精准地识别与标注，成为亟待解决的问题。

技术实现思路

1、本技术提供了一种标注方法、装置、计算设备集群及计算机程序产品，能够对3d模型中的加工特征进行高效且精准地标注。

2、第一方面，本技术提供一种标注方法，该方法包括：获取三维模型的第一视角图像，第一视角图像是三维模型在第一视角下对应的二维图像，并获取第一类别信息，然后根据第一视角图像和第一类别信息确定第一位置信息，第一位置信息在第一视角图中所指示的区域包括第一区域，第一区域是对应第一类别信息的区域，再确定第一位置信息在三维模型中对应的第一几何实体，进而对三维模型中的第一几何实体所构成的几何特征标注第一类别信息。

3、在上述方案中，通过获取三维模型的第一视角图像(是二维图像)和需要标注的其中一类加工特征所对应的第一类别信息，并基于针对二维图像的目标检测与图像分割等技术在第一视角图像中定位对应第一类别信息的区域，从而得到第一位置信息，第一位置信息在第一视角图像中所指示的区域包括对应第一类别信息的区域。然后确定第一位置信息在三维模型中对应的第一几何实体，第一几何实体可能有一个或多个，进而可以对第一几何实体所构成的几何特征标注上第一类别信息，也就是以第一类别信息作为第一几何实体所构成的几何特征的标签，该标签指示第一几何实体所构成的几何特征属于第一类型信息对应的这一类加工特征，以便对三维模型进行后续处理，如用于训练机器学习模型、帮助数控机床生成加工代码、简化编程过程，等等。通过上述方案能够对三维模型中的特定加工特征(通过类别信息来指定)进行高效且精准地标注，不依赖于人工经验进行标注，有助于节省人力和时间，从而降低标注成本。

4、基于第一方面，在可能的实施方案中，第一位置信息包括边界框和分割掩码。

5、基于第一方面，在可能的实施方案中，可以按照如下步骤确定第一位置信息在三维模型中对应的第一几何实体：确定第一位置信息在三维模型中对应的多个几何实体然后确定多个几何实体中的每个几何实体的质心，再根据多个几何实体中的每个几何实体的质心从多个几何实体中确定第一几何实体，其中，第一几何实体的质心在第一视角图像中对应的点位于第一位置信息在第一视角图像中所指示的区域内。

6、应理解，由于三维模型中的几何特征具有多态性，如一个孔洞在不同位置和方向上表现出来形态、尺寸会有差异，并且三维模型的二维图像相较于三维模型损失了较多的信息量，对二维图像的目标检测与图像分割技术的准确率有限(不能保证完全准确)，因此，上述第一位置信息可能不够准确，即第一位置信息在第一视角图像中所指示的区域不仅包括对应第一类别信息的第一区域，还可能包括不对应第一类别信息的区域。换句话说，第一位置信息所指示的区域可能过大，涵盖了对应第一类别信息的第一区域和不对应第一类别信息的区域，进而导致根据第一位置信息投射到三维模型中的几何实体包含对应第一区域的几何实体和不对应第一区域的几何实体。为了便于描述，将不对应第一区域的几何实体(即不对应第一类别信息的几何实体)所构成的几何特征称为干扰几何特征，干扰几何特征不应标注第一类别信息，只需要将对应第一区域的几何特征标注上第一类别信息，以提高标注准确率。

7、为了避免错误地为干扰几何特征标注上第一类别信息，有必要对根据第一位置信息投射到三维模型中的多个几何实体进行过滤，从这多个几何实体中过滤掉干扰几何特征中的几何实体，只对这多个几何实体中剩余的几何实体所构成的几何特征标注上第一类别信息。在上述方案中，当根据第一位置信息在三维模型中确定了多个几何实体时，通过计算这多个几何实体各自的质心，然后判断各个几何实体的质心在第一视角图像中对应的点是否位于第一位置信息在第一视角图像中所指示的区域内，以从这多个几何实体中过滤掉属于干扰几何特征的几何实体。对于上述多个几何实体中的任一几何实体，若该几何实体的质心在第一视角图像中对应的点位于第一位置信息在第一视角图像中所指示的区域之外，则确定该几何实体是属于干扰几何特征的几何实体，进而过滤掉该几何实体所属的干扰几何特征，不会对干扰几何特征标注第一类别信息；若该几何实体的质心在第一视角图像中对应的点位于第一位置信息在第一视角图中所指示的区域内，则保留该几何实体(不过滤)，保留的几何实体认为是第一区域(即第一视角图像中对应第一类别信息的区域)在三维模型中所对应的几何实体，也就确定保留的几何实体是三维模型中对应第一类别信息的几何特征中的几何实体，可以将保留的几何实体所形成的几何特征标记上第一类别信息。

8、基于第一方面，在可能的实施方案中，上述第一几何实体的数量为多个，可以对多个第一几何实体构建属性邻接图，其中，属性邻接图用于表示多个第一几何实体的拓扑结构，便于存储和分析。属性邻接图包括多个子图，每个子图对应多个第一几何实体中的至少一个第一几何实体，不同子图对应不同的第一几何实体，不同子图由属性邻接图中的连通分量划分为不相交集，每个子图用于表示对应的第一几何实体的拓扑结构。

9、基于第一方面，在可能的实施方案中，每个子图包括对应的第一几何实体中的顶点和边，可以计算多个子图中每个子图中的每个顶点与第一视角图像对应的观测点的距离，然后根据上述距离确定多个子图中的第一子图，进而对属于第一子图的第一几何实体所构成的几何特征标记第一类别信息。

10、也就是说，可以通过计算各个子图中的各个顶点与观测点之间的距离，然后根据各个顶点与观测点的距离确定各个子图对应的第一几何实体是否为三维模型中对应第一类别信息的几何特征中的几何实体，以过滤掉干扰几何特征中的几何实体，进而提升标注准确率。这里可以将与观测点的距离最小的顶点所对应的子图作为第一子图，第一子图可能对应一个或多个几何实体，进而将第一子图对应的第一几何实体所构成的几何特征确定为三维模型中对应第一类别信息的几何特征，对第一子图对应的第一几何实体所构成的几何特征标注上第一类别信息，而对于除第一子图之外的其他子图相应的几何实体所构成的几何特征，其被认为是不对应第一类别信息的几何特征(即干扰几何特征)，不会对其标注第一类别信息。

11、基于第一方面，在可能的实施方案中，第一子图为多个子图的顶点中与观测点的距离最小的顶点所对应的子图。

12、由于在第一视角下对应第一类别信息的几何特征中的几何实体的位置相较于干扰几何特征中的几何实体的位置往往更靠前，因此，上述方案通过计算多个子图中每个顶点到观测点的距离以区分对应第一类别信息的几何特征中的几何实体和干扰几何特征中的几何实体，将与观测点的距离最小的顶点所在的子图作为第一子图，第一子图对应的第一几何实体所构成的几何特征认为是对应第一类别信息的几何特征，除第一子图之外的其他子图对应的第一几何实体所构成的几何特征认为是干扰几何特征，只对第一子图对应的第一几何实体所构成的几何特征标记上第一类别信息。

13、基于第一方面，在可能的实施方案中，每个子图包括对应的第一几何实体中的顶点和边，可以计算多个子图中每个子图中的每个顶点的权重，每个顶点的权重用于表示每个顶点在对应的子图中的重要性，然后根据多个子图中的每个顶点的权重确定多个子图的目标顶点，任一子图的目标顶点为任一子图中的重要性最高的顶点，再计算多个子图的目标顶点与第一视角图像对应的观测点的距离，根据上述距离确定多个子图中的第一子图，进而对属于第一子图的第一几何实体所构成的几何特征标记第一类别信息。

14、在上述方案中，通过计算各个子图中的各个顶点的重要性，进而确定各个子图的目标顶点，各个子图的目标顶点是指该子图中重要性最高的一个顶点，以重要性最高的顶点(目标顶点)来代表相应子图会更准确(后续用于计算距离)。然后，计算各个子图的目标顶点与观测点之间的距离，而不需要计算各个子图中除目标顶点之外的其他顶点(称为非目标顶点)与观测点的距离，以排除非目标顶点的影响。将第一子图对应的第一几何实体所构成的几何特征确定为三维模型中对应第一类别信息的几何特征，进而对第一子图对应的第一几何实体所构成的几何特征标注上第一类别信息，而对于除第一子图之外的其他子图相应的第一几何实体所构成的几何特征，其被认为是不对应第一类别信息的几何特征(即干扰几何特征)，不会对其标注第一类别信息。

15、基于第一方面，在可能的实施方案中，第一子图为多个子图的目标顶点中与观测点的距离最小的目标顶点所对应的子图。

16、基于第一方面，在可能的实施方案中，上述三维模型为计算机辅助设计模型。

17、基于第一方面，在可能的实施方案中，上述三维模型的格式为产品数据交换标准格式。这里直接对产品数据交换标准格式的三维模型进行处理，无需转换为其他格式(如点云、体素、网格等)后再处理。

18、第二方面，本技术提供一种标注装置，包括获取模块、确定模块和标注模块。获取模块用于获取三维模型的第一视角图像，第一视角图像是三维模型在第一视角下对应的二维图像，获取模块还用于获取第一类别信息。确定模块用于根据第一视角图像和第一类别信息确定第一位置信息，第一位置信息在第一视角图中所指示的区域包括第一区域，第一区域是对应第一类别信息的区域，确定模块还用于确定第一位置信息在三维模型中对应的第一几何实体。标注模块用于对三维模型中的第一几何实体所构成的几何特征标注第一类别信息。

19、上述标注装置中的各个功能模块联合用于实现第一方面中任一可能实施方案的方法，具体可参考前文介绍，此处不赘述。

20、第三方面，本技术提供一种计算设备集群，包括至少一个计算设备，每个计算设备包括处理器和存储器，上述至少一个计算设备的处理器用于执行上述至少一个计算设备的存储器中存储的指令，以使得该计算设备集群执行如第一方面中任一可能实施方案的方法。

21、第四方面，本技术提供一种计算机程序产品，包括指令，当上述指令被计算设备集群运行时，使得该计算设备集群执行如第一方面中任一可能实施方案的方法。

22、第五方面，本技术提供一种计算机可读存储介质，包括指令，当上述指令被计算设备集群运行时，使得该计算设备集群执行如第一方面中任一可能实施方案的方法。