一种面向电力设备巡检场景的三维缺陷编辑方法及系统

摘要: 本发明属于图像处理,具体是涉及电力巡检相关的一种面向电力设备巡检场景的三维缺陷编辑方法及系统。背景技术:1、近年来,随着电力设备智能巡检、三维重建、数字孪生和生...
一种面向电力设备巡检场景的三维缺陷编辑方法及系统

本发明属于图像处理,具体是涉及电力巡检相关的一种面向电力设备巡检场景的三维缺陷编辑方法及系统。

背景技术:

1、近年来,随着电力设备智能巡检、三维重建、数字孪生和生成式人工智能技术的发展,面向电力设备的缺陷样本构造逐渐成为巡检算法训练和状态仿真的重要技术方向。传统处理模式下缺陷样本主要依赖现场采集和人工标注,但真实缺陷通常存在样本稀缺、采集困难、类型不均衡、严重程度覆盖不足等问题。因此,如何构造具有真实外观、空间一致性和可控标注信息的缺陷样本,成为电力设备智能巡检中的重要问题。

2、现有缺陷生成与三维编辑相关方案大致可归纳为三类。第一类是基于二维图像域的工业异常与缺陷生成方法。该类方法通常通过gan、扩散模型、异常合成策略或图像修复方法,在二维工业图像中生成缺陷外观,用于缓解缺陷检测任务中的样本不足问题。进一步结合对已经公开的专利检索情况分析,有的专利通过真实感合成异常增强异常检测模型训练,有的专利采用梯度上升式策略生成更具挑战性的异常样本,有的专利利用扩散模型在少样本条件下生成异常图像。类似地,还有的专利通过文本描述生成开放类别未见异常,或者引入自适应异常mask和纹理保持机制,提高二维缺陷生成的区域约束和背景一致性。通过分析这些公开的专利方法,可以发现二维缺陷生成技术已经由简单贴图或规则扰动,逐渐发展为更真实、更灵活的生成式异常合成方法。但该类方法本质上仍在二维图像平面中完成缺陷构造,无法表达缺陷在三维设备模型中的空间位置、表面法向、近表层深度和遮挡关系,也难以保证同一缺陷在多视角巡检图像中的几何形态与纹理边界一致。因此,二维缺陷生成方法难以直接满足电力设备三维巡检、数字孪生仿真和多视角缺陷样本构建的需求。

3、现有缺陷生成与三维编辑相关方案中的第二类是基于二维视图编辑回灌三维表示的多视角编辑方法。该类方法通常先对三维模型渲染得到的一个或多个二维视图进行编辑,再通过nerf、3dgs或其他三维表示将编辑结果回灌到三维空间中。同样有多个专利文献公开了对应处理方案,例如,有通过单张图像视图驱动3dgs场景编辑的方法,有通过二维文本指令编辑训练视图并回灌到nerf中,实现文本驱动三维场景编辑的方法。同时针对逐视图编辑容易产生跨视角不一致的问题,还有专利公开了分别通过多视图补全、跨视角一致约束或3dgs多视角控制,提高编辑结果在不同观察角度下的稳定性。上述方法说明,二维编辑向三维迁移已成为重要技术路线,但由于编辑源头多来自二维视图,仍容易出现空间漂移、纹理错位或局部伪影。并且,该类方法主要面向通用场景修补、外观修改、语义替换或内容补全,尚未针对电力设备缺陷的部件属性、材料边界、表面深度进行建模,难以满足缺陷级三维编辑需求。

4、现有缺陷生成与三维编辑相关方案中的第三类是基于原生三维表示的局部编辑、三维掩码生成与潜空间保持方法。该类方法直接在nerf、3dgs、mesh、点云或结构化三维潜空间中进行局部编辑,并通过三维mask或潜空间上下文特征约束编辑范围。经检索分析,查到有专利技术通过3d控制点和球半径自动构建局部编辑区域,实现3dgs场景中的局部形变和修补;还有进一步提出基于3dgs的快速可控编辑方法;将深度感知引入nerf编辑,提高三维编辑的空间控制能力。进一步通过三维反演、潜空间替换和键值替换保持未编辑区域一致性,通过这些公开的专利技术可以证明原生三维潜空间编辑和上下文特征保持对高质量局部编辑的重要性。此外,公开的相关专利技术与方法说明自动三维mask生成和三维分割已具备一定基础。但现有三维mask多为对象级、部件级、球形局部区域或通用语义区域,主要解决在哪里编辑的问题,尚未解决沿表面向内编辑多深的问题;同时,现有编辑方式多表现为拖拽、修补、替换或语义修改,尚未建立面向电力设备缺陷的表面型/薄壳型深度约束掩码、缺陷目标原型约束和局部三维缺陷编辑机制。

5、综合来看,现有技术虽然分别在二维缺陷外观生成、二维编辑向三维迁移、多视角一致控制、原生三维局部编辑、三维mask生成和未编辑区域保持方面取得了一定进展,但仍未形成面向电力设备巡检场景的完整三维缺陷编辑方案。在电力设备巡检场景中仍存在以下不足:

6、一、二维缺陷生成方法缺乏三维一致性。现有工业缺陷扩增方法多在二维图像空间中生成缺陷外观,无法保证缺陷在不同视角下具有一致的空间位置、几何形态和遮挡关系,也无法表达缺陷的三维深度和近表层分布特征。这使得二维缺陷生成结果难以直接用于多视角巡检仿真、三维数字孪生和三维缺陷标注输出。

7、二、通用三维编辑方法缺乏面向电力缺陷的自动区域生成能力。现有三维编辑方法多依赖文本指令、用户交互点、人工mask或外部分割结果,主要用于通用形变、部件调整或语义修改,难以根据电力设备部件、材料属性、缺陷类型和用户位置约束自动确定缺陷候选区域。对于需要批量构造缺陷样本的电力巡检任务而言,人工指定编辑区域效率较低,且缺乏统一的缺陷空间约束。

8、三、现有三维掩码缺少深度可控的薄壳型表示。真实电力设备缺陷往往发生在表面或近表层有限深度范围内,而现有三维mask通常为普通二值区域、对象级区域或部件级区域,无法根据缺陷类型生成表面型掩码或沿表面法向扩展的薄壳型掩码,难以表达裂纹、腐蚀、烧蚀、剥落等缺陷的深度属性。

9、四、现有编辑方式缺少面向缺陷类型和材料属性的目标原型约束。现有方法多表现为贴图、修补、替换或语义修改,难以明确控制缺陷最终应呈现的几何形态、目标颜色、纹理样式和边界过渡方式,容易导致缺陷边界突兀、纹理不连续或与原始模型结构不协调。同时,在进行局部编辑时,编辑语义还可能影响未编辑区域,降低模型整体一致性。

10、综上,现有技术尚不能满足电力设备巡检场景下对自动三维缺陷区域确定、深度可控三维掩码、缺陷目标原型引导、局部三维编辑和未编辑区域一致性保持的综合需求,存在明显的技术空白与改进空间。

技术实现思路

1、本发明要解决的技术问题是,针对上述的当前三维编辑与缺陷生成技术在电力设备巡检场景中的不足之处,提出一种面向电力设备巡检场景的三维缺陷编辑方法及系统。

2、为解决上述技术问题,本发明提供的技术方案为:一种面向电力设备巡检场景的三维缺陷编辑方法及系统,所述的方法包括如下步骤:

3、步骤一:获取电力设备三维模型数据并进行可编辑属性提取;

4、步骤二:对提取到的可编辑属性数据进行基于缺陷编辑条件的候选缺陷区域生成;

5、步骤三:结合缺陷区域情况进行深度可控的表面型与薄壳型三维掩码构建;

6、步骤四:基于缺陷目标原型的三维缺陷编辑引导构建;

7、步骤五:进行基于三维掩码与缺陷编辑引导的局部三维缺陷编辑;

8、步骤六:缺陷三维模型输出与多视角样本生成。

9、作为优选,步骤一在执行时,首先获取待编辑电力设备的三维输入数据,并将其转化为具有可编辑属性的三维单元集合,并定义如下:

10、,

11、其中,表示可编辑三维单元的数量,表示第个可编辑三维单元;所述可编辑三维单元表示为:

12、,

13、其中,表示空间位置,表示表面法向或局部方向,表示局部曲率或几何变化特征,表示设备部件类别,表示材料属性,表示颜色、纹理、透明度或潜变量等外观特征;其中,为可编辑三维单元组成的集合,为其中的单元数量,为第个单元的属性表示。、、、、和依次表示空间位置、表面法向或局部方向、局部曲率或几何变化特征、设备部件类别、材料属性及外观特征。

14、该属性组合用于统一描述不同三维表示中的可编辑对象。单元可对应网格顶点、面片、采样点、点云中的点或局部点簇、体素、神经场采样单元或高斯粒子等,其具体含义随输入数据类型确定。各属性分别用于空间定位、方向与几何描述、部件与材料适配以及外观编辑。

15、是由多种属性组成的单元表示,其整体不是三维位置向量,式中的逗号表示属性的组织关系,不表示各属性之间进行加减运算。因此,各属性具有不同的数据类型或量纲,与该表达方式并不矛盾。近表层作用区域公式使用的是单元的位置属性和法向属性。

16、候选缺陷区域由可编辑三维单元集合中被选中的单元组成。缺陷约束掩码定义为:

17、;

18、构建薄壳型掩码时,以候选区域中的表面单元为基准,沿内法向确定薄壳空间位置,并计算该位置处的掩码权重。当该位置与模型中某一可编辑单元的位置对应或邻近时,将  作为该单元的薄壳型掩码权重。随后按照原文所述的边界约束、融合和平滑处理,得到作用于可编辑单元的最终掩码,供后续局部编辑使用。

19、经上述数据转换或整理后,将不同三维输入数据统一为具有空间位置、表面方向、局部几何、部件语义、材料属性和外观特征的可编辑三维表达;为后续步骤提供基础数据。

20、作为优选,步骤二中在获得统一可编辑三维单元集合后,根据缺陷编辑条件,在所述可编辑三维单元集合中确定适合生成目标缺陷的候选缺陷区域;所述缺陷编辑条件包括缺陷类型、目标部件类别、目标材料属性;在需要进行交互式编辑时,所述缺陷编辑条件还包括用户指定的位置约束、框选区域或草图区域,在需要控制缺陷程度时,所述缺陷编辑条件还可包括缺陷严重程度参数;首先,对缺陷编辑条件进行结构化解析,得到缺陷编辑意图:

21、,

22、其中,表示结构化缺陷编辑意图,表示缺陷类型,表示目标部件类别,表示目标材料属性,表示位置约束;

23、然后,对每个可编辑三维单元计算候选适配特征;所述候选适配特征包括部件适配特征、材料适配特征、几何适配特征和位置适配特征中的一种或多种,表示为:

24、,

25、其中,表示第个可编辑三维单元与目标部件类别的适配程度,由目标部件类别和可编辑三维单元的设备部件类别的相似性确定;表示第个可编辑三维单元与目标材料属性的适配程度,由目标材料属性和材料属性的相似性确定;表示第个可编辑三维单元的几何适配程度,由局部曲率、表面法向、边界距离、表面粗糙度、局部凸凹变化或邻域连续性确定;表示第个可编辑三维单元与位置约束的适配程度,由可编辑三维单元到用户点击点、框选区域、笔刷区域、草图区域或自动采样中心的空间距离确定;

26、随后,根据候选适配特征计算每个可编辑三维单元的候选适配评分:

27、,

28、其中,∈[0,1]表示第个可编辑三维单元适合生成目标缺陷的候选适配评分,表示候选适配评分函数,表示缺陷类型;

29、最后,根据候选适配评分筛选得到初始候选缺陷区域:

30、,

31、其中,表示初始候选缺陷区域,表示候选筛选阈值,∈[0,1]。

32、对所述初始候选缺陷区域进行去除孤立噪声单元的空间后处理,得到候选缺陷区域:

33、,

34、其中,表示空间后处理函数。

35、作为优选,步骤三中在获得候选缺陷区域后,根据缺陷类型、目标设备部件、材料属性以及缺陷严重程度参数,构建用于约束三维缺陷编辑范围的缺陷约束掩码;缺陷约束掩码用于限定缺陷在电力设备三维模型中的空间作用范围,并控制缺陷沿设备表面或近表层方向的扩展深度;三维缺陷约束掩码定义为作用于可编辑三维单元集合上的权重函数:

36、,

37、其中,表示第个可编辑三维单元的最终缺陷约束掩码权重;=0表示三维单元不参与缺陷编辑,>0表示三维单元位于缺陷编辑作用范围内;当采用二值掩码时,表示该三维单元是否被选中;当采用软掩码时,的数值大小表示该三维单元的局部编辑强度;

38、首先,根据候选缺陷区域构建初始二值掩码:

39、,

40、其中,表示第个可编辑三维单元是否属于候选缺陷区域;当用户点选、框选或绘制缺陷区域时,被选中的可编辑三维单元对应的取1,未被选中的可编辑三维单元对应的取0;

41、其次,引入缺陷严重程度参数:

42、,

43、其中,表示缺陷严重程度或缺陷作用强度;当取值较小时,表示轻微缺陷;当取值较大时,表示中度或重度缺陷;所述缺陷严重程度参数由用户设定或根据缺陷类型的预设等级确定;根据缺陷类型和缺陷严重程度参数,确定缺陷作用深度:

44、,

45、其中,表示缺陷沿表面法向或近表层方向的作用深度,表示缺陷深度映射函数,表示缺陷类型,表示目标材料属性,表示缺陷严重程度参数;

46、随后,根据缺陷类型将缺陷约束掩码划分为表面型掩码或薄壳型掩码;对于表面附着型缺陷,构建表面型三维掩码;所述表面型三维掩码主要分布于候选缺陷区域所对应的设备表面,用于表示缺陷主要作用于表面外观而不明显改变设备内部结构;表面型三维掩码可表示为:

47、,

48、其中,表示第个可编辑三维单元的表面型掩码权重,∈[0,1]表示该三维单元在表面区域内的编辑权重;当采用二值表面掩码时,=1;当采用软表面掩码时,所述编辑权重根据候选适配评分、到候选区域中心的距离、到候选区域边界的距离或邻域连续性确定;

49、对于近表层损伤型缺陷,构建薄壳型三维掩码;所述薄壳型三维掩码由薄壳作用区域和薄壳掩码权重组成。以候选缺陷区域为表面基底,并沿表面法向或近表层方向扩展至有限深度范围内,用于表示裂纹、腐蚀、烧蚀、剥落、缺口等缺陷在设备表面及近表层空间中的作用范围;对于候选缺陷区域中的任一可编辑三维单元,以其空间位置和表面法向为基础,构建沿法向方向的近表层作用区域:

50、,

51、其中,表示以候选缺陷区域中的表面三维单元为基准,沿表面内法向方向生成的薄壳空间位置点;式中,和均表示同一三维坐标系中的位置,其坐标分量具有长度量纲;为相对于表面基点沿法向延伸的深度,为最大作用深度,二者与位置坐标采用相同的长度单位。式中的为单位表面法向量,表示方向,满足:,其作用是确定延伸方向,不引入额外的长度尺度。

52、因此,为无量纲方向向量,为具有长度量纲的位移向量,能够与位置向量相减,公式两侧量纲一致。根据单位法向量的长度性质,可以得到:

53、;

54、上述关系说明,由该式确定的空间点相对于对应表面基点的法向延伸距离等于,并受最大作用深度限制。当时,空间位置与表面基点重合;当时,达到该表面基点所对应的最大法向作用深度。当指向模型外部时,表示向内部延伸的方向;法向方向定义相反时,按照原文所述的模型内外判定调整其方向。

55、薄壳作用区域中的空间位置处的掩码权重表示为:

56、,

57、其中,表示空间位置所对应或邻近的三维单元与目标部件类别、目标材料属性的兼容性约束,表示沿表面内法向方向的编辑权重,当薄壳空间位置与可编辑三维单元的空间位置对应或邻近时,将作为该三维单元的薄壳型掩码权重;

58、接下来对表面型掩码或薄壳型掩码进行边界约束,当扩展后的掩码单元与目标部件类别不一致,或者与目标材料属性不相容时,将该掩码单元从缺陷约束掩码中剔除或降低其掩码权重;对边界约束后的掩码进行平滑处理,得到最终三维缺陷约束掩码:

59、,

60、其中,表示最终三维缺陷约束掩码,表示掩码融合与平滑函数;对于表面附着型缺陷,m主要由表面型掩码构成;对于近表层损伤型缺陷,m主要由薄壳型掩码构成;对于兼具表面外观变化和近表层几何变化的缺陷,m由表面型掩码和薄壳型掩码加权融合得到。

61、作为优选,步骤四中在获得最终三维缺陷约束掩码后,根据缺陷类型、目标材料属性和缺陷严重程度参数,构建用于指导后续三维局部编辑的缺陷编辑引导信息;所述缺陷编辑引导信息用于确定缺陷在三维模型中的目标几何形态、目标外观表现、纹理特征和边界过渡方式,使缺陷编辑过程不仅能够控制编辑强度,还能够控制缺陷最终呈现的形状和外观;

62、首先,根据缺陷类型和材料属性建立缺陷目标原型:

63、,

64、其中,表示缺陷类型对应的缺陷目标原型;表示几何目标原型,用于描述凹陷、裂纹、缺口、剥落、破损或表面附着等几何变化形式;表示外观目标原型,用于描述目标颜色范围、纹理样式、粗糙度、透明度或反射属性变化;表示形态分布原型,用于描述线状、斑块状、片状、分叉状或不规则块状等缺陷分布形态;表示边界过渡原型,用于描述平滑渐变、粗糙破碎、强突变或斑驳过渡等边界形式;

65、然后,根据缺陷严重程度参数对缺陷目标原型进行尺度和强度控制;所述缺陷严重程度参数用于控制缺陷面积、作用深度、几何变化幅度、颜色变化强度、纹理扰动程度和边界破碎程度;当较小时,生成轻微缺陷,例如小范围污秽、浅层腐蚀、小角破损或细小裂纹;当较大时,生成中度或重度缺陷,例如较大面积腐蚀、明显烧蚀、局部块状剥落或较大范围材料缺失;

66、随后,根据三维缺陷约束掩码读取每个可编辑三维单元的掩码权重:

67、,

68、其中,∈[0,1]表示第个可编辑三维单元的缺陷编辑权重;掩码权重用于控制缺陷目标原型在三维空间中的作用范围和局部编辑强度;掩码权重越大,该三维单元越接近缺陷中心,编辑作用越强;掩码权重越小,该三维单元越接近缺陷边界,编辑作用越弱;当掩码权重为零时,该三维单元不参与缺陷编辑;在此基础上,根据缺陷目标原型、严重程度参数、掩码权重、材料属性和原始外观特征,生成每个可编辑三维单元的缺陷编辑引导;所述缺陷编辑引导包括几何编辑引导、外观编辑引导、纹理编辑引导和边界编辑引导中的一种或多种;通过上述处理,能够将缺陷类型、材料属性、严重程度参数和三维缺陷约束掩码转化为可用于后续三维局部编辑的缺陷编辑引导信息;该引导信息同时限定缺陷的编辑位置、编辑强度、目标形态、目标颜色、纹理样式和边界过渡方式,从而实现面向电力设备缺陷的可控三维编辑。

69、作为优选,步骤五中在获得三维缺陷约束掩码和缺陷编辑引导信息后,在统一三维表示中执行局部三维缺陷编辑,得到带有目标缺陷的电力设备三维模型;所述局部三维缺陷编辑是在三角网格、点云、体素、神经辐射场、隐式神经场、三维高斯模型或三维潜表示中的统一三维空间内,直接对缺陷区域的几何属性和外观属性进行局部修改;

70、首先,根据每个可编辑三维单元的掩码权重,将可编辑三维单元集合划分为缺陷核心编辑区、缺陷边界过渡区和非缺陷保持区:

71、,

72、,

73、,

74、其中,表示缺陷核心编辑区,表示缺陷边界过渡区,表示非缺陷保持区;表示核心编辑阈值,表示保持阈值,且满足:0≤<≤1;

75、在缺陷核心编辑区内,根据步骤四得到的缺陷编辑引导生成目标缺陷的主要几何变化和外观变化;对于破损、剥落或缺口类缺陷,执行局部切削、凹陷、材料缺失或断面生成;对于腐蚀或烧蚀类缺陷,执行浅层侵蚀、表面粗糙化、局部凹陷和外观变色;对于裂纹类缺陷,沿表面方向生成细长凹槽、开裂缝隙或分叉纹理;对于污秽、积灰等表面附着型缺陷,主要执行颜色、纹理和粗糙度编辑;在缺陷边界过渡区内,根据边界编辑引导生成缺陷边缘和过渡效果;对于破损、剥落或缺口类缺陷,生成不规则、锯齿状或破碎状边缘;对于腐蚀或烧蚀类缺陷,生成由中心向外衰减的不规则斑块边界;对于污秽或积灰类缺陷,生成柔和渐变边界;对于裂纹类缺陷,生成宽度变化、分叉和暗边过渡;在执行局部几何编辑的同时,根据外观目标原型和纹理目标原型更新缺陷区域的外观属性,使缺陷呈现与缺陷类型和材料属性相匹配的颜色、纹理、粗糙度、透明度或反射属性;缺陷严重程度参数用于控制局部缺陷编辑的尺度和幅度,包括缺陷范围、缺陷深度、材料缺失比例、几何扰动幅度、颜色变化幅度、纹理扰动强度和边界破碎程度;当较小时,生成小范围、浅层、弱变化的轻微缺陷;当较大时,生成更大范围、更深作用、更强外观变化和更明显边界破碎的重度缺陷;

76、在非缺陷保持区内,保持原始三维模型的空间位置、表面法向、局部几何、部件类别、材料属性和外观特征不变或基本不变;对于显式三维表示,直接保持非缺陷保持区内的顶点、面片、点、体素、高斯粒子或材质参数不变;对于三维潜表示或生成式三维编辑模型,保持非缺陷保持区对应的原始潜变量、上下文特征或注意力特征,从而避免缺陷编辑影响非目标区域;

77、完成局部三维缺陷编辑后,得到编辑后的可编辑三维单元集合:

78、,

79、其中,表示编辑后三维单元数量;当编辑仅改变材料或纹理属性时,可以等于编辑前数量,当编辑涉及几何缺损、断面生成、薄层扩展或局部重构时,可以不同于编辑前数量。

80、上述局部几何编辑可通过显式三维属性修改实现,也可通过对三维潜表示中对应区域施加缺陷编辑引导实现。

81、作为优选,步骤六中在获得编辑后的可编辑三维单元集合后,根据输入三维模型的数据类型,重建或输出带有目标缺陷的电力设备三维模型,并生成与三维缺陷模型对应的标注信息和多视角样本;当输入为三角网格模型时,根据编辑后的顶点、面片、法向、纹理或材质参数输出带缺陷的三角网格模型;当输入为点云模型时,输出编辑后的点位置、点颜色、点法向和点属性;当输入为体素模型时,输出编辑后的占用体素、表面体素、密度值、颜色值或体素标签;当输入为神经辐射场模型或隐式神经场模型时,输出编辑后的神经场参数、采样特征、渲染图像或由隐式场重建得到的网格模型;当输入为三维高斯模型时,输出编辑后的高斯中心、尺度、旋转、不透明度、颜色或球谐系数;同时,根据最终三维缺陷约束掩码和编辑后的三维模型,生成缺陷标注信息;所述缺陷标注信息包括三维缺陷掩码、缺陷类型标签、缺陷严重程度标签、缺陷所在部件标签、缺陷材料标签、缺陷空间范围、缺陷深度范围和缺陷边界信息中的一种或多种;从多个观察视角对带缺陷电力设备三维模型进行渲染,生成多视角缺陷样本;所述多视角缺陷样本包括可见光图像、深度图、法向图、分割标签图、缺陷掩码图、部件标签图和视角位姿信息中的一种或多种;由于缺陷是在三维空间中生成,所述多视角样本中的同一缺陷在不同观察视角下具有一致的空间位置、几何形态、遮挡关系和纹理边界;通过上述处理,能够输出带缺陷的电力设备三维模型及其对应的三维标注和多视角二维样本,可用于电力设备巡检算法训练、缺陷检测模型验证、数字孪生仿真、设备状态评估和三维缺陷样本库构建。

82、作为优选,步骤一中当输入为三角网格模型时,以网格顶点、网格面片或表面采样点作为可编辑三维单元;根据网格面片邻接关系、顶点邻域关系或局部曲面拟合结果,计算表面法向和局部曲率;根据模型自带的纹理、材质、部件标注、语义标注或人工配置结果,获得对应的外观特征、材料属性和设备部件类别;当输入为点云模型时,以点云中的空间点、局部点簇或由点云重建得到的局部表面片作为可编辑三维单元;通过邻域搜索、局部平面拟合或主成分分析估计表面法向;通过邻域几何分布估计局部曲率、表面粗糙度或几何变化特征;并结合点颜色、点云语义分割结果、多视角投影结果或人工配置结果,获得设备部件类别、材料属性和外观特征;当输入为体素模型时,以占用体素、表面体素或表面邻域体素作为可编辑三维单元;根据占用场、有符号距离场、截断有符号距离场或体素边界提取设备表面;根据距离场梯度、邻域占用变化或局部体素分布计算表面法向和几何变化特征。当输入为nerf或隐式神经场时,对神经场进行空间采样,根据密度场、占用场或有符号距离场提取目标设备表面点,并利用场函数梯度估计表面法向;随后将采样得到的表面点或稀疏空间单元转换为可编辑三维单元。当输入为三维高斯模型时,以高斯粒子作为可编辑三维单元,将高斯中心作为空间位置,将尺度、旋转和协方差作为局部几何属性,将颜色和透明度作为外观属性,并通过邻域高斯拟合或辅助表面估计获得表面法向和几何变化特征。

83、作为优选,所述缺陷类型包括裂纹、腐蚀、锈蚀、烧蚀、污秽、破损、剥落和表面磨损;所述目标部件类别包括绝缘部件、导电部件、连接部件、支撑部件、外壳部件和紧固部件;所述目标材料属性包括金属、陶瓷、复合绝缘材料、橡胶、塑料、涂层材料中的一种或多种;当用户通过系统界面直接选择缺陷类型、目标部件、材料属性或严重程度时,可直接形成结构化缺陷编辑意图;当用户输入自然语言描述时,可从文本中抽取缺陷类型、目标部件、目标材料、位置约束和严重程度等字段;当用户在三维视图中点击、框选或绘制区域时,可将用户交互结果转换为空间位置约束,严重程度参数用于后续三维掩码深度控制和缺陷编辑强度控制;

84、所述候选适配评分函数可表示为加权融合形式:

85、,

86、其中,,,,分别表示部件适配特征、材料适配特征、几何适配特征和位置适配特征对应的权重,且各权重为非负数,且满足+++=1;各适配特征均归一化至[0,1];当某一类约束不存在时,将对应权重置为零,并对其余权重重新归一化。

87、作为优选,缺陷作用深度可表示为:

88、,

89、其中,表示对应缺陷类型和材料属性下的最小作用深度,表示对应缺陷类型和材料属性下的最大作用深度;不同缺陷类型对应不同的深度范围;表面附着型缺陷的作用深度较小;近表层损伤型缺陷的作用深度较大;结构损伤型缺陷则设置更大的局部作用深度。

90、本技术还提供了一种面向电力设备巡检场景的三维缺陷编辑系统,所述的系统包括:三维模型输入模块、可编辑属性提取模块、候选缺陷区域生成模块、三维缺陷掩码构建模块、缺陷编辑引导构建模块、局部三维缺陷编辑模块和多视角样本输出模块;其中,三维模型输入模块用于获取待编辑电力设备的三维输入数据;可编辑属性提取模块用于将三维输入数据转换为可编辑三维单元集合;候选缺陷区域生成模块用于确定适合生成目标缺陷的候选缺陷区域;三维缺陷掩码构建模块用于生成表面型或薄壳型三维缺陷约束掩码;缺陷编辑引导构建模块用于根据缺陷目标原型生成编辑引导信息;局部三维缺陷编辑模块用于在三维掩码约束下执行局部缺陷编辑;多视角样本输出模块用于输出带缺陷三维模型、三维缺陷标注和多视角样本;各模块可由软件程序、硬件处理单元或软硬件结合方式实现,并可部署于本地计算平台、服务器或云端计算环境中。

91、采用上述技术方案后,本发明具有如下有益效果:

92、(1)提高了缺陷样本的三维空间一致性;本发明不是在多个二维视图中分别生成缺陷后再回灌至三维模型,而是在统一三维表示中直接确定缺陷区域、构建三维掩码并执行局部缺陷编辑。由此生成的缺陷在三维空间中具有统一的位置、几何形态、遮挡关系和纹理边界。相比基于二维图像合成或多视图编辑回灌的缺陷编辑方法,本发明能够有效减少跨视角缺陷漂移、纹理错位和边界不一致问题,提升多视角巡检样本的空间一致性。

93、(2)增强缺陷编辑的空间可控性和深度表达能力;本发明通过表面型三维掩码和薄壳型三维掩码对缺陷编辑范围进行约束,能够根据缺陷类型、材料属性和严重程度参数控制缺陷在设备表面或近表层空间中的作用深度。相比普通二维mask、对象级三维mask或部件级三维mask,本发明不仅能够确定在哪里编辑,还能够确定沿表面向内编辑多深,更适合表达裂纹、腐蚀、烧蚀、剥落、破损等电力设备缺陷的三维空间分布特征。

94、(3)提升缺陷形态和外观生成的可控程度;本发明引入缺陷目标原型,对不同缺陷类型建立几何目标原型、外观目标原型、形态分布原型和边界过渡原型,使缺陷编辑过程不仅能够控制编辑强度,还能够控制缺陷最终呈现的几何形态、目标颜色、纹理样式和边界形式。相比仅依赖通用文本提示、普通编辑mask或局部重绘的三维编辑方法,本发明能够使绝缘子破损、金属锈蚀、表面污秽、烧蚀、裂纹等缺陷编辑结果更符合电力设备材料特征和真实缺陷表现。

95、综上所述,本发明提供了一种可实现自动候选缺陷区域生成、深度可控表面型/薄壳型三维掩码构建、缺陷目标原型引导和局部三维缺陷编辑相结合的面向电力设备巡检场景的三维缺陷编辑方法及系统。