基于物理几何模型的视觉检测增强技术

本发明涉及工业视觉检测训练数据生成和计算机图形渲染，具体涉及一种基于物理几何模型的视觉检测增强方法。

背景技术：

1、工业产品视觉缺陷检测通常依赖带有缺陷类别、缺陷位置或缺陷区域标注的训练图像。实际生产中，缺陷事件具有低频、长尾和批次相关特征，部分缺陷仅在特定观察方向和入射光照下形成可分辨的图像响应，因而真实缺陷图像难以覆盖不同产品姿态、光照状态、背景状态和成像尺度。

2、一种现有方式是从生产线持续采集图像并由人工标注缺陷类别、边界框或像素区域。该方式需要等待缺陷自然发生，像素边界还受标注人员经验、图像对比度和遮挡状态影响；当产品结构、相机位置或照明装置调整时，既有样本分布可能与新的检测条件不匹配。

3、另一种现有方式是在二维正常图像上粘贴纹理、绘制缺陷区域，或者利用图像生成模型合成缺陷图像。该方式能够增加缺陷外观数量，但缺陷通常缺少与产品曲面、部件关系、遮挡状态和光照响应相一致的物理基础，输入掩码与最终图像中的真实可见缺陷区域可能产生偏移。

4、还有一种现有方式采用三维模型和程序化渲染生成训练图像，通过改变相机、光源、材质或背景参数扩展场景变化，并由渲染器输出分割、深度或法向真值。若直接把三维缺陷范围或渲染器中的缺陷标识当作最终像素标签，则产品自身遮挡、其他物体遮挡或表面掠射观察可能使被标注缺陷在图像中不可见。

5、对于金属、涂层或高反射表面，缺陷是否形成可检测响应还与光源方向、反射状态和相机方向共同相关。即使缺陷表面在几何上可见，当前光照下也可能没有足够的颜色或亮度差；此时仍将完整缺陷区域作为正样本，会在训练集中引入标签为缺陷而图像缺少相应证据的监督噪声。

6、因此，需要一种将缺陷物理表征、成像条件变化、正常与缺陷成对图像、渲染缓冲、多层级标签和样本覆盖反馈统一在同一参数谱系内的技术方案，并依据实际可见性和实际光度响应共同确定可用于训练的缺陷区域。

技术实现思路

1、本发明提供一种基于物理几何模型的视觉检测增强方法。该技术依托物理几何模型的可编程渲染能力，将产品模型、缺陷载体、成像条件、成对图像、渲染缓冲和标签记录纳入同一谱系；在相同成像条件下分别渲染无缺陷物理几何模型和缺陷模型，并依据几何可见性、缺陷标识及光度响应共同确定有效缺陷区域，再通过样本质量门控和条件覆盖反馈调整后续采样。

2、通过上述处理，本发明能够生成覆盖多角度、多光照、多背景和多尺寸条件的视觉样本，并使缺陷的物理表征、图像响应和多层级标签相互对应，从而解决生产拍摄条件不确定、真实缺陷样本种类与数量稀缺、缺少从缺陷生成到精细标注完整机制的问题，为视觉检测模型提供丰富且质量可控的有监督训练样本，降低复杂生产条件下的漏检和误检。

3、所述基于物理几何模型的视觉检测增强技术包括以下六个步骤：

4、步骤s1，获取工业产品的无缺陷物理几何模型、基准材质参数和成像约束，并在产品表面建立表面坐标系。

5、步骤s2，在所述表面坐标系内构造包含表面支撑域、几何扰动场、材质扰动场、缺陷类别、严重度参数和谱系标识的缺陷载体。

6、步骤s3，按照观察方向、入射方向、背景类型、成像尺度及缺陷响应难度对成像条件进行分箱和采样，基于所述缺陷载体生成缺陷模型，并保存表面支撑域至渲染坐标系的变换链。

7、步骤s4，在同一成像条件下分别对所述无缺陷物理几何模型和缺陷模型进行物理渲染，得到正常参考图像、缺陷图像以及与缺陷图像配准的标识缓冲、深度缓冲和表面法向缓冲。

8、步骤s5，根据所述变换链和深度缓冲确定几何可见掩码，根据正常参考图像与缺陷图像的像素差确定光度响应区域，并将几何可见掩码、缓冲缺陷区域和光度响应区域融合为有效缺陷区域，由所述有效缺陷区域生成多层级标签。

9、步骤s6，根据可见覆盖率、边界一致度和光度可观测指标对样本进行质量门控；对未通过门控的样本按失败指标进行定向重采样，对通过门控的样本进行封装，并更新对应成像条件分箱的后续采样权重。

10、与所述方法相对应，本发明还提供一种基于物理几何模型的视觉检测增强系统，所述系统包括模型与约束管理模块、缺陷载体构造模块、成像条件采样模块、缺陷注入与成对物理渲染模块、可见性与光度响应融合标注模块、样本质量门控模块以及覆盖反馈与样本封装模块；所述方法还可由电子设备的处理器和图形渲染处理单元执行，并以程序形式存储于计算机可读存储介质中。

11、本发明的特点是：

12、（1）本发明利用基于物理几何模型的可编程渲染工具，构建多角度、多光照、多背景和多尺寸的视觉样本生成机制。具体地，将观察方向、入射方向、背景类型、成像尺度及缺陷响应难度划分为成像条件分箱，在各分箱限定的参数范围内对相机、光源、背景和输出分辨率进行联合采样，并根据合格样本数量调整后续采样权重。由此能够在有限渲染预算下补充覆盖不足的拍摄条件，缓解生产环境中视角、照明、背景和产品成像尺寸不确定给视觉检测带来的客观限制。

13、（2）本发明明确产品视觉缺陷的基本表征形态及相应渲染策略，以产品表面的支撑域限定缺陷作用范围，并通过几何扰动场和材质扰动场分别表征形状变化与表面光学属性变化。缺陷类别、严重度参数和谱系标识与所述扰动共同写入缺陷载体，使划痕、凹陷、凸起、污渍、变色、涂层异常及部件关系异常能够按照相应物理表征受控生成，并在不同成像条件下形成与产品曲面、遮挡关系及光照状态相协调的图像响应，从而缓解真实缺陷样本种类与数量稀缺的客观约束。

14、（3）本发明按照产品视觉缺陷的正向生成流程，将缺陷载体构造、成像条件采样、缺陷注入、同条件成对物理渲染、有效缺陷区域确定、样本质量门控及覆盖反馈建立可追溯关联。通过融合表面投影和深度判断得到的几何可见掩码、缺陷标识缓冲对应的缓冲缺陷区域以及正常参考图像与缺陷图像之间的光度响应区域，生成像素级、实例级、类别级、严重度级、成像条件级及谱系级标签；未通过质量门控的样本按失败原因重新采样。由此构建从缺陷生成到多层级精细标注的完整机制，为视觉检测模型提供图像证据与标签相一致的有监督反向训练环境。

1.一种基于物理几何模型的视觉检测增强方法，其特征在于，包括：s1，获取工业产品的无缺陷物理几何模型、基准材质参数和成像约束，在产品表面建立表面坐标系；s2，在所述表面坐标系内构造缺陷载体，所述缺陷载体包括表面支撑域、几何扰动场、材质扰动场、缺陷类别、严重度参数和谱系标识；s3，按照成像条件分箱采样相机、光源、背景和成像尺度参数，基于所述缺陷载体生成缺陷模型，并保存所述表面支撑域至渲染坐标系的变换链；s4，在同一成像条件下分别对所述无缺陷物理几何模型和所述缺陷模型进行物理渲染，得到正常参考图像、缺陷图像、缺陷标识缓冲和深度缓冲；s5，根据所述变换链和深度缓冲确定几何可见掩码，根据所述正常参考图像与缺陷图像的像素差确定光度响应区域，并将所述几何可见掩码、缺陷标识缓冲对应的缓冲缺陷区域和光度响应区域融合为有效缺陷区域，由所述有效缺陷区域生成包含缺陷位置、缺陷类别、严重度参数、成像条件参数和谱系标识的多层级标签；s6，根据可见覆盖率、边界一致度和光度可观测指标对样本进行质量门控，对未通过门控的样本按失败指标重采样，对通过门控的样本进行封装，并更新对应成像条件分箱的后续采样权重。

2.根据权利要求1所述的方法，其特征在于，所述表面支撑域由产品表面的面片集合、纹理坐标区域、参数化曲面区域或部件支撑区域确定；所述几何扰动场用于改变所述表面支撑域内顶点的位置或法向，所述材质扰动场用于改变所述表面支撑域的反射率、粗糙度、颜色或纹理状态；所述谱系标识用于关联所述缺陷载体、缺陷模型、渲染图像和多层级标签。

3.根据权利要求1所述的方法，其特征在于，步骤s4中的物理渲染保持相机参数、产品姿态、光源参数、背景参数和输出分辨率相同，并使所述缺陷图像、缺陷标识缓冲和深度缓冲采用相同的像素原点与分辨率。

4.根据权利要求1所述的方法，其特征在于，步骤s5包括：将所述表面支撑域沿所述变换链投影至像素平面，将投影深度与所述深度缓冲中的像素深度进行比较以得到所述几何可见掩码；计算所述正常参考图像与缺陷图像在相同像素位置的颜色差以得到所述光度响应区域；对所述几何可见掩码、缓冲缺陷区域和光度响应区域求交以得到所述有效缺陷区域。

5.根据权利要求1所述的方法，其特征在于，当所述可见覆盖率未达到阈值时，调整缺陷位置、相机姿态或成像尺度；当所述边界一致度未达到阈值时，重新生成变换链、深度缓冲或缺陷标识缓冲；当所述光度可观测指标未达到阈值时，调整相机姿态或光源参数；当样本通过门控时，提高样本数量较少的成像条件分箱的后续采样权重。

6.一种基于物理几何模型的视觉检测增强系统，其特征在于，包括模型与约束管理模块、缺陷载体构造模块、成像条件采样模块、缺陷注入与成对物理渲染模块、融合标注模块、样本质量门控模块以及覆盖反馈与样本封装模块；各模块被配置为执行权利要求1至5任一项所述的方法。