基于深度学习的钻石内部瑕疵智能识别方法与流程
本发明涉及计算机视觉与图像识别,具体为基于深度学习的钻石内部瑕疵智能识别方法。
背景技术:
1、钻石内部瑕疵检测通常以显微成像图像作为处理对象,现有技术多采用单视图图像识别流程。检测时,将钻石固定在预定观察角度,采集包含包裹体、羽状裂纹、云状区域或针状异物的二维图像,对图像执行亮度校正、噪声抑制、边缘增强和局部对比度调整,再利用卷积特征提取网络生成候选区域。候选区域经区域裁剪或特征金字塔处理后,由分类网络按照预设瑕疵类别输出识别结果,部分方案还通过分割网络获得瑕疵轮廓,并依据图像像素尺度估计瑕疵面积和长宽。此类方案的训练样本通常按照单幅图像进行标注,网络主要学习局部纹理、灰度差异、边缘形态及方向分布。对于在当前观察角度下成像清楚且与刻面反光差异较大的瑕疵,单视图识别可以完成候选定位和类别判定,但其处理对象仍是二维投影,难以直接反映瑕疵在钻石内部的真实深度、空间延伸方向以及不同视图之间的对应关系。
2、为获得较完整的内部信息,现有多视图检测方案通常控制钻石相对于成像模块转动,在多个观察角度分别采集图像,并对各视图独立执行候选检测。完成候选检测后,依据钻石外轮廓、刻面交界线或预设转动角度对图像进行配准,将不同视图中的候选区域通过仿射变换、单应变换或极线约束映射至同一参考视图,再按照候选区域的中心距离、形态相似度和类别置信度进行匹配。对于无法建立直接匹配关系的候选,常采用多视图投票或置信度加权方式确定最终类别;对于疑似同一瑕疵的多个候选,则以位置邻近或特征相似为依据进行合并。部分方案将各视图特征直接拼接后输入分类网络,使网络从联合特征中学习观察角度变化。上述处理通常将钻石内部成像近似为普通透明物体的线性投影,默认候选区域在视角变化下具有可由几何变换描述的连续位移关系,因而未对光线经过不同刻面时产生的折射方向变化和多路径成像进行统一建模。
3、另有现有技术尝试引入钻石几何模型或光路计算,以改善内部瑕疵的空间定位。此类方案通常从图像中提取钻石轮廓和刻面边界,根据预设切工参数恢复近似刻面法向,再结合钻石折射率计算光线进入钻石后的传播方向。各视图中检测到的候选点沿计算光路反向延伸,通过多条光线的最近交点、空间网格投票或体素累积确定可能的瑕疵位置,并将所得空间位置用于候选去重。另一类方案先完成二维深度学习识别,再将识别结果输入独立的三维重建程序,由重建程序按照固定光学参数估计深度。由于刻面边界提取误差、观察姿态误差和局部反射会共同改变实际光路,现有处理往往采用固定法向或单一路径进行计算,光路模型与瑕疵特征识别之间缺少联合更新过程;当空间交点偏离真实位置时,二维识别结果不能反向修正刻面几何和折射路径,三维重建结果也不能利用多视图形态一致性排除由反射或重影产生的候选。
4、在钻石多刻面和高折射条件下,如何建立同一内部瑕疵在多个观察角度图像之间稳定且符合实际折射路径的三维对应关系。光线经不同刻面入射和出射后,瑕疵投影位置与观察角度之间呈非线性变化,同一瑕疵还可能沿不同传播路径形成位置分离的图像响应;刻面法向、视图姿态或候选边界存在偏差时,基于线性配准、固定光路或单次空间交汇得到的对应结果会进一步偏离真实位置。由于现有方案不能在折射路径估计、多视图特征交汇和图像重投影之间形成相互校正的处理闭环,多个视图中的候选响应难以被可靠归并到同一真实空间目标,进而出现同一瑕疵被重复表示、相邻深度瑕疵被归入同一空间响应以及刻面反射虚像被保留为内部候选的情况,其本质均在于跨视图空间对应关系不能同时满足光路一致性与图像特征一致性。
技术实现思路
1、本发明的目的在于提供基于深度学习的钻石内部瑕疵智能识别方法,可以解决上述背景技术中的问题。
2、为实现上述目的,本发明采取的技术方案为:
3、基于深度学习的钻石内部瑕疵智能识别方法,包括:获取同一钻石在多个观察角度下的多视图图像,对各多视图图像进行轮廓、刻面边界及瑕疵候选区域提取;
4、依据所述轮廓和所述刻面边界确定各观察角度对应的刻面法向信息及视图相对姿态,结合钻石折射参数构建各多视图图像的折射路径场;
5、将所述瑕疵候选区域的深度特征沿对应折射路径反投影至统一三维隐式空间,生成多视图空间响应;
6、基于不同观察角度的空间响应交汇关系筛选三维瑕疵候选体,并对所述三维瑕疵候选体执行面向各多视图图像的重投影,根据重投影结果与所述瑕疵候选区域之间的残差更新所述折射路径场及所述三维瑕疵候选体;
7、对更新后的三维瑕疵候选体进行连通聚合和类别判定,输出钻石内部瑕疵的类别、三维位置及空间尺寸。
8、优选的,所述折射路径场的构建包括:将各多视图图像中的钻石外轮廓与刻面交界线编码为刻面几何特征图,利用共享权重的几何估计网络分别获得刻面法向候选及其置信度;
9、依据相邻刻面的边界连续关系建立刻面邻接图,对所述刻面法向候选执行图约束校正;
10、将校正后的刻面法向、所述视图相对姿态及钻石折射参数输入可微光路传播层,生成由图像坐标指向三维隐式空间的多个折射路径候选,并根据刻面法向置信度和光路连续度确定各折射路径候选的初始权重,使同一图像坐标保留与多个潜在折射解相对应的路径表示。
11、优选的,所述多视图空间响应的生成包括:利用多尺度特征编码网络分别提取所述瑕疵候选区域的边界特征、内部纹理特征及方向特征,将各类特征与对应观察角度和刻面标识进行联合编码;
12、按照所述折射路径场中各折射路径候选的空间采样位置,将联合编码后的深度特征分配至三维隐式空间中的连续采样点;
13、对落入同一空间邻域的深度特征执行视角归一化和方向对齐,并依据所述折射路径候选的初始权重进行加权累积,形成保留视角来源、路径来源及局部形态信息的三维空间响应张量。
14、优选的,所述三维瑕疵候选体的筛选包括:针对三维隐式空间中的每一空间响应峰建立路径竞争集合,所述路径竞争集合包括由不同观察角度、不同刻面及不同折射路径候选形成的响应项;
15、分别计算各响应项之间的空间交汇一致度、深度特征相似度、视角覆盖度及遮挡兼容度,并将计算结果输入交汇验证网络得到路径保留权重;
16、依据所述路径保留权重抑制仅由单一观察角度支持或在不同视图中缺乏共同空间解释的响应项,对保留的响应项进行三维聚类,形成具有多视图支持关系的三维瑕疵候选体。
17、优选的,所述刻面邻接图的图约束校正包括:以所述刻面法向候选作为节点状态,以刻面交界线的方向、长度及两侧灰度跃迁作为边属性,利用边条件图消息传递网络在相邻刻面之间传递法向修正量;
18、对由同一刻面在不同观察角度下形成的节点建立跨视图对应边,并依据轮廓投影一致性约束所述跨视图对应边两端的法向变换关系;
19、将局部邻接约束与跨视图对应约束共同输入迭代校正层,输出满足刻面拼接连续性和跨视图几何一致性的刻面法向,并将迭代过程中产生的约束残差写入所述刻面法向置信度。
20、优选的,所述多个折射路径候选的处理包括:对每一折射路径候选建立由入射刻面、传播方向、空间采样序列及出射视图组成的路径描述向量,从所述瑕疵候选区域的深度特征中提取方向特征,并将所述路径描述向量与所述方向特征进行交互编码;
21、根据不同观察角度下所述路径描述向量之间的空间邻近关系构建路径关联图,在所述路径关联图中对具有共同三维交汇趋势的折射路径候选执行特征聚合;
22、依据聚合后的路径关联特征更新各折射路径候选的权重,并将权重更新结果反馈至所述多视图空间响应的加权累积过程,在同一迭代序列中同步更新路径权重与多视图特征。
23、优选的,所述视角归一化和方向对齐包括:从各瑕疵候选区域的深度特征中分离与观察角度相关的成像分量和与瑕疵形态相关的结构分量;
24、利用所述刻面法向及所述折射路径传播方向,将所述结构分量变换至三维隐式空间的局部正交坐标系,并按照路径传播造成的尺度伸缩关系对边界特征和方向特征进行重采样;
25、对来自不同观察角度且落入同一空间邻域的结构分量计算通道相关矩阵,通过共享子空间投影保留跨视图稳定成分,并将未被保留的成像分量作为视角干扰特征附加至对应空间响应项的抑制标记。
26、优选的,所述遮挡兼容度的计算包括:依据钻石轮廓、所述刻面法向及所述折射路径场,为每一观察角度生成从图像平面至三维隐式空间的可见性序列;
27、将三维隐式空间峰在各观察角度下的理论投影位置与所述可见性序列进行匹配,区分可观测视图、遮挡视图及路径不确定视图;
28、对所述可观测视图中缺失对应瑕疵候选区域的空间响应项施加不一致标记,对遮挡视图中缺失对应瑕疵候选区域的空间响应项保留中性标记,并将各类标记与视角覆盖度共同编码为遮挡关系特征,输入交汇验证网络以生成所述路径保留权重。
29、优选的,根据重投影结果与所述瑕疵候选区域之间的残差更新所述折射路径场及所述三维瑕疵候选体,包括:将各三维瑕疵候选体沿对应出射路径投影至各多视图图像,获得包含预测位置、预测边界及预测方向的重投影特征;
30、分别计算所述重投影特征与所述瑕疵候选区域之间的位置残差、边界形变残差及方向残差,并按照所述刻面法向置信度、路径关联权重及视图可见性生成残差门控系数;
31、利用所述残差门控系数对各类残差进行组合,将组合残差反向传递至迭代校正层和路径关联图,联合更新刻面法向、所述折射路径候选的空间采样序列、路径权重及所述三维瑕疵候选体的空间位置。
32、优选的,所述连通聚合和类别判定包括:依据更新后的三维空间响应及各空间响应项的路径保留权重建立三维连通图,以空间邻接关系、共享观察角度数量、深度特征相似度及遮挡关系特征一致性作为连通条件;
33、按照所述可见性序列对所述三维连通图中的节点进行投影核验,将在多个可观测视图中对应同一瑕疵候选区域的节点合并为同一连通分量,并将具有不同深度中心或不同方向连续性的相邻节点保留为不同连通分量;
34、分别聚合各连通分量的三维形态特征和多视图纹理特征,将聚合结果输入深度分类网络获得瑕疵类别,并根据各连通分量的三维坐标范围确定三维位置及空间尺寸。
35、与现有技术相比,本发明的有益效果在于:
36、1.通过依据钻石轮廓和刻面边界确定刻面法向与视图相对姿态,并结合钻石折射参数构建折射路径场,各视图中的瑕疵候选特征不再按照二维线性变换进行对齐,而是沿对应折射路径反投影至统一三维隐式空间。来自不同观察角度且指向同一内部位置的特征在空间邻域内形成交汇,缺少多视图共同支持的响应则在路径竞争和交汇验证过程中被抑制。三维瑕疵候选体向原始视图执行重投影后,依据重投影位置、边界和方向与原候选区域之间的残差,联合更新刻面法向、折射路径权重、路径采样序列及候选体空间位置,使初始几何估计误差能够在多视图图像约束下逐步收敛。由此建立同时满足折射光路约束和跨视图特征一致性的空间对应关系,使同一瑕疵在不同视图中的分离响应能够归并为同一三维目标,并减少不同深度候选的错误合并及反射虚像的保留。
37、2.刻面邻接图利用刻面交界线方向、长度、灰度跃迁及跨视图轮廓投影关系对刻面法向进行联合校正,可降低单一刻面边界误差向折射路径计算结果的传递。路径关联图将入射刻面、传播方向、空间采样序列和出射视图编码为路径描述,通过共同三维交汇趋势更新多个折射路径候选的权重,使多路径成像条件下的候选特征能够按其空间一致程度参与累积。视角归一化和方向对齐将不同视图中的结构分量变换至三维局部坐标系,并对与观察角度相关的成像分量设置抑制标记,可减小刻面反光和视角伸缩对形态特征聚合的干扰。可见性序列进一步区分可观测视图、遮挡视图和路径不确定视图,避免将合理遮挡造成的候选缺失作为错误排除依据。经三维连通图和投影核验后,空间响应按照多视图对应关系形成连通分量,可在统一空间坐标下输出瑕疵类别、三维位置和空间尺寸。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com