一种基于多视角特征融合的钻石内部瑕疵分类方法与流程

本发明涉及计算机视觉及宝石图像识别，涉及一种基于多视角特征融合的钻石内部瑕疵分类方法。

背景技术：

1、钻石内部瑕疵分类通常以可见光显微成像或工业相机成像作为数据来源，通过改变钻石相对于成像方向的姿态，获取冠部、亭部及侧向刻面对应的多视角图像。图像处理过程通常包括亮度校正、反光区域识别、噪声平滑、边缘提取和候选区域分割，再从候选区域中计算灰度分布、边界形态、纹理变化及空间位置等图像特征。分类阶段利用带有瑕疵类别标注的样本建立统计分类器或神经网络分类器，由各视角图像独立给出类别结果，并通过多数判定、置信度比较或者较低净度等级选取的方式形成整颗钻石的分类结果。此类处理方式实施链条较为明确，但各视角之间通常只在分类结果层面建立联系。

2、与多视角特征融合较为接近的现有方案会利用准直光图像提取钻石轮廓和刻面边界，结合相机成像关系建立钻石三维表面模型，并在漫射光或透射光图像中检测点状、线状及片状异常区域。针对每个候选异常区域，根据刻面法向和钻石折射关系计算从相机光心穿过入射刻面后的内部传播路径，再比较不同视角传播路径在钻石内部的交汇情况。能够在内部形成相近定位的候选异常被聚合为同一瑕疵，位于表面、刻面边界或反射路径上的异常则被排除。经过空间聚类后，系统提取瑕疵包围区域的尺寸、形态、灰度和位置，并依据预设分类规则或训练得到的分类模型确定内部瑕疵类别。

3、上述处理路线中的多视角图像主要承担三维定位和候选验证任务，各视角候选区域的局部图像特征仍以相互独立的方式参与分类。同一内部瑕疵经过不同刻面成像时，其图像位置、投影尺度和局部形态会随折射路径发生变化，不同视角还会形成清晰程度不同的观测结果。缺少统一内部坐标约束和成像可信关系时，直接拼接、平均或者汇总各视角特征，可能把空间上不对应的异常组合为同一对象，也可能使反光或边缘模糊视角中的特征占据不适当的比重。因此，需要解决在钻石折射成像条件下如何建立同一内部瑕疵的跨视角特征对应关系，并按照各视角观测的可信程度完成协同分类的问题。

技术实现思路

1、本发明的目的在于提供一种基于多视角特征融合的钻石内部瑕疵分类方法，可以有效解决上述背景技术中的问题。

2、为实现上述目的，本发明采取的技术方案为：

3、一种基于多视角特征融合的钻石内部瑕疵分类方法，包括：获取待分类钻石的多视角图像，依据所述多视角图像各自包含的轮廓及刻面边界建立钻石三维表面模型；

4、基于所述钻石三维表面模型和各视角的成像关系，对各视角中候选瑕疵区域对应的折射传播路径进行追迹，将从所述候选瑕疵区域提取的局部图像特征映射至统一内部坐标系；

5、按照映射后的空间对应关系建立跨视角瑕疵观察组，并根据所述折射传播路径与所述候选瑕疵区域的成像状态生成各局部图像特征的可信权重；

6、利用可信权重对跨视角瑕疵观察组内的局部图像特征进行门控融合，并依据所得融合特征确定内部瑕疵类别。

7、优选的，所述折射传播路径的追迹包括：由各视角对应的相机光心分别向所述候选瑕疵区域内的特征采样位置发射反向投影射线，确定所述反向投影射线与所述钻石三维表面模型相交的入射刻面；

8、依据入射刻面的法向和钻石折射关系求得内部传播方向，沿内部传播方向追踪至另一刻面，得到由多个内部射线段构成的候选区域路径束，并以所述候选区域路径束内的空间采样位置承载对应的局部图像特征。

9、优选的，所述跨视角瑕疵观察组的建立包括：对不同视角的候选区域路径束进行空间最近交汇计算，形成位于所述钻石三维表面模型内部的交汇区；

10、将各交汇区沿对应的候选区域路径束反向投影至各视角图像，保留反向投影与原候选瑕疵区域重合的交汇区；

11、根据保留的交汇区之间的空间连通关系归并相应所述候选瑕疵区域，并以归并后的候选区域路径束的共同邻近区域作为三维锚点。

12、优选的，所述可信权重的生成包括：根据各候选区域路径束相对于三维锚点的空间偏离量以及反向投影与原候选瑕疵区域的重合关系，生成路径可信分量；

13、根据所述候选瑕疵区域的局部亮度分布与边缘清晰度生成成像可信分量；

14、将所述路径可信分量与成像可信分量按照对应视角组合，并在跨视角瑕疵观察组内进行归一化，得到各局部图像特征的可信权重。

15、优选的，针对同一所述特征采样位置穿过相邻刻面而形成的多条备选折射传播路径，分别计算各备选折射传播路径与其他视角的候选区域路径束在所述钻石三维表面模型内部的交汇区域；

16、将能够形成共同三维锚点且经反向投影返回原候选瑕疵区域的备选折射传播路径确定为有效路径，并将未通过反向投影验证的备选折射传播路径记录为反射干扰路径。

17、优选的，所述空间连通关系的确定包括：以各视角的候选瑕疵区域作为观测节点，在反向投影均与对应所述候选瑕疵区域重合且所述候选区域路径束共享三维锚点的观测节点之间建立关联边；

18、将所述关联边连接形成的连通子图确定为一个跨视角瑕疵观察组，并在同一视角存在多个观测节点时，保留候选区域路径束与三维锚点空间偏离量小的观测节点。

19、优选的，将所述可信权重分解为对应整个视角的基础权重和对应特征采样位置的校正权重，其中，根据路径可信分量确定所述基础权重，根据成像可信分量以及同一特征通道在其他视角中的相关程度确定所述校正权重；

20、将所述基础权重与所述校正权重组合后，在跨视角瑕疵观察组的相同空间采样位置和相同特征通道之间归一化。

21、优选的，所述门控融合包括：将所述跨视角瑕疵观察组内的局部图像特征按照三维锚点重采样至共同空间网格，依据归一化后的可信权重计算所述共同空间网格内的加权共有特征；

22、计算各视角的局部图像特征相对于所述加权共有特征的残差特征，保留能够经对应折射传播路径在另一视角候选瑕疵区域中获得支持的残差特征，并将所述加权共有特征与保留的残差特征组合为融合特征。

23、优选的，将所述加权共有特征沿各视角对应的折射传播路径投影至各候选瑕疵区域，与相应所述局部图像特征比较获得跨视角一致性残差；

24、依据所述跨视角一致性残差在路径方向上的分量修正三维锚点，依据所述跨视角一致性残差在特征通道上的分量修正校正权重，并基于修正后的三维锚点和校正权重重新生成融合特征。

25、优选的，建立瑕疵分类模型时，将同一所述跨视角瑕疵观察组内经修正的融合特征作为类别一致样本，将未被纳入所述跨视角瑕疵观察组的局部图像特征作为伪影样本，依据内部瑕疵类别标注和跨视角一致性关系联合训练所述瑕疵分类模型；

26、将待分类钻石的融合特征输入训练后的瑕疵分类模型，获得内部瑕疵类别以及伪影类别的分类结果。

27、与现有技术相比，本发明的有益效果在于：

28、1.通过依据钻石轮廓和刻面边界建立三维表面模型，并对候选瑕疵区域对应的折射传播路径进行追迹，各视角提取的局部图像特征被映射至统一内部坐标系。映射后的空间对应关系用于建立跨视角瑕疵观察组，使参与融合的特征具有共同的内部瑕疵对象基础；根据折射传播路径和候选区域成像状态生成的可信权重，对观察组内不同视角的局部图像特征实施门控融合。由此，空间错位的候选特征受到分离，成像状态较差的视角在融合中的占比受到约束，而其他视角中与同一三维位置对应的清晰特征得到保留，所得融合特征能够同时反映瑕疵的跨视角共同信息和可信局部信息，使内部瑕疵类别判定建立在几何对应与图像表征相互约束的基础上。

29、2.候选区域路径束的空间交汇计算与反向投影验证，可将位于钻石内部且能够返回原候选区域的交汇区保留下来，并通过空间连通关系形成观察组及三维锚点。路径可信分量与成像可信分量进一步形成视角基础权重和特征采样位置对应的校正权重，使权重限定能够延伸至共同空间网格中的特征通道。门控融合过程中形成的加权共有特征用于表达多视角一致内容，获得其他视角支持的残差特征用于保存局部可见的瑕疵细节；共有特征回投后产生的一致性残差继续修正三维锚点和校正权重。上述处理减少孤立反射响应进入瑕疵表征的机会，并降低单一视角失焦或遮挡对融合结果的支配程度，同时保留仅在部分可信视角中呈现的类别区分信息。