基于非平衡最优传输与局部关系残差的三维工业装配异常检测方法及系统
本发明涉及工业三维点云检测，具体涉及一种基于非平衡最优传输与局部关系残差的三维工业装配异常检测方法及系统。
背景技术：
1、三维工业装配场景中的逻辑异常检测与二维表面划痕、污渍、凹坑等外观缺陷不同，三维装配异常通常表现为漏装、多装、错装、部件位姿偏差以及局部装配关系不一致。上述三维装配异常不一定对应新的局部材质类别，也不一定在单个局部表面产生显著纹理变化，而更多体现为待检测结构相对于正常参考结构的覆盖缺失、空间偏移和关系形变。
2、现有技术中，一类方法主要依赖点云局部几何特征或点到点距离进行异常判断。这类方法可以发现局部形状明显变化的缺陷，但当异常属于缺件、漏装或装配关系异常时，测试点云中可能没有直接可见的异常点，仅从测试点侧提取特征容易漏检。另一类方法依赖全局配准后比较测试点云与标准模板之间的距离，如公开号为 cn117824502a的中国专利申请公开的基于激光三维扫描的复杂组装工件装配非接触检测方法，采样密度变化或离群点会干扰配准结果，导致后续距离比较不稳定。
3、造成上述问题的原因主要在于：第一，正常点云与测试点云必须处于可比较坐标系，常规pca主轴对齐容易受到轴符号翻转、轴交换、局部缺失和采样不均匀影响；第二，漏装或缺件异常需要从参考模板侧判断正常结构是否被测试观测解释，而不是只从测试点侧寻找异常点；第三，错装、位姿偏差不仅体现为局部距离变化，还体现为部件间相对关系的变化，现有三维异常检测方法难以同时解决以上问题。
4、还有一些三维异常检测方法需要针对具体异常类型训练分类器或分割网络。实际工业装配场景中，异常样本出现概率低、类型复杂且采集成本高，难以构造覆盖全部异常形态的数据集。因此，在仅有正常参考模板或少量正常样本的条件下，如何实现不依赖测试样本重新训练的点级逻辑异常检测，同样也是现有技术需要解决的问题。
技术实现思路
1、本发明解决的技术问题是：针对现有三维点云检测方法难以适应三维工业装配异常的问题，提供一种基于非平衡最优传输与局部关系残差的三维工业装配异常检测方法及系统。
2、本发明采用如下技术方案实现：
3、本发明首先公开了一种基于非平衡最优传输与局部关系残差的三维工业装配异常检测方法，包括如下步骤：
4、s100、获取三维装配对象的参考点云和待检测点云，将参考点云和待检测点云对齐至同一坐标系；
5、s200、分别提取对齐后参考点云和待检测点云的局部输入特征输入预训练的缺陷敏感特征提取器，输出对应的缺陷敏感局部特征，根据参考点云和待检测点云对应的缺陷敏感局部特征之间的特征差异得到点级局部特征异常分数；
6、s300、构造对齐后参考点云中参考中心锚点邻域内的局部分布，通过非平衡最优传输估计参考质量与待检测点云对应的局部分布进行软匹配，由未匹配的总参考质量得到待检测点云的点级覆盖缺失分数；
7、s400、根据对齐后待检测点云的测试侧锚点关系向量和参考点云在对应参考侧关系向量之间的局部关系残差获得点级关系异常分数；
8、s500、融合所述待检测点云中各个测试点对应的点级局部特征异常分数、点级覆盖缺失分数、点级关系异常分数，输出对象级异常分数作为检测结果。
9、在本发明的基于非平衡最优传输与局部关系残差的三维工业装配异常检测方法中，进一步的，所述步骤s100中，所述参考点云和待检测点云对齐至同一坐标系包括如下子步骤：
10、s101、对参考点云和待检测点云分别进行基于自身质心的规范化，将其转换到各自的局部坐标系中；
11、s102、根据参考点云和待检测点云在各自的局部坐标系中到各自质心的径向距离分位数选择外层锚点和中层锚点；
12、s103、基于外层锚点的方向投票张量确定第一主轴方向，将中层锚点投影到第一主轴的正交子空间以确定第二主轴方向，并将第一主轴方向与第二主轴方向叉乘得到第三主轴方向；
13、s104、参考点云和待检测点云分别基于各自质心及三条主轴方向构造右手正交基，并映射至各自的规范坐标，以参考点云为固定端、待检测点云为移动端执行icp，完成坐标系规范化，让参考点云和待检测点云在同一坐标系对齐。
14、在本发明的基于非平衡最优传输与局部关系残差的三维工业装配异常检测方法中，进一步的，所述缺陷敏感特征提取器基于轻量级几何特征编码器，通过编码器提取输入点云样本的局部patch特征，包括局部输入通道、卷积层、稳定几何分支、缺陷敏感分支、门控融合单元、池化层和投影头；
15、所述局部输入通道将预处理后的点云样本生成七维局部patch特征，其中，前三维为点云样本中心化并半径归一化后的相对坐标，中间三维为点云样本的法向量，最后一维为点云样本的归一化半径；
16、所述卷积层通过两层 1×1 卷积将七维局部patch特征映射为 64 维点特征分别输入稳定几何分支和缺陷敏感分支；
17、所述稳定几何分支通过两个通道数为 64、卷积核大小为 3 的深度可分离卷积块输出稳定几何分支输出特征；
18、所述缺陷敏感分支采用三种尺度并行结构，并通过 卷积融合输出缺陷敏感分支输出特征；
19、所述门控融合单元将稳定几何分支输出特征和缺陷敏感分支输出特征进行加权融合输出融合特征；
20、所述池化层将融合特征的最大池化结果和平均池化结果进行拼接，通过投影头得到局部patch特征的patch描述子。
21、在本发明的基于非平衡最优传输与局部关系残差的三维工业装配异常检测方法中，进一步的，所述缺陷敏感特征提取器的预训练使用分类头根据轻量级几何特征编码器输出的局部patch特征和对应的patch特征标签进行监督优化，具体训练过程如下：
22、获取预训练的点云样本，基于所述点云样本自身质心进行中心化和半径归一化预处理；
23、将预处理后的点云样本输入轻量级几何特征编码器，输出局部patch特征的patch描述子，所述分类头根据局部patch特征的patch描述子和对应的patch特征标签，使用分类损失、中心约束和间隔约束对缺陷敏感特征提取器进行联合优化：
24、所述分类损失为监督分类头区分正常局部patch特征和异常局部patch特征的分类损失；
25、所述中心约束以同类别的局部 patch 特征向对应的patch特征标签类别中心靠近的中心损失进行约束；
26、所述间隔约束以局部patch特征到patch特征标签中正常类别和异常类别的距离差为间隔损失进行约束。
27、在本发明的基于非平衡最优传输与局部关系残差的三维工业装配异常检测方法中，进一步的，所述点级局部特征异常分数的计算过程如下：
28、s201、在参考点云和待检测点云中采样若干位置对应的局部patch对，输入预训练的缺陷敏感特征提取器，分别得到参考点云和待检测点云的缺陷敏感局部特征；
29、s202、计算参考点云和待检测点云采样位置的缺陷敏感局部特征之间的中心级局部特征异常分数：
30、；
31、 和 为分别参考点云和待检测点云在采样位置j的缺陷敏感局部特征，表示l2范数；
32、s203、通过近邻插值将中心级局部特征异常分数传播到待检测点云中的各个测试点，形成点级局部特征异常分数。
33、在本发明的基于非平衡最优传输与局部关系残差的三维工业装配异常检测方法中，进一步的，所述步骤s300包括如下子步骤：
34、s301、在参考点云中采样参考中心锚点的局部参考patch，在同一参考中心锚点为中心的待检测点云中构造测试候选patch；
35、s302、若存在所述局部参考patch为空，则参考点云中对应参考中心锚点的覆盖缺失分数置为0；
36、若存在所述测试候选patch为空，则待检测点云中对应参考中心锚点的覆盖缺失分数置为1；
37、s303、从非空的局部参考patch和测试候选patch中构造对应patch中参考点与测试候选点之间的平方距离矩阵；
38、使用局部参考patch内各参考点到对应参考中心锚点的平方距离中位数作为局部尺度，将平方距离矩阵归一化为几何代价矩阵；根据几何代价矩阵构造gibbs 核表示局部参考patch中的参考点与测试候选patch中的测试点之间的软匹配相似度；
39、定义局部参考patch中的参考点与测试候选patch中的测试点在对应patch中的离散质量，通过更新局部参考patch参考侧和测试候选patch测试侧的缩放向量进行非平衡最优传输的迭代，得到从参考点到测试候选点的软匹配矩阵，以未匹配的总参考质量作为锚点级覆盖缺失分数；
40、s304、将步骤s302和步骤s303中的锚点级覆盖缺失分数通过近邻插值传播到待检测点云中的各个测试点，形成点级覆盖缺失分数。
41、在本发明的基于非平衡最优传输与局部关系残差的三维工业装配异常检测方法中，进一步的，所述步骤s301中，采用预设邻居数的k近邻算法构造参考点云的局部参考patch以及待检测点云的测试候选patch。
42、在本发明的基于非平衡最优传输与局部关系残差的三维工业装配异常检测方法中，进一步的，所述步骤s400中点级关系异常分数通过以下过程获得：
43、s401、在待检测点云采样若干测试中心锚点构建近邻图，并在参考点云寻找对应测试中心锚点最近的参考近邻中心，分别获取待检测点云在测试侧和参考点云在参考侧近邻查询中的关系向量；
44、s402、将测试中心锚点与参考近邻中心之间近邻边长的边长比例残差以及关系向量的方向残差作为局部关系残差定义测试中心锚点的中心级关系残差；
45、s403、将所述中心级关系残差通过近邻中心均值插值到待检测点云中的测试点，得到点级关系异常分数。
46、在本发明的基于非平衡最优传输与局部关系残差的三维工业装配异常检测方法中，进一步的，所述步骤s500中，将所述点级局部特征异常分数、点级覆盖缺失分数、点级关系异常分数进行等权融合，获得待检测点云的最终点级异常图，取其中最高10% 点级分数的均值输出待检测点云的对象级异常分数。
47、本发明还公开了一种基于非平衡最优传输与局部关系残差的三维工业装配异常检测系统，用于实现本发明上述方法的步骤，包括：
48、点云对齐模块，获取三维装配物体的参考点云和待检测点云，将参考点云和待检测点云对齐至同一坐标系；
49、点级局部特征异常提取模块，嵌入缺陷敏感特征提取器，分别提取对齐后参考点云和待检测点云的局部输入特征输入预训练的缺陷敏感特征提取器，输出对应的缺陷敏感局部特征，根据参考点云和待检测点云对应的缺陷敏感局部特征之间的特征差异得到点级局部特征异常分数；
50、点级覆盖缺失估计模块，构造对齐后参考点云中参考中心锚点邻域内的局部分布，通过非平衡最优传输估计参考质量与待检测点云对应的局部分布进行软匹配，由未匹配的总参考质量得到待检测点云的点级覆盖缺失分数；
51、点级关系异常判断模块，根据对齐后待检测点云的测试侧锚点关系向量和参考点云在对应参考侧关系向量之间的局部关系残差获得点级关系异常分数；
52、对象级异常融合模块，融合所述待检测点云中各个测试点对应的点级局部特征异常分数、点级覆盖缺失分数、点级关系异常分数，输出对象级异常分数作为检测结果。
53、本发明采用上述技术方案具有如下有益效果：
54、（1）本发明针对工业装配场景中的漏装、多装、错装、部件位姿偏差和局部装配关系不一致等逻辑异常提出了一种面向逻辑异常的三维点云检测方法。与传统表面缺陷检测方法主要关注划痕、凹坑、污渍等局部外观异常不同，本发明重点判断待检测点云相对于正常参考点云模板是否存在结构覆盖缺失、空间偏移和关系变化。因此，本发明能够更好地适用于三维装配件、结构件和复杂工业零部件的逻辑异常检测任务。
55、（2）本发明通过一种鲁棒的点云规范坐标系构建方式在检测前对参考点云和待检测点云进行坐标系规范化，使参考点云和待检测点云进入可比较的统一空间。该方法通过质心中心化、径向分位数锚点选择、外层锚点方向投票、中层锚点正交投影以及小范围 icp精修等步骤，降低了常规主成分分析（pca）主轴对齐中容易出现的轴符号翻转、轴交换、局部缺失和采样不均匀等问题。由此可以提高参考点云模板与待检测点云之间的对齐稳定性，为后续局部特征比较、覆盖判断和关系残差计算提供可靠基础。
56、（3）本发明通过参考点云引导的覆盖缺失判断，从参考点云模板侧出发，判断正常结构是否能够被测试点云解释。对于漏装、缺件或局部结构缺失等异常，待检测点云中可能没有直接可见的异常点，仅从测试侧寻找异常容易漏检。本发明将参考点云的局部参考patch以及待检测点云的测试候选patch视为两个局部分布，并通过非平衡最优传输计算参考质量能否被待检测点云软匹配。未能匹配出去的参考质量被作为覆盖缺失分数的计算依据。该覆盖缺失判断分支能够有效发现缺件、漏装和局部结构缺失等传统点到点距离方法难以稳定识别的逻辑异常。
57、（4）本发明不仅关注单个点或单个局部区域的几何差异，还通过局部关系异常分支进一步分析部件之间、邻域之间的相对空间关系是否保持一致。通过比较待检测点云与参考点云模板中对应邻域的局部关系残差，可以发现部件偏移、错装、装配方向异常和局部结构关系变化等问题。该局部关系异常分支弥补了单纯距离比较和局部特征比较难以刻画局部结构关系变化的不足，使检测结果更加符合三维工业装配类逻辑异常的实际表现。
58、（5）本发明构建了轻量化的缺陷敏感特征提取器用于提取参考点云和待检测点云的局部 patch 的几何特征。采用轻量级几何特征编码器结合稳定几何分支和缺陷敏感分支，一方面保留局部表面形状、边缘变化和邻域排列等稳定几何信息，另一方面增强对局部结构突变和异常几何模式的感知能力。训练完成后仅保留编码器部分用于特征提取，去除分类头，从而在保证局部缺陷表征能力的同时降低推理复杂度，适合工业检测场景中的实际部署。
59、综上所述，本发明提供的基于非平衡最优传输与局部关系残差的三维工业装配异常检测方法及系统，将参考点云模板规范化、局部缺陷敏感特征、参考覆盖缺失估计和局部关系残差联合用于三维工业装配对象点云的逻辑异常检测，实现对漏装、缺件、错装和位姿偏差等装配类异常的点级定位和对象级判断。
60、为了使本技术领域的人员更好地理解本发明的技术方案，以下结合附图和具体实施方式对本发明做进一步说明。