三维检测方法和三维检测系统与流程
本申请涉及三维检测,特别涉及一种三维检测方法和三维检测系统。
背景技术:
1、在食材品质检测场景中,当前三维检测技术主要存在以下不足:一方面,当前点云检测方案仅携带空间坐标或红绿蓝(red green blue,rgb)颜色信息,缺乏多波段物理光谱维度,无法检测食材内部压伤、早期腐烂等亚表面缺陷。虽然已有高光谱与点云结合的方案,但其融合层级停留在图像级或特征级,并未实现多波段光谱信息向三维空间点的逐点映射。另一方面,当前方案通常将原始点云直接送入深度学习网络或直接进行体积量测,缺乏面向目标对象几何特性的预建模环节,导致点云特征表达贫乏,深度学习需从原始数据中重新学习法线、曲率等物理规律,分割精度与量测鲁棒性不足。此外,当前体积量测方案多采用直接体素化或三角网格法,其精度受限于点云离散化误差,边界量测不够精确。
技术实现思路
1、本申请实施方式提供了一种三维检测方法和三维检测系统,以解决上述存在的至少一个技术问题。
2、本申请实施方式的三维检测方法,包括:
3、利用多波长光谱相机采集检测区域内目标对象的多波长光谱图像,以及利用多个深度相机采集所述目标对象的多角度深度点云;
4、将所述多角度深度点云变换至同一坐标系得到同坐标系点云,并对所述同坐标系点云进行合并得到合并点云;
5、将所述合并点云中的每个点逆投影至所述多波长光谱图像平面,并获取对应的多波段光谱值,以形成携带多波段光谱特征的增强点云;
6、对所述增强点云进行基于物理先验的结构化预建模,得到每个点的预建模特征向量;
7、基于所述预建模特征向量对所述目标对象进行目标分割,得到单体点云簇;
8、基于所述结构化预建模得到的曲面模型,对所述单体点云簇进行体积量测,以确定目标检测结果。
9、在某些实施方式中,所述将所述多角度深度点云变换至同一坐标系得到同坐标系点云,包括:
10、基于标定靶的特征点对应关系,通过奇异值分解求解粗对齐变换矩阵;
11、基于迭代最近点算法,求解精配准变换矩阵;
12、根据所述粗对齐变换矩阵和所述精配准变换矩阵,确定组合标定变换矩阵;
13、利用所述组合标定变换矩阵,将所述多角度深度点云变换至同一坐标系,得到所述同坐标系点云。
14、在某些实施方式中,所述对所述同坐标系点云进行合并得到合并点云,包括:
15、针对所述同坐标系点云中位于重叠区域的点进行预设数量的最近邻点搜索;
16、根据搜索得到的最近邻点的空间坐标均值,确定所述重叠区域对应的合并点坐标。
17、在某些实施方式中,所述将所述合并点云中的每个点逆投影至所述多波长光谱图像平面,并获取对应的多波段光谱值,包括:
18、根据所述多波长光谱相机与所述深度相机之间的标定关系,将所述合并点云中的每个点逆投影至所述多波长光谱图像平面,并采用双线性插值获取对应的多波段光谱值;
19、基于深度值和/或法线方向进行可见性校验,以剔除遮挡点。
20、在某些实施方式中,所述对所述增强点云进行基于物理先验的结构化预建模,得到每个点的预建模特征向量,包括:
21、依次对所述增强点云进行统计滤波、局部曲面拟合、法线估计与修正、邻域拓扑构建,以得到所述预建模特征向量。
22、在某些实施方式中,所述预建模特征向量包括空间坐标、光谱特征、法线方向、曲率特征、局部密度、局部维度比、各向异性中的多种特征向量。
23、在某些实施方式中,所述基于所述预建模特征向量对所述目标对象进行目标分割,得到单体点云簇,包括:
24、在空间距离、法线夹角、曲率差异、光谱差异、密度差异中的多个维度上设置联合约束,将同时满足所述联合约束的点聚类为同一单体点云簇。
25、在某些实施方式中,所述基于所述结构化预建模得到的曲面模型,对所述单体点云簇进行体积量测,以确定目标检测结果,包括:
26、基于所述结构化预建模得到的曲面模型,对所述单体点云簇进行双模态体积量测,所述双模态体积量测包括曲面增强体素化量测和基准平面投影迭代量测;
27、根据所述曲面增强体素化量测得到的第一体积量测结果和所述基准平面投影迭代量测得到的第二体积量测结果,加权融合得到综合体积量测结果;
28、基于所述综合体积量测结果,确定所述目标检测结果。
29、在某些实施方式中,所述三维检测方法还包括:
30、基于所述多波长光谱图像,通过深度学习模型获得深度学习检测结果;
31、所述基于所述综合体积量测结果,确定所述目标检测结果,包括:
32、根据所述综合体积量测结果和所述深度学习检测结果,确定所述目标检测结果。
33、本申请实施方式的三维检测系统,包括:
34、多传感器采集层,用于利用多波长光谱相机采集检测区域内目标对象的多波长光谱图像,以及利用多个深度相机采集所述目标对象的多角度深度点云;
35、多波长点云融合层,用于将所述多角度深度点云变换至同一坐标系得到同坐标系点云,并对所述同坐标系点云进行合并得到合并点云;以及将所述合并点云中的每个点逆投影至所述多波长光谱图像平面,并获取对应的多波段光谱值,以形成携带多波段光谱特征的增强点云;
36、预深度学习建模层,用于对所述增强点云进行基于物理先验的结构化预建模,得到每个点的预建模特征向量;
37、检测与量测层,用于基于所述预建模特征向量对所述目标对象进行目标分割,得到单体点云簇;以及基于所述结构化预建模得到的曲面模型,对所述单体点云簇进行体积量测,以确定目标检测结果。
38、本申请实施方式的三维检测方法和三维检测系统,通过将多波段光谱值逐点映射至合并点云形成增强点云,使每个空间点携带多波段物理光谱信息,具备亚表面缺陷检测能力;通过对增强点云进行基于物理先验的结构化预建模,得到丰富的预建模特征向量,为后续分割与量测提供高阶物理特征支撑;通过基于预建模特征向量进行目标分割,并基于预建模曲面模型进行体积量测,有效提升了复杂场景下的分割精度与体积量测精度。
39、本申请实施方式的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请实施方式的实践了解到。
1.一种三维检测方法,其特征在于,包括:
2.根据权利要求1所述的三维检测方法,其特征在于,所述将所述多角度深度点云变换至同一坐标系得到同坐标系点云,包括:
3.根据权利要求1所述的三维检测方法,其特征在于,所述对所述同坐标系点云进行合并得到合并点云,包括:
4.根据权利要求1所述的三维检测方法,其特征在于,所述将所述合并点云中的每个点逆投影至所述多波长光谱图像平面,并获取对应的多波段光谱值,包括:
5.根据权利要求1所述的三维检测方法,其特征在于,所述对所述增强点云进行基于物理先验的结构化预建模,得到每个点的预建模特征向量,包括:
6.根据权利要求1所述的三维检测方法,其特征在于,所述预建模特征向量包括空间坐标、光谱特征、法线方向、曲率特征、局部密度、局部维度比、各向异性中的多种特征向量。
7.根据权利要求1所述的三维检测方法,其特征在于,所述基于所述预建模特征向量对所述目标对象进行目标分割,得到单体点云簇,包括:
8.根据权利要求1所述的三维检测方法,其特征在于,所述基于所述结构化预建模得到的曲面模型,对所述单体点云簇进行体积量测,以确定目标检测结果,包括:
9.根据权利要求8所述的三维检测方法,其特征在于,所述三维检测方法还包括:
10.一种三维检测系统,其特征在于,包括:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com