一种包裹形状智能识别系统及方法与流程

摘要: 本发明涉及图像识别,具体为一种包裹形状智能识别系统及方法。背景技术:1、物流分拣环节中,包裹形状识别是决定分拣策略与抓取落点的基础。目前工业现场主流的包裹形状识...
一种包裹形状智能识别系统及方法与流程

本发明涉及图像识别,具体为一种包裹形状智能识别系统及方法。

背景技术:

1、物流分拣环节中,包裹形状识别是决定分拣策略与抓取落点的基础。目前工业现场主流的包裹形状识别方案依赖于单目或双目相机的二维图像处理。常规方案通过相机获取包裹的二维灰度图像或彩色图像,采用边缘检测算子提取图像中的轮廓线,再通过几何形状匹配或模板匹配的方法,将提取的二维轮廓归类为矩形、圆形或不规则多边形等预设形状。对于存在堆叠的包裹场景,常规方案通常利用前景分割算法将前景包裹与背景传送带分离,或者依赖深度相机获取的深度值直接进行前后景二值化分割。这种依赖二维轮廓提取与深度分割的技术路径,在处理外形规则的硬质包裹时具备一定的可行性,能够获取包裹的宏观外观尺寸与平面轮廓特征。

2、随着物流形态的多样化,软包装裹及塑料袋等非刚性包裹的比例急剧上升。针对此类包裹,现有技术尝试引入三维重建技术,即利用双目相机获取的视差图生成稠密点云,再对点云进行表面网格化以还原包裹的三维形状。在传送带实际运行中,软包装裹受重力及上方包裹挤压影响,表面发生凹陷、褶皱等物理形变,且密集堆叠导致包裹间存在严重遮挡。在双目视觉生成点云的过程中,受压形变区域及遮挡区域由于表面纹理缺失或镜面反射,无法匹配出正确的视差值,在生成的点云中形成大面积的空洞与缺失。现有技术面对此类点云缺失,普遍采用固定曲率的曲面插值算法或直接将空洞边界进行线性连接,以此生成完整的包裹网格表面。

3、前述现有技术在实际应用中存在核心技术问题:当传送带上存在密集堆叠的软包装裹时,受压形变及遮挡导致包裹的真实物理边界在三维点云中发生大面积缺失,现有技术采用固定曲率插值或线性连接的修补方式,无法还原软包装裹受压形变后的真实表面拓扑结构,导致识别出的包裹形状与实际物理形状存在严重偏离,进而造成后续分拣机械手的抓取姿态计算错误与抓取失败。

技术实现思路

1、本发明的目的在于提供一种包裹形状智能识别系统及方法,可以解决上述背景技术中的问题。

2、为实现上述目的,本发明采取的技术方案为:

3、一种包裹形状智能识别系统,包括双目图像采集组件、边缘法向特征提取组件、局部点云构建组件与边界拓扑补全组件,所述双目图像采集组件获取包裹堆叠场景的灰度图与深度图;所述边缘法向特征提取组件对所述灰度图执行边缘检测获取初始轮廓,将所述初始轮廓映射至所述深度图提取边缘像素的法向突变特征;所述局部点云构建组件将所述法向突变的边缘点集作为局部点云的锚点;所述边界拓扑补全组件针对受压形变及遮挡导致的点云缺失区域引入流体表面张力模型,以所述锚点为边界约束条件,计算缺失区域内部网格顶点的受力平衡状态,迭代更新所述网格顶点坐标直至网格表面曲率收敛,输出包裹三维形状数据。

4、优选的,所述边缘法向特征提取组件对所述灰度图执行多尺度形态学梯度运算获取多尺度边缘响应图,对所述多尺度边缘响应图进行非极大值抑制提取所述初始轮廓;将所述初始轮廓映射至所述深度图后,利用所述深度图中邻域像素的深度差分计算局部表面法向量,沿所述初始轮廓的像素遍历方向计算相邻局部表面法向量的夹角梯度,将所述夹角梯度超过预设角度阈值的轮廓像素判定为所述法向突变特征。

5、优选的,所述局部点云构建组件将包含所述法向突变特征的轮廓像素转换至三维空间坐标系形成三维边缘散点,对所述三维边缘散点执行基于空间距离的密度聚类,剔除离散噪点获取核心点集;基于所述核心点集中各点及其k近邻域点拟合局部曲面切平面,将所述局部曲面切平面的交线交点作为子区域边界节点,对所述核心点集进行空间三角化剖分,将剖分后的网格顶点定义为所述局部点云的锚点。

6、优选的,所述边界拓扑补全组件在所述点云缺失区域内生成初始笛卡尔网格,将所述局部点云的锚点作为所述初始笛卡尔网格的固定边界约束;定义所述初始笛卡尔网格内部相邻顶点间的连接为虚拟弹簧,依据所述虚拟弹簧的当前长度与自然长度的差值计算弹性势能,依据所述初始笛卡尔网格中每个三角面片的相邻面片二面角计算表面张力势能,将所述弹性势能与所述表面张力势能的加权和构建为所述流体表面张力模型的能量泛函。

7、优选的,所述边界拓扑补全组件对所述能量泛函关于所述初始笛卡尔网格内部顶点坐标求偏导获取梯度下降方向,沿所述梯度下降方向以预设步长更新所述初始笛卡尔网格内部顶点坐标;在每次坐标更新后计算所述初始笛卡尔网格所有三角面片的平均曲率方差,当所述平均曲率方差小于预设收敛阈值时停止迭代,将停止迭代时的网格表面作为缺失边界拓扑补全结果。

8、优选的,所述边缘法向特征提取组件在利用所述深度图中邻域像素的深度差分计算局部表面法向量之前,对所述深度图执行双边滤波处理,在所述双边滤波处理的空间核函数与值域核函数中引入基于所述灰度图边缘置信度的自适应权重系数;所述自适应权重系数与所述灰度图中对应像素位置的梯度幅值成正比,抑制所述深度图中跨越包裹物理边界的深度值平滑,保留所述深度图中真实的法向突变结构。

9、优选的,所述边界拓扑补全组件在依据所述虚拟弹簧的当前长度与自然长度的差值计算弹性势能时,根据所述固定边界约束处的锚点法向量与所述虚拟弹簧连接的内部顶点法向量之间的夹角余弦值,动态调整所述虚拟弹簧的刚度系数;所述夹角余弦值越小,所述刚度系数越大,使得所述初始笛卡尔网格在靠近所述固定边界约束处的形变受所述锚点法向量的约束增强,维持补全边界与已知局部点云之间的切向连续性。

10、优选的,还包括多视角冲突消解组件,所述多视角冲突消解组件基于所述双目图像采集组件的左右目相机参数计算视差图,依据所述视差图中深度值的前后遮挡关系生成可见性遮罩;将所述可见性遮罩应用于所述初始轮廓映射过程,剔除被前景遮挡的虚假边缘轮廓;对于连续多帧采集的图像序列,通过相邻帧间的特征点匹配计算相机运动矩阵,将不同视角下补全的网格表面变换至统一坐标系下进行布尔求并运算,消除遮挡盲区。

11、优选的,还包括材质自适应调节组件,所述材质自适应调节组件提取所述灰度图中包裹表面区域的局部二值模式直方图特征与灰度共生矩阵纹理特征,将所述局部二值模式直方图特征与所述灰度共生矩阵纹理特征输入支持向量机分类器获取包裹材质类别标签;根据所述包裹材质类别标签查询预设的材质弹性模量映射表,获取对应的弹性模量参数,将所述弹性模量参数注入所述流体表面张力模型中作为内部顶点受力变形的缩放因子。

12、一种包裹形状智能识别方法,包括:获取包裹堆叠场景的灰度图与深度图;对所述灰度图执行边缘检测获取初始轮廓,将所述初始轮廓映射至所述深度图提取边缘像素的法向突变特征;将所述法向突变的边缘点集作为局部点云的锚点;针对受压形变及遮挡导致的点云缺失区域引入流体表面张力模型,以所述锚点为边界约束条件,计算缺失区域内部网格顶点的受力平衡状态,迭代更新所述网格顶点坐标直至网格表面曲率收敛,输出包裹三维形状数据。

13、与现有技术相比,本发明的有益效果在于:

14、1.本发明通过提取包裹堆叠场景的灰度图与深度图,对灰度图执行边缘检测获取初始轮廓后,将其映射至深度图提取边缘像素的法向突变特征,并将法向突变的边缘点集作为局部点云的锚点,实现了二维视觉纹理边缘与三维空间几何突变的物理耦合,准确定位了包裹在堆叠受压状态下的真实物理边界转折点。针对点云缺失区域,引入流体表面张力模型,以锚点为边界约束条件,计算缺失区域内部网格顶点的受力平衡状态,并迭代更新网格顶点坐标直至网格表面曲率收敛,将物理力学中的表面张力平衡机制与三维曲面重建相融合,使得缺失区域的网格修补不再依赖固定曲率或线性连接,而是按照物理形变规律进行拓扑延展。通过计算弹性势能与表面张力势能的加权和构建能量泛函,并沿梯度下降方向迭代更新顶点坐标直至平均曲率方差收敛,使得补全的网格表面曲率过渡平滑,客观还原了软包装裹受挤压时的表面受力形变状态,克服了密集遮挡场景下软包装裹形状边界丢失的缺陷,提升了系统对复杂堆叠包裹形状还原的可靠性。

15、2.本发明在深度图处理前引入基于灰度图边缘置信度的自适应权重系数执行双边滤波处理,抑制了跨越包裹物理边界的深度值平滑,保留了深度图中真实的法向突变结构,避免了边缘模糊导致的锚点定位偏移。在边界拓扑补全过程中,根据锚点法向量与内部顶点法向量之间的夹角余弦值动态调整虚拟弹簧的刚度系数,使得靠近固定边界约束处的形变受锚点法向量约束增强,维持了补全边界与已知局部点云之间的切向连续性,消除了修补曲面与已知曲面拼接处的折角突变。通过视差图可见性遮罩剔除虚假边缘轮廓,并结合相机运动矩阵对不同视角补全网格进行布尔求并运算,消除了多视角观测下的遮挡盲区。基于局部二值模式直方图特征与灰度共生矩阵纹理特征识别包裹材质类别,并获取对应的弹性模量参数作为受力变形的缩放因子注入流体表面张力模型,使得模型能够依据软包装裹的实际材质物理属性调整形变幅度,进一步逼近不同材质包裹在受压状态下的真实表面拓扑形态。