基于单目视觉的物体测量方法、装置及设备与流程

本发明涉及人工智能，具体涉及机器人视觉技术与图像处理技术的交叉，更具体地涉及一种基于单目视觉的物体测量方法、装置、设备、介质及产品。

背景技术：

1、在桌面级数控机床、柔性制造、来料检验和小批量加工场景中，常需要对放置于工作台上的矩形、圆角矩形或圆形平面工件进行快速定位和尺寸测量。传统游标卡尺、机械寻边器或接触式测头需要人工逐边操作，效率较低；双目视觉、结构光及面阵深度相机虽然能够获得稠密深度，但硬件成本、标定复杂度和安装空间较大。

2、单目相机具有成本低、分辨率高、安装灵活等优点，但仅凭单幅图像不能确定绝对尺度。单点tof测距传感器能够沿预定测量光轴输出目标表面深度，若将其与经过内参标定的单目相机融合，可在平面工件或近似平面工件的假设下，恢复目标轮廓的实际尺寸和中心三维坐标。现有方案通常只采用固定阈值边缘检测，容易受颜色、纹理、反光、阴影和背景边缘影响；或者只采用通用目标检测网络得到轴对齐包围框，难以满足精确测量所需的轮廓精度与连续帧稳定性。

技术实现思路

1、鉴于上述问题至少之一，本发明的实施例旨在能够提供一种基于单目视觉的物体测量方法、装置、设备、介质及产品，提出了一种基于深度约束的目标选择、深度学习粗定位、传统几何精修、针孔模型尺寸换算、多帧稳定输出的方法及系统，以较少硬件实现平面工件的在线测量、测头相对定位和机床粗定位。

2、本发明的实施例的一个方面提供了一种基于单目视觉的物体测量方法，其中，包括：基于获取的待测量物体的至少一帧单目视觉图像和测距测量点的轴向有效深度，根据预设交并比置信度判定条件确定对应的目标候选区域；响应于目标候选区域匹配的形状置信度，对目标候选区域的映射帧图像执行视觉几何精修处理，确定目标候选区域在映射帧图像的图像坐标系下的当前像素尺寸数据；根据历史相机尺寸数据对当前像素尺寸数据对应当前相机尺寸数据进行多帧目标关联处理，生成当前相机尺寸数据的当前帧平滑输出数据；以及根据当前帧平滑输出数据对应的标准不确定度，输出当前帧平滑输出数据。

3、根据本发明的一实施例，在基于获取的待测量物体的至少一帧单目视觉图像和测距测量点的轴向有效深度，根据预设交并比置信度判定条件确定对应的目标候选区域之前，还包括：基于预绘制区域对至少一帧单目视觉图像逐帧提取对应轴向有效深度的多个参考候选区域；通过每个参考候选区域对应测距测量点的测距光斑在图像坐标系下中心映射坐标和每个参考候选区域的图像中心坐标，确定每个参考候选区域的候选综合评分；基于候选综合评分，确定多个参考候选区域中的第一候选框和第二候选框。

4、根据本发明的一实施例，在基于获取的待测量物体的至少一帧单目视觉图像和测距测量点的轴向有效深度，根据预设交并比置信度判定条件确定对应的目标候选区域之前，还包括：对第一候选框和第二候选框分别进行预设缩放比例的缩放处理，生成第一缩放框和第二缩放框；基于第一缩放框和第二缩放框输出形状置信度和实例分割掩膜。

5、根据本发明的一实施例，在基于获取的待测量物体的至少一帧单目视觉图像和测距测量点的轴向有效深度，根据预设交并比置信度判定条件确定对应的目标候选区域中，包括：

6、基于形状置信度和实例分割掩膜，对第一缩放框和第二缩放框进行有效性判定；根据经有效性判定的第一缩放框和第二缩放框，生成符合预设交并比置信度判定条件的有效交并比；基于所述预设交并比置信度判定条件，在有效交并比大于等于预设置信度阈值时，确定置信度更大的第一缩放框或第二缩放框作为目标候选区域；对目标候选区域进行候选框裁剪、上采样并映射至对应原始帧单目视觉图像，生成映射帧图像。

7、根据本发明的一实施例，在响应于目标候选区域匹配的形状置信度，对目标候选区域的映射帧图像执行视觉几何精修处理，确定目标候选区域在映射帧图像的图像坐标系下的当前像素尺寸数据中，包括：响应于形状置信度，对映射帧图像执行候选区域扩展局部搜索并进行灰度转换生成灰度帧图像；对灰度帧图像进行高斯滤波、对比度增强和自适应边缘检测处理，生成精修帧图像；确定精修帧图像上与目标候选区域对应的候选区域框的当前像素尺寸数据。

8、根据本发明的一实施例，在确定精修帧图像上与目标候选区域对应的候选区域框的当前像素尺寸数据中，包括：响应于形状置信度，当目标候选区域为矩形时，根据经直线拟合处理之后的候选区域框的相邻边交点的角点像素坐标，确定候选区域框的四个像素边长和对边平均像素长、对边平均像素宽作为当前像素尺寸数据。

9、根据本发明的一实施例，在确定精修帧图像上与目标候选区域对应的候选区域框的当前像素尺寸数据之后，还包括：基于相机坐标系下的轴向有效深度，根据相机坐标系和测距坐标系之间的联合标定关系，将当前像素尺寸数据对应的矩形中心像素坐标转换为当前相机尺寸数据的矩形中心相机坐标；其中，矩形中心相机坐标对应的矩形角点相机坐标用于生成矩形实际尺寸。

10、根据本发明的一实施例，在确定精修帧图像上与目标候选区域对应的候选区域框的当前像素尺寸数据中，包括：响应于形状置信度，当目标候选区域为圆形时，确定候选区域框的周长和面积；针对周长和面积对应的圆度进行圆拟合处理之后的候选区域框，提取图像坐标系下的圆心像素坐标作为当前像素尺寸数据。

11、根据本发明的一实施例，在确定精修帧图像上与目标候选区域对应的候选区域框的当前像素尺寸数据之后，还包括：基于相机坐标系下的轴向有效深度，根据相机坐标系和测距坐标系之间的联合标定关系对应的相机内参，通过将圆心像素坐标反投影至相机坐标系，生成当前相机尺寸数据的圆心相机坐标；由水平方向和垂直方向的直径端点反投影后生成圆形实际直径。

12、根据本发明的一实施例，在根据历史相机尺寸数据对当前像素尺寸数据对应当前相机尺寸数据进行多帧目标关联处理，生成当前相机尺寸数据的当前帧平滑输出数据中，包括：基于历史相机尺寸数据和当前像素尺寸数据，进行像素长宽参数和中心像素坐标的中心距离、尺度比和形状一致性的关联判定，确定符合预设稳定输出抑制条件的当前帧平滑输出数据，其中，预设稳定输出抑制条件包括死区阈值抑制规则、单帧最大步长抑制规则和指数平滑抑制规则。

13、根据本发明的一实施例，在根据当前帧平滑输出数据对应的标准不确定度，输出当前帧平滑输出数据中，包括：基于轴向有效深度，结合当前帧平滑输出数据的当前像素尺寸数据的边缘定位误差、测距深度噪声和焦距标定误差所融合的标准不确定度，输出当前帧平滑输出数据。

14、本发明的实施例的另一个方面提供了一种基于单目视觉的物体测量装置，用于实现上述方法，其中，该装置包括区域确定模块、数据确定模块、数据生成模块和数据输出模块。区域确定模块用于基于获取的待测量物体的至少一帧单目视觉图像和测距测量点的轴向有效深度，根据预设交并比置信度判定条件确定对应的目标候选区域；数据确定模块用于响应于目标候选区域匹配的形状置信度，对目标候选区域的映射帧图像执行视觉几何精修处理，确定目标候选区域在映射帧图像的图像坐标系下的当前像素尺寸数据；数据生成模块用于根据历史相机尺寸数据对当前像素尺寸数据对应当前相机尺寸数据进行多帧目标关联处理，生成当前相机尺寸数据的当前帧平滑输出数据；以及数据输出模块用于根据当前帧平滑输出数据对应的标准不确定度，输出当前帧平滑输出数据。

15、本发明的实施例的另一个方面提供了一种电子设备，包括一个或多个处理器和存储器，存储器用于存储一个或多个程序，其中，当该一个或多个程序被该一个或多个处理器执行时，使得该一个或多个处理器执行上述基于单目视觉的物体测量方法。

16、本发明的实施例的另一个方面提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述基于单目视觉的物体测量方法。

17、本发明的实施例的另一个方面提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述基于单目视觉的物体测量方法。

18、本发明实施例提供的基于单目视觉的物体测量方法可以至少部分地解决相关技术中单目视觉检测基础上缺乏目标约束时会引入背景深度、对复杂背景和工件纹理鲁棒性差以及测量框、中心及尺寸参数频繁跳动等问题至少之一，并因此可以至少实现如下技术效果之一：

19、（1）通过将单目高分辨率轮廓信息与单点tof绝对深度融合，在低硬件成本下实现平面工件实际尺寸和中心三维坐标测量。

20、（2）充分利用单点测距光斑（如tof光斑）对应区域、图像中心、目标分割区域、置信度和候选几何特征进行联合目标优选，减少背景轮廓误选。

21、（3）通过复杂背景下的目标粗定位或实例分割（可采用yolov8实现），再利用传统边缘、轮廓、直线/圆拟合进行测量级边界精修。

22、（4）矩形、圆角矩形和圆形采用不同的几何表达与绘制方式，并分别计算长宽、中心或圆心半径。

23、（5）通过角点排列匹配、中心与尺度联合关联、连续多帧迟滞切换、漏检保持、死区、限幅及ema实现稳定测量。

24、（6）在目标分割区域（如roi区域）存在时严格屏蔽区域外候选内容，从而有效排除复杂背景的影响；在深度学习失败时采用多策略传统视觉回退，兼顾准确性与可用性。

25、（7）同时输出目标像素尺寸、实际尺寸、中心像素坐标、中心相机坐标、矩形中心或圆心在当前测头坐标系中的坐标、深度、检测来源和置信状态。

26、因此，基于本发明实施例的上述基于单目视觉的物体测量方法，在低成本单目相机与单点tof条件下，相较传统双目或面阵深度方案，需要的硬件数量更少、成本更低、安装空间更小；相较纯传统视觉，能够对颜色、纹理、阴影和复杂背景的变化处理更鲁棒；相较直接使用神经网络包围框的传统方案，能够利用几何边缘精修显著性提高轮廓与尺寸精度；此外，通过多帧稳定和迟滞机制能够显著降低边框、中心及尺寸的跳动，同时通过最新帧后台推理可以保持响应速度，以同时提供像素量、物理量、中心相机坐标和中心测头坐标，便于质量检测、工件分中、测头相对定位及cnc粗定位。

27、可见，本发明实施例的上述基于单目视觉的物体测量方法，可以在低成本单目相机与单点tof条件下，对矩形、圆角矩形和圆形平面工件进行快速、准确、稳定的轮廓检测，将像素尺寸转换为实际物理尺寸，高效且精准地低成本输出目标中心的像素坐标和相机坐标，鲁棒性更高。

28、应了解的是，上述一般描述及以下具体实施方式仅为示例性及阐释性的，其并不能限制本发明所欲主张的范围。