曲面视触觉传感器三维点云构建方法、装置、设备及介质与流程

本申请涉及视触觉传感器，特别涉及一种曲面视触觉传感器三维点云构建方法、装置、设备及介质。

背景技术：

1、机器人末端执行器、灵巧手指尖、拇指模块和消费电子曲面触觉界面中的视触觉传感器常呈非平面或不规则曲面。该类传感器的摄像机、柔性表面、透明支撑件、壳体基准和照明路径之间存在装配误差；曲面不同区域还具有不同的初始深度、法向、材料厚度和灰度响应。

2、若直接沿用平面传感器的标定假设，容易把曲面初始高度、相机姿态偏差、光照基线漂移和真实接触形变混合在一起。且现有标定方法多强调相机内参、平面坐标比例或单一高度映射，难以直接适配自由曲面、侧腹曲面、拇指曲面等复杂指尖表面。

3、此外，灵巧手在抓取、装配、拨动、旋拧和滑移抑制等任务中，需要指尖同时具备柔顺接触、曲面贴合、接触位置识别和形变深度估计的能力。视触觉传感器通过摄像机观察柔性接触层的图像变化，能够在较小体积内获得稠密触觉信息，因此适合安装在机器人手指末端。

4、现有视触觉方案多以平面弹性体、规则球冠或规则圆弧面为基础，其图像反演通常依赖平面标定、点阵标记位移、彩色光源光度立体或固定几何假设。当传感器被设计为拟合灵巧手指尖的非规则曲面时，曲面各处厚度、法向、照明入射角、摄像机观测角和初始灰度均不相同，同一压入深度可能在不同像素位置表现为不同灰度响应。若直接沿用平面视触觉的重建逻辑，容易把初始曲面灰度不均、材料厚度差异和真实接触形变混合在一起。

5、因此，现有技术缺乏面向曲面视触觉传感器的标定方法以及接触三维点云的构建方法。

技术实现思路

1、有鉴于此，本申请实施例提供了一种曲面视触觉传感器三维点云构建方法、装置、设备及介质，以解决现有技术中缺乏面向曲面视触觉传感器的标定方法以及接触三维点云构建方法的技术问题。

2、为解决上述技术问题，本方案提供以下解决方案：

3、本申请第一方面提供了一种曲面视触觉传感器三维点云构建方法，包括以下步骤：

4、根据参考灰度图像和第三实时灰度图像计算得到灰度差分图，所述第三实时灰度图像为曲面视触觉传感器处于接触状态下图像感知模块输出的灰度图像，所述第三实时灰度图像和所述参考灰度图像的尺寸相同，所述参考灰度图像为曲面视触觉传感器处于未接触状态下对应的灰度图像，所述灰度差分图中每个像素的灰度值为参考灰度图像中对应像素灰度值与第三实时灰度图像中对应像素灰度值的差值；

5、根据灰度差分图和深度系数计算得到局部形变深度图，所述深度系数为单位灰度变化量对应的深度变化量；

6、针对所述局部形变深度图中的每个像素点，确定所述每个像素点对应的曲面几何参数，其中，所述曲面几何参数包括参考曲面深度、像素坐标射线和所述图像感知模块中预设点位在预设坐标系下的位置，所述参考曲面深度为所述曲面视触觉传感器处于未接触状态下所述每个像素点对应的深度，表示未接触状态下所述曲面视触觉传感器的接触面沿对应像素坐标射线的深度，所述像素坐标射线表征所述图像感知模块中预设点位穿过该像素点并指向曲面点的单位方向，所述像素坐标射线用于将所述每个像素点的局部形变深度转换为沿该像素坐标射线方向的三维局部深度扰动，在不同显示场景下所述每个像素点对应不同的所述曲面几何参数；

7、根据所述局部形变深度图中每个像素点的局部形变深度和所述每个像素点对应的曲面几何参数，计算得到所述每个像素点在预设坐标系下的位置，实现曲面接触三维点云的重构。

8、本申请第二方面提供了一种曲面视触觉传感器三维点云构建装置，包括依次通信连接的灰度差分计算模块、形变深度计算模块、参数确定模块和三维点云构建模块，

9、所述灰度差分计算模块，用于根据参考灰度图像和第三实时灰度图像计算得到灰度差分图，所述第三实时灰度图像为曲面视触觉传感器处于接触状态下图像感知模块输出的灰度图像，所述第三实时灰度图像和所述参考灰度图像的尺寸相同，所述参考灰度图像为曲面视触觉传感器处于未接触状态下对应的灰度图像，所述灰度差分图中每个像素的灰度值为所述参考灰度图像中对应像素灰度值与所述第三实时灰度图像中对应像素灰度值的差值；

10、所述形变深度计算模块，用于根据所述灰度差分图和深度系数计算得到局部形变深度图，所述深度系数为单位灰度变化量对应的深度变化量；

11、所述参数确定模块，用于针对所述局部形变深度图中的每个像素点，确定所述每个像素点对应的曲面几何参数，其中，所述曲面几何参数包括参考曲面深度、像素坐标射线和所述图像感知模块中预设点位在预设坐标系下的位置，所述参考曲面深度为所述曲面视触觉传感器处于未接触状态下所述每个像素点对应的深度，表示未接触状态下所述曲面视触觉传感器的接触面沿对应像素坐标射线的深度，所述像素坐标射线表征所述图像感知模块中预设点位穿过该像素点并指向曲面点的单位方向，所述像素坐标射线用于将所述每个像素点的局部形变深度转换为沿该像素坐标射线方向的三维局部深度扰动，在不同显示场景下所述每个像素点对应不同的所述曲面几何参数；

12、所述三维点云构建模块，用于根据所述局部形变深度图中每个像素点的局部形变深度和所述每个像素点对应的曲面几何参数，计算得到所述每个像素点在预设坐标系下的位置，实现曲面接触三维点云的重构。

13、本申请第三方面提供了一种计算机设备，包括依次通信连接的存储器和处理器，所述存储器上存储有计算机程序，所述处理器用于读取所述计算机程序，执行第一方面中所述的一种曲面视触觉传感器三维点云构建方法。

14、本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行第一方面中所述的一种曲面视触觉传感器三维点云构建方法。

15、与现有技术相比，本申请实施例采用的上述至少一个技术方案能够达到的有益效果至少包括：

16、本申请根据多帧无接触时的灰度图像作为参考灰度图像，并以参考灰度图像和当前的实时灰度图像的灰度差作为灰度差分图，进而基于深度系数将灰度差分图中每个像素的灰度值转化为局部深度形变，形成局部形变深度图以表征接触强度，进而根据局部形变深度图中每个像素点的局部形变深度和所述每个像素点对应的曲面几何参数，计算得到所述每个像素点在预设坐标系下的位置，即沿每个像素点对应的像素坐标射线更新接触三维点云，以实现曲面接触三维点云的重构，该曲面接触三维点云的重构方法不仅适用于规则曲面视触觉传感器中，也可以适用于非规则曲面视触觉传感器中，且在非规则曲面视触觉传感器中，可有效提高曲面接触三维点云构建的准确性。此外，本申请将无接触状态下曲面视触觉传感器的曲面几何预先编码为每个像素点对应的曲面几何参数，实现曲面视触觉传感器的标定，使每个像素点都具有独立的空间基准，曲面初始形状不再由实时灰度决定，避免把曲面视触觉传感器不规则曲面部分的曲面基底误认为接触形变，进而有利于提高非规则曲面视触觉传感器中曲面接触三维点云构建的准确性。

1.一种曲面视触觉传感器三维点云构建方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，根据所述局部形变深度图中每个像素点的局部形变深度和所述每个像素点对应的曲面几何参数，计算得到所述每个像素点在预设坐标系下的位置，包括：

3.根据权利要求1所述的方法，其特征在于，在根据所述参考灰度图像和第三实时灰度图像计算得到灰度差分图之前，还包括：

4.根据权利要求1所述的方法，其特征在于，针对所述局部形变深度图中的每个像素点，确定所述每个像素点对应的曲面几何参数，包括：

5.根据权利要求2所述的方法，其特征在于，所述根据所述每个像素点的实时深度、所述像素坐标射线和所述图像感知模块中预设点位在预设坐标系下的位置，计算得到所述每个像素点在预设坐标系下的位置，包括：

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述根据灰度差分图和深度系数计算得到局部形变深度图之后，还包括：

7.根据权利要求1至5中任一项所述的方法，其特征在于，所述根据灰度差分图和深度系数计算得到局部形变深度图，包括：

8.一种曲面视触觉传感器三维点云构建装置，其特征在于，包括依次通信连接的灰度差分计算模块、形变深度计算模块、参数确定模块和三维点云构建模块，

9.一种计算机设备，包括依次通信连接的存储器和处理器，所述存储器上存储有计算机程序，其特征在于：所述处理器用于读取所述计算机程序，执行权利要求1至7中任一项所述的一种曲面视触觉传感器三维点云构建方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至7中任一项所述的一种曲面视触觉传感器三维点云构建方法。