一种基于单轴MEMS条纹投影的手臂三维测量方法与流程

一种基于单轴mems条纹投影的手臂三维测量方法
技术领域
1.本发明涉及结构光三维重建领域，尤其是针对单轴mems条纹投影技术搭建了一套新的算法系统。


背景技术：

2.光学三维测量技术已广泛应用于航空航天、生物医学等工业测量。近年来，得益于高速、高精度和高分辨率的优点，fpp一直是研究热点。投影仪运用数字微镜器件(dmd)并投射正弦条纹图案；然后，相机捕捉变形的条纹图像用于相位计算和三维重建。图像传感器和数字投影技术的进一步促进了改领域的高速、实时的发展应用。
3.目前自动采血机器人希望能全自动的完成对手臂静脉的采血工作，然而由于手臂的静脉不明显，自动采血机器人需要对手臂进行三维测量来获取准确的静脉穿刺点的物理信息。
4.基于mems条纹投影技术具有以体积小、价格低、高帧率，并且不需要聚焦光学器件。特别的是，一种基于mems条纹投影的紧凑型投影仪，使用以数千帧扫描的单轴镜对于动态3d测量有很大的应用潜力。对于系统的标定难题主要受限于mems投影仪无透镜结构和单向条纹的局限性；相机和工作平台相对位置的难控性。
5.在传统的基于dmd投影仪的fpp系统校准中，基于dmd投影仪可以被视为一种反相机。因此，正交投影条纹可以建立dmd与ccd或cmos相机之间的对应关系，利用立体视觉原理完成系统标定。由于单轴mems投影的结构特点，不能投影正交条纹图案，不能简单的作为反相机使用，故基于立体视觉理论的系统标定方式不符合基于mems条纹投影的fpp系统。而采用平行轴相高模型、非平行轴相高模型和线性相高模型需要投影仪和相机按照严格几何位置关系布置。因此，需要建立一个限制程度较低的理论模型来标定基于单轴mems投影仪的三维手臂测量系统。


技术实现要素：

6.为了解决现有的技术问题，本发明提供了一种基于单轴mems条纹投影的手臂三维测量方法，包括以下步骤：
7.构建用于手臂三维测量的三维测量系统，其中，三维测量系统由单轴mems投影仪及其相机模组构成；
8.获取三维测量系统采集的三频四步条纹结构光图像，通过多频外差的方法进行相位展开，获取相位图像；
9.标定相机模组的内外参数，获取成像平面的物理位置信息；
10.基于物理位置信息和相位图像，获取具有高度属性特征的相位数据，并通过逆线性理论生成相位高度映射参数；
11.采集手臂的三频四步变形条纹图像，根据相位高度映射参数，获取三频四步变形条纹图像的调制相位的高度数值；
12.基于高度数值，获取手臂的不同部位的像素矫正偏移量，生成手臂三维点云数据。
13.优选地，在标定相机模组的内外参数的过程中，固定相机模组的焦距，将标定板放置在不同的空间位置，采集图像不低于25张，利用张正友标定法获取相机模组的内参矩阵、径向畸变和切向畸变参数，并进行畸变矫正；
14.将标定板固定在工作台面上，通过相机模组采集不低于5张图像，利用张正友标定法，获取相机模组的外参旋转矩阵和平移矩阵。
15.优选地，在获取成像平面的物理位置信息的过程中，构建理想成像平面方程，其中，理想成像平面距离相机光心距离为1mm，在相机坐标下的方程为zc＝1；
16.基于相机成像原理，获取每个像素映射到理想成像平面的空间坐标；
17.根据外参旋转矩阵和平移矩阵，拟合工作台面位于相机坐标系下的平面方程：ax by cz d＝0，并构造每个像素和理想成像平面上的映射坐标的光路方程：
18.基于平面方程和光路方程，构建用于表示成像平面的物理位置信息的空间坐标信息方程：
[0019][0020]
其中，(p
ix
，p
iy
，p
iz
)和(p
rx
，p
ry
，p
rz
)分别是理想平面pi和实际成像平面pr上面的点；(p
x
，py)为像素坐标系下的像素坐标；f
x
和fy为相机的两个方向上的焦距；a、b、c、d为空间平面方程参数。
[0021]
优选地，在生成相位高度映射参数的过程中，通过控制工作台面，采集位于0mm、10mm、20mm、30mm、40m、50mm、60mm、70mm、80mm、90mm处的三频四步相移条纹图像；
[0022]
通过多频外差的方法进行相位展开，将10-90mm的展开相位图像均与0mm展开相位图像作差，获得10-90mm高度的相位差图像；
[0023]
将10-90mm相位差图像对应已知实际物理高度，运用逆线性的方法拟合出每个像素处的相位高度映射参数，其中，拟合方法为：
[0024][0025]
其中，a、b表示相位高度映射参数，h(x，y)为测量对象的实际真实高度；为高度调制产生的相位差。
[0026]
优选地，在生成手臂三维点云数据的过程中，相机模组成像平面之间的实际物理距离，以及相机光心投影到成像平面的坐标点，生成每个像素映射到成像平面上的坐标与坐标点之间的矢量关系；
[0027]
根据相机成像原理，基于相位高度映射参数、实际物理距离、矢量关系之间的几何关系，获取像素成像坐标偏移矫正后的实际空间坐标；
[0028]
基于实际空间坐标的x、y轴坐标数据，并将实际物理距离作为z轴坐标数值，生成
手臂三维点云数据。
[0029]
优选地，在生成矢量关系的过程中，矢量关系的表达式为：
[0030][0031]
其中pa(xc，yc，zc)和pb(x
cr
，y
cr
，z
cr
)分别为pe和pd在真实成像板pr上的投影点；pc(x
ct
，y
ct
，z
ct
)为相机光学中心oc与真实成像板pr之间的垂直点；lc为oc与平板pr之间的距离；pf(xf，yf，zf)是pr上的一点，与pa和pc不共线。
[0032]
优选地，在生成手臂三维点云数据的过程中，手臂三维点云数据的表达式为：
[0033][0034]
优选地，用于实现手臂三维测量方法的手臂三维测量系统，包括：
[0035]
第一数据采集与预处理模块，用于获取三维测量系统采集的三频四步条纹结构光图像，通过多频外差的方法进行相位展开，获取相位图像；
[0036]
第一数据处理模块，用于标定相机模组的内外参数，获取成像平面的物理位置信息；
[0037]
第二数据处理模块，用于基于物理位置信息和相位图像，获取具有高度属性特征的相位数据，并通过逆线性理论生成相位高度映射参数；
[0038]
第二数据采集与预处理模块，用于采集手臂的三频四步变形条纹图像，根据相位高度映射参数，获取三频四步变形条纹图像的调制相位的高度数值；
[0039]
三维点云数据生成模块，用于基于高度数值，获取手臂的不同部位的像素矫正偏移量，生成手臂三维点云数据。
[0040]
相较于现有的技术，本发明具有以下的优点：
[0041]
1、低限制：本发明的算法系统对系统标定的空间限制要求较低，无需严格控制投影仪、相机和工作平台之间的空间几何关系。
[0042]
2、体积小：本发明选用的硬件组成的硬件平台尺寸约为传统的结构光条纹投影的硬件尺寸的1/12左右，搭配机械臂等设备能够适应更加复杂的工作环境；
[0043]
3、精度较高：本发明选用mems单轴条纹投影仪和普通相机模组搭建成的fpp系统，
最终能够实现精度为0.3mm左右。该精度能够满足较多的消费应用场景的需求。
[0044]
4、价格低：本发明选用的硬件价格较为低，mems投影仪的价格约为传统dmd投影仪的1/5；而相机模组选用为普通的相机集成模组来取代工业相机，其价格约为普通工业相机的1/14。
附图说明
[0045]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0046]
图1为本发明所述的步骤流程图；
[0047]
图2为本发明所述的硬件平台；
[0048]
图3为本发明所述的相机成像模型；
[0049]
图4为本发明所述的高度偏移校正模型；
[0050]
图5为本发明所述的手臂等点云生成效果图；
[0051]
图6为本发明所述的方法流程图。
具体实施方式
[0052]
下为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0053]
如图1-6所示，本发明提供了一种基于单轴mems条纹投影的手臂三维测量方法，包括以下步骤：
[0054]
构建用于手臂三维测量的三维测量系统，其中，三维测量系统由单轴mems投影仪及其相机模组构成；
[0055]
获取三维测量系统采集的三频四步条纹结构光图像，通过多频外差的方法进行相位展开，获取相位图像；
[0056]
标定相机模组的内外参数，获取成像平面的物理位置信息；
[0057]
基于物理位置信息和相位图像，获取具有高度属性特征的相位数据，并通过逆线性理论生成相位高度映射参数；
[0058]
采集手臂的三频四步变形条纹图像，根据相位高度映射参数，获取三频四步变形条纹图像的调制相位的高度数值；
[0059]
基于高度数值，获取手臂的不同部位的像素矫正偏移量，生成手臂三维点云数据。
[0060]
进一步优选地，在标定相机模组的内外参数的过程中，固定相机模组的焦距，将标定板放置在不同的空间位置，采集图像不低于25张，利用张正友标定法获取相机模组的内
参矩阵、径向畸变和切向畸变参数，并进行畸变矫正；
[0061]
将标定板固定在工作台面上，通过相机模组采集不低于5张图像，利用张正友标定法，获取相机模组的外参旋转矩阵和平移矩阵。
[0062]
进一步优选地，在获取成像平面的物理位置信息的过程中，构建理想成像平面方程，其中，理想成像平面距离相机光心距离为1mm，在相机坐标下的方程为zc＝1；
[0063]
基于相机成像原理，获取每个像素映射到理想成像平面的空间坐标；
[0064]
根据外参旋转矩阵和平移矩阵，拟合工作台面位于相机坐标系下的平面方程：ax by cz d＝0，并构造每个像素和理想成像平面上的映射坐标的光路方程：
[0065]
基于平面方程和光路方程，构建用于表示成像平面的物理位置信息的空间坐标信息方程：
[0066][0067]
其中，(p
ix
，p
iy
，p
iz
)和(p
rx
，p
ry
，p
rz
)分别是理想平面pi和实际成像平面pr上面的点；(p
x
，py)为像素坐标系下的像素坐标；f
x
和fy为相机的两个方向上的焦距；a、b、c、d为空间平面方程参数。
[0068]
进一步优选地，在生成相位高度映射参数的过程中，通过控制工作台面，采集位于0mm、10mm、20mm、30mm、40m、50mm、60mm、70mm、80mm、90mm处的三频四步相移条纹图像；
[0069]
通过多频外差的方法进行相位展开，将10-90mm的展开相位图像均与0mm展开相位图像作差，获得10-90mm高度的相位差图像；
[0070]
将10-90mm相位差图像对应已知实际物理高度，运用逆线性的方法拟合出每个像素处的相位高度映射参数，其中，拟合方法为：
[0071][0072]
其中，a、b表示相位高度映射参数，h(x，y)为测量对象的实际真实高度；为高度调制产生的相位差。
[0073]
进一步优选地，在生成手臂三维点云数据的过程中，相机模组成像平面之间的实际物理距离，以及相机光心投影到成像平面的坐标点，生成每个像素映射到成像平面上的坐标与坐标点之间的矢量关系；
[0074]
根据相机成像原理，基于相位高度映射参数、实际物理距离、矢量关系之间的几何关系，获取像素成像坐标偏移矫正后的实际空间坐标；
[0075]
基于实际空间坐标的x、y轴坐标数据，并将实际物理距离作为z轴坐标数值，生成手臂三维点云数据。
[0076]
进一步优选地，在生成矢量关系的过程中，矢量关系的表达式为：
[0077][0078]
其中pa(xc，yc，zc)和pb(x
cr
，y
cr
，z
cr
)分别为pe和pd在真实成像板pr上的投影点；pc(x
ct
，y
ct
，z
ct
)为相机光学中心oc与真实成像板pr之间的垂直点；lc为oc与平板pr之间的距离；pf(xf，yf，zf)是pr上的一点，与pa和pc不共线。
[0079]
优选地，在生成手臂三维点云数据的过程中，手臂三维点云数据的表达式为：
[0080][0081]
本发明还公开了一种用于实现手臂三维测量方法的手臂三维测量系统，包括：
[0082]
第一数据采集与预处理模块，用于获取三维测量系统采集的三频四步条纹结构光图像，通过多频外差的方法进行相位展开，获取相位图像；
[0083]
第一数据处理模块，用于标定相机模组的内外参数，获取成像平面的物理位置信息；
[0084]
第二数据处理模块，用于基于物理位置信息和相位图像，获取具有高度属性特征的相位数据，并通过逆线性理论生成相位高度映射参数；
[0085]
第二数据采集与预处理模块，用于采集手臂的三频四步变形条纹图像，根据相位高度映射参数，获取三频四步变形条纹图像的调制相位的高度数值；
[0086]
三维点云数据生成模块，用于基于高度数值，获取手臂的不同部位的像素矫正偏移量，生成手臂三维点云数据。
[0087]
本发明还公开了一种用于实现手臂三维测量系统的计算机程序，该计算机程序实现了手臂三维测量方法的逻辑关系。
[0088]
本发明还公开了一种可存储介质，用于承载该计算机程序，并根据该计算机程序，对三维测量系统实现逻辑控制。
[0089]
实施例1：本实施例提供一种基于单轴mems条纹投影的手臂三维测量算法系统，其实现流程如图1所示，包括以下步骤：
[0090]
步骤s1：控制投影仪和相机采集条纹图像，具体而言：
[0091]
步骤s11：选用波长为854nm的近红外激光光源的中科融合bn6mf5851单轴mems投影仪和纬视达wsd-2830-v1.0近红外窄带相机模组搭建fpp系统的硬件平台，如图2所示。
[0092]
步骤s12：设计投影仪和相机模组的驱动控制程序，其主要的控制逻辑为——先发送一串数据驱动mems投影仪定时投影设定的相位和频率的条纹结构光，同时控制相机模组按照一定的时间间隔采集条纹结构光图像。
[0093]
步骤s2：选用的是三频四步的多频外差的方法，三种频率分别为70、64、59，图像大小为1280*960。将步骤s1中采集的12张条纹图像进行相位展开，得到无歧义的相位展开图像。
[0094]
步骤s31：固定相机的焦距，将标定板放置在不同的空间位置，采集图像不低于25张。利用张正友标定法获取相机的内参矩阵、径向畸变和切向畸变参数，并进行畸变矫正。
[0095]
步骤s32：将标定板固定在工作台面上，用相机采集不低于5张图像。利用张正友标定法计算出相机外参旋转矩阵和平移矩阵。
[0096]
步骤s41：构建理想成像平面方程，其位置距离相机光心距离为1mm，其在相机坐标下的方程为zc＝1。运用相机成像原理计算每个像素映射到理想成像平面的空间坐标。
[0097]
步骤s42：利用相机的外参旋转矩阵和平移矩阵，拟合平面度较高的工作台面位于相机坐标系下的平面方程ax by cz d＝0。构造每个像素和理想成像平面上的映射坐标的光路方程
[0098]
步骤s43：根据拟合的相机坐标系下的工作台面的方程和像素光路方程，即可获得实际成像平面的空间坐标信息，其理论模型如图3所示。
[0099]
步骤s51：利用高精度移动平台控制平面度较高的工作台面，分别采集高精度移动平台位于0mm、10mm、20mm、30mm、40m、50mm、60mm、70mm、80mm、90mm处的三频四步相移条纹图像。
[0100]
步骤s52：利用步骤s2中的方法计算出每个高度下的展开相位，将10-90mm的展开相位图像均与omm展开相位图像作差，获得10-90mm高度的相位差图像。
[0101]
步骤s53：将10-90mm相位差图像对应已知实际物理高度，运用逆线性的方法拟合出每个像素处的相位高度映射参数a和b，
[0102]
步骤s6：采集手臂的条纹图像，运用步骤s2中的方法计算出手臂的展开相位，再运用步骤s5的相位高度映射参数计算出手臂的实际物理高度信息。
[0103]
步骤s71：计算相机到成像平面之间的实际物理距离lc，相机光心投影到成像平面的坐标点pc；计算每个像素映射到成像平面上的坐标与pc之间的矢量关系：
[0104]
[0105]
步骤s72：根据相机成像原理，利用步骤s6中获取的每个像素附带的高度、相机到成像平面之间的实际物理距离lc以及像素映射到成像平面上的坐标与pc之间的矢量关系之间的几何关系，即可计算得像素成像坐标偏移矫正后的实际空间坐标，其理论模型如图4所示。
[0106]
步骤s8：提取步骤s7中获取的每个像素偏移校正后的空间坐标的x、y值作为像素点的成像坐标的x、y轴坐标数值，提取步骤s6中每个像素附带的实际高度数值为像素的成像坐标的z轴坐标数值，即可确定手臂的三维点云数据：
[0107][0108]
手臂等测量效果如图5所示。
[0109]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0110]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0111]
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0112]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。