一种基于嵌入式平台的单目视觉实时测距方法及测距系统

1.本发明涉及计算机视觉技术领域，具体涉及一种基于嵌入式平台的单目视觉实时测距方法及测距系统。


背景技术：

2.随着人工智能的发展，视觉传感器在智能车以及机器人领域中得到了广泛的应用。相比其他传感器，视觉传感器可以获得更多有效的信息，可以用来物体识别和测距。目前，在视觉测距技术上，主要分为单目视觉测距和双目视觉测距，相比双目视觉，单目视觉具有数据处理量小，可控变量少的优点。在基于单目视觉测距的应用场景中，通过建立图像二维像素坐标与真实世界坐标的关系，从而可及时判断前方物体的距离。
3.目前，基于单目视觉测距算法大多都是基于计算机平台，且多为离线处理，考虑嵌入式平台硬件性能限制以及对实时性的要求，由于算法涉及变量较多，公式复杂，如果每一帧图像都进行复杂的公式计算，涉及大量浮点运算，将导致数据处理量大，影响实时性能。针对这种硬件性能限制的嵌入式系统，可以通过优化单目视觉测距算法，简化标定过程，便于处理器进行图像数据处理，提高基于嵌入式设备单目测距的实时性。


技术实现要素：

4.本发明提出了一种基于嵌入式平台的单目视觉实时测距方法，包括以下几个步骤：
5.步骤一：通过目标相机采集目标原始图像，并对目标原始图像进行畸变矫正；
6.目标相机搭载在嵌入式终端设备上，其中，嵌入式设备采用32位arm处理器，目标相机通过usb线连接到设备采集接口，安装离水平面高度为0.8米，俯仰角为30度，目标相机视角为120度。针对广角镜头产生的畸变矫正主要为桶形矫正，矫正方法采用brown-conrady模型，对原始点采用沿半径方向进行三阶泰勒展开，通过matlab标定工具可得到畸变系数k＝[k1,k2,k3]。
[0007]
步骤二：根据相机成像模型，建立二维图像像素坐标和三维世界坐标之间映射关系；
[0008]
首先，所述目标三维世界坐标(xw,yw,zw)经过旋转平移变换得到相机坐标系(xc,yc,zc)；然后，相机坐标系(xc,yc,zc)经过透视变换得到图像坐标系(x,y)；最后，将具有物理单位的图像坐标系(x,y)变换为以像素为单位的像素坐标(u,v)。忽略所述目标的高度，即可得到二维图像像素坐标和三维世界平面坐标(xw,yw,0)的映射关系。
[0009]
步骤三：通过矩阵变换法，利用黑白棋盘格，对相机进行标定，获得二维像素坐标和三维世界之间映射矩阵参数；
[0010]
首先，通过矩阵变换，将相机的内部参数和外部参数合并为8个参数的矩阵h＝[h
11
,h
12
,h
13
,h
21
,h
22
,h
23
,h
31
,h
32
]，得到像素坐标(u,v)和世界平面坐标(xw,yw,0)映射关系，
即其中，d
x
，dy每个像素在x轴，y轴方向上的物理尺寸，然后将黑白棋盘格图水平放置在相机视野前方，采集目标图像；最后，选取四组互不相关的坐标，即图像中棋盘格四个拐角像素坐标以及对应的世界坐标，解出h参数矩阵。
[0011]
步骤四：对目标进行检测，取目标检测框下边沿中心点像素坐标作为目标投影点的像素位置；目标检测采用适用于嵌入式终端的yolov3轻量级模型，首先，在服务端进行模型训练，然后，将训练好的模型部署到嵌入式终端设备，最后，在设备端加载模型进行目标识别。
[0012]
步骤五：根据二维图像像素和三维世界坐标映射关系建立映射表，对每一帧图像计算目标距离通过查表获得。
[0013]
建立映射表过程为，首先，系统初始化，在处理每一帧图像前，将图像每个像素点坐标(u,v)带入步骤三所述的映射关系公式得到相同大小的世界坐标(xw,yw,0)映射表，并存储在嵌入式设备内存中。然后实时获得目标距离的过程为，对采集的图像进行目标检测，取目标检测框下边沿中心点像素坐标，查找映射表获得世界坐标，然后通过距离公式得到目标和相机在水平面投影点的直线距离。
[0014]
一种基于嵌入式平台的单目视觉实时测距系统，包括：存储器和处理器；
[0015]
所述存储器上存储有计算机程序，当所述计算机程序被所述处理器执行时，实现本发明基于嵌入式平台的单目视觉实时测距方法。
[0016]
一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现本发明基于嵌入式平台的单目视觉实时测距方法。
[0017]
本发明的有益效果在于：本发明方法适用于一些性能受限的嵌入式终端，简化相机标定过程，算法通用性好，方便移植；同时，降低了单目测距算法复杂度，从而避免大量的浮点计算，有效提高了目标测距的实时性。
附图说明
[0018]
图1是本发明嵌入式设备结构示意图。
[0019]
图2是本发明建立相机成像模型示意图。
[0020]
图3是本发明目标检测网络结构示意图。
[0021]
图4是本发明单目测距方法流程示意图。
[0022]
图5是本发明方法的流程示意图。
具体实施方式
[0023]
为了更清晰的说明本发明的优势以及方案实施过程，下面结合具体实施例和附图，对本发明进行进一步的阐述。应当理解，以下所讲解的实施例并不用于限制本发明实施条件，而仅仅用于解释说明本发明。
[0024]
本发明公开了一种基于嵌入式平台的单目视觉实时测距方法，包括：1)通过目标相机采集目标原始图像，并对图像进行畸变矫正；2)根据相机成像模型，建立二维图像像素
坐标和三维世界坐标之间映射关系；3)通过矩阵变换法，对相机进行标定，获得二维像素坐标和三维世界之间映射矩阵参数；4)对目标进行检测，取目标检测框下边沿中心点像素坐标作为目标投影点的像素位置；5)对所述目标图像，建立二维像素和三维世界坐标映射表，每一帧图像实时目标测距通过查表获得。本方法适用于一些性能受限的嵌入式终端，简化标定过程，方便移植，避免大量的浮点计算，提高目标测距的实时性。
[0025]
实施例
[0026]
本发明提供了一种基于嵌入式平台的单目视觉实时测距方法，具体方法步骤包括一下步骤：
[0027]
步骤一：通过目标相机采集目标原始图像，并对图像进行畸变矫正；
[0028]
目标相机搭载在嵌入式终端设备上，设备安装系统结构示意图如图1所示。其中，相机视角为120度，针对广角镜头产生的桶形畸变，对原始点采用沿半径方向进行三阶泰勒展开，通过matlab标定工具可得到畸变系数k＝[k1,k2,k3]。
[0029]
步骤二：根据相机成像模型，建立二维图像像素坐标和三维世界坐标之间映射关系；相机的成像模型如图2所示，目标三维世界坐标(xw,yw,zw)经过旋转平移变换得到相机坐标系(xc,yc,zc)；然后，相机坐标系(xc,yc,zc)经过透视变换得到图像坐标系(x,y)，其中(x0,y0)为图像坐标原点；最后，将具有物理单位的图像坐标系(x,y)变换为以像素为单位的像素坐标系(u,v)，其中，(u0,v0)为像素坐标原点。忽略所述目标的高度，即可得到二维图像像素坐标(u,v)和三维世界平面坐标(xw,yw,0)的映射关系。
[0030]
步骤三：通过矩阵变换法，利用黑白棋盘格，对相机进行标定，获得二维像素坐标和三维世界之间映射矩阵参数；
[0031]
首先，通过矩阵变换，得到像素坐标(u,v)和世界平面坐标(xw,yw,0)关系，即其中，d
x
，dy每个像素在x轴，y轴方向上的物理尺寸后，相机的内部参数和外部参数融合为具有8个参数的矩阵h＝[h
11
,h
12
,h
13
,h
21
,h
22
,h
23
,h
31
,h
32
]，然后，将黑白棋盘格图水平放置在相机视野前方，采集目标图像；最后，选取四组互不相关的坐标，即图像中棋盘格四个拐角像素坐标以及对应的世界坐标，即可解出h参数矩阵。
[0032]
步骤四：对目标进行检测，取目标检测框下边沿中心点像素坐标作为目标投影点的像素位置；
[0033]
目标检测采用适用于嵌入式终端的轻量级yolov3模型，模型结构示意图如图3所示；目标检测步骤包括，在服务端进行模型训练；将训练好的模型部署到嵌入式终端设备；设备端加载模型进行识别。
[0034]
步骤五：根据二维图像像素和三维世界坐标映射关系建立映射表，对每一帧图像计算目标距离通过查表获得。
[0035]
在图像处理初始化阶段，将图像每个像素点坐标(u,v)带入如步骤三所述的映射关系公式得到相同大小的世界坐标(xw,yw,0)映射表，并存储在嵌入式设备内存中；在目标实时检测时，取目标检测框下边沿中心点像素坐标，通过查找映射表获得对应世界坐标，然后通过距离公式得到目标于相机的直线距离，目标测距方法流程示意图如图4所示。
[0036]
本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本
领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。式得到目标于相机的直线距离，目标测距方法流程示意图如图4所示。
[0037]
本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。