一种应用360全景环视技术的车辆测距系统的制作方法

1.本发明涉及图像处理技术领域，尤其涉及一种应用360全景环视技术的车辆测距系统。


背景技术：

2.360全景环视技术在汽车周围架设能覆盖车辆周边所有视场范围的4到8个广角摄像头，对同一时刻采集到的多路视频影像处理成一幅车辆周边360度的车身俯视图，最后在中控台的屏幕上显示，让驾驶员清楚查看车辆周边是否存在障碍物并了解障碍物的相对方位与距离，帮助驾驶员轻松停泊车辆。不仅非常直观，而且不存在任何盲点，可以提高驾驶员从容操控车辆泊车入位或通过复杂路面，有效减少刮蹭、碰撞、陷落等事故的发生。目前，车辆一般都是通过在车身上安装超声波传感器来实现对外部物体的进行距离识别，但是超声波传感器只能识别得到外部物体的距离，无法得出外部物体的精确方向，导致车辆存在碰撞隐患，使得车辆的安全性能不高。


技术实现要素：

3.针对现有技术存在的不足，本发明的目的在于提供一种应用360全景环视技术的车辆测距系统，用于实现车辆对待测物体的方向及距离的高精确识别。
4.为实现上述目的，本发明提供了如下技术方案：一种应用360全景环视技术的车辆测距系统，包括：
5.图像采集模块，用于采集车辆周围全部视野范围内的若干张实时图像；
6.图像处理模块，连接所述图像采集模块，用于对所述实时图像进行拼接融合处理，得到一定位环视图；
7.标定模块，连接所述图像处理模块，包括：
8.标定单元，用于获取所述定位环视图中放置在所述车辆周围的若干标定板，所述标定板内预设有若干棋盘格；
9.角点检测单元，连接所述标定单元，用于提取所述标定板中的若干所述棋盘格的角点；
10.参数计算单元，连接所述角点检测单元，用于根据若干所述角点处理得到一内参矩阵，并根据在真实场景中相邻所述角点的距离与在所述定位环视图中相邻所述角点的距离处理得到一平移矩阵和一旋转矩阵以形成一外参矩阵；
11.测量模块，分别连接所述标定模块和所述图像处理模块，包括：
12.坐标建立单元，用于分别建立图像坐标系、像素坐标系、所述相机坐标系和世界坐标系，所述图像坐标系和所述像素坐标系预先配置有第一转换公式，所述第一转换公式用于实现图像坐标和像素坐标的转换，所述像素坐标系和所述相机坐标系预先配置有第二转换公式，所述第二转换公式用于根据所述内参矩阵实现像素坐标和相机坐标的转换；
13.公式生成单元，连接所述坐标建立单元，用于根据所述第一转换公式、所述第二转
换公式和所述外参矩阵处理得到一第三转换公式，所述第三转换公式用于实现像素坐标和世界坐标的转换；
14.坐标转换单元，连接所述公式生成单元，用于识别得到所述定位环视图中待测物体的所述像素坐标，并将所述像素坐标带入所述第三转换公式，得到相应的所述世界坐标，以作为所述待测物体的在真实场景中的物理坐标；
15.距离生成单元，连接所述坐标转换单元，用于根据所述物理坐标生成所述车辆和所述待测物体之间的距离。
16.进一步地，所述第一转换公式配置为：
[0017][0018]
其中，u用于表示像素坐标的横坐标；
[0019]
v用于表示像素坐标的纵坐标；
[0020]
x用于表示图像坐标的横坐标；
[0021]
y用于表示图像坐标的纵坐标；
[0022]
u0用于表示所述图像坐标系的坐标原点在所述像素坐标系中的横坐标；
[0023]
v0用于表示所述图像坐标系的坐标原点在所述像素坐标系中的纵坐标。
[0024]
进一步地，所述图像采集模块包括四个环视全景摄像头。
[0025]
进一步地，所述第二转换公式配置为：
[0026][0027]
其中，zc用于表示所述环视全景摄像头的深度；
[0028]
u用于表示所述像素坐标的横坐标；
[0029]
v用于表示所述像素坐标的纵坐标；
[0030]
fx用于表示所述环视全景摄像头的横向焦距；
[0031]
fy用于表示所述环视全景摄像头的纵向焦距；
[0032]cx
用于表示所述像素坐标系的原点相对于所述相机坐标系的原点的横向平移尺寸；
[0033]cy
用于表示所述像素坐标系的原点相对于所述相机坐标系的原点的纵向平移尺寸；
[0034]
xc用于表示所述相机坐标的横坐标；
[0035]
yc用于表示所述相机坐标的纵坐标；
[0036]
zc用于表示所述相机坐标的竖坐标。
[0037]
进一步地，所述第三转换公式配置为：
[0038][0039]
zc用于表示所述环视全景摄像头的深度；
[0040]
u用于表示所述像素坐标的横坐标；
[0041]
v用于表示所述像素坐标的纵坐标；
[0042]
r用于表示所述旋转矩阵；
[0043]
t用于表示所述平移矩阵；
[0044]
k用于表示所述内参矩阵；
[0045]
xw用于表示所述世界坐标的横坐标；
[0046]yw
用于表示所述世界坐标的纵坐标；
[0047]zw
用于表示所述世界坐标的竖坐标。
[0048]
进一步地，所述内参矩阵配置为：
[0049][0050]
其中，k用于表示所述内参矩阵；
[0051]
fx用于表示所述环视全景摄像头的横向焦距；
[0052]
fy用于表示所述环视全景摄像头的纵向焦距；
[0053]cx
用于表示所述像素坐标系的原点相对于所述相机坐标系的原点的横向平移尺寸；
[0054]cy
用于表示所述像素坐标系的原点相对于所述相机坐标系的原点的纵向平移尺寸。
[0055]
进一步地，所述标定模块还包括畸变矫正单元，分别连接所述标定单元和所述角点检测单元，用于根据预设矫正算法对所述定位环视图进行去畸变矫正，以将矫正后的所述定位环视图输出至所述角点检测单元。
[0056]
进一步地，所述图像处理模块包括：
[0057]
图像融合单元，用于根据预设融合算法对所述实时图像进行拼接融合处理，得到所述定位环视图；
[0058]
图像识别单元，连接所述图像融合单元，用于根据预设识别算法对所述定位环视图进行图像识别，得到所述定位环视图中的所述待测物体的区分种类，所述区分种类包括人和其他车辆。
[0059]
一种应用360全景环视技术的车辆测距方法，应用于上述的应用360全景环视技术的车辆测距系统，所述应用360全景环视技术的车辆测距方法包括：
[0060]
标定步骤s1，包括：
[0061]
步骤s11，标定人员在车辆周围预先放置若干标定板；
[0062]
步骤s12，图像采集模块采集车辆周围全部视野范围内的若干张实时图像，图像处
理模块对实时图像进行拼接融合处理，得到一定位环视图；
[0063]
步骤s13，标定模块获取定位环视图中放置在车辆周围的若干标定板，并提取标定板中的若干棋盘格的角点，进而根据若干角点处理得到一内参矩阵，从而根据在真实场景中相邻角点的距离与在定位环视图中相邻角点的距离处理得到一平移矩阵和一旋转矩阵以形成一外参矩阵；
[0064]
计算步骤s2，包括：
[0065]
步骤s21，测量模块分别建立图像坐标系、像素坐标系、相机坐标系和世界坐标系，图像坐标系和像素坐标系预先配置有第一转换公式，像素坐标系和相机坐标系预先配置有第二转换公式；
[0066]
步骤s22，图像采集模块采集车辆周围全部视野范围内的若干张实时图像，图像处理模块对实时图像进行拼接融合处理，得到定位环视图；
[0067]
步骤s23，测量模块根据第一转换公式、第二转换公式和外参矩阵处理得到一第三转换公式，再将识别得到的定位环视图中待测物体的像素坐标带入第三转换公式，得到相应的世界坐标，以作为待测物体的在真实场景中的物理坐标，最终根据物理坐标生成车辆和待测物体之间的距离。
[0068]
本发明的有益效果：
[0069]
本发明通过图像采集模块采集得到车辆周围的实时图像，并通过图像处理模块拼接融合得到定位环视图，进而提取定位环视图的角点，并根据角点处理得到相机坐标系的内参矩阵和外参矩阵，进而根据第一转换公式、第二转换公式和外参矩阵处理得到第三转换公式，将最终得到待测物体的世界坐标以作为物理坐标，并根据物理坐标计算得到待测物体跟车辆之间的距离，实现了将360全景环视技术在车辆测距上的应用，有效提升了车辆对待测物体的方向及距离的识别精确度。
附图说明
[0070]
图1是本发明中应用360全景环视技术的车辆测距系统的结构示意图；
[0071]
图2是本发明中应用360全景环视技术的车辆测距方法的步骤流程图。
[0072]
附图标记：1、图像采集模块；2、图像处理模块；21、图像融合单元；22、图像识别单元；3、标定模块；31、标定单元；32、角点检测单元；33、参数计算单元；34、畸变矫正单元；4、测量模块；41、坐标建立单元；42、公式生成单元；43、坐标转换单元；44、距离生成单元。
具体实施方式
[0073]
下面结合附图和实施例，对本发明进一步详细说明。其中相同的零部件用相同的附图标记表示。需要说明的是，下面描述中使用的词语“前”、“后”、“左”、“右”、“上”和“下”指的是附图中的方向，词语“底面”和“顶面”、“内”和“外”分别指的是朝向或远离特定部件几何中心的方向。
[0074]
如图1所示，本实施例的一种应用360全景环视技术的车辆测距系统，包括：
[0075]
图像采集模块1，用于采集车辆周围全部视野范围内的若干张实时图像；
[0076]
图像处理模块2，连接图像采集模块1，用于对实时图像进行拼接融合处理，得到一定位环视图；
[0077]
标定模块3，连接图像处理模块2，包括：
[0078]
标定单元31，用于获取定位环视图中放置在车辆周围的若干标定板，标定板内预设有若干棋盘格；
[0079]
角点检测单元32，连接标定单元31，用于提取标定板中的若干棋盘格的角点；
[0080]
参数计算单元33，连接角点检测单元32，用于根据若干角点处理得到一内参矩阵，并根据在真实场景中相邻角点的距离与在定位环视图中相邻角点的距离处理得到一平移矩阵和一旋转矩阵以形成一外参矩阵；
[0081]
测量模块4，分别连接标定模块3和图像处理模块2，包括：
[0082]
坐标建立单元41，用于分别建立图像坐标系、像素坐标系、相机坐标系和世界坐标系，图像坐标系和像素坐标系预先配置有第一转换公式，第一转换公式用于实现图像坐标和像素坐标的转换，像素坐标系和相机坐标系预先配置有第二转换公式，第二转换公式用于根据内参矩阵实现像素坐标和相机坐标的转换；
[0083]
公式生成单元42，连接坐标建立单元41，用于根据第一转换公式、第二转换公式和外参矩阵处理得到一第三转换公式，第三转换公式用于实现像素坐标和世界坐标的转换；
[0084]
坐标转换单元43，连接公式生成单元42，用于识别得到定位环视图中待测物体的像素坐标，并将像素坐标带入第三转换公式，得到相应的世界坐标，以作为待测物体的在真实场景中的物理坐标；
[0085]
距离生成单元44，连接坐标转换单元43，用于根据物理坐标生成车辆和待测物体之间的距离。
[0086]
本技术方案通过图像采集模块1采集得到车辆周围的实时图像，并通过图像处理模块2拼接融合得到定位环视图，进而提取定位环视图的角点，并根据角点处理得到相机坐标系的内参矩阵和外参矩阵，进而根据第一转换公式、第二转换公式和外参矩阵处理得到第三转换公式，将最终得到待测物体的世界坐标以作为物理坐标，并根据物理坐标计算得到待测物体跟车辆之间的距离，实现了将360全景环视技术在车辆测距上的应用，有效提升了车辆对待测物体的方向及距离的识别精确度。
[0087]
优选的，第一转换公式配置为：
[0088][0089]
其中，u用于表示像素坐标的横坐标；
[0090]
v用于表示像素坐标的纵坐标；
[0091]
x用于表示图像坐标的横坐标；
[0092]
y用于表示图像坐标的纵坐标；
[0093]
u0用于表示图像坐标系的坐标原点在像素坐标系中的横坐标；
[0094]
v0用于表示图像坐标系的坐标原点在像素坐标系中的纵坐标。
[0095]
优选的，图像采集模块1包括四个环视全景摄像头。
[0096]
具体地，本实施例中，这四个环视全景摄像头均匀安装在车辆的四周。
[0097]
优选的，第二转换公式配置为：
[0098][0099]
其中，zc用于表示环视全景摄像头的深度；
[0100]
u用于表示像素坐标的横坐标；
[0101]
v用于表示像素坐标的纵坐标；
[0102]
fx用于表示环视全景摄像头的横向焦距；
[0103]
fy用于表示环视全景摄像头的纵向焦距；
[0104]cx
用于表示像素坐标系的原点相对于相机坐标系的原点的横向平移尺寸；
[0105]cy
用于表示像素坐标系的原点相对于相机坐标系的原点的纵向平移尺寸；
[0106]
xc用于表示相机坐标的横坐标；
[0107]
yc用于表示相机坐标的纵坐标；
[0108]
zc用于表示相机坐标的竖坐标。
[0109]
优选的，第三转换公式配置为：
[0110][0111]
zc用于表示环视全景摄像头的深度；
[0112]
u用于表示像素坐标的横坐标；
[0113]
v用于表示像素坐标的纵坐标；
[0114]
r用于表示旋转矩阵；
[0115]
t用于表示平移矩阵；
[0116]
k用于表示内参矩阵；
[0117]
xw用于表示世界坐标的横坐标；
[0118]yw
用于表示世界坐标的纵坐标；
[0119]zw
用于表示世界坐标的竖坐标。
[0120]
优选的，内参矩阵配置为：
[0121][0122]
其中，k用于表示内参矩阵；
[0123]
fx用于表示环视全景摄像头的横向焦距；
[0124]
fy用于表示环视全景摄像头的纵向焦距；
[0125]cx
用于表示像素坐标系的原点相对于相机坐标系的原点的横向平移尺寸；
[0126]cy
用于表示像素坐标系的原点相对于相机坐标系的原点的纵向平移尺寸。
[0127]
优选的，标定模块3还包括畸变矫正单元34，分别连接标定单元31和角点检测单元
32，用于根据预设矫正算法对定位环视图进行去畸变矫正，以将矫正后的定位环视图输出至角点检测单元32。
[0128]
具体地，本实施例中，畸变矫正单元34根据标定工具导入包含棋盘格的定位环视图，其中，该标定工具可以为ocamcalib。通过该标定工具可以计算得到相机坐标系的多项式系数和逆变多项式系数，进而根据预设矫正算法创建四张快速查询表，完成对定位环视图的去畸变矫正。角点检测单元32对去畸变矫正后的定位环视图进行去二值化，并利用预设提取算法提取角点，参数计算单元33根据预设参数提取算法和角点计算得到内参矩阵。其中，预设提取算法可以为findchessboardcorners函数，预设参数提取算法可以为initcameramatrix2d函数。
[0129]
优选的，图像处理模块2包括：
[0130]
图像融合单元21，用于根据预设融合算法对实时图像进行拼接融合处理，得到定位环视图；
[0131]
图像识别单元22，连接图像融合单元21，用于根据预设识别算法对定位环视图进行图像识别，得到定位环视图中的待测物体的区分种类，区分种类包括人和其他车辆。
[0132]
具体地，本实施例中，预设识别算法可以为用于种类识别的深度学习算法模型，将包含待测物体的定位环视图输入至该深度学习算法模型中，得到相应的种类区分结果，不同的区分种类通过标记不同的标签来进行区分。
[0133]
一种应用360全景环视技术的车辆测距方法，应用于上述的应用360全景环视技术的车辆测距系统，如图2所示，应用360全景环视技术的车辆测距方法包括：
[0134]
标定步骤s1，包括：
[0135]
步骤s11，标定人员在车辆周围预先放置若干标定板；
[0136]
步骤s12，图像采集模块采集车辆周围全部视野范围内的若干张实时图像，图像处理模块对实时图像进行拼接融合处理，得到一定位环视图；
[0137]
步骤s13，标定模块获取定位环视图中放置在车辆周围的若干标定板，并提取标定板中的若干棋盘格的角点，进而根据若干角点处理得到一内参矩阵，从而根据在真实场景中相邻角点的距离与在定位环视图中相邻角点的距离处理得到一平移矩阵和一旋转矩阵以形成一外参矩阵；
[0138]
计算步骤s2，包括：
[0139]
步骤s21，测量模块分别建立图像坐标系、像素坐标系、相机坐标系和世界坐标系，图像坐标系和像素坐标系预先配置有第一转换公式，像素坐标系和相机坐标系预先配置有第二转换公式；
[0140]
步骤s22，图像采集模块采集车辆周围全部视野范围内的若干张实时图像，图像处理模块对实时图像进行拼接融合处理，得到定位环视图；
[0141]
步骤s23，测量模块根据第一转换公式、第二转换公式和外参矩阵处理得到一第三转换公式，再将识别得到的定位环视图中待测物体的像素坐标带入第三转换公式，得到相应的世界坐标，以作为待测物体的在真实场景中的物理坐标，最终根据物理坐标生成车辆和待测物体之间的距离。
[0142]
工作原理：
[0143]
首先，需要对四个环视全景摄像头进行相机标定。在本实施例中，在车身四周预先
放置了七块用于标定的标定板，每块标定板内均设置有固定尺寸的棋盘格。环视全景摄像头采集多张包含棋盘格的实时图像，其中，每张实时图像中均包含有至少两个标定板。图像处理模块2对多张实时图像进行融合拼接得到包含棋盘格的定位环视图。进而通过角点检测单元32对定位环视图中的角点进行检测，参数计算单元33根据角点计算得到内参矩阵，并利用透视n点法对真实场景中相邻角点的距离与在定位环视图中相邻角点的距离进行处理，得到世界坐标系相对于相机坐标系的平移矩阵和旋转矩阵。公式生成单元42根据第一转换公式、第二转换公式、平移矩阵和旋转矩阵得到第三转换公式，使得像素坐标可以直接转换得到世界坐标。
[0144]
在标定完成后，环视全景摄像头采集多张包含待测物体的事实图像，进而图像处理模块2对多张实时图像进行融合拼接得到包含待测物体的定位环视图。图像处理模块2可以对定位环视图中的待测物体进行识别，并处理得到待测物体的像素坐标。坐标转换单元43将识别到的定位环视图中的待测物体的像素坐标代入第三转换公式，即可得到相应的世界坐标作为物理坐标。该物理坐标可以精确表明待测物体在作为参考系的车辆的相对方向，同时根据该物理坐标可以计算得到待测物体和车辆之间的相对距离，有效提升了距离检测的精度。
[0145]
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。