一种基于双目相机的工业车辆预警及避障方法、系统与流程

1.本技术涉及计算机视觉技术领域，特别是涉及一种基于双目相机的工业车辆预警及避障方法、系统。


背景技术：

2.工业车辆由于其视野弱区大、倒车频次高、装载重量大、刹车距离长等特殊性，在作业过程中，剐蹭、碰撞、碾压、撞车等恶性工业车辆事故时有发生，造成了极大的人身伤害和经济损失，工业车辆的安全问题已经成为全球工业车辆行业必须面对的重要问题。
3.在相关技术中，主要采取双目相机结合传统机器视觉、红外线tof和视频分析等技术，根据障碍物距离与刹车距离和减速距离的关系进行预警及避障。但是，在上述技术中，由于障碍物距离、刹车距离和减速距离的准确度较差，在车辆行驶状态变化较大或车辆处于转向状态时，其预警效果和避障效果不够理想。
4.目前针对相关技术中工业车辆预警效果及避障精度较差的问题，尚未提出有效的解决方案。


技术实现要素：

5.本技术实施例提供了一种基于双目相机的工业车辆预警及避障方法、系统以至少解决相关技术中工业车辆预警效果及避障效果较差的问题。
6.第一方面，本技术实施例一种基于双目相机的工业车辆预警及避障方法，所述方法包括：
7.通过双目相机获取工业车辆视野弱区的双目图像并进行校正得到校正双目图像，对所述双目校正图像进行双目立体匹配得到视差图，将所述视差图从图像坐标系转换到世界坐标系得到3d点云图；
8.基于所述3d点云图标定所述工业车辆行驶的目标地面，获取预留距离信息，以及所述工业车辆的行驶信息和车辆参数，其中，所述行驶信息包括车速、刹车时间、减速时间、削减速度和转向角度，所述车辆参数包括刹车系数、减速系数和车辆轴距，所述预留距离信息包括预留刹车距离和预留减速距离；
9.根据所述行驶信息、所述车辆参数和所述预留距离信息计算实时刹车距离和实时减速距离，并根据预设范围信息确定预警区域框；
10.通过目标检测算法获取所述校正双目图像中的行人检测框，分离所述行人检测框中表征人体的3d点得到分离点，并将所述分离点投影到所述目标地面，基于所述投影的结果计算在直行区域或转向区域下，所述行人至所述工业车辆的投影距离数据；
11.根据所述投影距离数据、所述实时刹车距离和所述实时减速距离，依据预设规则计算并输出预警信息，根据所述预警信息进行实时避障控制。
12.在其中一些实施例中，所述对所述校正双目图像进行双目立体匹配得到视差图包括：
13.通过代价聚合算法对所述校正双目图像进行立体匹配得到视差图，包括：
14.通过索贝尔算子执行所述校正双目图像的边缘检测，将所述边缘检测之后的数据映射为预处理图像，获取所述预处理图像的梯度信息；
15.通过采样方法根据所述梯度信息计算梯度代价，以及基于所述校正双目图像计算sad代价；
16.基于实时规划策略，在所述校正双目图像上的每个方向上进行能量积累，并将每个方向上的匹配代价相加得到合并匹配代价；
17.执行后处理步骤得到所述视差图，其中，所述后处理步骤包括唯一性检测、亚像素插值、左右一致性检测和连通区域检测。
18.在其中一些实施例中，所述将所述视差图从图像坐标系转换到世界坐标系得到3d点云图包括：
19.对所述双目相机进行立体校正获取重投影矩阵，根据所述重投影矩阵，通过如下公式，将所述视差图从图像坐标系转换到世界坐标系得到3d点云图：
[0020][0021]
其中，是世界坐标系下的三维坐标，d是所述视差图中的视差信息，c
′
x
表示双目相机拍摄拍摄的右图像的主点，x，y分别是图像坐标下的数值，c
x
、cy、t
x
和f分别是所述重投影矩阵的内参。
[0022]
在其中一些实施例中，所述基于所述3d点云图标定所述工业车辆行驶的目标地面包括：
[0023]
将所述校正双目图像上的地平面点映射到所述3d点云图上，获取所述地平面点的空间坐标；
[0024]
基于所述地平面点的空间坐标，通过最小二乘法拟合出所述目标地面的投影参数方程，其中，所述投影参数方程可表示为如下形式：
[0025][0026]
其中，x，y，z是所述地平面点的空间坐标，a、b和c是方程参数。
[0027]
在其中一些实施例中，所述根据所述行驶信息、所述车辆参数和所述预留距离信息计算实时刹车距离和实时减速距离包括：
[0028]
通过如下公式计算所述实时刹车距离：
[0029][0030]
其中，l
′
stop
是所述实时刹车距离，l
stop
是所述刹车预留距离，v是所述车速，t
stop
是所述刹车时间，k
stop
是所述刹车系数；
[0031]
通过如下公式计算所述实时减速距离：
[0032]
[0033]
其中，l
′
dec
是所述实时减速距离，l
dec
是所述减速预留距离，v是所述车速，v
stop
是所述削减速度，t
dec
是所述减速时间，k
dec
是所述减速系数。
[0034]
在其中一些实施例中，所述分离所述行人检测框中表征人体的3d点得到分离点，并将所述分离点投影到所述目标地面包括：
[0035]
计算所述行人检测框中的像素点在所述校正双目图像中的像素点视差，在所述像素点中获取所述像素点视差小于或者等于第一预设阈值的像素点作为目标像素点；
[0036]
基于所述3d点云图计算所述目标像素点的空间位置坐标，在所述目标像素点中获取所述空间位置坐标大于或者等于第二预设阈值的像素点作为所述分离点；
[0037]
若不在所述目标地面上的点坐标为p(xi，yi，zi)，根据所述投影参数方程，通过如下公式，将所述分离点投影至所述目标地面上得到投影点并计算投影坐标：
[0038][0039]
其中，x
p
，y
p
，z
p
所述投影坐标在各个坐标轴上的数值，a、b、c和d是方程参数。
[0040]
在其中一些实施例中，所述基于所述投影的结果计算在直行区域下，所述行人至所述工业车辆的投影距离数据包括：
[0041]
获取所述投影点与相机基点在z轴方向形成的向量长度，以所述向量长度作为直行相对距离，将所有投影点对应的直行相对距离结合得到直行相对距离列表；
[0042]
根据所述投影点在x、z方向上的坐标，和所述预警区域框在x、z方向上的顶点坐标之间的平面向量关系，在所述投影点中确定直行进界投影点；
[0043]
在所述直行进界投影点的数量大于预设阈值的情况下，在所述直行相对距离列表中确定所述直行进界投影点的相对距离，并获取所述直行进界投影点的相对距离中的最大距离和最小距离；
[0044]
基于所述最大距离和最小距离，通过直方图距离测算法计算在直行区域下所述行人至所述工业车辆的投影距离数据。
[0045]
在其中一些实施例中，所述基于所述投影的结果计算在转向区域下，所述行人至所述工业车辆的投影距离数据包括：
[0046]
获取所述工业车辆在转向行驶过程中的转向角度，根据所述转向角度和工业车辆的车辆轴距计算转向圆弧半径，根据所述转向圆弧半径和相机基点确定转向圆心点；
[0047]
根据所述投影点的投影坐标计算各个投影点至所述转向圆心点的投影半径，根据所述投影半径和所述圆弧半径，在各个投影点中获取落入转向区域宽度范围内的投影点作为第一投影点；
[0048]
根据所述预设范围信息与所述转向圆弧半径，计算转向区域长度范围对应的圆心角；
[0049]
确定所述相机基点与所述圆心点形成的第一向量，以及确定所述投影点与所述圆心点形成的第二向量，并计算所述第一向量和第二向量的向量夹角；
[0050]
在所述第一投影点中获取所述向量夹角小于所述圆心角的第二投影点，以所述第二投影点作为转向进界投影点；
[0051]
在所述转向进界投影点的个数大于预设点数阈值的情况下，通过直方图距离测算法，计算在转向区域下所述行人至所述工业车辆的投影距离数据。
[0052]
在其中一些实施例中，所述根据所述投影距离数据、所述实时刹车距离和所述实时减速距离，依据预设规则计算并输出预警信息，根据所述预警信息进行实时避障控制包括：
[0053]
获取所述投影距离数据中的最小值；
[0054]
基于所述最小值，依据预设规则输出告警信号，其中，所述预设规则包括：
[0055]
在d
min
＞l
′
stop
l
′
dec
的情况下输出安全信号；
[0056]
在l
′
stop
l
′
dec
＞d
min
＞l
′
stop
的情况下输出减速信号；
[0057]
在l
′
stop
＞d
min
＞0的情况下输出刹车信号；
[0058]
所述工业车辆基于所述安全信号、所述减速信号和所述刹车信号进行避障控制。
[0059]
第二方面，本技术实施例还提供了一种基于双目相机的工业车辆预警及避障系统，包括：车载控制器、can通信模块、工控机、双目深度相机、车载电源和车载显示器，用于执行如第一方面提供的基于双目相机的工业车辆预警及避障方法。
[0060]
相比于相关技术，本技术实施例提供的一种基于双目相机的工业车辆预警及避障方法，相比较于相关技术中的车辆预警及避障方法，具有如下有益效果：
[0061]
1.根据车辆行驶信息、车辆参数以及预留距离信息，计算与具体车辆匹配且精准度更高的实时刹车距离和实时减速距离，再基于该距离进行预警及避障，能够提升预警及避障精度，提升人员安全系数。
[0062]
2.对于车辆不同行驶状态(包括直行和转向)，针对性的制定目标距离计算方法，依据该目标距离计算方法，能够在车辆不同状态下，计算精准的障碍物距离，再应用该障碍物距离进行预警，从而进一步的提升预警及避障精度。
[0063]
3.预警分析结果可以经由车载显示器显示在驾驶员的视野前方，为驾驶员提供准确的信息支持。
附图说明
[0064]
此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
[0065]
图1是根据本技术实施例的一种基于双目相机的工业车辆预警及避障方法的应用场景示意图；
[0066]
图2是根据本技术实施例的一种基于双目相机的工业车辆预警及避障方法的流程图；
[0067]
图3是根据本技术实施例的预警范围框的示意图；
[0068]
图4是根据本技术实施例的转向区域的示意图；
[0069]
图5是本技术实施例的一种基于双目相机的工业车辆预警及避障系统的结构框图。
具体实施方式
[0070]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。基于本技术提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0071]
显而易见地，下面描述中的附图仅仅是本技术的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本技术应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本技术公开的内容相关的本领域的普通技术人员而言，在本技术揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本技术公开的内容不充分。
[0072]
在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本技术所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
[0073]
除非另作定义，本技术所涉及的技术术语或者科学术语应当为本技术所属技术领域内具有一般技能的人士所理解的通常意义。本技术所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本技术所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本技术所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本技术所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本技术所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
[0074]
本技术提供的一种基于双目相机的工业车辆预警及避障方法，可以应用在如图1所示的应用场景中，图1是根据本技术实施例的一种基于双目相机的工业车辆预警及避障方法的应用场景示意图，如图1所示，人员在驾驶工业车辆时(如叉车)，由于存在视野弱区，在倒车时需要频繁回头观察，这给驾驶员造成了极大的不便。本技术中基于双目图像采集，图像识别等技术，并结合can通信设备、工控机和显示屏等硬件设备，可以根据工业车辆的行驶情况计算输出精确的预警信息以及进行合理的避障控制。从而极大的提升了工业现场人员的安全系数，以及车辆驾驶员的舒适性。
[0075]
图2是根据本技术实施例的一种基于双目相机的工业车辆预警及避障方法的流程图，如图2所示，该流程包括如下步骤：
[0076]
s201，通过双目相机获取工业车辆视野弱区的双目图像并进行校正得到校正双目图像，对双目校正图像进行双目立体匹配得到视差图，将视差图从图像坐标系转换到世界
坐标系得到3d点云图；
[0077]
s202，基于3d点云图标定工业车辆行驶的目标地面，获取预留距离信息，以及工业车辆的行驶信息和车辆参数，其中，行驶信息包括车速、刹车时间、减速时间、削减速度和转向角度，车辆参数包括刹车系数、减速系数和车辆轴距，预留距离信息包括预留刹车距离和预留减速距离；
[0078]
s203，根据行驶信息、车辆参数和预留距离信息计算实时刹车距离和实时减速距离，并根据预设范围信息确定预警区域框；
[0079]
s204，通过目标检测算法获取校正双目图像中的行人检测框，分离行人检测框中表征人体的3d点得到分离点，并将分离点投影到目标地面，基于投影的结果计算在直行区域或转向区域下，行人至工业车辆的投影距离数据；
[0080]
s205，根据投影距离数据、实时刹车距离和实时减速距离，依据预设规则计算并输出预警信息，根据预警信息进行实时避障控制。
[0081]
通过上述步骤s201至s205，相比较于相关技术中的工业车辆预警及避障方法，本技术实施例利用双目相机实时采集的工业车辆视野弱区的双目图像，并进行立体矫正、深度估计、地面标定、确定预警范围，以及检测范围内行人的距离方位并结合车辆行驶信息进行安全预警判定。最终得到处于刹车及减速预警范围内的不同信号，基于该信号在安全预警范围下实时避障。通过本技术，解决了相关技术中工业车辆预警效果及避障精度较差的问题，提升了控制精确度和人员安全系数。
[0082]
实施例一
[0083]
本技术实施例提供了一种基于双目相机的工业车辆预警及避障方法，包括：
[0084]
步骤1，相机标定：
[0085]
由于摄像头光学透镜的特性使得成像存在着径向畸变；同时，由于装配方面等不可避免的误差，相机传感器与光学镜头之间并非完全平行，使得成像存在切向畸变。因此，需对双目相机进行标定以获取第一相机和第二相机的内参信息以及两者之间的相对外参信息。
[0086]
需要说明的是，单个相机的内参包括摄像头的内参矩阵和系数，两者之间的相对外参信息为第一相机相对于第二相机的旋转矩阵和平移向量。
[0087]
其中，双目相机的畸变系数、内参矩阵、旋转矩阵和平移向量分别可以表示为：
[0088]
畸变系数：(k
1 k
2 p
1 p
2 k3)；
[0089]
内参矩阵：
[0090]
旋转矩阵：
[0091]
平移向量：t＝(t
x
，ty，tz)
t
。
[0092]
其中，上式中，k1、k2、k3为径向畸变系数；p1、p2为切向畸变系数；c
x
、cy为主点坐标，通常位于图像的中心附近；f
x
和fy为双目相机在水平方向和垂直方向的焦距，单位为像素；α、β、γ为右相机围绕左相机坐标系三个轴的转角；r与t称为相机外参。
[0093]
步骤2，图像采集
[0094]
双目相机将工业车辆视野弱区作业环境的光信号进行捕获，转变成电信号，最终转变为数字图像信号得到双目图像，其中，该双目图像由第一相机拍摄的第一图像和第二相机拍摄的第二图像组成。
[0095]
步骤3，图像校正
[0096]
双目校正是根据摄像头标定后获得的内参数据(焦距、成像原点、畸变系数)和双目相对外参数据(旋转矩阵和平移向量)，对采集后图像的左右视图进行消除畸变和行对准，使得左右视图的成像原点坐标一致、两摄像头光轴平行、左右成像平面共面、对极线行对齐，进而完成图像校正过程得到校正双目图像。
[0097]
步骤4，深度估计
[0098]
校正双目图像进行双目立体视觉匹配得到视差图，其中，通过sgbm(semi global block matching)代价聚合算法对校正双目图像进行立体匹配得到视差图，可选的，包括：
[0099]
预处理，通过索贝尔(sobel)算子对输入图像进行处理，执行该校正双目图像的边缘检测，将边缘检测之后的数据映射为预处理图像，获取预处理图像的梯度信息；
[0100]
代价计算，通过采样方法根据梯度信息计算梯度代价，以及基于校正双目图像计算sad代价；
[0101]
实时规划，基于实时规划策略，在校正双目图像上的每个方向上进行能量积累，并将每个方向上的匹配代价相加得到合并匹配代价；
[0102]
后处理，执行后处理步骤得到视差图，其中，后处理步骤包括唯一性检测、亚像素插值、左右一致性检测和连通区域检测。
[0103]
步骤5，计算3d点云图
[0104]
对双目相机进行立体校正获取重投影矩阵，该重投影矩阵可以用如下形式表征：
[0105][0106]
根据重投影矩阵，通过如下公式2，将视差图从图像坐标系转换到世界坐标系得到3d点云图，具体步骤包括：
[0107]
公式1：q(x，y，d，1)
t
＝(x，y，z，w)
t
[0108]
其中，d表示视差，三维坐标为c
′
x
表示右图像的主点，当校正正确时，c
x
＝c
′
x
；进一步的，在立体矫正正确的前提下展开公式1，可得如下公式2：
[0109]
公式2：
[0110]
步骤6，地面标定
[0111]
基于3d点云图标定工业车辆行驶的目标地面，包括：
[0112]
在校正双目图像上选取地平面点，将地平面点映射到3d点云图上，获取地平面点的空间坐标；
[0113]
通过如下公式3，设定地平面点到空间坐标的参数方程：
[0114]
公式3：ax by c＝z
[0115]
基于多个地平面的空间坐标，通过最小二乘法拟合出目标地面的投影参数方程，
其中，该投影参数方程可表示如下公式4的形式：
[0116]
公式4：
[0117]
进一步的，根据公式4可得z＝xε，其中，ε＝(a，b，c)
t
，
[0118]
步骤7，计算实时刹车距离和实时减速距离
[0119]
获取预留距离信息，以及工业车辆的行驶信息和车辆参数，其中，该行驶信息包括：车速、刹车时间、减速时间、削减速度和车辆转向时的转向角度；该车辆参数包括：刹车系数、减速系数和车辆轴距；该预留距离信息包括预留刹车距离和预留减速距离。需要说明的是，在上述信息中，除车速外，其他信息参数都应和车辆的实际情况一致，需实时测试并确定最优值。
[0120]
通过下公式5计算实时刹车距离：
[0121]
公式5：
[0122]
其中，l
′
stop
是实时刹车距离，l
stop
是刹车预留距离，v是车速，t
stop
是刹车时间，k
stop
是刹车系数；
[0123]
通过如下公式6计算实时减速距离：
[0124]
公式6：
[0125]
其中，l
′
dec
是实时减速距离，l
dec
是减速预留距离，v是车速，v
stop
是削减速度，t
dec
是减速时间，k
dec
是减速系数。
[0126]
步骤8，确定预警区域框
[0127]
图3是根据本技术实施例的直行预警范围框的示意图，如图2所示，根据预设范围信息确定预警区域框，预设范围信息包括预设长度d和预设宽度s，刹车区域由预留刹车距离lstop决定，减速区域由预留减速距离l
dec
确定。
[0128]
步骤9，检测行人获取行人检测框
[0129]
采用轻量级目标检测算法实时检测识别人等障碍物的对应位置及所属类别，并在视频画面中框出行人位置。
[0130]
步骤10，投影行人检测框
[0131]
计算行人检测框中的像素点在校正双目图像中的像素点视差，在行人检测框的像素点中，获取像素点视差小于或者等于第一预设阈值的目标像素点；
[0132]
基于3d点云图计算目标像素点的空间位置坐标，在该目标像素点中，获取空间位置坐标大于或者等于第二预设阈值的像素点作为分离点；
[0133]
需要说明的是，上述步骤即对人体检测框中的点按一定间隔逐像素进行遍历，当求得像素点在左右视图中的视差大于第一预设阈值时，认为该点距离较近或未能匹配成功，需要排除；对符合要求的点进一步的由点云图求得该点的空间位置坐标，并计算点到地面的高度，若高度小于第二固定阈值，则需排除。由此得到行人方位框内符合投影要求、可
以表征人体的像素点，即分离点；
[0134]
假定不在目标地面上的任一点的坐标为p(xi，yi，zi)，其在目标地面上的投影坐标为p
′
(x
p
，y
p
，z
p
)。因为投影点到当前点的向量与地面平面垂直，根据垂直约束条件和投影参数方程，易知y
p
，z
p
满足如下条件：
[0135][0136]
联立方程可得如下公式7：
[0137][0138]
其中，x
p
，y
p
，z
p
是所述投影坐标在各个坐标轴上的数值，a、b、c和d是方程参数。
[0139]
根据上述公式7，计算将分离点投影到地面之后，得到的投影点的投影坐标。
[0140]
步骤11，计算投影距离
[0141]
1)，直行区域投影距离计算：
[0142]
以相机投影点为相机基点(x0，y0，z0)，将投影点和相机基点在z轴方向形成的向量的长度作为该投影点距车辆的直行相对距离d
p
′
，其中，z
y_line
是垂直于相机平面的方向向量在z坐标轴上的取值。
[0143]
将全体投影点的直行相对距离结合，得到直行距离列表d
pllist
，其中，d
pllist
可以通过如下形式表征：
[0144]dpllist
＝{d
′
p1
，d
′
p2
，......，d
′
pi
}(1≤i≤len(d
pllist
)
[0145]
根据投影点p
′
(x
p
，y
p
，z
p
)在x，z方向坐标p
″
(x
p
，z
p
)，与直行区域范围内四个顶点的x、z方向坐标v
tl
(x
tl
，z
tl
)、v
tr
(x
tr
，z
tr
)v
bl
(x
bl
，z
bl
)、v
br
(x
br
，z
br
)所呈平面向量关系，判断投影点是否进界，其中，可以根据如下公式8进行判断：
[0146]
公式8：
[0147]
对于任意一个投影点，若f(p
″
)＝1，则判定该投影点落入预警区域框内。从而实现依据平面向量关系在全体投影点中确定直行进界投影点；
[0148]
当行直行进界投影点的数量高于对应预设的阈值时，在相对距离列表中确定进界投影点的相对距离，并在进界投影点的相对距离中获取最大距离和最小距离。
[0149]
利用该最大距离和最小距离除以固定直方区间宽度，得到直方图区间个数；在应用相对距离列表中各点距离减去最小距离的差除以区间宽度，得到每个距离所属的直方图区间号，该区间内的距离数计数加1，以此得到各区间距离数目的直方图；
[0150]
以固定宽度的滑窗沿直方图由左至右以特定步长滑行，统计每滑行一步后滑窗内的各直方图区间的距离数之和，以及当前滑窗中心点对应的距离，取得距离数之和最大的滑窗所对应的滑窗中心点距离作为当前行人判断框的投影距离数据。
[0151]
2)，转向区域投影距离计算
[0152]
图4是根据本技术实施例的转向区域的示意图，参照图4，转向区域投影距离的计算过程如下：
[0153]
获取车辆行驶过程中的转向角度和工业车辆的车辆轴距，通过如下公式9计算转向圆弧半径：
[0154]
公式9：r＝l/sin(θ)
[0155]
其中，r是转向圆弧半径，l是车辆轴距，θ是转向角。
[0156]
以相机投影点为相机基点(x0，y0，z0)，相机基点到圆心的距离r为直角三角形的斜边，计算l1(两条直角边相机投影基点到车头的垂直距离)，和l2(直角三角形直角顶点到圆心的水平距离)，其中，通过如下公式9和10计算l1和l2：
[0157]
公式9：l1＝rsin(θ)
[0158]
公式10：l2＝rcos(θ)
[0159]
根据平面投影方程和相机平面的z轴分量向量，计算平行于相机平面的方向向量x_line(x
x line
，y
x line
，z
x line
)和垂直与相机平面的方向向量y_line(x
y_line
，y
y_line
，z
y_line
)。
[0160]
将基点坐标(x0，y0，z0)沿y_line的相反方向移动l1个距离长度，再沿x_line方向(左转向)或x_line相反方向(右转向)移动l2个距离长度，得到圆心点c(x
′0，y
′0，z
′0)。
[0161]
需要说明的是，在转弯过程计算投影点距离时，在弧形区域起始点沿线位置与相机基点沿线位置间，由于转向角的影响有一定的距离误差，故需首先计算进界点的距离修正项d
′
p
′
，其中，通过如下公11计算d
′
p
′
，r
′
是投影点至转向圆心点的投影半径：
[0162]
公式11：d
′
p
′
＝(r-r
′
)
×
tanθ
[0163]
进一步的，将投影点距离相机基点沿线的弧线长度作为转弯过程下该点的转向相对距离d
p
′
，将转向相对距离集合得到距离列表d
pllist
，其中，通过如下公式12计算d
p
′
：
[0164]
公式12：d
p
′
＝θ
pr′‑d′
p
′
[0165]
判断投影点是否为转向进界点，包括：，根据如下公式13判断该投影点是否位于转向区域宽度的宽度范围内：
[0166]
公式13：
[0167]
若f(p
′
)＝1，则判定该投影点在转向区域宽度范围内；
[0168]
对于位于转向区域宽度范围内的投影点，进一步的判定其是否在转向区域长度范围内；
[0169]
根据预设范围信息中长度d与圆弧半径r的对应关系，计算转向区域长度范围对应的圆心角θd，假定相机基点(x0，y0，z0)与转向圆心c(x
′0，y
′0，z
′0)所成向量为第一向量，投影点p
′
(x
p
，y
p
，z
p
)与转向圆心点c(x
′0，y
′0，z
′0)的所成向量为第二向量，根据如下公式14计算第一向量与与第二向量所成的向量夹角：
[0170]
公式14：
[0171]
其中，pc是第一向量，p
′c是第二向量，θ
p
是向量夹角。
[0172]
判断各投影点是否处于弧形长所在的圆心角范围内：若θ
p
＜θd，则证明该投影点在弧形区域内。从而根据上述判定关系在第一投影点中获取向量夹角小于圆心角的第二投影
点，以这些第二投影点作为转向进界投影点。
[0173]
在转向进界投影点的数量大于预设点数阈值的情况下，基于直方图距离测算法计算在转向区域下行人至工业车辆的投影距离数据。其中，该步骤中计算投影距离数据的具体方式与直行区域内基于直方图计算投影距离数据的方式相同，因此不再赘述。
[0174]
步骤12，输出预警信息，实时避障控制
[0175]
1)输出预警信息：
[0176]
获取投影距离数据中的最小值；
[0177]
基于最小值，依据预设规则输出告警信号，其中，预设规则包括：
[0178]
在d
min
＞l
′
stop
l
′
dec
的情况下输出安全信号；
[0179]
在l
′
stop
l
′
dec
＞d
min
＞l
′
stop
的情况下输出减速信号；
[0180]
在l
′
stop
＞d
min
＞0的情况下输出刹车信号。
[0181]
2)避障控制
[0182]
接收预警信息，在接收到刹车信号的情况下，指令工业车辆的刹车装置使车辆刹车；
[0183]
在接收到减速信号的情况下，指令工业车辆的减速装置使车辆减速；
[0184]
实施例二
[0185]
本技术实施例还提供了一种基于双目相机的工业车辆预警及避障系统，图5是本技术实施例的一种基于双目相机的工业车辆预警及避障系统的结构框图，如图5所示，该系统包括：车载控制器、can通信模块、工控机、双目相机、车载电源和车载显示器，其中；
[0186]
车载电源用于给工业车辆的动力装置以及其他运算装置及通讯装置供电；
[0187]
工控机中安装有基于一种基于双目相机的工业车辆预警及避障方法的软件程序，用于执行如实施例一中预警及避障方法中的的信息处理环节及输出控制指令；
[0188]
双目相机用于获取工业车辆视野弱区的双目图像，可选的，双目深度相机的基线为120mm，用于采集车后方大于120
°
范围内，介于0.2米至8米范围内的环境图像；
[0189]
车载控制器用于计算行人与车辆的实时距离；
[0190]
车载显示器则用于在驾驶员的视野前方提供视野弱区的视频信息，以及发送刹车信号或减速信号。
[0191]
can模块用于车载控制器与工控机和双目深度相机之间的通信，其中can通信设备与工控机、车载控制器双向通信连接，工控机与双目深度相机和车载显示器通过信号线和电源线连接。
[0192]
另外，结合上述实施例中的基于双目相机的工业车辆预警及避障方法，本技术实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种基于双目相机的工业车辆预警及避障方法。
[0193]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0194]
以上实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在
不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。