一种基于非线性优化的车底透明方法、装置、设备、存储介质及计算机程序产品与流程

1.本发明涉及车辆辅助驾驶技术领域，具体涉一种基于非线性优化的车底透明方法、装置、系统、存储介质及计算机程序产品。


背景技术：

2.近年来，汽车在人们的日常工作和生活中起到越来越重要的作用。然而，汽车驾驶操作需要经过专门的技术培训才能掌握，且在复杂的道路环境上驾驶汽车需要驾驶员不仅有娴熟的驾驶技术还需要高度集中注意力才行，这不仅降低了汽车驾驶的安全性，也提高了汽车驾驶的门槛。
3.在汽车行业降低汽车驾驶的门槛，提高安全性和舒适度的过程中，车载电子系统逐步发展出高级辅助驾驶系统（advanced driverassistance system adas），该系统引入了影像技术，尤其是目前的全景环视影像系统。由分布安装在车身四周的摄像头所组成的全景环视影像系统，能够将同一时刻采集到的车辆四周的视频影像进行分析和处理，得到车身四周360度3d立体影像或2d鸟瞰图，为驾驶员掌握周边环境提供了极大的便利。
4.然而，当前的360度全景环视影像系统仍存在无法感知车底盲区的不足。近年来越来越多的新闻报道，一些不熟练的驾驶员，在汽车泊出或泊入的时候，对于矮小的儿童被卷入车底后还浑然不觉，造成悲惨的交通事故。由此可见车底状况显示的重要性，在汽车行驶中应同步反馈车底状况，达到更高的驾驶安全要求。


技术实现要素：

5.本发明的目的在于提供一种基于非线性优化的车底透明方法、装置、设备、存储介质及计算机程序产品，其通过对车底盲区进行填充，实现车底透明化处理。
6.为实现上述目的，本发明采用的技术方案是：一种基于非线性优化的车底透明方法，其包括：相对位姿信息获取步骤，首先获取车身位姿信息，然后利用车身位姿信息计算前第n帧与当前帧之间的相对位姿信息，其中，n≥1；俯视图获取步骤，获取当前帧包含车底盲区的俯视图，以及获取前第n帧已经处理过的俯视图；特征点提取步骤，从当前帧包含车底盲区的俯视图和前第n帧已经处理过的俯视图中选择一个俯视图；从所选择的俯视图中确定提点区域，并从提点区域中提取出特征点；变换矩阵计算步骤，根据所选俯视图中提取出的特征点构建优化函数，并引入相对位姿信息进行非线性优化，最小化残差，得到最优解，即当前帧和前第n帧之间的相对运动信息；根据该相对运动信息计算得到变换矩阵h；车底盲区填充步骤，利用变换矩阵h，将前第n帧与当前帧的俯视图进行映射，完成当前帧俯视图中的盲区填充。
7.所述特征点提取步骤中，确定提取区域方法为：采用深度学习方法识别俯视图中的地面区域作为候选提点区域，然后从候选提点区域中确定提点区域。
8.所述特征点提取步骤中，从提点区域中提取特征点操作如下：在提点区域进行划分网格，设置响应阈值，并根据响应阈值在网格内提取特征点；如果所提取的特征点的数量不满足要求，降低响应阈值在进行提取。
9.所述变换矩阵计算步骤中，将从所选俯视图中提取出的特征点与另一俯视图进行特征匹配，然后基于该特征匹配构建优化函数，特征匹配方法为结合相对位姿信息进行快速特征点匹配；或者直接进行最小化光度残差进行非线性优化，不需要进行特征匹配。
10.所述相对位姿信息为前第n帧到当前帧之间的相对位姿信息，所述相对运动信息为前第n帧到当前帧的相对运动信息，则所述车底盲区填充步骤中，利用变换矩阵h将前第n帧已经处理过的俯视图往当前帧映射，经过插值拟合填充到当前帧俯视图车底盲区的对应位置，完成当前帧车底透明化处理。
11.所述相对位姿信息为当前帧到前第n帧的相对位姿信息，所述相对运动信息为当前帧到前第n帧的相对运动信息，则所述车底盲区填充步骤中，利用变换矩阵h将当前帧俯视图中的车底盲区像素坐标映射到前第n帧已经处理过的俯视图的像素坐标上，并将映射后的坐标像素值进行插值拟合，然后返回车底盲区相应融合的像素并将其填充至当前帧俯视图中。
12.一种基于非线性优化的车底透明装置，其包括：相对位姿信息获取模块，用于获取车身位姿信息，并利用车身位姿信息计算前第n帧与当前帧之间的相对位姿信息，其中，n≥1；俯视图获取模块，用于获取当前帧包含车底盲区的俯视图以及前第n帧已经处理过的俯视图；特征点提取模块，用于从当前帧包含车底盲区的俯视图和前第n帧已经处理过的俯视图中选择一个俯视图，还用于从所选择的俯视图中确定提点区域，并从提点区域中提取出特征点；变换矩阵计算模块，根据所选俯视图中提取出的特征点构建优化函数，并引入相对位姿信息进行非线性优化，最小化残差，得到最优解，即当前帧和前第n帧之间的相对运动信息；根据该相对运动信息计算得到变换矩阵h；车底盲区填充模块，用于根据变换矩阵h将前第n帧与当前帧的俯视图进行映射，完成当前帧俯视图中的盲区填充。
13.所述特征点提取模块采用深度学习方法识别俯视图中的地面区域作为候选提点区域，然后从候选提点区域中确定提点区域。
14.所述特征点提取模块从提点区域中提取特征点操作如下：在提点区域进行划分网格，设置响应阈值，并根据响应阈值在网格内提取特征点；如果所提取的特征点的数量不满足要求，降低响应阈值在进行提取。
15.所述变换矩阵计算模块将从所选俯视图中提取出的特征点与另一俯视图进行特征匹配，然后基于该特征匹配构建优化函数，特征匹配方法为结合相对位姿信息进行快速特征点匹配；或者直接进行最小化光度残差进行非线性优化，不需要进行特征匹配。
16.所述相对位姿信息为前第n帧到当前帧之间的相对位姿信息，所述相对运动信息
为前第n帧到当前帧的相对运动信息，所述车底盲区填充模块则利用变换矩阵h将前第n帧已经处理过的俯视图往当前帧映射，经过插值拟合填充到当前帧俯视图车底盲区的对应位置，完成当前帧车底透明化处理。
17.所述相对位姿信息为当前帧到前第n帧的相对位姿信息，所述相对运动信息为当前帧到前第n帧的相对运动信息，所述车底盲区填充模块则利用变换矩阵h将当前帧俯视图中的车底盲区像素坐标映射到前第n帧已经处理过的俯视图的像素坐标上，并将映射后的坐标像素值进行插值拟合，然后返回车底盲区相应融合的像素并将其填充至当前帧俯视图中。
18.一种计算机可读存储介质，其存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如上所述的车底透明方法。
19.一种计算机软件程序产品，其在终端设备上运行时，使得所述终端设备执行如上所述的车底透明方法。
20.一种终端设备，包括处理器及存储器，所述存储器用于存储指令；所述处理器用于执行所述存储器存储的指令，以使终端设备执行如上所述的车底盲区填充方法。
21.采用上述方案后，本发明利用当前帧与前第n帧的俯视图的特征点构建优化函数，并引入车身相对位姿信息进行非线性优化，得到当前帧与第n帧之间的相对运动信息，然后根据相对运动信息得到变换矩阵，最后利用变换矩阵进行前第n帧与当前帧之间映射，进行当前帧俯视图的盲区填充。本发明引入非线性优化可以提高透明车身效果，且将图像结合车身运动信息，可以提高匹配的效率和可靠性，加快优化收敛，进一步提高车底透明化效果。
附图说明
22.图1为本发明车底透明方法流程图；图2为非线性优化流程图；图3为俯视图中的提点区域示意图。
具体实施方式
23.如图1和图2所示，本发明揭示了一种基于非线性优化的车底透明方法，其包括以下步骤：步骤1、获取当前帧包含车底盲区的俯视图，以及获取前第n帧已经处理过的俯视图。
24.本实施例利用车辆的360
°
全景环视影像系统生成全景环视俯视图。具体地，由安装在车辆四周的多路摄像头获取到的视频流，输入到车载360
°
全景环视影像系统中进行预处理，生成包含车底盲区的全景环视俯视图。
25.步骤2、获取车身位姿信息，然后利用车身位姿信息计算前第n帧与当前帧之间的相对位姿信息，其中，n≥1。
26.在获取车身位姿信息时，若当前存在车身位姿信息时，将车轮脉冲、轮速、档位、方
向盘转角、惯导等车身信号输入到车身位姿轨迹计算系统中，得出车身位姿并使用适当的滤波器进行轨迹平滑，得到最终的车身位姿信息。若当前没有车身位姿信息时，基于运动假设得到车身位姿信息。
27.上述相对位姿信息可以是前第n帧到当前帧的相位位姿信息，也可以是当前帧到前第n帧的相对位姿信息。
28.步骤3、从当前帧包含车底盲区的俯视图和前第n帧已经处理过的俯视图中选择一个俯视图；从所选择的俯视图中确定提点区域，并从提点区域中提取出特征点。提点区域如图3所示。
29.为了排除非地面区域，减少干扰。本实施例在确定提点区域之前，采用深度学习方法识别俯视图中的地面区域作为候选提点区域，然后从候选提点区域中确定提点区域。
30.另外，为了提高后续优化的可靠性，本实施例提取特征点的具体操作如下：在提点区域进行划分网格，设置响应阈值，并根据响应阈值在网格内提取特征点；如果所提取的特征点的数量不满足要求，降低响应阈值在进行提取。
31.步骤4、根据所选俯视图中提取出的特征点构建优化函数，并引入相对位姿信息进行非线性优化，最小化残差，得到最优解，即当前帧和前第n帧之间的相对运动信息；根据该相对运动信息计算得到变换矩阵h。
32.本实施例中，特征匹配方法为将从所选俯视图中提取出的特征点与另一俯视图进行特征匹配，然后基于该特征匹配构建优化函数，特征匹配方法为结合相对位姿信息进行快速特征点匹配。
33.除了通过特征匹配的方法构建优化函数，还可以不进行特征匹配，直接在特征点的基础上，直接构建优化函数，进行最小化光度残差也是可以的。
34.该步骤中的相对运动信息与步骤2中的相对位姿信息为对应关系，当步骤2中的相对位姿信息为前第n帧到当前帧的相对运动信息时，该步骤中计算得到的相对运动信息为前第n帧到当前帧的相对运动信息；当步骤2中的相对运动信息为当前帧到前第n帧的相对运动信息时，本步骤中计算得到的相对信息则为当前帧到前第n帧的相对运动信息。
35.步骤5、利用变换矩阵h，将前第n帧与当前帧的俯视图进行映射，完成当前帧俯视图中的盲区填充。
36.步骤2中的相对位姿信息是当前第n帧到当前帧还是当前帧到前第n帧得到，盲区填充的方法略有不同。具体地，当相对位姿信息为前第n帧到当前帧之间的相对位姿信息时，相对运动信息为前第n帧到当前帧的相对运动信息，则车底盲区填充步骤中，利用变换矩阵h将前第n帧已经处理过的俯视图往当前帧映射，经过插值拟合填充到当前帧俯视图车底盲区的对应位置，完成当前帧车底透明化处理。
37.当相对位姿信息为当前帧到前第n帧的相对位姿信息时，相对运动信息为当前帧到前第n帧的相对运动信息，则车底盲区填充步骤中，利用变换矩阵h将当前帧俯视图中的车底盲区像素坐标映射到前第n帧已经处理过的俯视图的像素坐标上，并将映射后的坐标像素值进行插值拟合，然后返回车底盲区相应融合的像素并将其填充至当前帧俯视图中。
38.为了提高车底盲区填充的效果，本实施例在对返回的车底盲区进行平滑处理，以及在当前帧俯视图的车底盲区填充完成后，对当前帧俯视图的车底盲区边界进行平滑处理。
39.基于同一发明构思，本发明还揭示了一种基于非线性优化的车底透明装置，其包括相对位姿信息获取模块、俯视图获取模块、特征点提取模块、变换矩阵计算模块以及车底盲区填充模块。
40.其中，相对位姿信息获取模块用于获取车身位姿信息，并利用车身位姿信息计算前第n帧与当前帧之间的相对位姿信息，其中，n≥1。
41.在获取车身位姿信息时，若当前存在车身位姿信息时，将车轮脉冲、轮速、档位、方向盘转角、惯导等车身信号输入到车身位姿轨迹计算系统中，得出车身位姿并使用适当的滤波器进行轨迹平滑，得到最终的车身位姿信息。若当前没有车身位姿信息时，基于运动假设得到车身位姿信息。
42.上述相对位姿信息可以是前第n帧到当前帧的相位位姿信息，也可以是当前帧到前第n帧的相对位姿信息。
43.俯视图获取模块用于获取当前帧包含车底盲区的俯视图以及前第n帧已经处理过的俯视图。本实施例利用车辆的360
°
全景环视影像系统生成全景环视俯视图。具体地，由安装在车辆四周的多路摄像头获取到的视频流，输入到车载360
°
全景环视影像系统中进行预处理，生成包含车底盲区的全景环视俯视图。
44.特征点提取模块用于从当前帧包含车底盲区的俯视图和前第n帧已经处理过的俯视图中选择一个俯视图，还用于从所选择的俯视图中确定提点区域，并从提点区域中提取出特征点。
45.为了排除非地面区域，减少干扰。本实施例在确定提点区域之前，采用深度学习方法识别俯视图中的地面区域作为候选提点区域，然后从候选提点区域中确定提点区域。
46.另外，为了提高后续优化的可靠性，本实施例提取特征点的具体操作如下：在提点区域进行划分网格，设置响应阈值，并根据响应阈值在网格内提取特征点；如果所提取的特征点的数量不满足要求，降低响应阈值在进行提取。
47.变换矩阵计算模块根据所选俯视图中提取出的特征点构建优化函数，并引入相对位姿信息进行非线性优化，最小化残差，得到最优解，即当前帧和前第n帧之间的相对运动信息；根据该相对运动信息计算得到变换矩阵h。
48.本实施例中，特征匹配方法为将从所选俯视图中提取出的特征点与另一俯视图进行特征匹配，然后基于该特征匹配构建优化函数，特征匹配方法为结合相对位姿信息进行快速特征点匹配；同样地，本实施例中，除了通过特征匹配的方法构建优化函数，还可以不进行特征匹配，直接在特征点的基础上，直接构建优化函数，进行最小化光度残差也是可以的。
49.相对运动信息与相对位姿信息为对应关系，当相对位姿信息为前第n帧到当前帧的相对运动信息时，该相对运动信息为前第n帧到当前帧的相对运动信息；当相对运动信息为当前帧到前第n帧的相对运动信息时，相对信息则为当前帧到前第n帧的相对运动信息。
50.车底盲区填充模块，用于根据变换矩阵h将前第n帧与当前帧的俯视图进行映射，完成当前帧俯视图中的盲区填充。
51.相对位姿信息是当前第n帧到当前帧还是当前帧到前第n帧得到，盲区填充的方法略有不同。具体地，当相对位姿信息为前第n帧到当前帧之间的相对位姿信息时，相对运动信息为前第n帧到当前帧的相对运动信息，则车底盲区填充步骤中，利用变换矩阵h将前第n
帧已经处理过的俯视图往当前帧映射，经过插值拟合填充到当前帧俯视图车底盲区的对应位置，完成当前帧车底透明化处理。
52.当相对位姿信息为当前帧到前第n帧的相对位姿信息时，相对运动信息为当前帧到前第n帧的相对运动信息，则车底盲区填充步骤中，利用变换矩阵h将当前帧俯视图中的车底盲区像素坐标映射到前第n帧已经处理过的俯视图的像素坐标上，并将映射后的坐标像素值进行插值拟合，然后返回车底盲区相应融合的像素并将其填充至当前帧俯视图中。
53.本发明还揭示了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如上所述的车底透明方法。
54.本发明还揭示了一种计算机软件程序产品，所述计算机软件程序在终端设备上运行时，使得所述终端设备执行如上所述的车底透明方法。
55.本发明还揭示了一种终端设备，包括处理器及存储器，其中，存储器用于存储指令；处理器用于执行所述存储器存储的指令，以使终端设备执行如上所述的车底盲区填充方法。
56.综上，本发明利用当前帧与前第n帧的俯视图的特征点构建优化函数，并引入车身相对位姿信息进行非线性优化，得到当前帧与第n帧之间的相对运动信息，然后根据相对运动信息得到变换矩阵，最后利用变换矩阵进行前第n帧与当前帧之间映射，进行当前帧俯视图的盲区填充。本发明引入非线性优化可以提高透明车身效果，且将图像结合车身运动信息，可以提高匹配的效率和可靠性，加快优化收敛，进一步提高车底透明化效果。
57.以上所述，仅是本发明实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。