一种汽车360度全景视频处理系统和方法与流程

1.本发明涉及于智能交通技术领域，具体涉及一种汽车360度全景视频处理系统和方法。


背景技术：

2.360度汽车全景视频，用于为汽车驾驶员提供行驶环境中的360度的视频图像信息；在汽车行驶过程中、汽车泊车以及汽车处于拥挤的城市交通条件下，驾驶员通过360度全景视频可以更好地判断车辆周围的道路环境，从而避免与周围的行人和车辆发生碰撞，使驾驶过程更加安全、更加方便；现有的汽车360度全景视频处理还存在采集效率不够、视频处理方法比较落后、提供安全提示不够及时等问题；因此，亟需一种改进的汽车360度全景视频处理系统和方法。


技术实现要素：

3.本发明提出了一种汽车360度全景视频处理系统和方法，通过对360度全景视频的获取和处理，能够帮助驾驶员从适宜视角和视野看到汽车周围情况，提高驾驶的安全性。
4.本发明提出了一种汽车360度全景视频处理系统，包括：
5.全景视频采集模块，用于采集汽车近身四周环境的视频，生成第一视频集；
6.全景视频处理模块，用于根据所述第一视频集中的视频生成三维仿真场景，利用三维仿真场景，获得影响汽车安全行驶的信息；
7.全景安全提示模块，用于根据影响汽车安全行驶的信息，提供安全提示。
8.进一步地，所述全景安全提示模块，包括主显示屏和副显示屏，所述主显示屏嵌于汽车内中控台，用于显示车辆近身四周360度全景视频鸟瞰图；所述副显示屏设置于驾驶员视线正前方位置，用于显示以驾驶员视角方向为中心左右20度范围内的汽车近身四周鸟瞰图；
9.所述汽车近身四周鸟瞰图基于图像重投影程序，结合驾驶员头部运动角度信息，对车辆近身360度全景视频进行投影映射获得；
10.当汽车所处环境为开阔空间环境时，仅通过所述副显示屏显示汽车近身四周鸟瞰图；当汽车所处环境为狭窄空间环境时，在通过所述副显示屏显示汽车近身四周鸟瞰图的同时，开启所述主显示屏显示车辆近身四周360度全景视频鸟瞰图。
11.进一步地，所述全景视频采集模块，利用若干台180度超广角鱼眼摄像机进行视频采集；所述超广角鱼眼摄像机按照预设的角度置于车体前后左右，所述预设角度根据鱼眼摄像机所拍摄的区域调节设定；
12.所述全景视频采集模块包括视频初选单元、视频检验单元和视频集生成单元；
13.所述视频初选单元，用于按照预设的周期，定期获取摄像机拍摄的汽车近身四周环境的视频，获得若干个视频集；
14.所述视频检验单元，用于根据预设的视频检验规则对所述若干个视频集中的视频
进行检验；所述视频检验规则包括：对视频中图像清晰度进行评估、对视频对应的区域范围进行判定；当视频中图像清晰度小于预设的图像清晰度阈值，或者视频中图像的边界大于或小于预设的图像边界时，则判定视频不符合要求，将该视频舍弃；当视频中图像清晰度大于等于预设的图像清晰度阈值，或视频中图像的边界与预设的图像边界重合时，则判定视频质量合格，将该视频保留；
15.所述视频集生成单元，用于生成视频集；在同一周期内，将所述视频检验单元保留的视频作为质量合格视频，将所述质量合格视频汇合，生成第一视频集。
16.进一步地，所述全景视频处理模块，包括三维仿真场景构建单元；所述三维仿真场景构建单元包括摄像机标定子单元、模型参数获取子单元、投影模型构建子单元和三维仿真场景生成子单元；
17.所述摄像机标定子单元，用于标定摄像机的内参数和外参数；并根据所述摄像机的内参数和外参数，计算得到第一纹理映射表和第二纹理映射表；
18.所述模型参数获取子单元，用于计算所述第一视频集图像中的摄像机与汽车左右两侧环境主平面的间距；将所述间距与所述第一纹理映射表进行匹配，得到第一投影模型参数；将所述间距与所述第二纹理映射表进行匹配，得到第二投影模型参数；
19.投影模型构建子单元，用于根据所述第一投影模型参数，建立第一投影模型；根据所述第二投影模型参数，建立第二投影模型；
20.所述三维全景图生成子单元，用于根据所述第一投影模型，生成第一三维仿真场景，所述第一三维仿真场景对应为汽车处于开阔空间环境；根据所述第二投影模型，生成第二三维仿真场景，所述第二三维仿真场景对应为汽车处于狭窄空间环境。
21.进一步地，所述模型参数获取子单元，包括空间环境判断分子单元，用于判断汽车所处的环境为开阔空间或狭窄空间；具体为：
22.对汽车左右两侧环境的视频进行光流跟踪和匹配，根据光流的变化规律确定侧视障碍物主平面上的特征点，根据对极几何和三角测量，估计出特征点的相对深度值；
23.将后视摄像机的侧视图像变换到顶视图，计算得到摄像机的帧间运动位姿：
24.根据摄像机的标定结果，获得比例因子；
25.根据所述相对深度值、帧间运动位姿和比例因子，计算得到摄像机与汽车左右两侧环境主平面的间距；
26.根据所述间距与预设间距阈值的大小判断汽车所处的环境为开阔空间或狭窄空间；当所述间距小于预设间距阈值时，判定汽车处于狭窄空间环境；当所述间距大于预设间距阈值时，判定汽车处于开阔空间环境。
27.一种汽车360度全景视频处理方法，包括：
28.s1、采集汽车近身四周环境的视频，生成第一视频集；
29.s2、根据所述第一视频集中的视频生成三维仿真场景，通过观察三维仿真场景，获得影响汽车安全行驶的信息；
30.s3、根据影响汽车安全行驶的信息，提供安全提示。
31.进一步地，s1包括
32.s101、在汽车上设置相邻的两个雷达，选定某一时刻，采用两个雷达对位于汽车近身四周环境内第一固定位置的第一目标分别进行数据采集，获得第一数据和第二数据；分
析所述第一数据和第二数据的重叠内容，将所述第一数据的重叠内容作为第三数据，将第二数据的重叠内容作为第四数据，若所述第三数据和第四数据均对应于所述第一目标，则初步判断两个雷达工作正常；将两个雷达进行关机重启后再次进行数据采集分析，若仍判断为工作正常，则确认两个雷达工作正常；
33.s102、选定与步骤s101中的相同时刻，对所述位于汽车近身四周环境内第一固定位置的第一目标，利用待检测摄像机进行数据采集，获得第五数据；判断所述第五数据与所述第一数据或第二数据中所对应的目标是否同为第一目标，若是，则判定所述待检测摄像机工作正常；若否，则对所述待检测摄像机进行矫正操作；
34.s103、执行对摄像机的矫正操作，所述矫正操作包括：对摄像机进行关机复位重启、或将摄像机镜头角度调整到预设的正常工作角度、或将摄像机镜头焦距调整到预设的正常工作焦距；矫正操作结束后，转至步骤s102继续进行检验，直到判定摄像机工作正常，完成对摄像机性能进行检测和矫正的操作；
35.s104、按照预设的周期，定期获取摄像机拍摄的汽车近身四周环境的视频，获得若干个视频集；
36.s105、根据预设的视频检验规则对所述若干个视频集中的视频进行检验；所述视频检验规则包括：对视频中图像清晰度进行评估、对视频对应的区域范围进行判定；当视频中图像清晰度小于预设的图像清晰度阈值，或者视频对应的区域范围边界大于或小于预设的图像边界时，则判定视频不符合要求，将该视频舍弃；当视频中图像清晰度大于等于预设的图像清晰度阈值，或视频中图像的边界与预设的图像边界重合时，则判定视频质量合格，将该视频保留；
37.s106、在同一周期内，将所述视频检验单元保留的视频作为质量合格视频，将所述质量合格视频汇合，生成第一视频集。
38.进一步地，s2包括构建三维仿真场景，具体步骤为：
39.s201、标定摄像机的内参数和外参数；并根据所述摄像机的内参数和外参数，计算得到第一纹理映射表和第二纹理映射表；
40.s202、计算所述第一视频集图像中的摄像机与汽车左右两侧环境主平面的间距；将所述间距与所述第一纹理映射表进行匹配，得到第一投影模型参数；将所述间距与所述第二纹理映射表进行匹配，得到第二投影模型参数；
41.s203、根据所述第一投影模型参数，建立第一投影模型；根据所述第二投影模型参数，建立第二投影模型；
42.s204、根据所述第一投影模型，生成第一三维仿真场景，所述第一三维仿真场景对应为汽车处于开阔空间环境；根据所述第二投影模型，生成第二三维仿真场景，所述第二三维仿真场景对应为汽车处于狭窄空间环境。
43.进一步地，s202包括判断汽车所处的环境为开阔空间或狭窄空间；具体步骤为：
44.s2021、对汽车左右两侧环境的视频进行光流跟踪和匹配，根据光流的变化规律确定侧视障碍物主平面上的特征点，根据对极几何和三角测量，估计出特征点的相对深度值；
45.s2022、将后视摄像机的侧视图像变换到顶视图，计算得到摄像机的帧间运动位姿：
46.s2023、根据摄像机的标定结果，获得比例因子；
47.s2024、根据所述相对深度值、帧间运动位姿和比例因子，计算得到摄像机与汽车左右两侧环境主平面的间距；
48.s2025、根据所述间距与预设间距阈值的大小判断汽车所处的环境为开阔空间或狭窄空间；当所述间距小于预设间距阈值时，判定汽车处于狭窄空间环境；当所述间距大于预设间距阈值时，判定汽车处于开阔空间环境。
49.进一步地，s3中包括提供安全提示，具体步骤为：
50.s301、实时获取摄像机与汽车左右两侧环境主平面的第一间距数据，摄像机与汽车前方后方环境主平面的第二间距数据，以及汽车车顶平面与汽车外部环境主平面的第三间距数据，并存储到预设的数据库中；
51.s302、根据所述数据库中的历史第一间距数据、历史第二间距数据和历史第三间距数据，基于人工神经网络构建磕碰风险分析模型；所述磕碰风险分析模型输入数据为间距数据，输出数据为磕碰风险值；
52.s303、根据磕碰风险分析模型，分别确定所述第一间距数据、第二间距数据和第三间距数据的磕碰风险值，获得第一磕碰风险值、第二磕碰风险值和第三磕碰风险值；根据对所述第一磕碰风险值、第二磕碰风险值和第三磕碰风险值的分析结果，发出相应的安全提示；
53.判断所述第一磕碰风险值是否大于等于预设的第一磕碰风险阈值，若是则向汽车驾驶员发出第一安全提示；
54.判断所述第二磕碰风险值是否大于等于预设的第二磕碰风险阈值，若是则向汽车驾驶员发出第二安全提示；
55.判断所述第三磕碰风险值是否大于等于预设的第三磕碰风险阈值，若是则向汽车驾驶员发出第三安全提示；
56.s304、汽车驾驶员根据所述第一安全提示、或第二安全提示、或第三安全提示，采取相应的避险驾驶操作。
57.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
58.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
59.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
60.图1为本发明的一种汽车360度全景视频处理系统结构图；
61.图2为本发明的一种汽车360度全景视频处理方法流程图；
62.图3为本发明的提供安全提示的方法流程图。
具体实施方式
63.以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
64.本发明提出了一种汽车360度全景视频处理系统，如图1所示，包括：
65.全景视频采集模块，用于采集汽车近身四周环境的视频，生成第一视频集；
66.全景视频处理模块，用于根据所述第一视频集中的视频生成三维仿真场景，利用三维仿真场景，获得影响汽车安全行驶的信息；
67.全景安全提示模块，用于根据影响汽车安全行驶的信息，提供安全提示。
68.上述技术方案的工作原理为：汽车360度全景视频可以帮助驾驶员更好地观察汽车近身四周环境，获取汽车所处环境中的交通信息，为驾驶员驾驶汽车提供视野上的帮助，从而保证安全地驾驶汽车。本实施例包括全景视频采集模块，用于采集汽车近身四周环境的视频，生成第一视频集；全景视频处理模块，用于根据所述第一视频集中的视频生成三维仿真场景，利用三维仿真场景，获得影响汽车安全行驶的信息；全景安全提示模块，用于根据影响汽车安全行驶的信息，提供安全提示。
69.上述技术方案的有益效果为：采用本实施例提供的方案，通过对360度全景视频的获取和处理，能够帮助驾驶员从适宜视角和视野看到汽车近身四周环境情况，提高驾驶的安全性。
70.在一个实施例中，所述全景安全提示模块，包括主显示屏和副显示屏，所述主显示屏嵌于汽车内中控台，用于显示车辆近身四周360度全景视频鸟瞰图；所述副显示屏设置于驾驶员视线正前方位置，用于显示以驾驶员视角方向为中心左右20度范围内的汽车近身四周鸟瞰图；
71.所述汽车近身四周鸟瞰图基于图像重投影程序，结合驾驶员头部运动角度信息，对车辆近身360度全景视频进行投影映射获得；
72.当汽车所处环境为开阔空间环境时，仅通过所述副显示屏显示汽车近身四周鸟瞰图；当汽车所处环境为狭窄空间环境时，在通过所述副显示屏显示汽车近身四周鸟瞰图的同时，开启所述主显示屏显示车辆近身四周360度全景视频鸟瞰图。
73.上述技术方案的工作原理为：考虑到汽车行驶所处的环境的不同，有必要设置不同的显示方式；当通过窄道、有障碍道路，以及汽车倒车、上下坡的时候，无法同时看到车身周围其它部位的环境，需要通过主显示屏显示汽车近身四周全景；而仅通过主显示屏显示，在汽车处于开阔环境条件下，不能根据人眼观察习惯，提供等比的观察视角，给驾驶员营造真实的外界环境，有必要仅开启副显示屏工作。本实施具体组成结构及实施方式为：全景安全提示模块，包括主显示屏和副显示屏，所述主显示屏嵌于汽车内中控台，用于显示车辆近身四周360度全景视频鸟瞰图；所述副显示屏设置于驾驶员视线正前方位置，用于显示以驾驶员视角方向为中心左右20度范围内的汽车近身四周鸟瞰图；
74.所述汽车近身四周鸟瞰图基于图像重投影程序，结合驾驶员头部运动角度信息，对车辆近身360度全景视频进行投影映射获得；
75.当汽车所处环境为开阔空间环境时，仅通过所述副显示屏显示汽车近身四周鸟瞰图；当汽车所处环境为狭窄空间环境时，在通过所述副显示屏显示汽车近身四周鸟瞰图的同时，开启所述主显示屏显示车辆近身四周360度全景视频鸟瞰图。
76.上述技术方案的有益效果为：采用本实施例提供的方案，利用设置主显示屏和副显示屏，可以根据汽车行驶所处环境的不同，将汽车近身四周全景视频进行显示，提高了对汽车近身四周环境观察的针对性。
77.在一个实施例中，所述全景视频采集模块，利用若干台180度超广角鱼眼摄像机进行视频采集；所述超广角鱼眼摄像机按照预设的角度置于车体前后左右，所述预设角度根据鱼眼摄像机所拍摄的区域调节设定；
78.所述全景视频采集模块包括视频初选单元、视频检验单元和视频集生成单元；
79.所述视频初选单元，用于按照预设的周期，定期获取摄像机拍摄的汽车近身四周环境的视频，获得若干个视频集；
80.所述视频检验单元，用于根据预设的视频检验规则对所述若干个视频集中的视频进行检验；所述视频检验规则包括：对视频中图像清晰度进行评估、对视频对应的区域范围进行判定；当视频中图像清晰度小于预设的图像清晰度阈值，或者视频中图像的边界大于或小于预设的图像边界时，则判定视频不符合要求，将该视频舍弃；当视频中图像清晰度大于等于预设的图像清晰度阈值，或视频中图像的边界与预设的图像边界重合时，则判定视频质量合格，将该视频保留；
81.所述视频集生成单元，用于生成视频集；在同一周期内，将所述视频检验单元保留的视频作为质量合格视频，将所述质量合格视频汇合，生成第一视频集。
82.上述技术方案的工作原理为：视频是由一系列连续的图像组合而成，所以视频图像拼接技术可以借鉴图像拼接技术的原理；为了保证获取的视频图像的质量，保证图像拼接的效果，需要对鱼眼摄像机采集的视频进行质量把关检验，当待拼接的视频图像都符合预设的质量合格条件时，才保留获取的视频，将保留下来的视频进行整合，获得满足需求的视频集。
83.本实施例首先按照预设的周期，定期获取摄像机拍摄的汽车近身四周环境的视频，获得若干个视频集；然后根据预设的视频检验规则对所述若干个视频集中的视频进行检验；所述视频检验规则包括：对视频中图像清晰度进行评估、对视频对应的区域范围进行判定；当视频中图像清晰度小于预设的图像清晰度阈值，或者视频中图像的边界大于或小于预设的图像边界时，则判定视频不符合要求，将该视频舍弃；当视频中图像清晰度大于等于预设的图像清晰度阈值，并且视频中图像的边界与预设的图像边界重合时，则判定视频质量合格，将该视频保留；最后，在同一周期内，将所述视频检验单元保留的视频作为质量合格视频，将所述质量合格视频汇合，生成第一视频集。
84.上述技术方案的有益效果为：采用本实施例提供的方案，通过对鱼眼摄像机采集的视频进行质量把关检验，可以保证获取的视频图像的质量，保证图像拼接的效果。
85.在一个实施例中，所述全景视频处理模块，包括三维仿真场景构建单元；所述三维仿真场景构建单元包括摄像机标定子单元、模型参数获取子单元、投影模型构建子单元和三维仿真场景生成子单元；
86.所述摄像机标定子单元，用于标定摄像机的内参数和外参数；并根据所述摄像机的内参数和外参数，计算得到第一纹理映射表和第二纹理映射表；
87.所述模型参数获取子单元，用于计算所述第一视频集图像中的摄像机与汽车左右两侧环境主平面的间距；将所述间距与所述第一纹理映射表进行匹配，得到第一投影模型参数；将所述间距与所述第二纹理映射表进行匹配，得到第二投影模型参数；
88.投影模型构建子单元，用于根据所述第一投影模型参数，建立第一投影模型；根据所述第二投影模型参数，建立第二投影模型；
89.所述三维全景图生成子单元，用于根据所述第一投影模型，生成第一三维仿真场景，所述第一三维仿真场景对应为汽车处于开阔空间环境；根据所述第二投影模型，生成第二三维仿真场景，所述第二三维仿真场景对应为汽车处于狭窄空间环境。
90.上述技术方案的工作原理为：为了更好地满足汽车在不同的环境下的全景图观察需求，有必要针对不同的环境建立相应的三维仿真场景。本实施例根据预先标定的摄像机的内参数和外参数，计算得到第一纹理映射表和第二纹理映射表；通过分析视频图像实际环境信息，根据不同环境，计算视频图像中的摄像机与汽车左右两侧环境主平面的间距，通过纹理映射表，得到对应的投影模型参数，根据投影模型参数构建第一投影模型和第二投影模型，根据投影模型，完成用于开阔空间环境的三维仿真场景和用于狭窄空间环境的三维仿真场景的构建。
91.上述技术方案的有益效果为：采用本实施例提供的方案，根据视频图像中摄像机与汽车左右两侧环境主平面的间距不同，构建与之匹配的三维仿真全景，能够根据汽车所处环境的不同自适应地切换，方便驾驶员有针对性地观察汽车近身四周环境全景视频。
92.在一个实施例中，所述模型参数获取子单元，包括空间环境判断分子单元，用于判断汽车所处的环境为开阔空间或狭窄空间；具体为：
93.对汽车左右两侧环境的视频进行光流跟踪和匹配，根据光流的变化规律确定侧视障碍物主平面上的特征点，根据对极几何和三角测量，估计出特征点的相对深度值；
94.将后视摄像机的侧视图像变换到顶视图，计算得到摄像机的帧间运动位姿：
95.根据摄像机的标定结果，获得比例因子；
96.根据所述相对深度值、帧间运动位姿和比例因子，计算得到摄像机与汽车左右两侧环境主平面的间距；
97.根据所述间距与预设间距阈值的大小判断汽车所处的环境为开阔空间或狭窄空间；当所述间距小于预设间距阈值时，判定汽车处于狭窄空间环境；当所述间距大于预设间距阈值时，判定汽车处于开阔空间环境。
98.上述技术方案的工作原理为：为了计算摄像机与汽车左右两侧环境主平面的间距，需要对视频进行跟踪得到特征点，再进行匹配，从而估计摄像机的相对运动；光流可以通过连续的图像序列来检测物体微小的动作变化，对两侧的视频获取图像帧，进行特征点跟踪匹配，根据跟踪结果判断出侧视最近障碍物主平面(两侧物体所在的平面，比如停车场的车辆立面、行驶路旁的绿化带、路边最近的建筑物平面)上的特征点。在特征点选取上，首先选择同一主平面上的特征点光流值较大且集中分布的图像处理的感兴趣区域，并计算该区域内的特征点的光流值，计算光流值分布直方图，将光流的水平分量值较大且光流的垂直分量值较小且数量较多的若干组为待选特征点，然后在待选特征点中选取出像素坐标点分布跨度满足预设阈值的一组特征点作为主平面特征点。
99.对位于主平面上的对应特征点，根据对极几何和三角测量，估计出相对深度值。对极几何是用来描述两幅图像间的几何关系，它只需要相机的内参和相对姿态；对极几何常用于摄像机矩阵的恢复、位姿估计以及三维重建等方面；根据对极几何计算本质矩阵与基础矩阵，通过本质矩阵恢复摄像机矩阵并分解得到帧间运动位姿；根据顶视图尺寸与实际距离的对应关系，顶视图像素距离与实际距离间的比例因子，由顶视区域的实际宽度和顶视图的宽度决定；通过帧间运动位姿中的旋转矩阵和平移向量值可计算得到摄像机与汽车
左右两侧环境主平面的间距，具体为：
[0100][0101]
上式中，d为摄像机与汽车左右两侧环境主平面的间距，α1为前一帧图像所对应的特征点的归一化坐标，α2为后一帧图像所对应的特征点的归一化坐标；p为摄像机的由前一帧图像到后一帧图像的帧间运动位姿中的旋转矩阵，n为摄像机的由前一帧图像到后一帧图像的帧间运动位姿中的平移向量，δr为视频图像顶视区域的实际宽度，其为预先设定值；δ为图像顶视图的宽度，其为预先设定值；
[0102]
根据计算得到的摄像机与汽车左右两侧环境主平面的间距与预设间距阈值进行比较，判断汽车所处的环境为开阔空间或狭窄空间；当所述间距小于预设间距阈值时，判定汽车处于狭窄空间环境；当所述间距大于预设间距阈值时，判定汽车处于开阔空间环境。
[0103]
上述技术方案的有益效果为：采用本实施例提供的方案，通过计算摄像机与汽车左右两侧环境主平面的间距，根据间距大小来判定汽车所处的环境为开阔空间或狭窄空间，可以保证判别的精确性。
[0104]
一种汽车360度全景视频处理方法，如图2所示，包括：
[0105]
s1、采集汽车近身四周环境的视频，生成第一视频集；
[0106]
s2、根据所述第一视频集中的视频生成三维仿真场景，通过观察三维仿真场景，获得影响汽车安全行驶的信息；
[0107]
s3、根据影响汽车安全行驶的信息，提供安全提示。
[0108]
上述技术方案的工作原理为：汽车360度全景视频可以帮助驾驶员更好地观察汽车近身四周环境，获取汽车所处环境中的交通信息，为驾驶员驾驶汽车提供视野上的帮助，从而保证安全地驾驶汽车。本实施例包括采集汽车近身四周环境的视频，生成第一视频集；根据所述第一视频集中的视频生成三维仿真场景，利用三维仿真场景，获得影响汽车安全行驶的信息；根据影响汽车安全行驶的信息，提供安全提示。
[0109]
上述技术方案的有益效果为：采用本实施例提供的方案，通过对360度全景视频的获取和处理，能够帮助驾驶员从适宜视角和视野看到汽车近身四周环境情况，提高驾驶的安全性。
[0110]
在一个实施例中，s1包括：
[0111]
s101、在汽车上设置相邻的两个雷达，选定某一时刻，采用两个雷达对位于汽车近身四周环境内第一固定位置的第一目标分别进行数据采集，获得第一数据和第二数据；分析所述第一数据和第二数据的重叠内容，将所述第一数据的重叠内容作为第三数据，将第二数据的重叠内容作为第四数据，若所述第三数据和第四数据均对应于所述第一目标，则初步判断两个雷达工作正常；将两个雷达进行关机重启后再次进行数据采集分析，若仍判断为工作正常，则确认两个雷达工作正常；
[0112]
s102、选定与步骤s101中的相同时刻，对所述位于汽车近身四周环境内第一固定位置的第一目标，利用待检测摄像机进行数据采集，获得第五数据；判断所述第五数据与所述第一数据或第二数据中所对应的目标是否同为第一目标，若是，则判定所述待检测摄像机工作正常；若否，则对所述待检测摄像机进行矫正操作；
[0113]
s103、执行对摄像机的矫正操作，所述矫正操作包括：对摄像机进行关机复位重启、或将摄像机镜头角度调整到预设的正常工作角度、或将摄像机镜头焦距调整到预设的正常工作焦距；矫正操作结束后，转至步骤s102继续进行检验，直到判定摄像机工作正常，完成对摄像机性能进行检测和矫正的操作；
[0114]
s104、按照预设的周期，定期获取摄像机拍摄的汽车近身四周环境的视频，获得若干个视频集；
[0115]
s105、根据预设的视频检验规则对所述若干个视频集中的视频进行检验；所述视频检验规则包括：对视频中图像清晰度进行评估、对视频对应的区域范围进行判定；当视频中图像清晰度小于预设的图像清晰度阈值，或者视频对应的区域范围边界大于或小于预设的图像边界时，则判定视频不符合要求，将该视频舍弃；当视频中图像清晰度大于等于预设的图像清晰度阈值，或视频中图像的边界与预设的图像边界重合时，则判定视频质量合格，将该视频保留；
[0116]
s106、在同一周期内，将所述视频检验单元保留的视频作为质量合格视频，将所述质量合格视频汇合，生成第一视频集。
[0117]
上述技术方案的工作原理为：为了保证获取的视频图像的质量，保证图像拼接的效果，需要对鱼眼摄像机采集的视频进行质量把关检验，当待拼接的视频图像都符合预设的质量合格条件时，才保留获取的视频，将保留下来的视频进行整合，获得满足需求的视频集。同时，还需要对摄像机的工作性能进行检验，对出现的机械问题进行及时的矫正和调整，以保证摄像机的正常稳定工作。
[0118]
本实施例具体步骤包括：
[0119]
s101、在汽车上设置相邻的两个雷达，选定某一时刻，采用两个雷达对位于汽车近身四周环境内第一固定位置的第一目标分别进行数据采集，获得第一数据和第二数据；分析所述第一数据和第二数据的重叠内容，将所述第一数据的重叠内容作为第三数据，将第二数据的重叠内容作为第四数据，若所述第三数据和第四数据均对应于所述第一目标，则初步判断两个雷达工作正常；将两个雷达进行关机重启后再次进行数据采集分析，若仍判断为工作正常，则确认两个雷达工作正常；
[0120]
s102、选定与步骤s101中的相同时刻，对所述位于汽车近身四周环境内第一固定位置的第一目标，利用待检测摄像机进行数据采集，获得第五数据；判断所述第五数据与所述第一数据或第二数据中所对应的目标是否同为第一目标，若是，则判定所述待检测摄像机工作正常；若否，则对所述待检测摄像机进行矫正操作；
[0121]
s103、执行对摄像机的矫正操作，所述矫正操作包括：对摄像机进行关机复位重启、或将摄像机镜头角度调整到预设的正常工作角度、或将摄像机镜头焦距调整到预设的正常工作焦距；矫正操作结束后，转至步骤s102继续进行检验，直到判定摄像机工作正常，完成对摄像机性能进行检测和矫正的操作；
[0122]
s104、按照预设的周期，定期获取摄像机拍摄的汽车近身四周环境的视频，获得若干个视频集；
[0123]
s105、根据预设的视频检验规则对所述若干个视频集中的视频进行检验；所述视频检验规则包括：对视频中图像清晰度进行评估、对视频对应的区域范围进行判定；当视频中图像清晰度小于预设的图像清晰度阈值，或者视频对应的区域范围边界大于或小于预设
的图像边界时，则判定视频不符合要求，将该视频舍弃；当视频中图像清晰度大于等于预设的图像清晰度阈值，或视频中图像的边界与预设的图像边界重合时，则判定视频质量合格，将该视频保留；
[0124]
s106、在同一周期内，将所述视频检验单元保留的视频作为质量合格视频，将所述质量合格视频汇合，生成第一视频集。
[0125]
上述技术方案的有益效果为：采用本实施例提供的方案，通过对摄像机工作性能的检验和矫正，可以保证摄像机保持正常的工作性能，从而保证拍摄的视频的质量；通过对鱼眼摄像机采集的视频进行质量把关检验，可以保证获取的视频图像的质量，保证图像拼接的效果。
[0126]
在一个实施例中，s2包括构建三维仿真场景，具体为：
[0127]
s201、标定摄像机的内参数和外参数；并根据所述摄像机的内参数和外参数，计算得到第一纹理映射表和第二纹理映射表；
[0128]
s202、计算所述第一视频集图像中的摄像机与汽车左右两侧环境主平面的间距；将所述间距与所述第一纹理映射表进行匹配，得到第一投影模型参数；将所述间距与所述第二纹理映射表进行匹配，得到第二投影模型参数；
[0129]
s203、根据所述第一投影模型参数，建立第一投影模型；根据所述第二投影模型参数，建立第二投影模型；
[0130]
s204、根据所述第一投影模型，生成第一三维仿真场景，所述第一三维仿真场景对应为汽车处于开阔空间环境；根据所述第二投影模型，生成第二三维仿真场景，所述第二三维仿真场景对应为汽车处于狭窄空间环境。
[0131]
上述技术方案的工作原理为：为了更好地满足汽车在不同的环境下的全景图观察需求，有必要针对不同的环境建立相应的三维仿真场景。本实施例根据预先标定的摄像机的内参数和外参数，计算得到第一纹理映射表和第二纹理映射表；通过分析视频图像实际环境信息，根据不同环境，计算视频图像中的摄像机与汽车左右两侧环境主平面的间距，通过纹理映射表，得到对应的投影模型参数，根据投影模型参数构建第一投影模型和第二投影模型，根据投影模型，完成用于开阔空间环境的三维仿真场景和用于狭窄空间环境的三维仿真场景的构建。
[0132]
上述技术方案的有益效果为：采用本实施例提供的方案，根据视频图像中摄像机与汽车左右两侧环境主平面的间距不同，构建与之匹配的三维仿真全景，能够根据汽车所处环境的不同自适应地切换，方便驾驶员有针对性地观察汽车近身四周环境全景视频。
[0133]
在一个实施例中，s202包括判断汽车所处的环境为开阔空间或狭窄空间；具体步骤为：
[0134]
s2021、对汽车左右两侧环境的视频进行光流跟踪和匹配，根据光流的变化规律确定侧视障碍物主平面上的特征点，根据对极几何和三角测量，估计出特征点的相对深度值；
[0135]
s2022、将后视摄像机的侧视图像变换到顶视图，计算得到摄像机的帧间运动位姿：
[0136]
s2023、根据摄像机的标定结果，获得比例因子；
[0137]
s2024、根据所述相对深度值、帧间运动位姿和比例因子，计算得到摄像机与汽车左右两侧环境主平面的间距；
[0138]
s2025、根据所述间距与预设间距阈值的大小判断汽车所处的环境为开阔空间或狭窄空间；当所述间距小于预设间距阈值时，判定汽车处于狭窄空间环境；当所述间距大于预设间距阈值时，判定汽车处于开阔空间环境。
[0139]
上述技术方案的工作原理为：为了计算摄像机与汽车左右两侧环境主平面的间距，需要对视频进行跟踪得到特征点，再进行匹配，从而估计摄像机的相对运动；光流可以通过连续的图像序列来检测物体微小的动作变化，对两侧的视频获取图像帧，进行特征点跟踪匹配，根据跟踪结果判断出侧视最近障碍物主平面(两侧物体所在的平面，比如停车场的车辆立面、行驶路旁的绿化带、路边最近的建筑物平面)上的特征点。在特征点选取上，首先选择同一主平面上的特征点光流值较大且集中分布的图像处理的感兴趣区域，并计算该区域内的特征点的光流值，计算光流值分布直方图，将光流的水平分量值较大且光流的垂直分量值较小且数量较多的若干组为待选特征点，然后在待选特征点中取出像素坐标点分布跨度满足预设阈值的一组作为主平面特征点。
[0140]
对位于主平面上的对应特征点，根据对极几何和三角测量，估计出相对深度值。对极几何是用来描述两幅图像间的几何关系，它只需要相机的内参和相对姿态；对极几何常用于摄像机矩阵的恢复、位姿估计以及三维重建等方面；根据对极几何计算本质矩阵与基础矩阵，通过本质矩阵恢复摄像机矩阵并分解得到帧间运动位姿；根据顶视图尺寸与实际距离的对应关系，顶视图像素距离与实际距离间的比例因子，由顶视区域的实际宽度和顶视图的宽度决定；通过帧间运动位姿中的旋转矩阵和平移向量值可计算得到摄像机与汽车左右两侧环境主平面的间距；根据计算得到的间距与预设间距阈值的大小判断汽车所处的环境为开阔空间或狭窄空间；当所述间距小于预设间距阈值时，判定汽车处于狭窄空间环境；当所述间距大于预设间距阈值时，判定汽车处于开阔空间环境。
[0141]
上述技术方案的有益效果为：采用本实施例提供的方案，通过计算摄像机与汽车左右两侧环境主平面的间距，根据间距大小来判定汽车所处的环境为开阔空间或狭窄空间，可以保证判别的精确性。
[0142]
在一个实施例中，如图3所示，s3中提供安全提示，具体步骤为：
[0143]
s301、实时获取摄像机与汽车左右两侧环境主平面的第一间距数据，摄像机与汽车前方后方环境主平面的第二间距数据，以及汽车车顶平面与汽车外部环境主平面的第三间距数据，并存储到预设的数据库中；
[0144]
s302、根据所述数据库中的历史第一间距数据、历史第二间距数据和历史第三间距数据，基于人工神经网络构建磕碰风险分析模型；所述磕碰风险分析模型输入数据为间距数据，输出数据为磕碰风险值；
[0145]
s303、根据磕碰风险分析模型，分别确定所述第一间距数据、第二间距数据和第三间距数据的磕碰风险值，获得第一磕碰风险值、第二磕碰风险值和第三磕碰风险值；根据对所述第一磕碰风险值、第二磕碰风险值和第三磕碰风险值的分析结果，发出相应的安全提示；
[0146]
判断所述第一磕碰风险值是否大于等于预设的第一磕碰风险阈值，若是则向汽车驾驶员发出第一安全提示；
[0147]
判断所述第二磕碰风险值是否大于等于预设的第二磕碰风险阈值，若是则向汽车驾驶员发出第二安全提示；
[0148]
判断所述第三磕碰风险值是否大于等于预设的第三磕碰风险阈值，若是则向汽车驾驶员发出第三安全提示；
[0149]
s304、汽车驾驶员根据所述第一安全提示、或第二安全提示、或第三安全提示，采取相应的避险驾驶操作。
[0150]
上述技术方案的工作原理为：为了更好地为驾驶员提供安全提示，有必要区分不同的安全风险，提供相应的提示，从而帮助驾驶员采取相应的避险驾驶操作，以保证安全驾驶汽车。具体步骤为：
[0151]
实时获取摄像机与汽车左右两侧环境主平面的第一间距数据，摄像机与汽车前方后方环境主平面的第二间距数据，以及汽车车顶平面与汽车外部环境主平面的第三间距数据，并存储到预设的数据库中；
[0152]
根据所述数据库中的历史第一间距数据、历史第二间距数据和历史第三间距数据，基于人工神经网络构建磕碰风险分析模型；所述磕碰风险分析模型输入数据为间距数据，输出数据为磕碰风险值；
[0153]
根据磕碰风险分析模型，分别确定所述第一间距数据、第二间距数据和第三间距数据的磕碰风险值，获得第一磕碰风险值、第二磕碰风险值和第三磕碰风险值；根据对所述第一磕碰风险值、第二磕碰风险值和第三磕碰风险值的分析结果，发出相应的安全提示；
[0154]
判断所述第一磕碰风险值是否大于等于预设的第一磕碰风险阈值，若是则向汽车驾驶员发出第一安全提示；
[0155]
判断所述第二磕碰风险值是否大于等于预设的第二磕碰风险阈值，若是则向汽车驾驶员发出第二安全提示；
[0156]
判断所述第三磕碰风险值是否大于等于预设的第三磕碰风险阈值，若是则向汽车驾驶员发出第三安全提示；
[0157]
汽车驾驶员根据所述第一安全提示、或第二安全提示、或第三安全提示，采取相应的避险驾驶操作。
[0158]
上述技术方案的有益效果为：采用本实施例提供的方案，通过分析汽车与所处环境主平面的距离，根据距离的不同，分析可能发生的磕碰风险，能够有针对性地提供安全提示，帮助驾驶员及时规避磕碰风险，保证安全驾驶。
[0159]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。