车辆智能驾驶视觉感知系统架构及智能驾驶车辆的制作方法

1.本发明涉及智能驾驶技术领域，具体涉及一种车辆智能驾驶视觉感知系统架构及智能驾驶车辆。


背景技术：

2.随着汽车智能化进程的推进，软硬件技术的不断突破，当今汽车智能驾驶功能正处于由l2级(半自动驾驶)向l3级(有条件自动驾驶)发展，甚至向更高级别智能驾驶功能跃进的阶段。视觉在智能驾驶中就如同人的眼睛，重要地位不言而喻。近些年来，随着科学技术的突飞猛进，单一芯片算力不断提高，单位算力功耗不断降低，智能算法不断优化和成熟，使得对大量图像信息进行实时快速的分析和处理变得可行。加之视觉感知是车辆自主驾驶过程中最为重要的感知来源，那么设计一套能够满足l3及l3以上高级别智能驾驶功能的车辆视觉感知系统，就成为当前亟需解决的技术痛点。
3.鉴于上述问题，本发明创作者经过长时间的研究和实践终于获得了本发明。


技术实现要素：

4.为解决上述技术缺陷，本发明提供一种在自主行驶过程中实时的获取车辆周围交通及道路信息的，完整的、合理的、可行的车辆智能驾驶视觉感知系统架构及智能驾驶车辆。
5.本发明采用的技术方案在于：
6.一方面，提供一种车辆智能驾驶视觉感知系统架构，包括：
7.设置于车辆前部的前向远场双目立体摄像头，用于提供车辆前方视野的远场感知能力；
8.设置于车辆前部的前向近场双目立体摄像头，用于提供车辆前方视野的近场广角感知能力；
9.设置于车辆后部的后向双目立体摄像头，用于提供车辆后方视野的感知能力；
10.分别设置于车辆两侧的侧向单目摄像头，用于提供车辆侧方视野的感知能力；
11.分别设置于车辆前、后及两侧的鱼眼摄像头，用于提供车辆周侧360度近场环视感知能力；
12.设置于车辆驾驶室内的车内监控摄像头，用于对驾乘人员的行为和状态进行监控。
13.进一步地，所述侧向单目摄像头包括侧前向单目摄像头、侧后向单目摄像头，分别设置于车辆的侧部靠前位置、侧部靠后位置。
14.进一步地，所述前向远场双目立体摄像头和所述前向近场双目立体摄像头均位于车辆前风挡上方，所述后向双目立体摄像头位于车辆后风窗上方，所述车内监控摄像头位于车辆内后视镜下方，所述侧前向单目摄像头设置于车身两侧前翼子板上，所述侧后向单目摄像头设置于车身两侧b柱上。
15.进一步地，所有摄像头采集的信息均发送至域控制器中，由域控制器集中进行处理。
16.进一步地，所述域控制器具有lvds接口、can接口和以太网接口，所有摄像头通过lvds接口将采集的数据发送至所述域控制器，所述域控制器对数据进行处理后，通过以太网接口将视频流信息发送至车辆网关或其它相关控制器，通过can接口将场景感知规划控制和驾乘人员行为状态信息发送至车辆网关或其它相关控制器。
17.进一步地，所述前向远场双目立体摄像头的感知距离至少为165m。
18.进一步地，所述鱼眼摄像头的用于感知车辆周侧0-10m范围内的环境。
19.进一步地，所述车内监控摄像头为rgb ir摄像头。
20.进一步地，所述前向远场双目立体摄像头、前向近场双目立体摄像头、后向双目立体摄像头、侧向单目摄像头均为高清摄像头。
21.另一方面，提供一种智能驾驶车辆，设置有上述的车辆智能驾驶视觉感知系统架构。
22.本发明的车辆智能驾驶视觉感知系统架构能够满足l3及l3级以上高级别智能驾驶功能所需要的感知能力，能够实现全方位无死角的视觉感知，满足车辆在行车及泊车过程中的自主驾驶功能，利于成本控制以及软件算法快速迭代和在线升级。
附图说明
23.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
24.图1示出了本发明的实施方式的摄像头布置方案示意图；
25.图2示出了本发明的实施方式的摄像头视场角及视野覆盖示意图；
26.图3示出了本发明的实施方式的视觉感知系统控制架构图。
具体实施方式
27.以下结合附图，对本发明上述的和另外的技术特征和优点作更详细的说明。
28.在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接或彼此可通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
29.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结
合和组合。
30.在l3级别的智能驾驶车辆可以实现绝大部分路况的自动驾驶，接管汽车一大部分驾驶功能。但是在l3阶段，驾驶员仍需时刻保持注意力，以便在出现紧急情况时及时接管车辆。到了这一级别，驾驶员的重要性明显降低了，只需要随时关注路况信息，防止汽车行车系统因遇到无法识别的路况而不知如何处理即可。
31.现有车辆感知采用单目摄像头 毫米波雷达的方案实现车辆周围环境的感知，并且这一类系统的架构采用分布式架构的方案。目前的方案只能满足l2及l2以下级别的智能驾驶功能，无法满足l3及l3以上高级别智能驾驶功能所需要的感知能力。目前摄像头采用的是单目摄像头，单目摄像头对没有经过训练的目标无法进行识别，无法对没有经过训练的目标进行反应，导致系统无法对特殊情况进行有效处理，无法满足高级别智能驾驶的要求。目前传感器采用分布式架构，每个传感器都有自己相应的控制器，从技术发展来看，不利于成本控制以及软件算法快速迭代和在线升级。
32.本发明通过在车辆不同部位布置不同类型的摄像头，并将图像信息进行时间同步后发送给域控制器。域控制器对所有图像信息进行处理，图像处理包括图像质量处理，图像拼接，融合，物体识别等，完成系统对车辆周围环境的感知，实现车辆高精度定位，环境感知，路径规划及控制。
33.如图1所示，在本实施例中，车辆智能驾驶视觉感知系统架构，包括设置于车辆前部的前向远场双目立体摄像头1，用于提供车辆前方视野的远场感知能力。设置于车辆前部的前向近场双目立体摄像头2，用于提供车辆前方视野的近场广角感知能力。设置于车辆后部的后向双目立体摄像头3，用于提供车辆后方视野的感知能力。分别设置于车辆两侧的侧向单目摄像头4，用于提供车辆侧方视野的感知能力。分别设置于车辆前、后及两侧的鱼眼摄像头5，用于提供车辆周侧360度近场环视感知能力。设置于车辆驾驶室内的车内监控摄像头6，用于对驾乘人员的行为和状态进行监控。侧向单目摄像头4包括侧前向单目摄像头、侧后向单目摄像头，分别设置于车辆的侧部靠前位置、侧部靠后位置。
34.在一具体的示例中，前向远场双目立体摄像头1和前向近场双目立体摄像头2均位于车辆前风挡上方，后向双目立体摄像头3位于车辆后风窗上方，车内监控摄像头6位于车辆内后视镜下方，侧前向单目摄像头设置于车身两侧前翼子板上，侧后向单目摄像头设置于车身两侧b柱上。
35.优选的，前向远场双目立体摄像头1、前向近场双目立体摄像头2、后向双目立体摄像头3、侧向单目摄像头4均为高清摄像头。车内监控摄像头6为rgb ir摄像头。
36.下面结合图2具体说明本视觉感知系统架构的传感布置方案：
37.前向感知：图2中a为前向远场双目视场角，b为前向广角双目视场角。
38.保证车辆在0-120km/h(34m/s)的法定限速范围内自动驾驶，同时要求车辆能够提供舒适的减速度(标定值3.5m/s2)，并且考虑到系统整体延时0.5s(感知，融合，决策，规划，执行)。经计算120km/h舒适刹停的距离约为165m，那么要求车辆的前方感知距离至少为165m。
39.同时车辆行驶过程中还要考虑其他车辆紧急并入到本车道的情况(critical cut-in)，考虑最极端情况，相邻车道车辆车头超过本车车头1m开始向本车道并道。
40.考虑到以上两种情况，要求车辆对前方视野既要有远场感知能力，同时也要有广
角感知能力，因此设计前向两对双目立体摄像头分别用于远场感知及近场广角感知。
41.侧向感知：图2中c为侧前向摄像头视场角，d为侧后向摄像头视场角。
42.考虑到车辆开启自动驾驶时本车有主动换道的需求，车辆需要对后方车辆及相邻车道的交通情况进行感知，因此，设计了侧前向单目摄像头、侧后向单目摄像头，车侧摄像头对车辆后方及车辆侧方视野进行无死角的全覆盖。
43.后向感知：图2中f为后向双目视场角
44.除考虑到本车有主动换道的需求外，还需考虑本车有紧急制动或停车时有被追尾的情况，车辆需对驾乘人员进行提醒和保护，例如安全带拉紧，升起车窗等。需要车辆对正后方来车有感知能力，因此设计了后向双目立体摄像头。
45.车内感知：图2中g为车内监控摄像头视场角。
46.车辆开启自动驾驶后，车辆进行自主控制，考虑到功能安全的需求，例如：气候条件恶劣，传感器故障，执行器故障等因素导致自动驾驶功能降级，需要提醒驾驶员接管，那么需要车辆实时了解驾乘人员状态。因此设计了车内监控摄像头，并且考虑到车辆全天候运行的情况，采用rgb ir摄像头，增加了红外功能，即使在夜晚光线较弱的情况下，也能够对驾驶员行为和状态进行有效的识别。
47.环视感知：图2中e为环视视场角。
48.以上的摄像头设计考虑的是行车功能，对于低速泊车功能重点感知的是车辆周围0-2m之内的障碍物，因此在设计了4颗鱼眼摄像头(广角hfov190
°
，vfov150
°
)，负责感知车辆0-10m范围内的环境，并通过图像拼接成360度环视图像。
49.参考图3，图3示出了视觉感知系统控制架构图。
50.所有摄像头采集的信息均发送至域控制器中，由域控制器集中进行处理(包括图像处理isp，感知融合，决策规划，控制)。域控制器具有lvds接口、can接口和以太网接口，所有摄像头通过lvds接口将采集的数据发送至所述域控制器，所述域控制器对数据进行处理后，通过以太网接口将视频流信息发送至车辆网关，通过can接口将场景感知规划控制和驾乘人员行为状态信息发送至车辆网关。
51.具体的，域控制器包括15个lvds接口，分别连接15颗摄像头；2个can接口与车辆进行总线通信；3个以太网接口用于向车辆显示终端传输视频。
52.360环视功能：4颗环视鱼眼摄像头通过lvds接口将raw data发送给域控制器，由域控制器对图像进行处理(tunning)，图像投影变换，图像拼接，最终通过以太网总线将视频流发送给车辆，由显示终端显示360环视视频图像。
53.流媒体：由左右两颗侧后摄像头采集图像信息，将raw data发送到域控制器，由域控制器对图像进行处理(tunning)，压缩编码后，通过以太网总线将视频流发送给车辆，由显示终端显示车辆两侧的实时图像信息，该功能即为电子外后视镜功能。同理，通过后视双目摄像头可实现电子内后视镜功能。
54.行车记录：通过前视近场双目摄像头采集信息，将raw data发送到域控制器，由域控制器对图像进行处理(tunning)，压缩编码后，通过以太网总线将视频流发送给车辆，由显示终端显示实时视频流，或通过域控制器内部存储器(emmc)存储录制的视频文件。
55.车内监控：通过车内rgb ir摄像头采集信息，将raw data发送到域控制器，由域控制器对图像进行处理(tunning)，通过机械学习或深度学习算法识别驾乘人员身份，状态
(疲劳，分心)等。
56.智能驾驶功能：通过15颗摄像头采集车辆内外信息，将raw data发送到域控制器，由域控制器对图像进行处理(tunning)，图像进行时间同步，融合，识别车辆周围目标(人，自行车从，小型汽车，大型汽车，交通标示，桩桶等)，对车辆行驶路径进行规划，对车辆进行持续的横向和纵向控制，通过车辆hmi显示车辆自动驾驶状态，车辆及道路情况，紧急情况提示用户接管等。
57.根据本发明的另一方面，提供一种智能驾驶车辆，设置有上述的车辆智能驾驶视觉感知系统架构。因此该智能驾驶车辆具有该车辆智能驾驶视觉感知系统架构的全部有益效果，在此不在赘述。
58.以上仅为本发明的较佳实施例，对本发明而言仅仅是说明性的，而非限制性的。本发明中各部件的结构和连接方式等都是可以有所变化的，凡是在本发明技术方案的基础上进行的等同变换和改进，均不应排除在本发明的保护范围之外。