一种基于公网条件下的平行驾驶系统及方法与流程

1.本发明涉及无人驾驶领域，特别涉及一种基于公网条件下的平行驾驶系统及方法。


背景技术：

2.平行驾驶最初想法形成于20世纪90年代中期，2005年正式提出了平行驾驶的概念，将人工系统与实际系统虚实互动的思想被应用于驾驶领域，形成了当下平行驾驶理论的雏形。
3.目前平行驾驶系统功能的实现都是基于4g/5g专网模式，客户在园区和特定开放道路进行平行驾驶控车时，需要在园区和特定开发道路建立4g/5g专网，从而拉长项目的开发周期以及要投入较高的专网建设费用。


技术实现要素：

4.鉴于目前情况，现提供一种基于公网条件下的平行驾驶系统及方法，以提升用户使用体验。
5.为解决上述技术问题，本发明采用以下技术方案：一种基于公网条件下的平行驾驶系统，包括车端、网端、台架端，其特征在于，所述车端包括安装在车上的鱼眼摄像头、rcu、车辆控制装置，所述rcu分别与网络通信装置、信号监测装置、鱼眼摄像头和车辆控制装置信号连接，所述车辆控制装置包括通过can总线与rcu信号连接的惯性导航系统、动力控制系统、eps、epb、ebooster以及esc，所述鱼眼摄像头用于对车辆的周围情况进行监测，并生成环境视频监测信息；所述网络通信装置集成有sim卡，基于4g/5g通信技术传输数据，接收包含车辆控制指令的网络信号，通过rcu转发至所述can总线；所述信号监测装置，用于检测rcu中的can信号、电源信号、摄像头信号、来自网络通信装置的sim卡信号、网络信号；所述can总线，用于接收当前行驶状态信息，并经过rcu转发至所述网络通信装置，还用于接收来自rcu的台架端车辆控制指令，并转发至所述车辆控制装置；所述网端包括4g/5g基站、云端服务器、光纤，其中云端服务器使用mqtt协议与4g/5g基站建立数据连接，所述4g/5g基站与车端的网络通信装置建立无线连接，4g/5g基站通过光纤与所述台架端台架主机连接。
6.作为优选，所述网络通信装置还用于接收来自rcu的所述环境视频监测信息以及所述当前行驶状态信息，并转发至网端4g/5g基站。
7.作为优选，所述鱼眼摄像头有5个。
8.作为优选，所述动力控制系统包括vcu，所述vcu与mcu连接，所述mcu与motor相连接，所述vcu通过所述can总线与rcu信号连接。
9.作为优选，所述台架端包括台架主机，控车信号采集器、具有6自由度驾驶舱、显示器，其中所述台架主机用于接收网络信号并进行h264/h265格式的视频解码；台架端控车信号采集器，用于将操作员的驾驶操作进行串口采集，形成车辆控制指令，然后转换成以太网信号传送给台架主机；所述显示器用于对环境视频监测信息进行图像显示；所述6自由度驾驶舱用于模拟当前行驶状态信息，还用于输入车辆控制指令；所述6自由度驾驶舱包括模拟方向盘、档位、油门、刹车、座椅以及6自由度运动情况的机械结构。
10.一种公网条件下的平行驾驶方法，应用于上述基于公网条件下的平行驾驶系统，包括以下步骤：步骤一：操作员发送启动车辆指令，控车信号采集器采集该指令并发送到台架服务器，台架服务器将该信号转换为网络信号后，通过光纤传输到台架附近的4g/5g基站，台架附近的4g/5g基站使用mqtt协议将该信号发送到云端服务器，云端服务器再将该信号发送给车辆附近的4g/5g基站，车辆附近的4g/5g基站再将信号无线传输给网络通信装置。其中，当台架服务器检测到网络延迟小于550ms，则网络状态流畅，显示器显示提示信息“网络畅通，请起步”，当网络延迟大于等于550ms时，显示器提示“网络状态不佳，请勿驾驶”。在接收到启动车辆的信号后，车端网络通信装置会实时监测网络状态，当网络延迟大于等于550ms时，网络通信装置将网络状态发送至车辆rcu，信号监测装置检测到rcu中该信号后，指示rcu控制vcu控制车辆保持停车状态，同时反馈给台架端，提示信息“车辆网络状态不佳，请勿驾驶”；若车辆网络延迟小于550ms，则车辆rcu通过5个鱼眼摄像头采集车辆四周以及驾驶室内的视频，采用h264/h265编码格式进行视频编码，然后传送至网络通信装置；步骤二：所述网络通信装置将视频和车辆的具体行驶信息转换成网络信号，网络信号无线传输到车辆附近的4g/5g基站；所述4g/5g基站将接收到的网络信号无线发送到云端服务器，所述云端服务器将接收到的网络信号通过无线传输给台架附近的4g/5g基站；步骤三：所述4g/5g基站将接收到的网络信号通过光纤传输到台架主机；所述台架主机将接收到的网络信号还原成视频和车辆的行驶信息，通过h264/h265解码格式进行视频解码，然后显示到台架显示器ui界面上；步骤四：操作员根据所述显示器显示的ui界面，在6自由度驾驶舱进行挂档、拉电子手刹、踩油门、踩刹车、转方向盘等操作；台架上的控车信号采集器将操作员的驾驶操作进行串口采集，然后转换成网络信号传送给台架主机；步骤五：所述台架主机然后将网络信号通过光纤传输到台架附近的4g/5g基站，然后台架附近的4g/5g基站通过无线传输给云端服务器；所述云端服务器将接收到的网络信号无线传输给车辆附近的4g/5g基站，然后所述4g/5g基站将网络信号无线传输给网络通信装置。
11.作为优选，所述平行驾驶方法还包括步骤六：所述车端rcu将网络通信装置收到的网络信号转换成can信号发送到相应的执行控制器，完成车辆的平行驾驶操作；其中vcu
‑
mcu
‑
motor:执行踩油门、能量回收操作；eps执行转向操作；epb执行电子手刹操作；ebooster、esc执行制动操作。
12.作为优选，所述台架显示器将5个摄像头的影像进行拼接，形成前180
°
、后180
°
两个视野画面。作为优选，所述车端rcu还对应连接多个超声波雷达，超声波雷达用于探测车辆周
围障碍物，当车辆周围在预设的危险距离内存在障碍物，则生成障碍报警信号发送给信号监测装置，当信号监测装置接收障碍报警信号，通过can总线发送给车辆控制装置，车辆控制装置控制车辆刹车。
13.作为优选，所述车辆行驶当中，信号监测装置检测信号包括：1、当信号监测装置检测到摄像头信号丢失或台架模拟装置的显示器的ui界面和车辆的hmi界面提示摄像头信号丢失时，指示rcu向vcu下发靠边停车指令，另外，rcu直接执行epb拉起指令；2、当检测到rcu对应的sim卡信号丢失时，指示rcu向vcu下发靠边停车指令，并且rcu直接执行epb拉起指令；3、当检测到rcu对应的can信号丢失时，指示rcu向vcu发出刹车指令，vcu执行档位归为n档并刹车；4、当检测到rcu的电源信号丢失时，指示rcu向vcu发出刹车指令，vcu执行档位归为n档并刹车；5、当通过rcu检测到对应的网络延迟大于等于550ms时，指示rcu向vcu发送靠边停车指令，vcu执行epb拉起指令；6、当通过rcu检测到按下紧急停车按钮指令时，指示rcu向vcu发送自动执行刹车指令，vcu执行档位归为n档并刹车。
14.本发明技术方案带来的有益效果包括：本发明基于5g通信技术，在保障平行驾驶控制实时性的前提下，展示车辆周围的情况并模拟车辆当前行驶状况，为使用者提供更真实的驾驶环境模拟效果，给平行驾驶控制提供准确的参考基础，从而提升使用者的用户体验。且不需要建设4g/5g专网网络,缩短了项目开发周期，减少网络建设费用，只要在有公网的地方都可以实现。本发明采用高带宽的云服务器做为公网环境下，远程驾驶数据转发的中转站，将车端视频传输到远程驾驶座舱显示器上，并将远程驾驶座舱安全员的操作指令发送到车端进行远程控车。对于低速运营的无人驾驶车辆来说，采用该方法既能缩短项目开发周期，又能减少网络建设费用。
附图说明
15.图1为本发明实施例提供的基于公网条件下的平行驾驶控制系统的硬件结构原理图；图2为本发明实施例提供的基于公网条件下的平行驾驶控制方法的流程图；图3为本发明实施例提供的基于公网条件下的平行驾驶控制系统和方法的真实路况体验感实现的流程图；图4为本发明信号监测装置电压跟随电路与放大电路；图5为本发明信号监测装置带通滤波电路；图6为本发明信号监测装置小信号峰值检测电路；图7为本发明实施例提供的6自由度驾驶舱的平面图；图8为本发明实施例提供的网络异常情况下平行驾驶的判定流程图；图9为本发明实施例提供的5个鱼眼摄像头的分布以及视角图。
16.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
17.为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅以解释本发明，并不用于限定本发明。
18.图1为本发明实施例提供的基于公网条件下的平行驾驶系统的结构示意图。
19.该系统包括：车端、网端、台架端。
20.所述车端包括：鱼眼摄像头1、rcu、车辆控制装置，所述rcu分别与网络通信装置、信号监测装置、鱼眼摄像头和车辆控制装置信号连接，所述车辆控制装置包括通过can总线与rcu信号连接的惯性导航系统、动力控制系统、eps、epb、ebooster以及esc。
21.网络通信装置为4g/5g模组，集成有sim卡，此外还集成有gps天线、5g天线。可以采用广和通fg150/fm150 5g系列模组，该模组基于高通sdx55（骁龙 5g调制解调器）平台，覆盖国内三大运营商的4g/5g频段。采用m.2/lga封装技术，支持usb/pcie/rgmii等多种通信接口，可快速适配车联网、智能网联汽车、c
‑
v2x、智慧交通、自动驾驶、等各种行业整机产品。
22.网络通信装置基于4g/5g通信技术传输数据，网络通信装置用于接收来自云端服务器包含车辆控制指令的网络信号，通过rcu转发至所述can总线；所述can总线，用于接收当前行驶状态信息，并经过rcu转发至所述网络通信装置，还用于接收来自rcu的台架端车辆控制指令，并转发至所述车辆控制装置；rcu用于接收所述环境视频监测信息以及所述当前行驶状态信息，并转发至所述网络通信装置，还用于接收台架端车辆控制指令，并转发至所述车辆控制装置。
23.如图2所示，所述信号监测装置，用于检测rcu中的can信号、电源信号、摄像头信号、来自网络通信装置的sim卡信号、网络信号。
24.信号监测装置采用常规电路设计，可以直接与rcu电路中的can总线、电源、摄像头接口电路、网络通信接口电路分别电连接。
25.信号监测装置通常可以由电压跟随器、同相比例放大器、带通滤波电路以及小信号峰值检测等电路组成。其中电压跟随器可以提高输入阻抗，输入电阻可以达到1mω以上。
26.同相比例放大器是为了放大在分压网络所衰减的放大倍数。
27.带通滤波器为了选择500hz～2khz的微弱信号。
28.最后通过小信号峰值检测电路把正弦信号的幅度值检测出来。
29.其中电压跟随电路与放大电路如图4所示，其左半部分是跟随器，输入电压等于输出电压，但输入阻抗可以达到1mω以上。右半部分由同相比例放大器与电阻电容组成，理想情况下是放大倍数与衰减系数相等，才能保证检测到不失真的微弱信号的峰值。带通滤波电路由音频放大器opa2340加上外围的电阻电容组成，实现选频500hz～2khz。如图5所示。小信号峰值检测电路由一个放大器与外围电路组成，实现检测正弦信号峰值的检测。如图6所示。
30.其中，所述当前行驶状态信息为车辆自身在行驶过程中的数据信息，由所述车辆控制装置向所述can总线反馈；rcu收到can总线反馈信息，经过网络通信装置5g天线转发至云端服务器。
31.进一步的，基于上述信号监测装置的基础，车辆行驶当中，该方法还具备对应的功
能安全机制，信号监测装置检测信号包括：1、当信号监测装置检测到摄像头信号丢失或台架模拟装置的显示器的ui界面和车辆的hmi界面提示摄像头信号丢失时，指示rcu向vcu下发靠边停车指令，另外，rcu直接执行epb拉起指令；2、当检测到rcu对应的sim卡信号丢失时，指示rcu向vcu下发靠边停车指令，并且rcu直接执行epb拉起指令；3、当检测到rcu对应的can信号丢失时，指示rcu向vcu发出刹车指令，vcu执行档位归为n档并刹车；4、当检测到rcu的电源信号丢失时，指示rcu向vcu发出刹车指令，vcu执行档位归为n档并刹车；5、当通过rcu检测到对应的网络延迟大于等于550ms时，指示rcu向vcu发送靠边停车指令，vcu执行epb拉起指令；6、当通过rcu检测到按下紧急停车按钮指令时，指示rcu向vcu发送自动执行刹车指令，vcu执行档位归为n档并刹车。
32.rcu可以采用苏州天准科技股份公司、青岛慧拓智能机器有限公司、英博超算(南京)科技有限公司等产品，rcu可以将相机串化信号并解串成mipi信号，对摄像头图像进行畸形矫正，采用h.264或h.265编码，将编码后的视频流进行rip封包，然后以标准rtsp视频流的格式推流。
33.在rcu设计中，我们可以将网络通信装置、信号监测装置集成在传统rcu中。
34.为了方便布线，rru与rcu可以集成在同一付天线空间里，它们之间用一条同轴线连接，同轴线具备供电和通讯2种功能。通讯信号以on_off_keying（ook通断键控调制方式，也称二进制开关键控）方式传输，在rru端和rcu端都有一个ook调制解调电路。ook调制解调电路集成滤波电路，调制解调芯片，目前市面上有ti和max设计生产的ook芯片，兼容于aisg、完全集成的收发器。接收器提供20db典型动态范围，集成带通滤波器，滤波器工作在2.176mhz。
35.发送器集成带通滤波器，兼容于aisg发射频谱，在设计中要求防雷，esd保护。
36.所述台架端包括台架主机（含服务器）、控车信号采集器、具有6自由度驾驶舱（包括：方向盘、档位、油门、刹车、座椅）、显示器等，其中台架主机配套设置一个服务器，其中：服务器，用于接收网络信号并进行h264/h265格式的视频解码。
37.控车信号采集器，其用于将操作员的驾驶操作进行串口采集，形成车辆控制指令，然后转换成以太网信号传送给台架主机的服务器；显示器，其用于对环境视频监测信息进行图像显示；6自由度驾驶舱也叫六自由度驾驶模拟器，其用于模拟当前行驶状态信息，还用于输入车辆控制指令；6自由度驾驶舱包括模拟方向盘、档位、油门、刹车、座椅以及6自由度运动情况的机械结构。六自由度驾驶模拟器的下平台2安装在地面上，上平台1为运动平台，它由六只电动缸3支承，运动平台1与电动缸3的推杆6采用六个虎克铰5连接，电动缸3与固定基座4连接连接，六只电动缸为采用伺服电机驱动的电动缸。计算机控制系统通过协调控制电动缸3的行程，实现运动平台1的六个自由度的运动，即笛卡尔坐标系内的三个平移运动和绕三个坐标轴的转动。如图4所示。
38.所述网端包括4g/5g基站、云端服务器、光纤等。其中云端服务器使用mqtt协议与4g/5g基站建立数据连接；4g/5g基站与车端网络通信装置建立无线连接；所述4g/5g基站通过光纤与所述台架端台架主机连接。
39.基于上述条件，该系统可以实现平行驾驶功能，如说明书附图的图2、图5所示，该基于公网条件下的平行驾驶方法对应的流程如下：s1、操作员发送启动车辆指令，控车信号采集器采集该指令并发送到台架服务器，台架服务器将该信号转换为网络信号后，通过光纤传输到台架附近的4g/5g基站，台架附近的4g/5g基站使用mqtt协议将该信号发送到云端服务器，云端服务器再将该信号发送给车辆附近的4g/5g基站，车辆附近的4g/5g基站再将信号无线传输给网络通信装置。其中，当网络延迟大于等于550ms时，显示器提示“网络状态不佳，请勿驾驶”，台架服务器持续检测网络延迟，当台架服务器检测到网络延迟小于550ms，则网络状态流畅，显示器显示提示信息“网络畅通，请起步”。在接收到启动车辆的信号后，车端网络通信装置会实时监测网络状态，当网络延迟大于等于550ms时，网络通信装置将网络状态发送至车辆rcu，信号监测装置检测到rcu中该信号后，指示rcu控制vcu控制车辆保持停车状态，同时反馈给台架端，提示信息“车辆网络状态不佳，请勿驾驶”；s2、若车端网络通信装置检测网络延迟小于550ms，车辆rcu立即通过5个鱼眼摄像头采集车辆四周以及驾驶室内的视频，采用h264/h265编码格式进行视频编码，然后传送至网络通信装置；s3、网络通信装置将视频和车辆的具体行驶信息转换成网络信号，网络通信装置将网络信号无线传输到车辆附近的4g/5g基站；s4、车辆附近的4g/5g基站将接收到的网络信号无线发送到云端服务器，云端服务器将接收到的网络信号通过无线传输给台架附近的4g/5g基站；s5、台架附近的4g/5g基站将接收到的网络信号通过光纤传输到台架主机服务器；s6、台架主机服务器将接收到的网络信号还原成视频和车辆的行驶信息，通过h264/h265解码格式进行视频解码，然后将5个摄像头进行拼接，形成360
°
环形视野显示到台架显示器ui界面上；具体来说是:台架显示器将5个摄像头的影像进行拼接，形成前180
°
、后180
°
两个视野画面。
40.s7、操作员根据显示器显示的ui界面，在6自由度驾驶舱进行挂档、拉电子手刹、踩油门、踩刹车、转方向盘等操作；s8、台架上的控车信号采集器将操作员的驾驶操作进行串口采集，然后转换成网络信号传送给台架服务器；s9、台架服务器将网络信号通过光纤传输到台架附近的4g/5g基站，然后台架附近的4g/5g基站通过无线传输的方式将网络信号发送给云端服务器；s10、云端服务器将接收到的网络信号无线传输给车辆附近的4g/5g基站，然后车辆附近的4g/5g基站将网络信号无线传输给车端rcu；s11、车端rcu将网络通信装置收到的网络信号转换成can信号后，发送到相应的执行控制器，完成车辆的平行驾驶操作，即通过vcu
‑
mcu
‑
motor执行踩油门、能量回收操作；通过eps执行转向操作；通过epb执行电子手刹操作；通过ebooster和esc执行制动操作。
41.如图6所示，5个鱼眼摄像头1以前、后、左、右以及车内方式安装在车上，所述摄像
头用于对所述车辆的周围情况以及车内进行监测，并生成环境视频监测信息；另外，所述车端rcu还对应连接多个超声波雷达，超声波雷达用于探测车辆周围障碍物，当车辆周围在预设的危险距离内存在障碍物，当信号监测装置接收障碍报警信号，指示rcu通过can总线发送给车辆控制装置，车辆控制装置控制车辆刹车。
42.本发明实施例基于公网和5g通信技术，在保障平行驾驶控制实时性的前提下，展示车辆周围的情况并模拟车辆当前行驶状况，为使用者提供更真实的驾驶环境模拟效果，给平行驾驶控制提供准确的参考基础，从而提升使用者的用户体验。
43.基于上述条件，如图3所示，该系统可以模拟真实路况体验感，该真实路况体验感实现流程具体如下：s501、车辆控制装置的惯性导航系统对车辆实际情况进行感知；s502、惯导系统将x、y、z三个方向的加速度通过can总线发给车端rcu；s503、车端rcu将x、y、z三个方向的加速度通过5g网络通信装置转换成网络信号后并通过光纤（以太网络）传输给台架主机的服务器；s504、台架主机的服务器将上述信号传输至控车信号采集器；s505、控车信号采集器控制6自由度驾驶舱，实现车辆的各种实际运行状况(包含上坡、下坡、碰撞等)。
44.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
45.其中，eps（electric power steering），即电动助力转向系统，它是指依靠电机提供辅助扭矩的动力转向系统；rcu（remote control unit），即平行驾驶控制器；can（controller area network），即控制器局域网络；sim（subscriber identity module），即用户身份识别模块；vcu（vehicle control unit），即车辆控制单元，车辆控制单元是整个汽车的核心控制部件，相当于汽车的大脑。它采集加速踏板信号、制动踏板信号及其他部件信号，并做出相应判断后，控制下层的各部件控制器的动作，它起着控制车辆运行的作用；mcu（motor control unit），即电机控制单元，即电机控制器。根据vcu的指令，控制电机的旋转状态；esc（electronic stability controller），即车身电子稳定控制系统，它是一种辅助驾驶者控制车辆的主动安全技术，esc主要对车辆纵向和横向稳定性进行控制，保证车辆稳定行驶；epb（electrical parking brake），即电子驻车系统，epb通过电子线路控制停车制动。功能同机械拉杆手刹；hmi（human machine interface），即人机交互界面，是系统和用户之间进行交互和信息交换的媒介，它实现信息的内部形式与人类可以接受形式之间的转换。
46.上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。