一种车载机器人系统及其驾驶管理方法与流程

1.本发明涉及汽车辅助驾驶系统技术领域，具体为一种车载机器人系统及其驾驶管理方法。


背景技术：

2.企业现有的车辆管理和监控系统，都是对车辆的使用过程进行管理，通过车辆gps轨迹监控车辆的位置，管理方式比较单一。驾驶员在驾驶车辆的过程中根据车辆的行驶状况和周围道路环境的情况，对车辆做出不同的控制行为，对车辆和车辆上人员的安全有着非常重要的直接影响。
3.目前的通用的监控和管理方式比较单一，要么只能监控驾驶员的驾驶状况，要么只能监控道路行驶状态，要么只能监控车辆的位置信息，要么只有单一的视频监控，无法同云端系统存储的数据进行交互分析，无法综合多种数据进行分析、预警。
4.随着企业精细化管理的要求，伴随着行车安全方面的要求，需求越来越多样化，因此研究一种车载机器人系统，实现车辆的全面监控、安全驾驶、智能管理是企业迫切的需求。
5.通过公开专利检索，发现以下对比文件：cn112085347a-公开了一种集装箱货车车队数字化调拨管理系统及方法，车队端、用户端和司机端共同组成一个数字化集装箱卡车运输平台，进行数据对接处理，车队端、用户端和司机端的三端系统各有侧重，且三端系统的目标用户不同，由车用户端派发订单，车队端接受订单，司机端实施订单，交互页面由实时抢单、车队管理和资质认证三部分组成，且实时抢单页面包括地图信息及订单管理信息，需求侧数字化领域由货主、第三方物流和货代、车队三部分组成。该集装箱货车车队数字化调拨管理系统及方法为调度员提供获取业务、分发任务、任务追踪、车辆管理、司机管理、资质认证等功能，显著提升车队的管理效率，降低管理端人力成本。


技术实现要素：

6.本发明的目的在于克服现有技术的不足之处，提供一种车载机器人系统及其驾驶管理方法，该系统及其驾驶管理方法实现了车辆全面监控、安全驾驶及智能管理功能，可对行驶中的车辆进行有效监控。
7.一种车载机器人系统，包括obd终端采集、视频采集端、车载机器人及云端系统；车载机器人内置有驾驶行为识别模块、图像处理模块、语音播放模块及屏幕显示模块；驾驶行为识别模块接收并处理obd终端采集通过车辆can总线发送的里程油耗信息、车辆位置信息、车辆状态信息及车辆故障信息；图像处理模块接收并处理视频采集端发送的车辆行驶过程道路上状态，以及行人、车道线、交通标志、交通灯状态以及驾驶员信息；语音播放模块与屏幕显示模块播报及显示驾驶行为识别模块与图像处理模块处理后的信息并发送至云端系统列队并储存。
8.优选地，云端系统包括消息队列、缓存、数据库以及物联网关；车载机器人远程发送的数据信息经物联网关进入云端系统，用于车载机器人的统一接入和数据交互；消息队列传递用户云端系统的消息；缓存用于云端系统的数据缓存；数据库存储云端系统的数据。
9.优选地，车载机器人还内置有本地存储模块及无线通讯模块；本地存储模块存储obd终端采集及视频采集端采集的数据信息；无线通讯模块远程接入云端系统的物联网关。
10.优选地，驾驶行为识别模块处理判断行车安全和驾驶员存在的危险驾驶行为；图像处理模块对高清摄像头传回的图像视频进行处理，获得包括车道信息和交通标识信息在内的行驶路况目标信息；图像处理模块用于对高清摄像头传回的图像或视频进行处理，获得行驶路况目标信息，行驶路况目标信息包括车道信息和交通标识信息；本地存储模块存储车载机器人采集的数据和分析的结果；无线通讯模块远程连接云端系统的物联网关并进行通讯；语音播放模块实时向驾驶室内提供语音提醒和播报；屏幕显示模块显示车载机器人的控制界面以及报警信息。
11.一种车载机器人系统的驾驶管理方法，驾驶管理方法包括以下管理内容：常规车辆驾驶行为管理、危险驾驶行为管理、行车安全管理、语音播报和灯光提醒、实时视频监控、违规雏形分析及能源补给提醒。
12.优选地，常规车辆驾驶行为管理包括以下步骤：步骤1.1：车辆行驶过程中，obd终端采集实时采集车辆的速度信息和方向信息，发送给驾驶行为识别模块进行分析计算；步骤1.2：驾驶行为识别模块通过单位时间内车辆速度的变化来计算车辆的加速度，当车辆的加速度变化超过预先定义的急加速、急减速的阈值时，确定车辆存在急加速、急减速的驾驶行为；进一步的通过单位时间内车辆方向的变化来计算车辆拐弯速度，当车辆方向变化的速度超过预先定义的急拐弯阈值时，确定车辆存在急拐弯的驾驶行为；步骤1.3：识别出来的车辆驾驶行为，通过语音播放模块和屏幕显示模块进行语音播报和灯光闪烁提醒；步骤1.4：进一步将车辆驾驶行为记录通过无线通讯模块连接物联网关，上传到云端系统进行保存。
13.优选地，危险驾驶行为管理包括以下步骤：步骤2.1：在车辆行驶的过程中，视频采集端采集驾驶员信息的高清视频摄像头，预先采集驾驶员的驾车图像信息，并将图像信息传递给图像处理模块进行处理；步骤2.2：图像处理模块对图像进行预处理，进行图像增强，以减少图像中的图像的噪声,改变原来图像的亮度、色彩分布、对比度等参数；图像增强提高了图像的清晰度、图像的质量,使图像中的物体的轮廓更加清晰,细节更加明显；图像处理模块将处理之后的图像传递给驾驶行为识别模块进行驾驶行为识别；步骤2.3：驾驶行为识别模块首先识别图像中是否有人体，若没有检测到人体，则继续处理后续图像信息，若检测到至少1个人体，将目标最大的人体作为驾驶员，进一步识别驾驶员的属性行为，通过内置的模型，来判断驾驶员的各种行为，具体包含：通过识别图像中驾驶员手中是否有手机，来识别驾驶员是否在行车的过程中使用手机；通过识别图像中驾驶员手中或者嘴中是否有烟，来识别驾驶员是否在行车的过程中抽烟；通过识别驾驶员双手离方向盘的远近，来判断驾驶员是否双手离开方向盘；通过连续多张图像中眼睛闭
合程度和嘴部的张合程度，来识别驾驶员是否疲劳驾驶；通过连续多张图像中的头部方向，来判断驾驶员是否视线未直视前方，存在低头行为；步骤2.4：识别出来的危险驾驶行为，通过语音播放模块和屏幕显示模块，进行语音播报和灯光闪烁提醒；步骤2.5：进一步将危险驾驶行为记录通过无线通讯模块，连接物联网关，上传到云端系统进行保存。
14.优选地，行车安全管理包括以下步骤：步骤3.1：在车辆行驶的过程中，视频采集端中采集车辆行驶过程道路状况的高清视频摄像头，预先采集车辆前方的图像信息，并将图像信息传递给图像处理模块进行处理；步骤3.2：图像处理模块对图像进行预处理，进行图像增强，以减少图像中的图像的噪声；图像处理模块将处理之后的图像传递给驾驶行为识别模块进行驾驶行为识别；步骤3.3：驾驶行为识别模块，识别图像中的物体，通过内置的模型，来判断车辆的行车安全，具体包含：对车辆前方车道图像进行处理获得车道数量、车道边线信息，并且进一步处理获得车道中的当前汽车位置，判断车辆是否在预定的一段时间内压到路面车道边线，来判断汽车是否偏离车道；对车辆前方行车图像进行处理，识别前方车辆、行人等障碍物，在一定时间或距离内，识别车辆是否存在潜在的碰撞危险；步骤3.4：识别出来的行车安全提醒，通过语音播放模块和屏幕显示模块，进行语音播报和灯光闪烁提醒；步骤3.5：进一步将行车安全提醒记录通过无线通讯模块，连接物联网关，上传到云端系统进行保存。
15.本发明的优点和技术效果是：本发明的一种车载机器人系统及其驾驶管理方法相比于传统的车辆管理系统，具有如下优点：1、通过视频采集端采集驾驶员和车辆前方视频或图像，在终端侧实现对视频、图像的分析处理，判断驾驶员的危险驾驶行为、车辆碰撞危险和车道偏离。
16.2、通过obd终端采集车辆运行数据，实时分析车辆的驾驶行为。
17.3、采集的数据存储到云端，结合云端车辆管理和运行的数据，基于大数据综合分析多样化的数据，全方位的对车辆进行管理、监控、预警。
附图说明
18.图1是本发明车载机器人的系统框架图。
具体实施方式
19.为能进一步了解本发明的内容、特点及功效，兹例举以下实施例，并配合附图详细说明如下，需要说明的是，本实施例是描述性的，不是限定性的，不能由此限定本发明的保护范围。
20.如图1所示，本发明是一种车载机器人系统，而且，系统包含：obd终端采集1、视频采集端2、智能机器人、云端系统，其中obd终端采集1、视频采集端2与智能机器人相连接，智能机器人与云端系统相连接。
21.其中智能机器人包含：驾驶行为识别模块3、图像处理模块4、本地存储模块5、无线通讯模块6、语音播放模块7、屏幕显示模块8。云端系统包含：物联网关9、消息队列10、缓存11、数据库12。
22.而且，obd终端采集1通过车辆can总线进行车辆数据采集，包括四类数据：里程油耗信息：仪表盘里程、发动机转速、动态油耗、静态油耗、平均油耗。
23.车辆位置信息：位置、车速、方向。
24.车辆状态信息：电瓶电压、温度、油量、胎压等。
25.车辆故障信息。
26.而且，视频采集端2通过两路高清视频摄像头采集视频，一路采集车辆行驶过程道路上状态，包括过往车辆、行人、车道线、交通标志、交通灯等；一路采集驾驶员信息，实现对行驶的道路环境、驾驶员的状态进行采集。
27.而且，驾驶行为识别模块3用于来处理判断行车安全和驾驶员是否存在危险的驾驶行为。
28.而且，图像处理模块4块用于对高清摄像头传回的图像或视频进行处理，获得行驶路况目标信息，而且，行驶路况目标信息包括车道信息和交通标识信息。
29.而且，本地存储模块5用于智能机器人存储采集的数据和分析的结果。
30.而且，无线通讯模块6用于智能机器人与云端新统计进行通讯。
31.而且，语音播放模块7用于实时语音提醒和播报。
32.而且，屏幕显示模块8用于智能机器人的界面显示和报警和提醒。
33.而且，物联网关9用于实现车载机器人的统一接入和数据交互。
34.而且，消息队列10用户云端系统消息的传递，实现系统的解耦、异步、削峰。
35.而且，缓存11用于云端系统的数据缓存，提高系统运行效率。
36.而且，数据库12用于云端系统数据的存储。
37.而且，判断车辆驾驶行为，具体包括以下步骤：步骤1.1：车辆行驶过程中，obd终端采集1，实时采集车辆的速度信息和方向信息，发送给驾驶行为识别模块3进行分析计算。
38.步骤1.2：驾驶行为识别模块3通过单位时间内车辆速度的变化来计算车辆的加速度，当车辆的加速度变化超过预先定义的急加速、急减速的阈值时，确定车辆存在急加速、急减速的驾驶行为。进一步的通过单位时间内车辆方向的变化来计算车辆拐弯速度，当车辆方向变化的速度超过预先定义的急拐弯阈值时，确定车辆存在急拐弯的驾驶行为。
39.步骤1.3：识别出来的车辆驾驶行为，通过语音播放模块7和屏幕显示模块8，进行语音播报和灯光闪烁提醒。
40.步骤1.4：进一步将车辆驾驶行为记录通过无线通讯模块6，连接物联网关9，上传到云端系统进行保存。
41.而且，判断驾驶员是否存在危险的驾驶行为，具体包含以步骤：步骤2.1：在车辆行驶的过程中，视频采集端2中采集驾驶员信息的高清视频摄像头，预先采集驾驶员的驾车图像信息，并将图像信息传递给图像处理模块4进行处理。
42.步骤2.2：图像处理模块4对图像进行预处理，进行图像增强，以减少图像中的图像的噪声,改变原来图像的亮度、色彩分布、对比度等参数。图像增强提高了图像的清晰度、图
像的质量,使图像中的物体的轮廓更加清晰,细节更加明显。图像处理模块4将处理之后的图像传递给驾驶行为识别模块3进行驾驶行为识别。
43.步骤2.3：驾驶行为识别模块3，首先识别图像中是否有人体，若没有检测到人体，则继续处理后续图像信息，若检测到至少1个人体，将目标最大的人体作为驾驶员，进一步识别驾驶员的属性行为，通过内置的模型，来判断驾驶员的各种行为，具体包含：通过识别图像中驾驶员手中是否有手机，来识别驾驶员是否在行车的过程中使用手机；通过识别图像中驾驶员手中或者嘴中是否有烟，来识别驾驶员是否在行车的过程中抽烟；通过识别驾驶员双手离方向盘的远近，来判断驾驶员是否双手离开方向盘；通过连续多张图像中眼睛闭合程度和嘴部的张合程度，来识别驾驶员是否疲劳驾驶；通过连续多张图像中的头部方向，来判断驾驶员是否视线未直视前方，存在低头行为。
44.步骤2.4：识别出来的危险驾驶行为，通过语音播放模块7和屏幕显示模块8，进行语音播报和灯光闪烁提醒。
45.进一步将危险驾驶行为记录通过无线通讯模块6，连接物联网关9，上传到云端系统进行保存。
46.而且，判断行车安全，具体包含以下步骤：步骤3.1：在车辆行驶的过程中，视频采集端2中采集车辆行驶过程道路状况的高清视频摄像头，预先采集车辆前方的图像信息，并将图像信息传递给图像处理模块4进行处理。
47.步骤3.2：同样的，图像处理模块4对图像进行预处理，进行图像增强，以减少图像中的图像的噪声。图像处理模块4将处理之后的图像传递给驾驶行为识别模块3进行驾驶行为识别。
48.步骤3.3：驾驶行为识别模块3，识别图像中的物体，通过内置的模型，来判断车辆的行车安全，具体包含：对车辆前方车道图像进行处理获得车道数量、车道边线信息，并且进一步处理获得车道中的当前汽车位置，判断车辆是否在预定的一段时间内压到路面车道边线，来判断汽车是否偏离车道；对车辆前方行车图像进行处理，识别前方车辆、行人等障碍物，在一定时间或距离内，识别车辆是否存在潜在的碰撞危险。
49.步骤3.4：识别出来的行车安全提醒，通过语音播放模块7和屏幕显示模块8，进行语音播报和灯光闪烁提醒。
50.步骤3.5：进一步将行车安全提醒记录通过无线通讯模块6，连接物联网关9，上传到云端系统进行保存。
51.而且，提供语音播报和灯光提醒功能，具体包括：针对车载机器人识别的危险驾驶行为，车道偏离、碰撞事件行车安全事件，通过语音播放模块7进行语音播报，通过屏幕显示模块8进行灯光提醒；针对云端系统识别的违规出行分析、能源补给提醒，通过语音播放模块7进行语音播报提醒。
52.而且，提供实时视频监控，具体包括：管理人员在云端系统选择查看指定车辆的驾驶员驾车或者车辆前方行驶的监控视频，云端系统通过物联网关9向智能机器人下发指令，智能机器人接收到指令后，通过视频采集端2，采集对应的视频信息，通过智能机器人发送给云端系统，管理员通过云端系统实时监控。
53.而且，进行违规出行分析，具体包括：云端系统在接收到车辆轨迹，并且判断车辆
出行时，实时分析云端车辆出行申请数据，判断车辆是否存在用车申请，如果不存在，云端系统通过物联网关9向智能机器人下发未携工单出行警告，智能机器人通过语音播放模块7进行语音提醒，提醒驾驶员违规出行；云端系统接收到车辆轨迹，实时分析车辆轨迹，并且对比预先定义的敏感地点坐标，在预先定义的固定时间内，车辆轨迹在敏感地点坐标的固定范围内时，判断车辆存在敏感地点停放超时的驾驶行为，云端系统通过物联网关9向智能机器人下发敏感地点停放警告，智能机器人通过语音播放模块7进行语音提醒，提醒驾驶员违规出行。
54.而且，提供能源补给提醒，具体包括：当云端系统接收到用车申请，确定车辆需要出行时，通过用车申请中的出发地和目的地，预先计算车辆任务行程。燃油车辆出行时，通过云端系统收集到的车辆历史油耗信息，obd终端采集1实时上传的车辆油量，实时计算燃油是否满足行程要求，不满足时，云端系统通过物联网关9向智能机器人下发油量不足警告，智能机器人通过语音播放模块7进行语音提醒，提醒及时加油；电动车辆出行时，通过云端系统收集到的车辆历史耗电量信息，obd终端采集1实时上传的车辆剩余电量，实时计算电量是否满足行程要求，不满足时，云端系统通过物联网关9向智能机器人下发电量不足警告，智能机器人通过语音播放模块7进行语音提醒，提醒及时充电。
55.另外，本发明优选的各模块具体型号如下：obd终端采集，y-box400；视频采集端，hdl-6624hc；本地存储模块，金士顿sdc10；无线通讯模块，华为me909s-821；语音播放模块，lm1875t；屏幕显示模块，sdwn035t63t。
56.最后，本发明的未述之处均采用现有技术中的成熟产品及成熟技术手段。
57.应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。