一种无人巡逻车控制系统及无人车的制作方法

1.本发明涉及无人车控制技术领域，具体涉及一种无人巡逻车控制系统及无人车。


背景技术：

2.目前无人驾驶技术尚未完全成熟，偶有发生无人驾驶车引发事故等情况，说明行车期间需要通过安装激光雷达等辅助驾驶。部分传统汽车安装了行车记录仪，通常却只能作为交通事故等视频取证之用。更重要的是因缺少技术方案的引导和与现有成熟产品的融合，无人驾驶车的用途和价值并未被明显发掘和广泛应用。
3.目前为了城市的安全，城市都会有城管或者协警驾驶巡逻车在城市各处巡逻，以便及时发现城市存在安全隐患的问题，并且现场解决以保障城市的安全，这种人工驾驶巡逻车巡查的方式需要耗费巨大的人力资源成本。
4.因此目前虽然无人驾驶技术逐步成熟，但是无人驾驶技术还仅限于车辆的无人化驾驶，还并未应用到城市安全管理上。


技术实现要素：

5.本发明主要解决的技术问题是现有的人工驾驶巡逻车巡查的方式需要耗费巨大的人力资源成本。
6.一种无人巡逻车控制系统，包括：监控子系统、智能分析子系统、研判子系统、执行子系统；所述监控子系统用于获取无人巡逻车当前行驶环境的视频流；所述智能分析子系统用于对所述视频流进行解码以及分析，得到分析结果；所述研判子系统用于对所述分析结果进行判断以得到相应的控制指令；所述执行子系统用于执行所述控制指令以控制无人巡逻车工作。
7.在一种实施例中，所述智能分析子系统包括抽帧模块和识别标注模块；所述抽帧模块用于对所述视频流进行抽帧操作，以将所述视频流转换成目标图片；所述识别标注模块用于对所述目标图片进行实时识别和分析，得到分析结果，并根据所述分析结果对对应的目标图片进行标注，得到已标注的静态图像；所述研判子系统用于对所述已标注的静态图像进行判断得到判断结果，然后根据所述判断结果生成对应的控制指令。
8.在一种实施例中，所述智能分析子系统还包括转码模块，所述转码模块用于在对所述视频流进行抽帧操作之前，对所述视频流进行转码操作，使得转码后的视频流的协议满足预设的要求。
9.在一种实施例中，所述对所述目标图片进行实时识别和分析，得到分析结果，并根据所述分析结果对对应的目标图片进行标注，得到已标注的静态图像包括：将目标图片输入到已训练好的识别标注模型中，所述识别标注模型用于对所述目
标图片进行特征提取以得到特征信息，然后根据所述特征信息判断当前目标图片是否满足目标特征，若满足则将当前目标图片标注为正样本静态图像；否则标注为负样本静态图像；所述已标注的静态图像包括所述正样本静态图像和负样本静态图像。
10.在一种实施例中，在对所述视频流进行抽帧操作，以将所述视频流转换成目标图片时，还同步提取用于获取目标图片对应的设备id以及获取时间，将所述设备id和获取时间作为该目标图片对应的标签；在输出所述已标注的静态图像之后还包括：根据标注为正样本静态图像的当前目标图片对应的标签确定该正样本静态图像对应的目标图片；在一个预设的视频合成周期内，采用所述正样本静态图像取代视频合成周期内所有目标图片中该正样本静态图像对应的未标注的目标图片；并将所述正样本静态图像和未被取代的目标图片进行合成，得到标注视频流。
11.在一种实施例中，所述研判子系统还用于对所述标注视频流进行判断得到判断结果，然后根据所述判断结果生成对应的控制指令。
12.在一种实施例中，还包括视觉机器学习平台；所述视觉机器学习平台用于根据所述正样本静态图像和/或负样本静态图像进一步训练所述识别标注模型，以完成对该识别标注模型的升级。
13.在一种实施例中，所述监控子系统包括深度相机、短基线立体相机、红外相机、车载摄像机、手机、带摄像头的平板电脑、具有夜视功能的网络摄像机中的一种或多种。
14.在一种实施例中，所述研判子系统中预设有判断策略；所述研判子系统根据预设的判断策略对所述静态图像和/或标注视频进行判断从而得到所述判断结果；所述研判子系统还用于，在根据预设的判断策略对所述静态图像和/或标注视频进行判断未得到判断结果时，将所述静态图像和/或标注视频发送给人工判断模块，以使得工作人员及时进行人工判断而得到所述控制指令。
15.一种无人巡逻车，包括如上所述的控制系统。
16.依据上述实施例的无人巡逻车控制系统,其包括：监控子系统、智能分析子系统、研判子系统、执行子系统。设置在无车驾驶车辆上的监控子系统用于获取无人车当前行驶环境的视频流；智能分析子系统用于对视频流进行解码以及分析，得到分析结果；研判子系统用于对分析结果进行判断以得到相应的控制指令；执行子系统用于执行控制指令以控制无人巡逻车工作，例如控制无人巡逻车设法逼停或跟踪在逃嫌疑人员驾驶的车辆等。因此采用本技术的无人巡逻车控制系统，可以实现无人巡逻，节约了人力资源成本。
附图说明
17.图1为本技术实施例的控制系统结构框图；图2为本技术实施例的智能分析子系统结构框图；图3为本技术实施例的执行子系统结构框图；图4为本技术实施例的控制系统组网示意图；图5为本技术另一个实施例的控制系统组网示意图；
图6为本技术另一个实施例的控制系统组网示意图。
具体实施方式
18.下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本技术能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本技术相关的一些操作并没有在说明书中显示或者描述，这是为了避免本技术的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
19.另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
20.本技术将无人驾驶技术和深度学习技术相结合，提出一种无人巡逻车的控制系统，基于深度学习技术实时获取环境信息，然后通过智能研判技术来对环境信息进行实时判断以做出对应的控制指令，然后通过该控制指令来控制无人车的执行子系统工作，以完成相应的动作。这样可以实现无人化巡逻，节约了人力成本。
21.另外，现有技术中对视频流进行目标检测由于容易漏检而导致检测精度不高，为了解决现有技术中检测精度不高的技术问题，本技术中在对环境信息进行智能识别分析时，将动态的视频流转换成静态的图片，然后对静态图片进行识别和分析，得到分析结果后对目标图片进行标注，最后输出已标注的静态图像，这样在保证检测的实时性的同时，降低漏检率，使得检测结果更加精确。另外，由于视频流一般占用带宽较大且视频流的url（统一资源定位器）经常变化，这样导致对视频流的解析经常失败，也会导致通过视频流进行解析检测失败而影响检测精度，本技术将视频流转换成图片后，传输和解析更加稳定，也避免了解析失败的情况。
22.实施例一：请参考图1，本实施例提供一种无人巡逻车控制系统,其包括：监控子系统101、智能分析子系统102、研判子系统103、执行子系统104。
23.其中，监控子系统101用于获取无人车当前行驶环境的视频流。智能分析子系统102用于对视频流进行解码以及分析，得到分析结果。研判子系统103用于对分析结果进行判断以得到相应的控制指令；执行子系统104用于执行控制指令以控制无人巡逻车工作。
24.其中，本实施例的监控子系统101包括至少1个监控装置（即视频获取装置），例如包括深度相机、短基线立体相机、红外相机、车载摄像机、手机、带摄像头的平板电脑等和夜视功能的网络摄像机中的一种或者多种。一般的，在无人驾驶车辆上设有多个高精度的视频获取装置，用来实时地获取车辆周围环境的视频流。
25.其中，智能分析子系统102可以设置在无人驾驶车内，也可以设置在远程的监控中心内，主要用于对视频流进行解析和分析，得到视频流中的特征信息。如图2，本实施例的智能分析子系统102包括抽帧模块1021和识别标注模块1022。抽帧模块1021用于对视频流进
行抽帧操作，以将视频流转换成目标图片；其中，抽帧的频率可以根据不同的应用场景需求来设置，例如抽帧频率为：1帧/秒、25帧/秒、1帧/20秒中的一种。
26.识别标注模块1022用于对目标图片进行实时识别和分析，得到分析结果，并根据分析结果对对应的目标图片进行标注，得到已标注的静态图像；研判子系统103用于对已标注的静态图像进行判断得到判断结果，然后根据所述判断结果生成对应的控制指令。
27.在另一种实施例中，智能分析子系统102还包括转码模块1020，转码模块1020用于在对视频流进行抽帧操作之前，对视频流进行转码操作，使得转码后的视频流的协议满足预设的要求。
28.本实施例中，对目标图片进行实时识别和分析，得到分析结果，并根据分析结果对对应的目标图片进行标注，得到已标注的静态图像包括：将目标图片输入到已训练好的识别标注模型中，识别标注模型用于对目标图片进行特征提取以得到特征信息，然后根据特征信息判断当前目标图片是否满足目标特征，若满足则将当前目标图片标注为正样本静态图像；否则标注为负样本静态图像。需要说明的是，本实施例的正样本和负样本是根据目标的特征信息而人为设定的，没有具体的限制作用。识别标注模型用于对目标图片进行特征提取以得到特征信息，然后根据特征信息判断当前目标图片是否满足目标特征，若满足则将当前目标图片标注为正样本静态图像；否则标注为负样本静态图像；本实施例中的已标注的静态图像包括正样本静态图像和负样本静态图像。具体实现时，例如拉取1路视频流做轮巡分析：智能分析子系统102上部署多个容器，将接入、解码、管理、算法、接出、数据库等服务部署到容器中。视频流方式接入设备后，绑定能力集（即识别标注模型）、绑定静态库、上传照片到静态库、调整告警阈值、设置输出结果格式。例如绑定用于辅助驾驶的能力集为最佳车辆行人避让检测、车辆行人重识别、跟踪比对、虚化其它车道来往车辆、重点关注当前车道（路标、红绿灯、交警指挥手势、实线、人行道、行人、大型动物、较大障碍物）和前方车辆（与前方车辆车轮或车牌的距离、速度）；绑定用于街道违规识别的能力集为行人倒地、路面积水、烟雾识别、明火识别等。例如绑定的能力集为车辆入侵、行人入侵检测、去重识别、前后帧比对，检测所有车辆、人员目标，减少动态分析中可能漏检或漏报的目标，从而提高召回率。基于相同的硬件设备，采用本实施例的将动态视频流转换为静态的图像进行分析时，可以同时接入和分析更多路的视频流。同理的，对于现在需要性能不是很高的老旧设备，采用本技术的方法，可以使得其的性能发挥出和现有的高性能同样的技术效果，即检测识别速度跟的上现有配置较高的设备。另外，对于一些需要同时进行数据传输和存储的设备来说，采用本实施例的转换方法后得到的正样本静态图像，其存储时占用空间比视频流小的多，因此同样的存储容量的硬件设备可以存储更长时间的采集信息。如果需要将检测到的信息发送给远程平台时，本实施例的正样本静态图像占用的带宽资源更小，传播速度更快，且传输更加稳定。
29.在一种实施例中，对视频流进行抽帧操作，以将视频流转换成目标图片时，还同步提取用于获取目标图片对应的设备id以及获取时间，例如，本实施例中抽帧频率的频率配置为25帧/秒，通过视频流抽帧或截图方式采集原始图片，原始图片命名中含有设备id、抽帧（截图）时间。将设备id和获取时间作为该目标图片对应的标签；在输出已标注的静态图像之后还包括：根据标注为正样本静态图像的当前目标图片对应的标签确定该正样本静态图像对应的目标图片；在一个预设的视频合成周期内，采用正样本静态图像取代视频合成
周期内所有目标图片中该正样本静态图像对应的未标注的目标图片；并将正样本静态图像和未被取代的目标图片进行合成，得到标注视频流。由于标签在图像处理过程中的不变性，因此正样本静态图像对应的标签就是其对应的目标图片对应的标签。每个目标图片对应的标签在图像处理过程中不会变化，基于此可以找到对应的一组目标图片和正样本静态图像。例如，输出一段时间内连续3~5张违规结果图片（即正样本静态图像）和带标注视频流，为执法提供证据支撑。本实施例进行轮巡分析，每个接入线程分为打开视频流、抽帧解析视频流、关闭视频流三个步骤，默认5min轮巡周期内只解析1张，可以极大降低了存储空间、网络流量和传输延时。
30.在一种实施例中，研判子系统还103用于对标注视频流进行判断得到判断结果，然后根据判断结果生成对应的控制指令。可以理解的是，智能分析子系统102输出的可以为已标注的静态图像或标注视频流，最优选择的是智能分析子系统102可以同时输出静态图像和标注视频流，研判子系统还103可以根据静态图像和标注视频流的标注信息（即标注的特征信息）来判断需要进行那种控制指令。
31.在一种实施例中，本实施例的系统还包括视觉机器学习平台105；视觉机器学习平台105用于根据正样本静态图像进一步训练识别标注模型，以完成对该识别标注模型的升级。例如，视觉机器学习平台105周期性的对识别标注模型进行训练，然后采用远程技术将识别标注模型的升级版本包下发给智能分析子系统102，以完成对识别标注模型的升级，使得识别标注模型使得的精度更高，同时可识别的场景也更多。例如，远程技术中心人员，通过登录跳板机上传升级版本包和一键升级脚本，连接智能分析子系统102（也可以理解为智能发现分析一体机）拷贝版本包和脚本，并执行脚本，将最新训练的算法模型部署到智能发现分析一体机上。或者每次开发人员提交新代码，触发自动打包，并将版本包和脚本自动上传跳板机和执行一键部署脚本。
32.其中，本实施例的研判子系统103中预设有判断策略（即判断方法），研判子系统103根据预设的判断策略对静态图像和标注视频进行判断从而得到判断结果。其中，判断结果包括车辆是否发生异常、是否有行人入侵、是否发生火灾、是否发生水灾等，例如若检测到有行人入侵，则发送控制指令为减速或者停车。无人驾驶过程中提前发现红灯（或黄灯）、有人行道、行人、动物、与前方车辆车距过小或道路拥堵时进行提前减速或停车避让。
33.研判子系统103还用于在根据预设的判断策略对静态图像和标注视频进行判断未得到判断结果时，将静态图像和标注视频发送给人工判断模块或者监控中心的用户端，以使得工作人员及时进行人工判断而得到控制指令。超出智能无人巡逻车预设的自控场景的情况，监控中心人员可以通过标注视频流或接收研判子系统103推送的告警后远程操纵或指令控制控制巡逻车的操控动作，例如通过回传视频数据监控到需帮人员情况，给予帮助人员对应的救援服务，例如检测到街头倒地醉酒人员或流浪时汉呼叫救护中心或红十字会等慈善机构，搭载行动不便、生病受伤的人员、健康码为黄码及红码人员，并远程设置线路图护送至指定医院等地点、为暴雨涉水熄火车辆提供牵引或者救援工具、救生衣、游泳圈等、发生自燃车辆及人员提供灭火器、呼叫消防中心支援等。
34.其中，执行子系统104根据无人巡逻车的实际需求设置，其至少包括无人驾驶辅助系统和救援救灾装置，另外还包括巡逻常用的辅助装置。例如包括用于火灾救援的自动灭火装置、用于涉水牵引车辆的牵引装置、自动开关车门装置等。请参考图3，例如执行子系统
104包括拨号呼叫装置、车载硬盘录像机、灯光/防撞装置、警报/喇叭装置、防雨/防雾装置、发动机装置、自动牵引装置、自动门装置、充电供电装置、救援救灾工具、供暖散热装置、消毒杀菌装置、无人驾驶系统模块、辅助驾驶系统模块。
35.在一种实施例中，如图4，监控子系统101和执行子系统104设置在无人巡逻车端，而将智能分析子系统102和研判子系统103设置在远程监控中心，监控子系统101和执行子系统104通过无线通信技术与智能分析子系统102通信连接以传输信息。
36.在另一种实施例中，如图5，监控子系统101、智能分析子系统102、执行子系统104均设置在无人巡逻车端，而将研判子系统103设置在远程监控中心，监控子系统101、智能分析子系统102、执行子系统104通过无线通信技术与研判子系统103通信连接以传输信息。
37.在另一种实施例中，将监控子系统101、智能分析子系统102、研判子系统103、执行子系统104均设置在无人巡逻车端。
38.在一种实施例中，本实施的智能分析子系统102集成在智能分析一体机内，本实施例以配置rtx2080 gpu显卡的一体机为例进行说明，经过多次实验本实施的一体机的最大负载为32路视频流实时解析（不会超过36路）或者5min周期静态巡检300路；而一体机处理静态图片的性能测试结果为tps（并发量）=40张/秒，意味着一体机每秒最大可以吞吐和处理图片40张。如果能够将动态视频流全部转为静态图片接入方式处理，按照5min巡检周期计算，一体机理论上可以最大处理40张/秒*300秒=12000张。一体机性能也受网口和带宽限制，1路1980*1080像素的视频流接入占用带宽约1~2mb，标配一体机默认是千兆网口，理论上至少可以支持1000mb/2mb/路=500路视频流。即使按每秒抽1帧的方式进行处理，5min周期也可以并发40路（大于32路）视频流接入，从而实现将静态分析引擎作为动态分析引擎使用的方法。如图6为本实施例的系统工作时的组网示意图，无人驾驶控制系统以及网络摄像机通过无线网络与管理服务器和智能发现分析一体机通信连接，管理服务器用于对网络摄像机采集的视频流进行储存，智能发现分析一体机用于对视频流进行实时分析，用户可以通过监控显示器查看分析结果。
39.以下结合具体的场景对本技术的控制系统工作流程进行说明。
40.s1、将远程监控中心中的智能分析子系统102和无人驾驶车完成远程对接，将无人驾驶中车中的视频监控装置（夜视网络摄像机）以图片接入方式接入智能分析子系统102，并设定智能分析子系统102的抽帧频率为1帧/秒，绑定路面积水、内涝识别、行人倒地、人员入侵、最佳车辆入侵、压实线检测等能力集。
41.s2、白天，无人巡逻车在充电桩自动充满电后，由监控中心发送远程指令，自动完成胎压、电量、灯光、刹车自检，检查车门是否自动关闭，自动开锁并启动发动机。
42.s3、根据设定的巡逻路线（或者固定轨道）进行行驶，行驶过程中实时采集当前行驶环境视频流，视频流通过无线网络传输至监控中心进行分析和监控。
43.s4、可选的，根据雷达传感器装置和智能发现分析子系统的准实时分析结果，进行避障、避免压实线。
44.s5、中途监测到车辆的电量快要超过可以返回（已设定的）指定地点的所需的耗电量时，则提醒监控中心是否返航。否则，直至电量不足，寻找最近的充电桩或加油（或天然气）站，然后自动泊车，进行续航充电。
45.s6、到了晚上，检测到光线较暗时候，自动开启灯光装置，根据照明情况自动选择
远光灯还是近光灯，远光灯如遇到对面来车等情况则切换到近光灯。
46.s7、夜间，无人巡逻车，通过上传视频流并接收智能分析子系统102分析的返回结果，及时发现路面积水等情况。如果遇到桥下或隧道中已经形成内涝，则自动减速慢行并开启巡逻警报灯和报警器，并通过监控中心及时发布暴雨警报，通知来往车辆和行人注意安全和选择其他路线；遇到涉水停下的车辆，减速靠近，并自动伸出牵引杆，通过吸盘（逐渐靠近另一辆车，排空气体，牢牢吸住）或挂钩（牵引杆的前端钩锁自动闭合）等方式完成与涉水车辆的牵引。如果遇到人员倒地或者老弱病残孕需要送往医院或隔离场所等情况，自动停车后、自动开启车门，待人员确认入座后，自动系上安全带，并开启救护车警报、喇叭开道，待到达目的地后自动停车、泊车、松开安全带与开门，待人员离开后关门，继续巡逻、并进行自动杀菌、消毒。
47.s9、另外，升级维护或维修期间，对智能分析子系统102中的识别标注模型在线自动升级。
48.采用本实施例的无人巡逻车控制系统，将无人驾驶和智能识别分析技术相结合，可以实现智能巡逻，及时发现环境中的信息，给需要提供帮助的场景或者人提供帮助，节约了人力成本。
49.实施例二：本实施例提供一种无人巡逻车，其包括如上实施例一提供的控制系统。
50.以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。