基于视觉与雷达的路况监控方法及系统、设备与流程

1.本发明涉及路况监控技术领域，尤其涉及一种基于视觉与雷达的路况监控方法及系统、设备及存储介质。


背景技术：

2.道路是城市的一个重要部分，随着社会的发展和监管部门对道路交通数据实时化采集需求的提升，新型的道路智慧化监控建设是目前智能化趋势的重要方向。目前道路监控设备主要是监控相机、道路结构化相机等。
3.目前用于道路交通监控的设备，存在着信息采集覆盖不足、数据整合难的问题；缺乏智能化监控、智慧化调度的能力；对于道路实时的智能识别还不足；道路信息实时融合，道路险情、交通拥堵的预判和预警能力需要进一步提升。


技术实现要素：

4.为此，本发明目的在于至少一定程度上解决现有技术中的不足，从而提出一种基于视觉与雷达的路况监控方法及系统、设备及存储介质。
5.第一方面，本发明提供了一种基于视觉与雷达的路况监控方法，所述方法包括：
6.实时获取路面的监控视频，通过预设的模型获取所述监控视频中的所有车辆的第一属性，所述第一属性至少包括所述所有车辆在图像坐标系中的位置坐标；
7.通过毫米波雷达扫描所述路面，得到所述路面的所述所有车辆的第二属性，所述第二属性至少包括所述所有车辆在极坐标系中的位置坐标；
8.根据标定关系将所述所有车辆在所述极坐标系中的位置坐标转换为所述图像坐标系中的位置坐标，得到所述所有车辆在所述监控视频与所述毫米波雷达之间的对应关系；
9.根据所述对应关系将所述所有车辆的第一属性和第二属性进行融合，得到所述所有车辆的车况信息；
10.根据所述车况信息判断相应的路况信息，根据所述路况信息进行相应的预警措施。
11.第二方面，本发明提供了一种基于视觉与雷达的路况监控方法，所述系统包括：
12.视觉模块：用于实时获取路面的监控视频，通过预设的模型获取所述监控视频中的所有车辆的第一属性，所述第一属性至少包括所述所有车辆在图像坐标系中的位置坐标；
13.雷达模块：用于通过毫米波雷达扫描所述路面，得到所述路面的所述所有车辆的第二属性，所述第二属性至少包括所述所有车辆在极坐标系中的位置坐标；
14.转换模块：用于根据标定关系将所述所有车辆在所述极坐标系中的位置坐标转换为所述图像坐标系中的位置坐标，得到所述所有车辆在所述监控视频与所述毫米波雷达之间的对应关系；
15.融合模块：用于根据所述对应关系将所述所有车辆的第一属性和第二属性进行融合，得到所述所有车辆的车况信息；
16.预警模块：用于根据所述车况信息判断相应的路况信息，根据所述路况信息进行相应的预警措施。
17.第三方面，本发明还提供了一种基于视觉与雷达的路况监控设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如第一方面所述的基于视觉与雷达的路况监控方法中的各个步骤。
18.第四方面，本发明还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如第一方面所述的基于视觉与雷达的路宽监控方法中的各个步骤。
19.本发明提供了一种基于视觉与雷达的路况监控方法，该方法包括：实时获取路面的监控视频，通过预设的模型获取监控视频中的所有车辆的第一属性，第一属性至少包括所有车辆在图像坐标系中的位置坐标；通过毫米波雷达扫描路面，得到路面的所有车辆的第二属性，所述第二属性至少包括所有车辆在极坐标系中的位置坐标；根据标定关系将所有车辆在极坐标系中的位置坐标转换为图像坐标系中的位置坐标，得到所有车辆在监控视频与所述毫米波雷达之间的对应关系；根据对应关系将所有车辆的第一属性和第二属性进行融合，得到所有车辆的车况信息；根据车况信息判断相应的路况信息，根据路况信息进行相应的预警措施。通过本发明提供的方法，通过监控视频和毫米波雷达的标定与匹配，整合每一辆车的特征信息，可及时发现路上的各种违规行为，为监管部门和出行人员提供有效的道路信息；且可以获取路面过往车辆的路况信息，可根据路况信息完成智能化信息的融合与交通调度，更好的实现交通险情、拥堵等方面的预警效果。
附图说明
20.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
21.图1为本发明的基于视觉与雷达的路况监控方法的流程示意图；
22.图2为本发明的基于视觉与雷达的路况监控方法的子流程示意图；
23.图3为本发明的基于视觉与雷达的路况监控方法的另一子流程示意图；
24.图4为本发明的基于视觉与雷达的路况监控方法的程序模块示意图。
具体实施方式
25.为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
26.请参照图1，图1为本技术实施例中基于视觉与雷达的路况监控方法，在本实施例中，上述基于视觉与雷达的路况监控方法包括：
27.步骤101、实时获取路面的监控视频，通过预设的模型获取所述监控视频中的所有车辆的第一属性，所述第一属性至少包括所述所有车辆在图像坐标系中的位置坐标。
28.在本实施例中，实时获取某一段路面的监控视频，且获取监控视频中的每一帧图像，通过预先的训练的模型获取当前的监控视频中所有的车辆的第一属性，通过模型在监控视频中的每一帧图像识别出每一车辆的第一属性，第一属性中至少包括每一车辆在图像坐标系中的位置坐标。
29.步骤102、通过毫米波雷达扫描所述路面，得到所述路面的所述所有车辆的第二属性，所述第二属性至少包括所述所有车辆在极坐标系中的位置坐标。
30.在本实施例中，在通过预设的模型获取监控视频中的所有车辆的第一属性时，毫米波雷达同时在对受监控的路面进行扫描，检测出当前时刻路面上的所有车辆，并获取所有车辆的第二属性，第二属性至少包括每一车辆在极坐标系中的位置坐标。其中，路面的监控视频中所获取到的所有车辆与毫米波雷达在受监控的路面中所扫描到的所有车辆是相同的。
31.步骤103、根据标定关系将所述所有车辆在所述极坐标系中的位置坐标转换为所述图像坐标系中的位置坐标，得到所述所有车辆在所述监控视频与所述毫米波雷达之间的对应关系。
32.在本实施例中，在步骤101和步骤102中分别通过监控视频和毫米波雷达获取了所有车辆的图像坐标系下的位置坐标和极坐标系下的位置坐标后，通过标定关系，将所有车辆在极坐标系下的位置坐标转换为图像坐标系下的位置坐标，使得同一车辆在图像坐标系和极坐标系同步，可得到毫米波雷达检测的车辆，在监控视频中的具体位置，即得到了所有车辆在监控视频中与毫米波雷达之间的对应关系。
33.在本实施例中，具体的标定方法为：选用单点雷达与单点监控设备的联合标定。通过射影变换，将极坐标系中的(u1,v1)变换到图像坐标系中相应的坐标(u2,v2)。其中变换过程用到的是3*3的单应性矩阵h，因此标定的工作主要是计算该矩阵，其变换算法如下。
[0034][0035]
标定时，为抑制噪声提高计算准确性，选用多个点(例如10个)对来计算单应性矩阵h，同时使用ransac方法，来求解出该矩阵最优解，就可通过一车辆在极坐标系中的位置坐标，从而得到该车辆在图像坐标系中的位置坐标。
[0036]
步骤104、根据所述对应关系将所述所有车辆的第一属性和第二属性进行融合，得到所述所有车辆的车况信息。
[0037]
在本实施例中，根据步骤103所得到的所有车辆在监控视频与毫米波雷达之间的对应关系，通过监控视频获取到了所有车辆的第一属性，通过毫米波雷达获取到了所有车辆的第二属性，根据所有车辆在监控视频与毫米波雷达之间的对应关系，对应的将所有车辆的第一属性和第二属性进行融合，融合之后，就可得到所有车辆的车况信息。例如，监控视频中获取到了a车是红色的，b车是黄色的，毫米波雷达获取到了a’车的速度是60km/h，b’车的速度是70km/h，根据步骤103中的对应关系，可知毫米波雷达中的a’车实际上是监控视频中的a车，毫米波雷达中的b’车实际上是监控视频中的b车，对a车、b车的第一属性、第二
属性进行融合之后，可得到a车是红色的，运行速度为60km/h，b车是黄色的，运行速度为70km/h，车辆的外观以及运行速度等组成了车辆的车况信息。
[0038]
在本实施例中，通过匈牙利匹配算法将所有车辆的第一属性、第二属性进行匹配，被检测路面上的的所有车辆的图像坐标位置与每辆车相对应的第一属性、第二属性均显示在监控视频中；通过毫米波雷达和监控视频的分析，选用各自擅长的检测分析方向，并通过所有车辆信息在不同坐标系中的整合，实现更准确的实时检测结果，可及时发现被检测路面上的各种违规行为。
[0039]
步骤105、根据所述车况信息判断相应的路况信息，根据所述路况信息进行相应的预警措施。
[0040]
在本实施例中，根据所有车辆的车况信息就可得到被检测的路面的路况信息，根据被检测的路面上的车辆的数量、速度等信息，可知被检测的路面是否存在堵车或车祸等路况信息，根据被检测的路面的路况信息进行相应的预警措施，例如进行交通调度。
[0041]
本技术实施例提供了一种基于视觉与雷达的路况监控方法，该方法包括：实时获取路面的监控视频，通过预设的模型获取监控视频中的所有车辆的第一属性，第一属性至少包括所有车辆在图像坐标系中的位置坐标；通过毫米波雷达扫描路面，得到路面的所有车辆的第二属性，所述第二属性至少包括所有车辆在极坐标系中的位置坐标；根据标定关系将所有车辆在极坐标系中的位置坐标转换为图像坐标系中的位置坐标，得到所有车辆在监控视频与所述毫米波雷达之间的对应关系；根据对应关系将所有车辆的第一属性和第二属性进行融合，得到所有车辆的车况信息；根据车况信息判断相应的路况信息，根据路况信息进行相应的预警措施。通过本发明提供的方法，通过监控视频和毫米波雷达的标定与匹配，整合每一辆车的特征信息，可及时发现路上的各种违规行为，为监管部门和出行人员提供有效的道路信息；且可以获取路面过往车辆的路况信息，可根据路况信息完成智能化信息的融合与交通调度，更好的实现交通险情、拥堵等方面的预警效果。
[0042]
进一步地，所述第一属性至少包括所述所有车辆的id；所述第二属性至少包括所述所有车辆相应的速度和所述所有车辆之间的车距。
[0043]
在本实施例中，通过监控视频获取的第一属性不仅仅只包括所有车辆在图像坐标系中的位置坐标、所有车辆的id(即车辆的车牌)，还包括所有车辆的颜色、行车方向、品牌等多个所有车辆的第一属性；由于毫米波雷达对纵深方向的敏感度远高于对视频检测，所以通过毫米波雷达用于检测所有车辆的速度和所有车辆之间的车距。
[0044]
进一步地，参照图2，图2为本技术实施例的子流程示意图，在本实施例中，根据所述对应关系将所述所有车辆的第一属性和第二属性进行融合，得到所述所有车辆的车况信息包括：
[0045]
步骤201、根据所述所有车辆的id以及所述所有车辆的速度进行融合；
[0046]
步骤202、得到所述所有车辆的车况信息，所述车况信息至少包括车流量和平均车速。
[0047]
在本实施例中，将通过监控视频获取得到的所有车辆的id和通过毫米波雷达获取到的所有车辆的速度融合之后，就可知道被检测的路面上的每一辆车对应的速度，就可获取被检测的路面上的所有车辆的行驶状态，在固定的时间间隔内，还可计算出被检测路面的车流量和平均速度，得到被检测路面在一段时间内的车流量和平均速度后，就可判断被
检测路面的路况情况，并可根据被检测路面的路况情况进行相应的预警，分析同一路段，一定时间内的车辆id、速度等信息，可实时获取当前道路情况。
[0048]
进一步地，根据所述路况信息进行相应的预警措施之后包括：
[0049]
上传所述路况信息。
[0050]
在本实施例中，获取了被检测路面的路况情况之后，将路况情况上传至大数据平台，及时发布路面情况，实现高效的路况信息反馈，为监管部门和出行人员提供有效的道路信息。
[0051]
进一步地，参照图3，图3为本技术实施例的另一子流程示意图，在本实施中，通过毫米波雷达扫描所述路面，得到所述路面的所述所有车辆的第二属性还包括：
[0052]
步骤301、通过所述毫米波雷达实时探测所述毫米波雷达的检测范围内是否存在异物；
[0053]
步骤302、若所述异物距离所述毫米波雷达的距离小于预设距离时，则计算所述异物的面积与所述毫米波雷达的检测范围的面积比；
[0054]
步骤303、若所述面积比大于预设遮挡面积比，则判定所述毫米波雷达被遮挡并进行警报。
[0055]
在本实施例中，毫米波雷达在检测被检测路面的情况时，实时探测被检测路面是否存在异物，先检测异物离毫米波雷达的距离是否小于预设距离，若是，再计算异物的面积与毫米波雷达可检测范围的面积比，若面积比大于预设遮挡面积比，则说明毫米波雷达被异物遮挡，则会发出相应的警报，提示工作人员进行遮挡物的清理。
[0056]
进一步地，预设模型至少包括机动车与非机动车检测深度学习模型、神经网络非机动车属性分类模型、神经网络机动车属性分类模型和车牌文字识别模型。
[0057]
在本实施例中，机动车与非机动车检测深度学习模型可检测监控视频中的每一帧图像中所有车辆在图像坐标系中的位置坐标，其中，机动车与非机动车检测深度学习模型可为yolo(you only look once)、ssd(single shot multibox detector，通用物体检测算法)，对此不作限定。神经网络非机动车属性分类模型可识别出每一非机动车的颜色、人员佩戴安全帽、速度等信息；神经网络机动车属性分类模型可识别出每一机动车的颜色、行车方向、品牌等信息；车牌文字识别模型可识别出所有车辆的车牌id。
[0058]
在本实施例中，预设的模型可检测出车辆的各种违规行为，例如被检测路面上的所有车辆是否超速、逆行，或非机动车辆的人员是否未佩戴安全帽等违规行为。
[0059]
在本实施例中，通过使用预先训练的模型来检测出道路上各种车辆的位置信息，以及机动车与非机动车的多个第一属性。
[0060]
进一步地，根据所述对应关系将所述所有车辆的第一属性和第二属性进行融合，得到所述所有车辆的车况信息之后包括：
[0061]
存储所述所有车辆的车况信息。
[0062]
在本实施例中，存储所有车辆的车况信息用于今后的信息调用，及当前路况的分析，且联合监控车辆的实时情况，实现更广和更准确的监控覆盖。
[0063]
进一步地，本技术实施例还提供了一种基于视觉与雷达的路况监控系统400，图4为本技术实施例中基于视觉与雷达的路况监控的程序模块示意图，在本实施例中，上述基于视觉与雷达的路况监控系统400包括：
[0064]
视觉模块401：用于实时获取路面的监控视频，通过预设的模型获取所述监控视频中的所有车辆的第一属性，所述第一属性至少包括所述所有车辆在图像坐标系中的位置坐标；
[0065]
雷达模块402：用于通过毫米波雷达扫描所述路面，得到所述路面的所述所有车辆的第二属性，所述第二属性至少包括所述所有车辆在极坐标系中的位置坐标；
[0066]
转换模块403：用于根据标定关系将所述所有车辆在所述极坐标系中的位置坐标转换为所述图像坐标系中的位置坐标，得到所述所有车辆在所述监控视频与所述毫米波雷达之间的对应关系；
[0067]
融合模块404：用于根据所述对应关系将所述所有车辆的第一属性和第二属性进行融合，得到所述所有车辆的车况信息；
[0068]
预警模块405：用于根据所述车况信息判断相应的路况信息，根据所述路况信息进行相应的预警措施。
[0069]
本技术实施例提供了一种基于视觉与雷达的路况监控系统400，可以实现：实时获取路面的监控视频，通过预设的模型获取监控视频中的所有车辆的第一属性，第一属性至少包括所有车辆在图像坐标系中的位置坐标；通过毫米波雷达扫描路面，得到路面的所有车辆的第二属性，所述第二属性至少包括所有车辆在极坐标系中的位置坐标；根据标定关系将所有车辆在极坐标系中的位置坐标转换为图像坐标系中的位置坐标，得到所有车辆在监控视频与所述毫米波雷达之间的对应关系；根据对应关系将所有车辆的第一属性和第二属性进行融合，得到所有车辆的车况信息；根据车况信息判断相应的路况信息，根据路况信息进行相应的预警措施。通过本发明提供的方法，通过监控视频和毫米波雷达的标定与匹配，整合每一辆车的特征信息，可及时发现路上的各种违规行为，为监管部门和出行人员提供有效的道路信息；且可以获取路面过往车辆的路况信息，可根据路况信息完成智能化信息的融合与交通调度，更好的实现交通险情、拥堵等方面的预警效果。
[0070]
进一步地，本技术还提供一种基于视觉与雷达的路况监控设备，包括存储器、处理器、以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述的基于视觉与雷达的路况监控方法中的各个步骤。
[0071]
进一步地，本技术还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述的基于视觉与雷达的路况监控方法中的各个步骤。
[0072]
在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
[0073]
基于这样的理解，本发明的说明书技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0074]
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
[0075]
对于本领域的技术人员，依据本技术实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。