一种车辆异常变道的检测方法及装置与流程

1.本技术涉及车联网技术领域，尤其涉及一种车辆异常变道的检测方法及装置。


背景技术：

2.车路协同技术促进了汽车产业的创新发展，可对车辆异常变道行为进行实时检测，在提高交通效率和安全水平方面具有重要的意义。通常采用纯视频的方法检测车辆异常变道行为，但是由于视频采集设备的视距范围有限，且视频采集设备容易受到自然环境的影响(大雾、暴雨等)，检测的距离较短，且不能很好地确定车辆是否发生异常变道。
3.基于此，亟需一种新的车辆异常变道的检测方法以解决上述问题。


技术实现要素：

4.本技术提供一种车辆异常变道的检测方法及装置，以提高车辆异常变道的检测距离，进而提高异常变道的检测精度。
5.第一方面，本技术提供一种车辆异常变道的检测方法，该方法可通过电子设备来执行，该电子设备可以为计算终端等，执行如下：
6.针对第一道路监控区域，分别获取视频图像采集设备采集的第一数据以及雷达设备采集的第二数据；该第二数据中车辆的数量大于或等于该第一数据中车辆的数量；该第二数据包括车辆的运动属性信息；根据该第二数据以及该第一数据，确定该第一道路监控区域中的车辆的视频属性信息；根据该车辆的视频属性信息、该车辆的运动属性信息以及该第一道路监控区域中的车道信息，确定该第一道路监控区域中的车辆的异常变道情况。
7.本技术中，针对第一道路监控区域，电子设备可基于视频图像采集设备采集第一数据以及基于雷达设备采集第二数据，通常视频图像采集设备容易受环境以及本身视距的影响，采集的区域范围可能较短，雷达设备是通过发射电磁波等来进行目标(车辆)定位的，不会受到环境的影响且可采集更远距离的目标。基于此本技术通过雷达设备采集的第二数据调整视频图像采集设备采集的第一数据，通过该方式可以校正第一数据，使得电子设备可以获取更多的目标信息，从而实现对更远距离车辆的异常变道的监控，且基于车辆的视频属性信息、运动属性信息以及第一道路区域中的车道信息，电子设备可以确定第一道路监控区域中的各车辆的异常变道情况，该方式可以提高异常变道的检测精度。
8.在一种可选的方式中，在该视频图像采集设备的视距范围内，根据该车辆的视频属性信息，确定第一目标车辆；根据该第一目标车辆的运动属性信息以及该第一道路监控区域中的车道信息，确定该第一目标车辆的基准线与车道实线是否相交；若相交，则确定该第一目标车辆异常变道。
9.本技术在视频图像采集设备的视距范围内，根据第一目标车辆的基准线与车道实线的相交情况，确定第一目标车辆的异常变道情况，通过该方式可以提高异常变道的检测精度和检测效率。
10.在一种可选的方式中，在该视频图像采集设备的视距范围内，根据该车辆的视频
属性信息，确定第二目标车辆；在该视频图像采集设备的视距范围外，确定当前该第二目标车辆的运动属性信息；基于卡尔曼滤波算法预测该第二目标车辆在下一个雷达周期内所在的第一位置区域；获取该第二目标车辆在该下一个雷达周期所在的第二位置区域；若该第一位置区域与该第二位置区域不相同，且该第二位置区域与车道实线距离小于该第二目标车辆的宽度阈值，则确定该第二目标车辆异常变道。
11.本技术在视频图像采集设备的视距范围外，根据第二目标车辆在下一个雷达周期的预测位置区域与实际所在的位置区域的关系，确定第二目标车辆的异常变道情况，通过该方式可以提高异常变道的检测精度和检测效率。
12.在一种可选的方式中，根据该车辆的视频属性信息，确定异常变道车辆为第三目标车辆；该第三目标车辆为以下中的一种或多种：警车、救护车、消防车以及工程车；确定该第三目标车辆的经纬度坐标、车辆类型以及车牌信息。
13.本技术考虑到发生异常变道的行为可能为警车、救护车等特种车辆，可以进行标记，以便提醒智能车辆异常变道的车辆为特种车辆，在驾驶时注意避让。
14.在一种可选的方式中，将该第二数据中车辆所在的该雷达设备的坐标系的坐标值转换成像素坐标系的坐标值；该像素坐标系为该第一数据所在的坐标系；将该第二数据与该第一数据进行视频融合，确定该第一道路监控区域中的车辆数量，以及该第一数据中缺失车辆所在的区域；基于深度学习对该第一数据中缺失车辆所在的区域进行数据处理，确定该缺失车辆的颜色信息、车型信息、车牌信息等；根据该第一数据、该缺失车辆的颜色信息、车型信息、车牌信息，确定该第一道路监控区域中的车辆的视频属性信息；该视频属性信息包括：颜色信息、车型信息、车牌信息、数量信息等。
15.本技术将雷达设备的坐标系与像素坐标系进行转换，之后将第二数据与第一数据进行数据融合，以保证第一道路监控区域中可以检测出更多的车辆。
16.在一种可选的方式中，该第一道路监控区域中的车道信息是根据该第一道路监控区域的高精度地图确定的，或者通过视频图像算法对该第一道路监控区域的图像数据进行数据分析确定的。
17.通过获取车道信息可以准确地确定车辆是否存在异常变道的行为，可以提高数据处理效率。
18.在一种可选的方式中，将该第一道路监控区域中车辆异常变道情况，通知路侧设备。
19.通过该方式路侧设备可将车辆的异常变道情况通知智能车辆，以提醒智能车辆进行避让，确保安全驾驶。
20.在一种可选的方式中，通过第一转换矩阵将第二数据中车辆所在的雷达坐标系的坐标值转换成世界坐标系的坐标值；第一转换矩阵是基于雷达设备与视频图像采集设备的位置关系确定的；通过第二转换矩阵将世界坐标系的坐标值转换成视频图像采集设备所在坐标系的坐标值；第二转换矩阵与第一转换矩阵不同；采用预设规则将视频图像采集设备所在坐标系的坐标值转换成像素坐标系的坐标值。
21.通过该方式确定的第二数据在像素坐标系的坐标值更加准确可靠。
22.在一种可选的方式中，基于视频图像采集设备的焦距将视频图像采集设备所在坐标系的坐标值进行成像投影，得到视频图像采集设备的相平面坐标系的坐标值；基于视频
图像采集设备感光芯片上像素的大小、相平面坐标系的平面中心以及第二数据在相平面坐标系中的坐标值，确定第二数据离散化后在像素坐标系中的坐标值。
23.通过该方式确定的第二数据在像素坐标系的坐标值更加准确可靠。
24.第二方面，本技术提供一种车辆异常变道的检测装置，包括获取单元、第一确定单元以及第二确定单元。
25.其中，获取单元，用于针对第一道路监控区域，分别获取视频图像采集设备采集的第一数据以及雷达设备采集的第二数据；所述第二数据中车辆的数量大于或等于所述第一数据中车辆的数量；所述第二数据包括车辆的运动属性信息；第一确定单元，用于根据所述第二数据以及所述第一数据，确定所述第一道路监控区域中的车辆的视频属性信息；第二确定单元，用于根据所述车辆的视频属性信息、所述车辆的运动属性信息以及所述第一道路监控区域中的车道信息，确定所述第一道路监控区域中的车辆的异常变道情况。
26.本技术中，针对第一道路监控区域，电子设备可基于视频图像采集设备采集第一数据以及基于雷达设备采集第二数据，通常视频图像采集设备容易受环境以及本身视距的影响，采集的区域范围可能较短，雷达设备是通过发射电磁波等来进行目标(车辆)定位的，不会受到环境的影响且可采集更远距离的目标。基于此本技术通过雷达设备采集的第二数据调整视频图像采集设备采集的第一数据，通过该方式可以校正第一数据，使得电子设备可以获取更多的目标信息，从而实现对更远距离车辆的异常变道的监控，且基于车辆的视频属性信息、运动属性信息以及第一道路区域中的车道信息，电子设备可以确定第一道路监控区域中的各车辆的异常变道情况，该方式可以提高异常变道的检测精度。
27.在一种可选的方式中，第二确定单元，具体用于在该视频图像采集设备的视距范围内，根据该车辆的视频属性信息，确定第一目标车辆；根据该第一目标车辆的运动属性信息以及该第一道路监控区域中的车道信息，确定该第一目标车辆的基准线与车道实线是否相交；若相交，则确定该第一目标车辆异常变道。
28.在一种可选的方式中，第二确定单元，具体用于在该视频图像采集设备的视距范围内，根据该车辆的视频属性信息，确定第二目标车辆；在该视频图像采集设备的视距范围外，确定当前该第二目标车辆的运动属性信息；基于卡尔曼滤波算法预测该第二目标车辆在下一个雷达周期内所在的第一位置区域；获取该第二目标车辆在该下一个雷达周期所在的第二位置区域；若该第一位置区域与该第二位置区域不相同，且所述第二位置区域与车道实线距离小于所述第二目标车辆的宽度阈值，则确定该第二目标车辆异常变道。
29.在一种可选的方式中，第二确定单元，还用于根据该车辆的视频属性信息，确定异常变道车辆为第三目标车辆；该第三目标车辆为以下中的一种或多种：警车、救护车、消防车以及工程车；确定该第三目标车辆的经纬度坐标、车辆类型以及车牌信息。
30.在一种可选的方式中，第一确定单元，具体用于将该第二数据中车辆所在的该雷达设备的坐标系的坐标值转换成像素坐标系的坐标值；该像素坐标系为该第一数据所在的坐标系；将该第二数据与该第一数据进行视频融合，确定该第一道路监控区域中的车辆数量，以及该第一数据中缺失车辆所在的区域；基于深度学习对该第一数据中缺失车辆所在的区域进行数据处理，确定该缺失车辆的颜色信息、车型信息、车牌号信息；根据该第一数据、该缺失车辆的颜色信息、车型信息、车牌号信息，确定该第一道路监控区域中的车辆的视频属性信息；该视频属性信息包括：颜色信息、车型信息、数量信息及车牌号信息等。
31.在一种可选的方式中，该第一道路监控区域中的车道信息是根据该第一道路监控区域的高精度地图确定的，或者通过视频图像算法对该第一道路监控区域的图像数据进行数据分析确定的。
32.在一种可选的方式中，该装置还包括通知单元，用于将该第一道路监控区域中车辆异常变道情况，通知路侧设备。
33.在一种可选的方式中，第一确定单元，具体用于通过第一转换矩阵将第二数据中车辆所在的雷达坐标系的坐标值转换成世界坐标系的坐标值；第一转换矩阵是基于雷达设备与视频图像采集设备的位置关系确定的；通过第二转换矩阵将世界坐标系的坐标值转换成视频图像采集设备所在坐标系的坐标值；第二转换矩阵与第一转换矩阵不同；采用预设规则将视频图像采集设备所在坐标系的坐标值转换成像素坐标系的坐标值。
34.在一种可选的方式中，第一确定单元，具体用于基于视频图像采集设备的焦距将视频图像采集设备所在坐标系的坐标值进行成像投影，得到视频图像采集设备的相平面坐标系的坐标值；基于视频图像采集设备感光芯片上像素的大小、相平面坐标系的平面中心以及第二数据在相平面坐标系中的坐标值，确定第二数据离散化后在像素坐标系中的坐标值。
35.第三方面，本技术提供一种计算装置，包括：存储器以及处理器；存储器，用于存储程序指令；处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行第一方面所述的方法。
36.第四方面，本技术提供一种计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如第一方面所述的方法。
37.上述第二方面至第四方面可以达到的技术效果，请参照上述第一方面中相应可能设计方案可以达到的技术效果说明，本技术这里不再重复赘述。
38.本技术的其它特征和优点将在随后的说明书中阐述，并且部分地从说明书中变得显而易见，或者通过实施本技术而了解。本技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
39.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
40.图1为一种设备布设情况的示意图；
41.图2为本技术实施例提供的一种车辆异常变道的检测方法的流程示意图；
42.图3为本技术实施例提供的坐标转换流程的示意图；
43.图4为本技术实施例提供的坐标转换的示意图；
44.图5为本技术实施例提供的相机坐标系与相平面坐标系的转换示意图；
45.图6为本技术实施例提供的车辆检测示意图；
46.图7为本技术实施例提供的车辆检测示意图；
47.图8-1为本技术实施例提供的车辆检测示意图；
48.图8-2为本技术实施例提供的车辆检测示意图；
49.图9为本技术实施例提供的另一种车辆异常变道的检测方法的流程示意图；
50.图10为本技术实施例提供的车辆异常变道的检测装置的结构示意图；
51.图11为本技术实施例提供的一种计算设备的结构示意图。
具体实施方式
52.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
53.需要说明的是，本技术中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应所述理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
54.如背景技术所述，现有方案主要采用视频算法实现车辆异常变道检测，面临着一系列的实际困难和缺陷。
55.1)、光照、天气等环境因素对视频算法的检测精度影响较大，相同的车辆目标在不同光照、不同天气下的图像特征会发生巨大的变化，因此车辆目标视频检测算法往往会出现目标漏检、误检的情况，从而导致后续的异常变道检测精度较低。
56.2)、纯视频方案的有效检测距离受算法设计的影响，视频的最佳检测距离仅为50～70米，图像中像素较小的车辆目标不易被视频算法检出，因此极大的限制了视频算法的应用距离。
57.3)、视频算法的测速、测距能力较差，无法准确获取异常变道车辆的运动信息，在车路协同场景下，无法为其他的道路交通参与者提供准确的交通事件定位坐标。
58.为了解决上述的问题，本技术提出一种新的车辆异常变道的检测方法。
59.下面具体介绍车辆异常变道的检测过程。本技术下述实施例中，“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b的情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。以及，除非有相反的说明，本技术实施例提及“第一”、“第二”等序数词是用于对多个对象进行区分，不用于限定多个对象的顺序、时序、优先级或者重要程度。例如，第一任务执行设备和第二任务执行设备，只是为了区分不同的任务执行设备，而并不是表示这两种任务执行设备的优先级或者重要程度等的不同。
60.在本技术说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是
所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
61.如图1所示，在城市道路上布设毫米波雷达和视频摄像头，边缘计算终端(multi-acess edge computing，mec)实时获取摄像头采集的视频图像，以及毫米波雷达采集的数据。毫米波雷达是工作频段在毫米波频段的雷达。毫米波雷达可主动发射电磁波信号，并接收回波，根据发射接收电磁波信号的时间差，获得车辆目标的相对距离、相对速度和相对方向。通常毫米波雷达和视频摄像头可以布设在同一水平面如图1所示，也可以是其他位置，本技术在此不具体限定。mec可根据摄像头采集的视频图像以及毫米波雷达采集的数据进行数据分析，从而确定车辆的异常变道情况。
62.如图2所示，本技术提供一种车辆异常变道的检测方法，该方法可通过电子设备来执行，也可通过服务器来执行，本技术在此不具体限定，如上述的mec等。在此以电子设备为例，可执行如下：
63.步骤201，针对第一道路监控区域，分别获取视频图像采集设备采集的第一数据以及雷达设备采集的第二数据；第二数据中车辆的数量大于或等于第一数据中车辆的数量；第二数据包括车辆的运动属性信息。
64.需要说明的是，视频图像采集设备的视野范围有限如视距50～70米等，那么视频采集设备只能采集视距范围内的视频图像信息，在环境质量差(大雾、暴雨等天气)的情况下，可能只能采集10～20米范围内的视频图像信息。然而雷达设备是通过发射电磁波信号确定是否存在车辆的，因此不会受到环境的影响，采集数据的范围可能为100～200米等，相对视频图像采集设备而言可以采集更远范围的车辆信息，但是雷达设备不能获取车辆的颜色、车型、车牌号等信息。因此本技术中，在第一道路监控区域，同时布控视频图像采集设备以及雷达设备的情况下，视频图像采集设备采集的第一数据中车辆的数量小于或等于雷达设备采集的第二设备的车辆的数量。
65.步骤202，根据第二数据以及第一数据，确定第一道路监控区域中的车辆的视频属性信息。
66.需要说明的是，第二数据中包括的车辆数量可能比第一数据中包括的车辆数量多，将第二数据中的车辆与第一数据中的车辆进行融合，可以得到更多的车辆信息，且基于视频图像采集设备采集的图像信息可以确定车辆的颜色、车型、车牌等视频属性信息。
67.可选地，电子设备可将第二数据中车辆所在的雷达设备的坐标系的坐标值转换成像素坐标系的坐标值；像素坐标系为第一数据所在的坐标系。具体地，将雷达设备检测的第二数据通过坐标转换映射到像素坐标系中，实现雷达目标和视频目标的空间同步，坐标转换流程如下图3所示。雷达设备的坐标系通过旋转和平移转换到世界坐标系中，世界坐标系通过旋转和平移转换到相机坐标系中，相机坐标系通过投影成像转换到相平面坐标系中，相平面坐标系通过离散化转换到像素坐标系中。
68.可选地，电子设备可通过第一转换矩阵将第二数据中车辆所在的雷达坐标系的坐标值转换成世界坐标系的坐标值；第一转换矩阵是基于雷达设备与视频图像采集设备的位置关系确定的(也即下述的公式1，由于视频摄像头与雷达设备在同一水平面上，不存在角度的旋转，因此转换矩阵只包括平移矩阵，不包括旋转矩阵)；通过第二转换矩阵(也即下述的公式2，具体可参照下文描述来理解，在此不展开阐述)将世界坐标系的坐标值转换成视
频图像采集设备所在坐标系的坐标值；第二转换矩阵与第一转换矩阵不同；采用预设规则(其中预设的规则可能包括相平面与像素平面坐标的转换规则以及预设的逻辑规则等，在此不具体限定)将视频图像采集设备所在坐标系的坐标值转换成像素坐标系的坐标值。
69.雷达设备以及视频图像采集设备存在多种布设方式，以上述图1中的布设方式为例，对应的雷达设备坐标系和视频摄像头坐标系的位置关系如下图4所示。假设o
l
是雷达设备的坐标系的坐标原点，ow是以视频摄像头(也即视频图像采集设备)为中心的世界坐标系坐标原点。首先将雷达设备的坐标系下的坐标转换到的世界坐标系中，其中雷达设备可以得到目标(也即车辆)的x轴和y轴坐标信息，无法获得目标的z轴坐标信息。因此，可以将雷达设备的坐标系o
l
到世界坐标系ow的转换看作二维x-y坐标系的转换，o
l
和ow之间的关系是通过转换矩阵(也即第一转换矩阵)实现的。转换矩阵由两部分组成，一部分是由角度所带来的旋转矩阵，另一部分是平移产生的平移矩阵。其中，平移矩阵的平移量可以理解为雷达设备在世界坐标系的坐标，即为下图4中雷达设备到视频摄像头的距离d的负数-d，在本技术中，雷达设备和视频摄像头安装在同一水平面内，因此可以理解旋转矩阵中雷达坐标系相对于世界坐标系的旋转角度α为0，如下公式1所示。其中r2表示上述的雷达坐标系到上述世界坐标系的旋转矩阵，t2表示上述的雷达坐标系到上述世界坐标系的平移矩阵；(x
l
,y
l
)表示第二数据在雷达坐标系中的坐标位置，(xw,yw)表示第二数据经过上述旋转矩阵r2和上述平移矩阵t2进行坐标转换后在上述世界坐标系中的坐标位置。
[0070][0071]
相机模型中存在四个平面坐标系：像素平面坐标系(u,v)、相平面坐标系(图像物理坐标系(x,y))、相机坐标系(也即视频图像采集设备所在坐标系)(xc,yc,zc)和世界坐标系(xw,yw,zw)。由于雷达设备无法获得目标的z轴坐标信息，则经过上述雷达坐标系到世界坐标系的坐标转换后，得到的世界坐标系坐标位置没有zw值，利用车辆高度的先验知识进行假定，假设车辆目标的高度h＝1.8m，则zw＝1.8。由此，可以得到第二数据在世界坐标系中的坐标(xw,yw,zw)。
[0072]
世界坐标系和相机坐标系之间的关系也可以通过转换矩阵(也即第二转换矩阵)得到，即通过旋转矩阵r1和平移矩阵t1实现世界坐标系到相机坐标系的转换。如下公式2所示。其中r1表示上述的世界坐标系到上述相机坐标系的旋转矩阵，t1表示上述的世界坐标系到上述相机坐标系的平移矩阵；(xw,yw,zw)表示第二数据在上述世界坐标系中的坐标位置，(xc,yc,zc)表示第二数据经过上述旋转矩阵r1和上述平移矩阵t1进行坐标转换后在上述相机坐标系中的坐标位置。其中，世界坐标系绕x轴旋转的角度为α1，绕y轴旋转的角度为β1，绕z轴旋转的角度为θ1，在x轴的平移距离为t
x
，在y轴的平移距离为ty，在z轴的平移距离为tz。
[0073]
[0074][0075][0076]
可选地，电子设备可基于视频图像采集设备的焦距将视频图像采集设备所在坐标系的坐标值进行成像投影，得到视频图像采集设备的相平面坐标系的坐标值(也即下述根据视频摄像头的焦距以及第二数据在相机坐标系中的坐标位置采用公式3提供的方式进行投影得到相平面的坐标位置)；基于视频图像采集设备感光芯片上像素的大小、相平面坐标系的平面中心以及第二数据在相平面坐标系中的坐标值，确定第二数据离散化后在像素坐标系中的坐标值(也即下述根据视频摄像头感光芯片上像素的实际大小、相平面坐标系的平面中心以及第二数据在相平面坐标系中的坐标值采用公式4提供的方式进行离散化得到相平面的坐标位置)。
[0077]
如下图5所示，相机坐标系和相平面坐标系存在成像投影关系，与相机的焦距f密切相关。如下公式3所示。f表示视频摄像头的焦距；(xc,yc,zc)表示第二数据在上述相机坐标系中的坐标位置，(x,y)表示第二数据经过成像投影后在相平面坐标系中的坐标位置。
[0078][0079]
相平面坐标系通过离散化转换到像素坐标系。如下公式4所示。dx、dy表示视频摄像头感光芯片上像素的实际大小；u0、v0表示相平面坐标系的平面中心，(x,y)表示第二数据在上述相平面坐标系中的坐标位置，(u,v)表示第二数据经过离散化后在像素坐标系中的坐标位置。
[0080][0081]
在本技术中通过雷达设备和视频摄像头的标定可以获取上述的坐标转换的参数，雷达设备采集的第二数据的雷达坐标通过上述参数可以转换到像素坐标系中。
[0082]
之后电子设备可将第二数据与第一数据进行视频融合，确定第一道路监控区域中的车辆数量，以及第一数据中缺失车辆所在的区域；基于深度学习对第一数据中缺失车辆所在的区域进行数据处理，确定缺失车辆的颜色信息、车型信息、车牌号信息等；根据第一数据、缺失车辆的颜色信息、车型信息、车牌信息，确定第一道路监控区域中的车辆的视频属性信息；视频属性信息包括：颜色信息、车型信息、数量信息以及车牌号信息等。
[0083]
以图6为例来说明，图6中6-1在雷达设备有效范围内存在6辆目标车辆car1、car2
……
car6；图6中6-2中毫米波雷达通过主动发射电测波检测到道路中存在的6辆雷达目标车辆car1、car2
……
car6；由于可能存在的光照、天气、背景像素、相机分辨率等原因，
图6中6-3在视频摄像头有效范围内，视频算法只检测出2辆视频目标车辆car5和car6；通过上述坐标变换，图6中6-4中将雷达目标车辆与视频目标车辆映射到同一像素坐标系中。视频处理单元可基于深度学习目标检测算法对视频图像进行多目标检测与定位，本技术中所提到的深度学习目标检测算法可以是只需看一眼(you only look once，yolo)系列(也即目标检测算法中的一种)、单阶段多框检测(single shot multibox detector，ssd)等单阶段目标检测算法，也可以是更快速区域卷积神经网络(faster region convolutional neural networks，faster r-cnn)等两阶段目标检测算法，本技术可采用yolov5目标检测算法完成视频图像中的车辆目标检测，yolov5目标检测算法可返回视频图像中检测到的车辆类型及车辆目标在视频图像中的位置坐标及车辆目标的像素长宽。
[0084]
雷达设备包括射频模块和阵列天线模块，射频模块对外发射电磁波束，阵列天线模块接收返回的电磁波束，通过返回的电磁波束可以得到毫米波雷达的点云数据。对同一目标车辆的点云数据进行聚类，取该目标车辆所有点云数据中的中点作为该目标车辆的质心，从而确定目标车辆在雷达设备所在坐标系中的x坐标(x
pos
)和y坐标(y
pos
)，在点云数据中取y坐标中的最小值和最大值，可得到目标车辆的车辆长度(length)。如图6中6-4所示，虚线框(也即缺失车辆所在的区域)中的目标车辆car4没有被视频算法检出，为了识别该目标车辆类型，本技术将目标车辆在雷达设备所在坐标系中的x坐标(x
pos
)和y坐标(y
pos
)转换到在像素坐标系中，得到目标车辆在像素坐标系中的x
′
坐标(x
′
pos
)和y
′
坐标(y
′
pos
)，以(x
′
pos
,y
′
pos
)为中心点，以车辆长度length在像素坐标系中对应的像素长度length
′
为边长，截取像素坐标系中的图像区域。基于深度学习车辆类型检测网络识别该区域目标车辆的类型。从而保证算法能够获取道路中视频有效范围内的所有目标车辆的类型。
[0085]
此外，为了获得更加丰富的车辆的视频属性信息，本技术同时截取car4、car5、car6所在的图像区域，通过目标车辆属性检测网络识别车辆颜色、车标、车牌号等属性信息。本技术中所述的车辆类型检测网络和车辆属性检测网络可以是mobilenet、shufflenet等轻量级神经网络，也可以是resnet等大中型网络。为了达到更好的检测效果，在本技术可利用resnet50作为车辆类型检测网络和车辆属性检测网络的骨干网络，获取车辆类型、车辆颜色、车标等车辆视觉属性信息，例如，resnet50网络模型可以预先通过包含不同颜色(例如，黑色、白色、蓝色、棕色)的车辆图片样本集进行训练。将缺失车辆car4的图像区域输入到训练完成的resnet50网络模型中，resnet50网络模型对缺失车辆car4的图像区域进行特征提取，输出缺失车辆car4的图像区域分别属于黑色、白色、蓝色、棕色的概率，当car4为黑色的概率最高时，则确定car4为黑色。
[0086]
此外，在环境良好的情况下，同时还可利用光学字符识别(optical character recognition，ocr)技术识别目标车辆的车牌号，本技术在此不具体限定。
[0087]
步骤203，根据车辆的视频属性信息、车辆的运动属性信息以及第一道路监控区域中的车道信息，确定第一道路监控区域中的车辆的异常变道情况。
[0088]
可选地，第一道路监控区域中的车道信息是根据第一道路监控区域的高精度地图确定的，或者通过视频图像算法对第一道路监控区域的图像数据进行数据分析确定的。
[0089]
在实际应用时，可在电子设备中预先录入高精度地图，高精度地图中详细记录了道路中的车道线类型以及车道实线区域的起始点的高精度坐标。若电子设备中未预先录入高精度地图，则可以基于深度学习算法实时检测视频图像中的车道线确定车道信息。其中，
车道线类型可以是白色实线、单黄实线、双黄实线、黄色虚实线、白色虚实线等禁止异常变道的车道线类型，同时还可基于视频算法获取车道实线区域在像素点坐标系中的坐标位置。
[0090]
本技术在视频图像采集设备的视距范围内利用目标检测算法可以检测到目标车辆在像素坐标系中的像素宽度和像素长度，假设检测到的目标车辆的像素长度为90个像素，像素宽度为36个像素，雷达设备检测到目标车辆的长度为4.3米，则目标车辆的真实车宽约为4.3*36/90＝1.72m。
[0091]
若在视频图像采集设备的视距范围内目标检测算法没有检测到目标车辆在像素坐标系中的像素宽度和像素长度，如图6-4中的car4，由于上述的车辆类型检测网络中已经检测出car4的车辆类型，假设car4检测为小轿车，轿车的长度一般在3.8米～4.3米之间，宽度一般在1.6米～1.8米之间，若雷达设备检测到目标车辆car4的长度为4.0米，根据上述小轿车尺寸范围，则可以推测出目标车辆car4的真实车宽约为1.68米；由于上述坐标转换过程中已经得到了目标车辆car4在像素坐标系中的像素长度length
′
，假设length
′
＝88，则目标车辆car4在像素坐标系中的像素宽度约为88*1.68/4≈37，则可以估计出car4在像素坐标系中的像素长度约为37。由此可以根据第一数据和第二数据获取到目标车辆的真实车宽以及在像素坐标系中的像素宽度。
[0092]
可选地，电子设备在视频图像采集设备的视距范围内，根据车辆的视频属性信息，确定第一目标车辆；根据第一目标车辆的运动属性信息以及第一道路监控区域中的车道信息，确定第一目标车辆的基准线与车道实线是否相交；若相交，则确定第一目标车辆异常变道。
[0093]
如下图7所示，图中的坐标点是根据高精度地图或者视频算法检测出的车道实线区域在像素坐标系中的坐标点，在视频帧frame1的视频图像中，雷视融合算法检测到目标车辆cara所在的车道为左侧第2车道，并获取到目标车辆在像素坐标系中的坐标点。在视频帧frame2的视频图像中检测到目标车辆cara的基准线压到车道虚线中，并未发生异常变道，在视频帧frame3的视频图像中检测到目标车辆cara所在的车道为左侧第3车道，在目标车辆cara变道时，计算目标车辆车身两侧像素宽度定位坐标的连线是否与车道实线区域定位坐标的连线相交，当两者不相交时，不触发目标车辆异常变道报警。在视频帧frame4的视频图像中检测到目标车辆cara的基准线压到车道实线中，目标车辆车身两侧像素宽度定位坐标的连线与车道实线区域定位坐标的连线相交，目标车辆异常变道报警。
[0094]
车辆异常变道检测中，可以通过目标车辆的视频属性信息确定frame1、frame2、frame3以及frame4视频帧中的异常变道车辆是否为同一id车辆。当上述视频帧中检测到目标车辆的车牌号为同一车牌号时，确定某一id的车辆发生了异常变道行为。当上述视频帧中未能检测到目标车辆的车牌号时，根据目标车辆图像区域的外观特征，利用车辆重识别算法，确定变道车辆为同一车辆。当判定车辆发生异常变道行为时，电子设备记录目标车辆发生异常变道时的高精度定位即经纬度坐标，并将车辆类型、车身颜色、车型、车牌号、车辆速度等属性信息一起上传至车路协同云平台，并同步发送给路侧单元(road side unit，rsu)，rsu将该交通事件通过广播发送给车联网中的智能车辆。
[0095]
本技术在视频图像采集设备的视距范围内，根据第一目标车辆的基准线与车道实线的相交情况，确定第一目标车辆的异常变道情况，通过该方式可以提高异常变道的检测
精度和检测效率。
[0096]
可选地，电子设备在视频图像采集设备的视距范围内，根据车辆的视频属性信息，确定第二目标车辆；在视频图像采集设备的视距范围外(同时在雷达设备的检测范围内)，确定当前第二目标车辆的运动属性信息；基于卡尔曼滤波算法预测第二目标车辆在下一个雷达周期内所在的第一位置区域；获取第二目标车辆在下一个雷达周期所在的第二位置区域；若第一位置区域与第二位置区域不相同，且第二位置区域与车道实线距离小于第二目标车辆的宽度阈值，则确定第二目标车辆异常变道。
[0097]
如下图8-1所示，电子设备根据当前雷达周期内目标车辆的速度等运动属性，基于卡尔曼滤波算法预测目标车辆在下一个雷达周期内在雷达坐标系中可能到达的位置区域，如图8-1所示，实线框是当前雷达周期目标车辆cara和carb所在的实际位置区域，虚线框是电子设备基于卡尔曼滤波算法预测的下一雷达周期目标车辆cara和carb可能到达的位置区域，在下一雷达周期，雷达设备检测到目标车辆cara和carb出现在上一雷达周期预测的位置时，则判定目标车辆未发生异常变道行为。
[0098]
如下图8-2所示，实线框是当前雷达周期目标车辆cara、carb、carc所在的实际位置区域，虚线框是电子设备基于卡尔曼滤波算法预测的下一雷达周期目标车辆cara、carb、carc在雷达坐标系中可能到达的位置区域，在下一雷达周期时，雷达设备检测到目标车辆carb和carc出现在上一雷达周期预测的位置，而目标车辆cara未出现在预测位置上(如图8-2中的阴影虚线框)，相邻的左侧第1车道与第2车道中间位置上出现了目标车辆，且目标车辆距离左侧第2车道的距离小于车辆宽度的1/2，则判定目标车辆cara发生了异常变道行为。
[0099]
同样的，当判定车辆发生异常变道行为时，电子设备记录目标车辆发生异常变道时的高精度定位即经纬度坐标，并将在视频有效范围内检测到的车辆类型、车身颜色、车型、车牌号、车辆速度等属性信息一起上传至车路协同云平台，并同步发送给路侧设备(rsu)，rsu将该交通事件通过广播发送给车联网中的智能车辆。
[0100]
本技术在视频图像采集设备的视距范围外，根据第二目标车辆在下一个雷达周期的预测位置区域与实际所在的位置区域的关系，确定第二目标车辆的异常变道情况，通过该方式可以提高异常变道的检测精度和检测效率。
[0101]
此外，电子设备还可根据车辆的视频属性信息，确定异常变道车辆为第三目标车辆(也即特种车辆)；第三目标车辆为以下中的一种或多种：警车、救护车、消防车以及工程车；确定第三目标车辆的经纬度坐标、车辆类型以及车牌信息。
[0102]
当在视频有效范围内检测到车辆目标开启双闪灯并发生异常变道时，记录发生变道行为的高精度定位即经纬度坐标，以及车辆类型、车身颜色、车型、车牌号、车辆速度、车辆双闪灯开启状态等信息。特种车辆与故障车辆作为特殊的道路交通参与者，当发生异常变道行为时，路侧设备通过c-v2x技术紧急广播给智能车辆，提醒车辆紧急避让，保障了智能车辆的行驶安全。
[0103]
本技术将该第一道路监控区域中车辆异常变道情况，通知路侧设备，以便路侧设备可将车辆的异常变道情况通知给智能车辆，以提醒智能车辆进行避让，确保安全驾驶。
[0104]
本技术基于雷达和视频融合的方式对车辆异常变道行为进行实时监测，技术方案如下图9所示。
[0105]
边缘计算终端实现视频信号的接入，分别基于深度学习算法对视频图像中的车辆目标进行识别与定位，基于毫米波雷达对城市道路中的车辆目标进行识别和定位以及基于视频图像确定车道信息。之后，雷达目标与视频目标的坐标融合，可参照上文的描述，在此不赘述。基于雷达目标校正视频目标，获取视频目标的属性信息。以雷达目标为基准，对漏检的视频目标进行图像目标区域提取，随后基于深度学习算法对校正后的所有车辆目标进行视觉属性提取。之后基于深度学习算法检测视频图像中的车道线类型，并基于高精度定位模块完成车道实线点和车辆目标的高精度定位。在视频有效范围内，基于高精度定位信息、车辆目标视觉属性和车辆目标运动属性，实时监测同一目标车辆的位置信息，当同一目标车辆越过车道实线时，记录目标车辆的视觉属性信息和高精度定位信息，完成车辆异常变道行为检测。在视频有效范围外，通过对雷达目标进行轨迹跟踪预测，实时监测同一目标车辆的位置信息，实现视频有效范围外的车辆异常变道行为检测。通过深度学习算法实时检测特种车辆类型、特种车辆报警灯开启状态以及故障车辆双闪灯的开启状态。通过对警车、救护车、消防车、工程车等特种车辆及故障车辆的实时监控，实现对车辆异常变道行为的综合监测，保障了道路车辆的行驶安全。
[0106]
本技术中，针对第一道路监控区域，电子设备可基于视频图像采集设备采集第一数据以及基于雷达设备采集第二数据，通常视频图像采集设备容易受环境以及本身视距的影响，采集的区域范围可能较短，雷达设备是通过发射电磁波等来进行目标(车辆)定位的，不会受到环境的影响且可采集更远距离的目标。基于此本技术通过雷达设备采集的第二数据调整视频图像采集设备采集的第一数据，通过该方式可以校正第一数据，使得电子设备可以获取更多的目标信息，从而实现对更远距离车辆的异常变道的监控，且基于车辆的视频属性信息、运动属性信息以及第一道路区域中的车道信息，电子设备可以确定第一道路监控区域中的各车辆的异常变道情况，该方式可以提高异常变道的检测精度。
[0107]
基于同样的构思，本技术实施例提供一种车辆异常变道的检测装置，如图10所示，包括：获取单元1001、第一确定单元1002以及第二确定单元1003。
[0108]
其中，获取单元1001，用于针对第一道路监控区域，分别获取视频图像采集设备采集的第一数据以及雷达设备采集的第二数据；所述第二数据中车辆的数量大于或等于所述第一数据中车辆的数量；所述第二数据包括车辆的运动属性信息；第一确定单元1002，用于根据所述第二数据以及所述第一数据，确定所述第一道路监控区域中的车辆的视频属性信息；第二确定单元1003，用于根据所述车辆的视频属性信息、所述车辆的运动属性信息以及所述第一道路监控区域中的车道信息，确定所述第一道路监控区域中的车辆的异常变道情况。
[0109]
本技术中，针对第一道路监控区域，电子设备可基于视频图像采集设备采集第一数据以及基于雷达设备采集第二数据，通常视频图像采集设备容易受环境以及本身视距的影响，采集的区域范围可能较短，雷达设备是通过发射电磁波等来进行目标(车辆)定位的，不会受到环境的影响且可采集更远距离的目标。基于此本技术通过雷达设备采集的第二数据调整视频图像采集设备采集的第一数据，通过该方式可以校正第一数据，使得电子设备可以获取更多的目标信息，从而实现对更远距离车辆的异常变道的监控，且基于车辆的视频属性信息、运动属性信息以及第一道路区域中的车道信息，电子设备可以确定第一道路监控区域中的各车辆的异常变道情况，该方式可以提高异常变道的检测精度。
[0110]
在一种可选的方式中，第二确定单元1003，具体用于在该视频图像采集设备的视距范围内，根据该车辆的视频属性信息，确定第一目标车辆；根据该第一目标车辆的运动属性信息以及该第一道路监控区域中的车道信息，确定该第一目标车辆的基准线与车道实线是否相交；若相交，则确定该第一目标车辆异常变道。
[0111]
本技术在视频图像采集设备的视距范围内，根据第一目标车辆的基准线与车道实线的相交情况，确定第一目标车辆的异常变道情况，通过该方式可以提高异常变道的检测精度和检测效率。
[0112]
在一种可选的方式中，第二确定单元1003，具体用于在该视频图像采集设备的视距范围内，根据该车辆的视频属性信息，确定第二目标车辆；在该视频图像采集设备的视距范围外，确定当前该第二目标车辆的运动属性信息；基于卡尔曼滤波算法预测该第二目标车辆在下一个雷达周期内所在的第一位置区域；获取该第二目标车辆在该下一个雷达周期所在的第二位置区域；若该第一位置区域与该第二位置区域不相同，且所述第二位置区域与车道实线距离小于所述第二目标车辆的宽度阈值，则确定该第二目标车辆异常变道。
[0113]
本技术在视频图像采集设备的视距范围外，根据第二目标车辆在下一个雷达周期的预测位置区域与实际所在的位置区域的关系，确定第二目标车辆的异常变道情况，通过该方式可以提高异常变道的检测精度和检测效率。
[0114]
在一种可选的方式中，第二确定单元1003，还用于根据该车辆的视频属性信息，确定异常变道车辆为第三目标车辆；该第三目标车辆为以下中的一种或多种：警车、救护车、消防车以及工程车；确定该第三目标车辆的经纬度坐标、车辆类型以及车牌信息。
[0115]
本技术考虑到发生异常变道的行为可能为警车、救护车等特种车辆，可以进行标记，以便提醒智能车辆异常变道的车辆为特种车辆，在驾驶时注意避让。
[0116]
在一种可选的方式中，第一确定单元1002，具体用于将该第二数据中车辆所在的该雷达设备的坐标系的坐标值转换成像素坐标系的坐标值；该像素坐标系为该第一数据所在的坐标系；将该第二数据与该第一数据进行视频融合，确定该第一道路监控区域中的车辆数量，以及该第一数据中缺失车辆所在的区域；基于深度学习对该第一数据中缺失车辆所在的区域进行数据处理，确定该缺失车辆的颜色信息、车型信息、车牌号信息；根据该第一数据、该缺失车辆的颜色信息、车型信息、车牌号信息，确定该第一道路监控区域中的车辆的视频属性信息；该视频属性信息包括：颜色信息、车型信息、数量信息及车牌号信息等。
[0117]
本技术将雷达设备的坐标系与像素坐标系进行转换，之后将第二数据与第一数据进行数据融合，以保证第一道路监控区域中可以检测出更多的车辆。
[0118]
在一种可选的方式中，该第一道路监控区域中的车道信息是根据该第一道路监控区域的高精度地图确定的，或者通过视频图像算法对该第一道路监控区域的图像数据进行数据分析确定的。
[0119]
通过获取车道信息可以准确地确定车辆是否存在异常变道的行为，可以提高数据处理效率。
[0120]
在一种可选的方式中，该装置还包括通知单元，用于将该第一道路监控区域中车辆异常变道情况，通知路侧设备。
[0121]
通过该方式路侧设备可将车辆的异常变道情况通知给智能车辆，以提醒智能车辆进行避让，确保安全驾驶。
[0122]
在一种可选的方式中，第一确定单元1002，具体用于通过第一转换矩阵将第二数据中车辆所在的雷达坐标系的坐标值转换成世界坐标系的坐标值；第一转换矩阵是基于雷达设备与视频图像采集设备的位置关系确定的；通过第二转换矩阵将世界坐标系的坐标值转换成视频图像采集设备所在坐标系的坐标值；第二转换矩阵与第一转换矩阵不同；采用预设规则将视频图像采集设备所在坐标系的坐标值转换成像素坐标系的坐标值。
[0123]
通过该方式确定的第二数据在像素坐标系的坐标值更加准确可靠。
[0124]
在一种可选的方式中，第一确定单元1002，具体用于基于视频图像采集设备的焦距将视频图像采集设备所在坐标系的坐标值进行成像投影，得到视频图像采集设备的相平面坐标系的坐标值；基于视频图像采集设备感光芯片上像素的大小、相平面坐标系的平面中心以及第二数据在相平面坐标系中的坐标值，确定第二数据离散化后在像素坐标系中的坐标值。
[0125]
通过该方式确定的第二数据在像素坐标系的坐标值更加准确可靠。
[0126]
在介绍了本技术示例性实施方式中的车辆异常变道的检测方法、装置之后，接下来，介绍本技术的另一示例性实施方式的计算设备。
[0127]
所属技术领域的技术人员能够理解，本技术的各个方面可以实现为系统、方法或程序产品。因此，本技术的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
[0128]
在一些可能的实施方式中，根据本技术的计算设备可以至少包括至少一个处理器、以及至少一个存储器。其中，存储器存储有计算机程序，当计算机程序被处理器执行时，使得处理器执行本说明书上述描述的根据本技术各种示例性实施方式的车辆异常变道的检测方法中的步骤。例如，处理器可以执行如图2中所示的步骤201-步骤203。
[0129]
下面参照图11来描述根据本技术的这种实施方式的计算设备130。图11显示的计算设备130仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。如图11所示，计算设备130以通用智能终端的形式表现。计算设备130的组件可以包括但不限于：上述至少一个处理器131、上述至少一个存储器132、连接不同系统组件(包括存储器132和处理器131)的总线133。
[0130]
总线133表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。存储器132可以包括易失性存储器形式的可读介质，例如随机存取存储器(ram)1321和/或高速缓存存储器1322，还可以进一步包括只读存储器(rom)1323。存储器132还可以包括具有一组(至少一个)程序模块1324的程序/实用工具1325，这样的程序模块1324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
[0131]
计算设备130也可以与一个或多个外部设备134(例如键盘、指向设备等)通信，和/或与使得该计算设备130能与一个或多个其它智能终端进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口135进行。并且，计算设备130还可以通过网络适配器136与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器136通过总线133与用于计算设备130的
其它模块通信。应当理解，尽管图中未示出，可以结合计算设备130使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
[0132]
在一些可能的实施方式中，本技术提供的车辆异常变道的检测方法的各个方面还可以实现为一种程序产品的形式，其包括计算机程序，当程序产品在计算机设备上运行时，计算机程序用于使计算机设备执行本说明书上述描述的根据本技术各种示例性实施方式的车辆异常变道的检测方法中的步骤。例如，处理器可以执行如图2中所示的步骤201-步骤203。
[0133]
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0134]
本技术的实施方式的用于车辆异常变道的检测的程序产品可采用便携式紧凑盘只读存储器(cd-rom)并包括计算机程序，并可在智能终端上运行。但本技术的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可被指令执行系统、装置或者器件使用或者与其结合使用。
[0135]
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读计算机程序。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0136]
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本技术的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
[0137]
此外，尽管在附图中以特定顺序描述了本技术方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
[0138]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程访问频次的预测设备的处理器以产生一个机器，使得通过计算机或其他可编程访问频次的预测设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0139]
这些计算机程序指令也可存储在能引导计算机或其他可编程访问频次的预测设
备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0140]
这些计算机程序指令也可装载到计算机或其他可编程访问频次的预测设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0141]
尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
[0142]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。