感知目标显示方法、装置和计算可读存储介质与流程

1.本技术涉及智能驾驶领域，尤其涉及感知目标显示方法、装置和计算可读存储介质。


背景技术：

2.对于新能源汽车、无人驾驶汽车等非传统车辆，通过自身搭载的传感设备正确感知其周边目标，是重构自车周边环境并稳定显示目标的重要保证。相关技术在重构自车周边环境时，主要是依赖于电子地图上设定的虚拟道路边界，在感知到自车周边目标后，显示一些目标和/或基于虚拟道路边界过滤一些目标。
3.然而，受限于车辆侧向感知能力不佳，一些特定区域的目标，其类型、位置等并不稳定，显示这种目标导致环境重构亦不稳定；另一方面，基于虚拟道路边界而冒然过滤一些目标可能存在一定的安全隐患。


技术实现要素：

4.为解决或部分解决相关技术中存在的问题，本技术提供一种感知目标显示方法、装置和计算可读存储介质，可以合理显示感知到的目标。
5.本技术第一方面提供一种感知目标显示方法，包括：
6.感知自车周围预定类型的目标物；
7.获取所述自车的位置信息并基于传感设备获取所述目标物所处车道信息；
8.若所述自车处于第一场景，则对感知到的所述自车周围预定类型的目标物进行显示；
9.若所述自车处于第二场景，则根据所述自车周围预定类型的目标物所处车道信息对处于预设车道的目标物进行过滤；显示所述自车周围尚未进行所述过滤的目标物。
10.本技术第二方面提供一种感知目标显示装置，包括：
11.感知模块，用于感知自车周围预定类型的目标物；
12.获取模块，用于获取所述自车的位置信息并基于传感设备获取所述目标物所处车道信息；
13.第一显示模块，用于若所述自车处于第一场景，则对感知到的所述自车周围预定类型的目标物进行显示；
14.过滤模块，用于若所述自车处于第二场景，则根据所述自车周围预定类型的目标物所处车道信息对处于预设车道的目标物进行过滤；
15.第二显示模块，用于显示所述自车周围尚未进行所述过滤的目标物。
16.本技术第三方面提供一种电子设备，包括：
17.处理器；以及
18.存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。
19.本技术第四方面提供一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。
20.本技术提供的技术方案可知，在自车处于第一场景时，对感知到的自车周围预定类型的目标物进行显示，即只显示必要的、可能影响自车行驶的目标物，从而提升了自车的驾驶安全度；在自车处于第二场景时，根据自车周围预定类型的目标物所处车道信息对处于预设车道的目标物进行过滤，避免了对用户界面的图像干扰，使得后续环境重构更稳定。
21.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
附图说明
22.通过结合附图对本技术示例性实施方式进行更详细地描述，本技术的上述以及其它目的、特征和优势将变得更加明显，其中，在本技术示例性实施方式中，相同的参考标号通常代表相同部件。
23.图1是本技术实施例提供的感知目标显示方法的流程示意图；
24.图2是本技术实施例提供的感知目标显示装置的结构示意图；
25.图3是本技术实施例提供的电子设备的结构示意图。
具体实施方式
26.下面将参照附图更详细地描述本技术的实施方式。虽然附图中显示了本技术的实施方式，然而应该理解，可以以各种形式实现本技术而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本技术更加透彻和完整，并且能够将本技术的范围完整地传达给本领域的技术人员。
27.在本技术使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术。在本技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
28.应当理解，尽管在本技术可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本技术范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
29.对于新能源汽车、无人驾驶汽车等非传统车辆，通过自身搭载的传感设备正确感知其周边目标，是重构自车周边环境并稳定显示目标的重要保证。相关技术在重构自车周边环境时，主要是依赖于电子地图上设定的虚拟道路边界，在感知到自车周边目标后，显示一些目标和/或基于虚拟道路边界过滤一些目标。然而，受限于车辆侧向感知能力不佳，一些特定区域的目标，其类型、位置等并不稳定，显示这种目标导致环境重构亦不稳定；另一方面，基于虚拟道路边界而冒然过滤一些目标可能存在一定的安全隐患。例如，与自车同向的第3车道及第3车道以外的车道的卡车、大巴等目标来回、左右跳动或时有时无等各种不
稳定的表现，导致环境重构时显示的目标也不稳定；再如，垂直自车行进方向的车辆、行人等目标会因为采用虚拟道路边界而被过滤掉，这对自车的行驶是极大的安全隐患，等等。
30.针对上述问题，本技术实施例提供一种感知目标显示方法，可以合理显示感知到的目标。
31.以下结合附图详细描述本技术实施例的技术方案。
32.参见图1，是本技术实施例示出的感知目标显示方法的流程示意图，主要包括步骤s101至步骤s105，说明如下：
33.步骤s101：感知自车周围预定类型的目标物。
34.一般地，目前的汽车、尤其是新能源汽车和智能驾驶车辆都搭载了雷视设备即车载雷达和车载相机，例如激光雷达、毫米波雷达、单目相机、双目相机和深度相机等。本技术的技术方案可以利用车辆搭载的上述雷视设备，感知自车周围的目标，此处，自车周围可以是指自车前方、左侧和右侧预定距离内，一般以自车搭载的上述雷视设备能够感知到的范围为限。而自车周围预定类型的目标物可以是自车周围的车辆、行人等交通参与者以及护栏、路缘石等静态物。需要说明的是，由于雷达和相机具有各自的优势和劣势，本技术实施例可以将两种设备采集的数据进行融合来感知自车周围的目标，从而利用一种设备的优势来弥补自身设备的劣势。作为本技术的一个实施例，感知自车周围预定类型的目标物可以通过步骤s1011至步骤s1013实现，详细说明如下：
35.步骤s1011：根据车载雷达获取的点云数据和车载相机采集的图像数据，确定目标点云数据。
36.所谓点云数据，是为激光雷达、超声波雷达或毫米波雷达等感应雷达通过扫描，在信号击中目标后，从目标击中的点返回的信息。因目标被击中的点一般较多(其数量级通常以万或十万为单位)，其返回的信息对应的点在二维平面或三维空间簇成一团云状，因此称为点云，点云中的每个点(可以称为云点)携带的二维或三维坐标、目标的纹理、反射强度和回波次数等信息即点云数据。需要说明的是，由于硬件方面的固有差异，车载雷达和车载相机在采样频率等方面存在差异，导致即使是同时开始采样，两种设备得到的数据并非是同步的，因此，在本技术实施例中，在确定目标点云数据时首先需要将两种设备采样的数据进行同步。具体地，在本技术一个实施例中，步骤s1011的实现可以是：将车载雷达获取的点云数据和车载相机采集的图像数据进行同步处理，得到同步后的点云数据和同步后的图像数据；对同步后的点云数据进行格式转换即将其转化为位图，得到第一位图，并对同步后的图像数据也转化为位图，得到第二位图；根据预设融合方法将第一位图与第二位图进行融合，得到融合位图；根据融合位图对车载雷达获取的点云数据进行修正，得到目标点云数据。如前所述，由于目标可能是车辆、行人等交通参与者，亦可能是护栏、路缘石或者停止的车辆、行人等静态物，车载雷达获取的点云数据可能是与动态物对应的动态点云数据，亦可能是与静态物对应的静态点云数据；进一步地，由于静态物相对静止，其对应的动态点云数据一般无需修正，因此，上述实施例在根据融合位图对车载雷达获取的点云数据进行修正时，主要是对动态点云数据进行修正。具体地，在根据融合位图对车载雷达获取的点云数据进行修正时可以是当点云数据中的数据点对应融合位图中数据点的当前属性为动点时，将数据点的属性修正为静点；将修正后的静点对应的点云数据和静态点云数据共同作为目标点云数据。
37.需要说明的是，上述对动态物和静态物的划分并非绝对，例如，静态物并非就是完全静止不动。在本技术实施例中，允许将速度低于一定阈值的动态物认定为是静态物。
38.步骤s1012：分别对目标点云数据和图像数据进行目标物识别，得到目标点云数据对应的第一感知信息和图像数据对应的第二感知信息。
39.目标点云数据对应的第一感知信息可以是目标对应的轮廓点集即用于表征目标的轮廓信息，该轮廓点集可以基于车载雷达对目标物距离的测定获取，而图像数据对应的第二感知信息可以是目标物对应的类型，例如，是车辆还是行人，是护栏还是路缘石，等等。需要说明的是，鉴于相机的优势，车载相机在对目标物的类型确定上相对于车载雷达具有一定的优势，而车载雷达在目标的轮廓点集的确定上相对于车载相机具有优势，本技术的技术方案正是利用了上述两种设备的各自优势，对其获取的数据进行融合，精确感知自车周围预定类型的目标物，可参阅后续对步骤s1013的详细说明。
40.步骤s1013：将第一感知信息与第二感知信息进行数据融合，确定自车周围预定类型的目标物。
41.步骤s1013的一种实现可以是：分别对第一感知信息和第二感知信息进行预处理，分别得到对应于车载雷达的第一轨迹信息和对应于车载相机的第二轨迹信息；将初始融合轨迹信息、第一轨迹信息与第二轨迹信息进行绑定操作，确定成功绑定的融合轨迹信息；将成功绑定的融合轨迹信息进行轨迹状态更新，得到更新融合轨迹信息；计算更新融合轨迹信息的置信系数，得到自车周围预定类型的目标物。
42.如前所述，第一感知信息可以是目标物对应的轮廓点集，基于此，步骤s1013的另一种实现方式可以是：将目标点云数据对应的第一轮廓点集投影至车载相机采集的图像上，得到与第一轮廓点集对应的第二轮廓点集；基于第二轮廓点集确定图像上的感兴趣区域；对该感兴趣区域进行识别，确定自车周围预定类型的目标物。上述实施例中，基于第二轮廓点集确定图像上的感兴趣区域具体可以是基于第二轮廓点集，确定目标物的边界线；基于目标物的边界线和目标物的预设尺寸信息，确定图像上的感兴趣区域。
43.步骤s102：获取自车的位置信息并基于传感设备获取目标物所处车道信息。
44.相关技术在显示感知目标时，并未考虑自车位置和/或自车周围目标所处车道信息，导致要么将不太稳定(类型、位置等不稳定)的目标予以显示而干扰了环境重构，要么将不该过滤掉的目标过滤掉导致行车的安全隐患。为了后续选择合理的过滤和/或显示策略，本技术的技术方案需要获取自车的位置信息并基于传感设备获取目标物所处车道信息。对于自车位置信息的获取，可以是基于传统的定位设备，例如gps系统、北斗系统、轮式里程计、惯性测量单元或视觉设备等获取。需要说明的是，上述定位设备可以单独使用，亦可以是将上述几种定位设备的数据进行融合得到。例如，在桥隧等地下gps信号不佳的场景，可以将上述几种定位设备得到的数据融合起来，得到自车的精确位置。此外，上述传感设备可以是雷达、相机或者二者相结合的设备。至于基于传感设备获取目标物所处车道信息，可以通过步骤s1021至步骤s1025实现，详细说明如下：
45.步骤s1021：获取目标物所处位置的车道图像和定位信息。
46.与前述实施例类似，此处获取车辆所处位置的车道图像可以使用自车所搭载的单目相机、双目相机或深度相机等视觉设备实现，而目标所处位置的定位信息则可以gps系统、北斗系统、轮式里程计或惯性测量单元等任意一个设备或多个设备的组合实现。
47.步骤s1022：通过目标物的定位信息，获取目标物对应的车道参数。
48.具体地，步骤s1022的实现可以通过目标的定位信息，获取与该定位信息相匹配的地图数据；对地图数据进行数据解析处理，得到目标对应的车道参数，包括目标所处位置的车道数量、所述目标所处位置的道路属性等信息。
49.步骤s1023：对目标物所处位置的车道图像进行视觉处理，得到与车道图像对应的第一图像处理结果。
50.对目标所处位置的车道图像进行视觉处理，一般可以基于神经网络模型，提取车道的特征并对车道图像进行语义分割实现，具体地，可以通过神经网络模型对车道图像进行处理，得到与该车道图像相匹配的第一特征向量；通过神经网络模型对该第一特征向量进行处理，得到与车道图像相匹配的权重系数和第二特征向量；基于与车道图像相匹配的权重系数和第二特征向量，并通过神经网络模型的激活函数对车道图像进行语义分割处理，得到车道图像的分割结果；对车道图像的分割结果进行重构，得到与车道图像对应的第一图像处理结果。上述实施例对车道图像的分割结果进行重构，主要是对目标所对应的左起车道编号、左起车道编号可信度、右起车道编号、右起车道编号可信度以及目标所对应的车道线进行组合处理，得到与车道图像对应的第一图像处理结果。
51.步骤s1024：对车道图像对应的第一图像处理结果进行去噪处理，得到与车道图像对应的第二图像处理结果。
52.在本技术实施例中，当左起车道编号或左起车道编号不存在，或左起车道编号可信度和右起车道编号可信度均小于可信度阈值，或目标所对应的车道线的显示效果小于显示效果阈值时，将相应的车道编号、左起车道编号可信度和右起车道编号可信度以及目标所对应的车道线视为噪声而滤除，从而得到与车道图像对应的第二图像处理结果。
53.步骤s1025：融合第二图像处理结果和车道参数，得到目标物所处车道信息。
54.具体地，步骤s1025的实现可以是：对第二图像处理结果中的左起车道编号、左起车道编号可信度、右起车道编号、右起车道编号可信度、目标所对应的车道线以及车道参数中的目标所处位置的车道数量进行融合处理，得到融合处理结果；根据融合处理结果的取值以及车道图像中总车道数与车道参数中的目标所处位置的车道数量的比较结果，确定目标所处位置对应的车道信息。其中，对于根据融合处理结果的取值以及车道图像中总车道数与车道参数中的目标所处位置的车道数量的比较结果，原则上是在左起车道编号可信度和/或右起车道编号可信度大于可信度阈值时，根据总车道数与车道参数中的目标所处位置的车道数量关系确定目标所处位置对应的车道信息为车道编号即位于哪个车道。例如，当左起车道编号和右起车道编号均不为0、且左起车道编号可信度和右起车道编号可信度均大于可信度阈值时，基于左起车道编号和右起车道编号确定车道图像中总车道数；当车道图像中总车道数与车道参数中的目标所处位置的车道数量相等时，确定目标所处位置对应的车道信息为左起车道编号；再如，当车道图像中总车道数与目标所处位置的车道数量不相等、左起车道编号小于等于右起车道编号、并且左起车道编号可信度大于等于右起车道编号可信度时，确定目标所处位置对应的车道信息为左起车道编号；当车道图像中总车道数与目标所处位置的车道数量不相等、左起车道编号小于等于右起车道编号、并且右起车道编号大于2时，确定目标所处位置对应的车道信息为左起车道编号，等等。
55.步骤s103：若自车处于第一场景，则对感知到的自车周围预定类型的目标物进行
显示。
56.经前述实施例的步骤s101和步骤s102之后，可以获知自车周围存在哪些预定类型的目标物以及自车所处场景，例如，自车是处于交通路口还是不处于交通路口、自车处于停止线一定范围之内或之外，等等。一般地，由于交通路口的交通信息复杂，并且与电子地图上在交通路口设定虚拟道路边界不同，在现实环境中，交通路口一般无明确的道路边界，当自车处于交通路口，则自车周围所有感知到的预定类型的目标物均应显示，而自车距离停止线较近时，自车周围所有感知到的预定类型的目标物也均应显示。若对这些目标进行过滤或不全部显示，则对自车的行驶安全存在隐患。因此，作为本技术一个实施例，若自车处于第一场景，则对感知到的自车周围预定类型的目标物进行显示可以是：若自车处于交通路口或自车与停止线不超过预设距离(例如，自车与停止线不超过50米)，则直接对感知到的自车周围预定类型的目标物进行显示。
57.步骤s104：若自车处于第二场景，则根据自车周围预定类型的目标物所处车道信息对处于预设车道的目标物进行过滤。
58.若自车处于正常的场景，例如不在交通路口或者处于停止线一定范围之外，此时就需要根据自车周围预定类型的目标物所处车道信息对处于预设车道的目标物进行过滤，而无需对所有目标物都进行显示。具体地，作为本技术一个实施例，若自车处于第二场景，则根据自车周围预定类型的目标物所处车道信息对处于预设车道的目标物进行过滤可以是：根据自车周围预定类型的目标物所处车道信息，确定该目标物是否处于对向车道或处于非交通路口；若自车不在交通路口，并且该目标物处于对向车道或处于与自车同向间隔一个以上的车道，则对处于对向车道或处于与自车同向间隔一个以上的车道的目标物进行过滤。本实施例中，目标物所处车道信息可以根据前述实施例的步骤s1021至步骤s1025获取。在现实交通环境中，若目标物处于对向车道，只要目标物在行驶时不违反交规，则一般不会对自车形成安全威胁；另一方面，受限于车辆的横向感知能力，导致对对向车道的目标物识别不稳定，因此，这类目标物可以过滤掉而不做显示；而对于与自车同向的目标物，虽然同向，但该目标物是在距离自车较远的车道，例如左起编号为2或2以上的车道(假设自车所处车道的编号为0，且从自车所处车道往左右起算，车道编号依次递增1)，因距离自车所处车道较远，只要目标物在行驶时不违反交规，则一般不会对自车形成安全威胁，并且，受限于车辆的横向感知能力，导致对对向车道的目标物识别不稳定，因此，这类目标物亦可以过滤掉而不做显示。
59.步骤s105：显示自车周围尚未经步骤s104过滤的目标物。
60.在本技术实施例中，无论是若自车处于交通路口或自车与停止线不超过预设距离时直接对感知到的自车周围预定类型的目标物进行显示，还是对处于预设车道的目标物进行过滤后显示自车周围尚未过滤的目标物，都可以先将自车的道路坐标转换为经纬度坐标匹配到电子地图，然后，根据目标物相对于自车的位置坐标、航向角以及自车在电子地图上的位置，匹配到电子地图，从而实现对目标物的显示。
61.从上述图1示例的感知目标显示方法可知，在自车处于第一场景时，对感知到的自车周围预定类型的目标物进行显示，即只显示必要的、可能影响自车行驶的目标物，从而提升了自车的驾驶安全度；在自车处于第二场景时，根据自车周围预定类型的目标物所处车道信息对处于预设车道的目标物进行过滤，避免了对用户界面的图像干扰，使得后续环境
重构更稳定。
62.参见图2，是本技术实施例示出的感知目标显示装置的结构示意图。为了便于说明，仅示出了与本技术实施例相关的部分。图2示例的感知目标显示装置主要包括感知模块201、获取模块202、第一显示模块203、过滤模块204和第二显示模块205，其中：
63.感知模块201，用于感知自车周围预定类型的目标物；
64.获取模块202，用于获取自车的位置信息并基于传感设备获取自车周围预定类型的目标物所处车道信息；
65.第一显示模块203，用于若自车处于第一场景，则对感知到的自车周围预定类型的目标物进行显示；
66.过滤模块204，用于若自车处于第二场景，则根据预定类型的目标物所处车道信息对处于预设车道的目标物进行过滤；
67.第二显示模块205，用于显示自车周围尚未过滤的目标物。
68.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。
69.从上述图2示例的感知目标显示装置可知，在自车处于第一场景时，对感知到的自车周围预定类型的目标物进行显示，即只显示必要的、可能影响自车行驶的目标物，从而提升了自车的驾驶安全度；在自车处于第二场景时，根据自车周围预定类型的目标物所处车道信息对处于预设车道的目标物进行过滤，避免了对用户界面的图像干扰，使得后续环境重构更稳定。
70.图3是本技术实施例示出的电子设备的结构示意图。
71.参见图3，电子设备300包括存储器310和处理器320。
72.处理器320可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
73.存储器310可以包括各种类型的存储单元，例如系统内存、只读存储器(rom)和永久存储装置。其中，rom可以存储处理器320或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器310可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(例如dram，sram，sdram，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器310可以包括可读和/或写的可移除的存储设备，例如激光唱片(cd)、只读数字多功能光盘(例如dvd-rom，双层dvd-rom)、只读蓝光光盘、超密度光盘、闪存卡(例如sd卡、min sd卡、micro-sd卡等)、磁性软盘等。计算机可读
存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
74.存储器310上存储有可执行代码，当可执行代码被处理器320处理时，可以使处理器320执行上文述及的方法中的部分或全部。
75.此外，根据本技术的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本技术的上述方法中部分或全部步骤的计算机程序代码指令。
76.或者，本技术还可以实施为一种计算机可读存储介质(或非暂时性机器可读存储介质或机器可读存储介质)，其上存储有可执行代码(或计算机程序或计算机指令代码)，当可执行代码(或计算机程序或计算机指令代码)被电子设备(或服务器等)的处理器执行时，使处理器执行根据本技术的上述方法的各个步骤的部分或全部。
77.以上已经描述了本技术的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施例。