关键帧提取方法、道路交通设备和设施的矢量化方法与流程

1.本说明书一般涉及导航技术领域，尤其涉及一种用于场景图片处理的关键帧提取方法、道路交通设备和设施的矢量化方法。


背景技术：

2.高精度地图采集制作过程中，道路场景交通设备、设施(属于地图要素)的自动矢量化是一项比较复杂、难度系数较高、但却非常重要的内容。目前地图公司普遍的做法是使用雷达采集车，采集获取交通设备、设施的点云数据(通过测量仪器得到的产品外观表面的点数据集合，也称之为点云)。但由于点云数据存在缺乏纹理信息的问题，因此一般需要与全景相机进行联合标定使用。本文提出的方法，只需对基于视觉采集得到的图像进行处理即可，而不再依赖复杂的点云数据。


技术实现要素：

3.本说明书提供了一种用于场景图片处理的关键帧提取方法，不在依赖复杂的点云数据。
4.本说明书又提供了一种道路交通设备和设施的矢量化方法，可以很大程度提高自动化率，减少人工成本，提高整体生产效率。
5.本技术的一实施例中公开了一种用于场景图片处理的关键帧提取方法，包括：
6.获取采集到的场景图片的集及对应的深度图，所述场景图片的集的每一帧场景图片按照采集时间顺序排列；
7.对所述场景图片的集中采集到的图片目标进行分类；
8.根据所述场景图片采集时的位置信息和与所述场景图片对应的深度图，计算所述场景图片中所述图片目标的目标信息，所述目标信息包括该目标的经纬度信息和高程信息；
9.将所述场景图片的集中第一帧场景图片中所有的图片目标及对应的目标信息加入关键帧列表；
10.依次将所述场景图片的集的下一帧场景图片作为当前帧场景图片，计算当前帧场景图片中各个图片目标与所述关键帧列表中的对应分类的图片目标的重叠比率，并与第一预定阈值进行比较，直至遍历完所述场景图片的集的每一帧场景图片并得到关联帧列表；
11.其中，当所述重叠比率大于或等于所述第一预定阈值时，采用该当前帧场景图片中的该图片目标的目标信息更新所述关键帧列表中对应目标的目标信息；当所述重叠比率小于所述第一预定阈值或当前帧场景图片中的图片目标在所述关键帧列表中没有对应分类的图片目标时，将该当前帧场景图片中的该图片目标及其目标信息加入所述关键帧列表。
12.在一个优选例中，所述获取采集到的场景图片的集及对应的深度图的步骤，进一步包括：
13.连续采集场景图片；
14.确定选定位置；
15.以该选定位置为中心划定预定范围，在连续采集的场景图片中挑选出位于该预定范围内的场景图片组成所述场景图片的集。
16.在一个优选例中，该预定范围内的场景图片组成所述场景图片的集为多个，所述关键帧提取方法进一步包括：
17.将对应于多个所述场景图片的集的关键帧列表合并；
18.其中，计算多个关键帧列表中对应的图片目标的重叠比率；
19.当所述重叠比率大于或等于第二预定阈值时，删除场景图片采集时间在后或图片目标距离场景图片边缘更远的所述图片目标的目标信息。
20.在一个优选例中，所述第二预定阈值的取值范围为80％～95％。
21.在一个优选例中，所述目标的分类包括：交通标志牌、交通信号灯、摄像头、信号机、交通引导屏和交通标志杆中的至少三类。
22.在一个优选例中，所述计算当前帧场景图片中各个图片目标与所述关键帧列表中的对应分类的图片目标的重叠比率，并与第一预定阈值进行比较的步骤中，进一步包括，所述对应分类的图片目标为多个，分别计算当前帧场景图片中图片目标与所述关键帧列表中的对应分类的各个图片目标的重叠比率，并仅将最高的重叠比率与所述第一预定阈值进行比较。
23.在一个优选例中，所述计算当前帧场景图片中各个图片目标与所述关键帧列表中的对应的图片目标的重叠比率的步骤，进一步包括：
24.获取当前帧场景图片中所述图片目标的目标检测框；
25.获取所述关联帧列表中对应的所述图片目标的目标检测框；
26.计算当前帧场景图片中图片目标的目标检测框与所述关键帧列表中的对应的图片目标的目标检测框的重叠比率。
27.在一个优选例中，所述第一预定阈值的取值范围为80％～95％。
28.在一个优选例中，所述计算当前帧场景图片中各个图片目标与所述关键帧列表中的对应的图片目标的重叠比率的步骤，进一步包括：将当前帧场景图片中各个图片目标里被所述当前帧场景图片边缘切割的图片目标删除，计算当前帧场景图片中剩余的各个图片目标与所述关键帧列表中的对应分类的图片目标的重叠比率。
29.本技术的另一实施例中还公开了一种道路交通设备和设施的矢量化方法，该方法包括：
30.采用如前文描述图片目标为交通设施的关键帧列表；
31.基于所述关键帧列表，在电子地图道路中对应所述图片目标的目标信息的位置处标注所述交通设施。
32.相对于现有技术，本技术具有以下有益效果：
33.本发明提出一种基于深度学习的道路交通设备和设施自动矢量化方法，自动提取交通设备和设施目标在地图上的精确的空间位置，包括经纬度信息和高程信息，并自动输出交通设备和设施目标的分类属性，并基于空间位置的目标跟踪方法，通过目标跟踪实现从设备和设施检测结果中自动提取对应目标的关键帧信息加入关键帧列表，从而不再依赖
复杂的点云数据。基于关键帧列表，在电子地图道路中对应图片目标的目标信息的位置处标注交通设施，可以很大程度提高自动化率，减少人工成本，提高整体生产效率。
34.此外，本发明在提取关键帧列表的过程中还可以增加实现自动去除重复目标的功能。
35.本说明书中记载了大量的技术特征，分布在各个技术方案中，如果要罗列出本技术所有可能的技术特征的组合(即技术方案)的话，会使得说明书过于冗长。为了避免这个问题，本说明书上述发明内容中公开的各个技术特征、在下文各个实施方式和例子中公开的各技术特征、以及附图中公开的各个技术特征，都可以自由地互相组合，从而构成各种新的技术方案(这些技术方案均应该视为在本说明书中已经记载)，除非这种技术特征的组合在技术上是不可行的。例如，在一个例子中公开了特征a b c，在另一个例子中公开了特征a b d e，而特征c和d是起到相同作用的等同技术手段，技术上只要择一使用即可，不可能同时采用，特征e技术上可以与特征c相组合，则，a b c d的方案因技术不可行而应当不被视为已经记载，而a b c e的方案应当视为已经被记载。
附图说明
36.参考以下附图描述本技术的非限制性和非穷举性实施例，其中除非另有说明，否则相同的附图标记在各个视图中指代相同的部分。
37.图1是根据本说明书一实施例中一种用于场景图片处理的关键帧提取方法的流程图。
具体实施方式
38.在以下的叙述中，为了使读者更好地理解本技术而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本技术所要求保护的技术方案。
39.部分概念的说明：
40.交通设备和设施，指为城市交通系统保障安全正常运营而设置的轨道、隧道、高架道路、机电设备、供电设备、交通标志牌、交通信号灯、交通信号机、交通摄像头等等。
41.交通信号灯，通信号灯是指挥交通运行的信号灯，一般由红灯、绿灯、黄灯组成。
42.交通信号机，交通信号机是现代城市交通系统的重要组成之一，主要用于城市道路交通信号的控制与管理。
43.交通摄像头，是指部署和安装在交通场景的监控摄像头，交管部门通过交通摄像头，对交通场景进行实时监管。
44.目标分类，利用计算机对图像进行定量分析，把图像或图像中的每个像元或区域划归为若干个类别中的某一种。
45.矢量化，把交通设备和设施目标转换成矢量数据的处理过程。
46.本技术的部分创新在于：
47.本技术提出一种基于深度学习的场景图片处理的关键帧提取方法，自动提取交通设备和设施目标在地图上的精确的空间位置，包括交通设备和设施的经纬度信息和高程信息，并自动输出交通设备和设施目标的分类属性，并基于空间位置的目标跟踪方法，通过目
标跟踪实现从设备和设施检测结果中自动提取对应目标的关键帧信息加入关键帧列表。此外，本技术在提取关键帧列表的过程中还可以增加实现自动去除重复目标的功能。
48.基于提取的关键帧列表，在电子地图道路中对应图片目标的目标信息的位置处标注交通和设施，可以很大程度提高自动化率，减少人工成本，提高整体生产效率。
49.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术的实施方式作进一步地详细描述。
50.本技术的一实施例中公开了一种用于场景图片处理的关键帧提取方法，图1是本实施例中的用于场景图片处理的关键帧提取方法的流程图，该方法包括：
51.步骤101，获取采集到的场景图片的集及对应的深度图，所述场景图片的集的每一帧场景图片按照采集时间顺序排列；
52.步骤102，对所述场景图片的集中采集到的图片目标进行分类；
53.步骤103，根据所述场景图片采集时的位置信息和与所述场景图片对应的深度图，计算所述场景图片中所述图片目标的目标信息，所述目标信息包括该目标的经纬度信息和高程信息；
54.步骤104，将所述场景图片的集中第一帧场景图片中所有的图片目标及对应的目标信息加入关键帧列表；
55.步骤105，依次将所述场景图片的集的下一帧场景图片作为当前帧场景图片，计算当前帧场景图片中各个图片目标与所述关键帧列表中的对应分类的图片目标的重叠比率，并与第一预定阈值进行比较，直至遍历完所述场景图片的集的每一帧场景图片并得到关联帧列表；
56.步骤106，当所述重叠比率大于或等于所述第一预定阈值时，采用该当前帧场景图片中的该图片目标的目标信息更新所述关键帧列表中对应目标的目标信息；当所述重叠比率小于所述第一预定阈值或当前帧场景图片中的图片目标在所述关键帧列表中没有对应分类的图片目标时，将该当前帧场景图片中的该图片目标及其目标信息加入所述关键帧列表。
57.在一个优选例中，步骤105中，所述计算当前帧场景图片中各个图片目标与所述关键帧列表中的对应分类的图片目标的重叠比率，并与第一预定阈值进行比较的步骤中，进一步包括，所述对应分类的图片目标为多个，分别计算当前帧场景图片中图片目标与所述关键帧列表中的对应分类的各个图片目标的重叠比率，并仅将最高的重叠比率与所述第一预定阈值进行比较。
58.在另一优选实施例中，步骤105中，所述计算当前帧场景图片中各个图片目标与所述关键帧列表中的对应的图片目标的重叠比率的步骤，进一步包括：
59.获取当前帧场景图片中所述图片目标的目标检测框；
60.获取所述关联帧列表中对应的所述图片目标的目标检测框；
61.计算当前帧场景图片中图片目标的目标检测框与所述关键帧列表中的对应的图片目标的目标检测框的重叠比率。在一优选实施例中，所述第一预定阈值的取值范围为80％～95％。
62.在另一优选实施例中，步骤105中，所述计算当前帧场景图片中各个图片目标与所述关键帧列表中的对应的图片目标的重叠比率的步骤，进一步包括：将当前帧场景图片中
各个图片目标里被所述当前帧场景图片边缘切割的图片目标删除，计算当前帧场景图片中剩余的各个图片目标与所述关键帧列表中的对应分类的图片目标的重叠比率。
63.在一优选实施例中，步骤101中，所述获取采集到的场景图片的集及对应的深度图的步骤，进一步包括：
64.连续采集场景图片；
65.确定选定位置；
66.以该选定位置为中心划定预定范围，在连续采集的场景图片中挑选出位于该预定范围内的场景图片组成所述场景图片的集。
67.进一步的，该预定范围内的场景图片组成所述场景图片的集为多个，所述关键帧提取方法进一步包括：
68.将对应于多个所述场景图片的集的关键帧列表合并；
69.其中，计算多个关键帧列表中对应的图片目标的重叠比率；
70.当所述重叠比率大于或等于第二预定阈值时，删除场景图片采集时间在后或图片目标距离场景图片边缘更远的所述图片目标的目标信息。在一优选实施例中，所述第二预定阈值的取值范围为80％～95％。
71.在一优选实施例中，所述目标的分类包括：交通标志牌、交通信号灯、摄像头、信号机、交通引导屏和交通标志杆中的至少三类。在一优选实施例中，基于深度学习模型对所述场景图片的集中的目标进行分类。例如，所述目标的分类包括交通标志牌、交通信号灯、摄像头、信号机、交通引导屏和交通标志杆。在该选实施例中，基于深度学习模型将所述场景图片的集中的目标分类为交通标志牌、交通信号灯、摄像头、信号机、交通引导屏和交通标志杆；抠取所有的所述交通标志牌的图像；基于交通标志牌学习模型对所述交通标志牌进行分类；抠取所有的所述交通信号灯的图像；基于交通信号灯学习模型对所述交通信号灯进行分类。
72.为了能够更好地理解本说明书的技术方案，下面结合一个具体的例子来进行说明，该例子中罗列的细节主要是为了便于理解，不作为对本技术保护范围的限制。
73.首先，采集连续图片，并赋予每一个图片帧号。
74.其次，自动从采集得到的连续图片中，挑选特定路段、路口的图片集，从而减少图片量、提升处理速度。
75.再次，基于深度学习，对上述自动挑选的图片集进行处理，自动对图片集中的设备、设施进行目标检测和分类。例如，基于深度学习模型将所述场景图片的集中的目标分类为交通标志牌、交通信号灯、摄像头、信号机、交通引导屏和交通标志杆，基于交通标志牌学习模型对所述交通标志牌进行分类，基于交通信号灯学习模型对所述交通信号灯进行分类。
76.之后，自动计算每个检测出的目标对应的经纬度信息和高程信息。
77.之后，进行目标跟踪，即确定每个设备和设施成像质量最佳的那一阵，将其作为关键帧对应目标的信息。具体的，
78.首先，初始化一个空列表(关键帧列表)，用以存储目标的关键帧。
79.其次，按照采集图片的时间顺序，依次遍历每帧图片的目标检测和分类结果，每帧图片的帧号、设备id、获取目标检测框在图片中的位置及其对应的空间地理位置信息(经纬
度信息和高程信息)。
80.再次，在遍历过程中，以遍历的第一帧场景图片中所有的图片目标及对应的目标信息直接加入关键帧列表作为初值。关键帧列表适用于多个类别的多个目标(如两个红绿灯和三个路牌，则两个种类五个目标)。第一帧里面所有经过分类后的设备并赋予对应的id号(如灯1、灯2，路牌1，路牌2，路牌3)。从第二帧开始，依次计算当前帧每一个类别的每一个目标的目标检测框now_frame_bbox与关键帧列表中的对应的目标检测框key_frame_bbox的重叠比率overlap_ratio，该重叠比例指的是空间坐标的重叠比率，例如，空间位置通过四个点坐标采用格式[[x1,y1],[x2,y2],[x3,y3],[x4,y4]]进行定义。例如，目标检测框1的空间位置如下：
[0081]
[[31.327770721683144,121.50529203623024],
[0082]
[31.32776953206947,121.50528126279754],
[0083]
31.32776932894863,121.50528128508155],
[0084]
31.32777052526679,121.50529219847473]]。
[0085]
目标检测框2的空间位置如下：
[0086]
[[31.327768904449204,121.50528117103727],
[0087]
[31.327768697773756,121.50528119371124],
[0088]
[31.327769892429732,121.50529206648484],
[0089]
[31.327770086881944,121.50529190586282]]。
[0090]
框1和框2的重叠比率overlap_ratio＝79.85％。
[0091]
如果overlap_ratio大于或等于设定的阈值(如90％)，则将当前帧的这一个目标的信息(帧号、目标设备id和对应的目标检测框的位置信息)替换关键帧列表中对应的目标信息；如果overlap_ratio小于设定的阈值(如90％)，则判定now_frame_bbox是新的目标，将其加入关键帧列表中，并赋予设备id，如新增灯3，路牌4等。如果关键帧列表中某目标检测框key_frame_bbox落在当前帧图片边界之外，则认为此目标key_frame_bbox目标跟踪结束，将key_frame_bbox对应的帧号、设备id、对应位置信息加入最终输出列表，并从关键帧列表中去掉此目标，此目标是成像质量最佳的(目标成像最清晰、面积最大)。否则认为目标跟踪未结束，继续进行计算和比较。
[0092]
最后，目标跟踪结束，获得输出的关键帧列表。
[0093]
此外，由于在视觉采集中，为了保证数据完整性，一般对每一个路段、或每一个路口，都会进行重复采集(不同时间、不同方向)，这会造成每个交通设备、设施可能会出现在多个不同的轨迹(指图片序列)中。因此，需要对上述最终输出的关键帧列表进行重复目标去除。
[0094]
具体的，最终输出列表中的同一种类的目标通过目标检测框的位置信息的重叠比进行去重，采用和上述目标跟踪相同的思路，目标检测框进行两两比较，进而将重复目标去除。例如，第一次采集获得路灯1-5共5个目标的“关键帧”信息(帧号、路灯id、位置)，其中路灯id是采集时赋予的，第二次从相反车道反向采集获得路灯6-15共10个目标，其中可能路灯id3和路灯id10是同一个路灯，但是通过路灯id无法区分。因此，会按id顺序进行位置排查，如看路灯id2-15的位置是否和id1的位置重合度达到阈值以上，如未达到，说明确实不是同一个路灯，再对id3-15和id2进行比较，一直到比较到id10和id3时，发现重合度超过阈
值(如90％)，判断二者是同一目标，则删除id10，如果还发现id15也达到重合度阈值(如90％)，也删除id15，直至去除所有重复的目标。
[0095]
本技术的另一实施例中还公开了一种道路交通设备和设施的矢量化方法，该方法包括：
[0096]
采用如前文描述图片目标为交通设施的关键帧列表；
[0097]
基于所述关键帧列表，在电子地图道路中对应所述图片目标的目标信息的位置处标注所述交通设施。并且，以地图支持的格式进行矢量化输出，此结果可直接作为地图要素矢量化信息投入地图使用。
[0098]
在另一实施例中，为了确保设备和设施自动提取的关键帧列表更加准确，防止错误提取、漏提取，本实施例中还可以增加人工复核的步骤，快速对所有目标的自动提取结果进行人工复核。对此，本实施例中提供了一种设备和设施自动提取结果复核工具，将自动化提取结果的关键帧列表作为该工具的初始化输入，以可视化的方式，显示每个提取出的设备和设施目标在图片中的位置。随后安排人力快速对目标自动提取的结果进行复检，对于提取错误的结果进行更正，以保证结果的准确可靠。
[0099]
人工复核完成后，即可针对复核结果，根据每种设备和设施的输出要求，自动生成设备和设施地图矢量化结果。另外，所开发的人工复核工具也可直接用来实现设备和设施的手动矢量化。
[0100]
需要说明的是，在本专利的申请文件中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。本专利的申请文件中，如果提到根据某要素执行某行为，则是指至少根据该要素执行该行为的意思，其中包括了两种情况：仅根据该要素执行该行为、和根据该要素和其它要素执行该行为。多个、多次、多种等表达包括2个、2次、2种以及2个以上、2次以上、2种以上。
[0101]
在本说明书提及的所有文献都被认为是整体性地包括在本说明书的公开内容中，以便在必要时可以作为修改的依据。此外应理解，以上所述仅为本说明书的较佳实施例而已，并非用于限定本说明书的保护范围。凡在本说明书一个或多个实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例的保护范围之内。
[0102]
在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描述的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。