基于自然驾驶数据的交通参与者位置及动作的标注方法与流程

1.本发明智能网联汽车技术领域，具体涉及一种基于自然驾驶数据的交通参与者位置及动作的手动标注方法。


背景技术：

2.随着国内智能汽车逐步达到l3/l4级，主要涉及拥堵跟车、高速代驾和代客泊车等adas(自动驾驶辅助系统)功能，需要对高速公路场景、城市拥堵场景(快速路)和停车场场景数据进行分析，以支撑adas功能控制策略开发及安全验证，保证智能汽车驾驶的高度拟人化。但在行车数据中，车辆周围存在较多其他交通参与者与本车发生交互动作与位置变化，如前方车辆由右侧切入至本车前方。而车辆传感器数据存在误识别、漏识别等问题，导致车辆的位置与动作识别查准率与查全率较低，部分环境信息如隔离带类型、强光及部分道路类型识别均不准确，导致无法准确提取所需要的场景，分析结果与实际偏离较大，因此需要人工进行识别与修正。
3.当前人工修正标注的方式，是通过同步回放历史视频与周围交通参与者信息鸟瞰图，在交通参与者发生动作或位置变化时，在相应时间点进行标记，以满足对各项adas功能所需要的场景提取条件。
4.现有市场上的标注方法有两种：
5.1、单一时间轴标注，直接在一条时间轴上进行关键时间点的标记，在仅标注出本车相关的动作时，简单便捷。该方法在周围交通参与者位置变化较快，数量较多时或环境要素更换较快时，标记点混乱，无法分辨各个交通参与者标记准确性。
6.2、多时间轴的拖拽式标注将周围车辆按照不同的相对位置及环境要素进行划分，分成本车、前、左前、右前、后、左后、右后、左、右，每一个位置独立一个时间轴，共12个时间轴，当交通参与者进入对应位置时，环境要素出现在对应时刻时，在时间轴上进行标记框拖拽，使得标记框的起点和终点与实际情况相符，并添加标记框相应的附属信息。该方法在交通参与者较多或位置切换较快时，需在12个时间轴上均进行标记框的拖拽动作，易出现位置标记错误，且在相邻位置切换时，由于手动拖拽误差大，无法保证前后标记框首尾相接，且容易出现同一个交通参与者的标记框重叠的错误，即同一时刻同一个交通参与者出现在不同的位置，操作难度大，效率低，准确率低。


技术实现要素：

7.本发明的目的就在于，提供一种基于自然驾驶数据的交通参与者位置及动作的手动标注方法，以解决最大限度的提高标记速度与标记准确度的问题，通过实时回放视频与传感器数据，对关键时间点进行标记，保证标记点与实际时间点最大限度重合，误差控制在0.1s以内；通过特定规则限制，最大限度的提高标记速度与标记准确度，以满足场景提取要求。
8.本发明的目的是通过以下技术方案实现的：
9.一种基于自然驾驶数据的交通参与者位置及动作的标注方法，包括以下步骤：
10.a、根据采集的自然驾驶数据中的视频信号数据，将数据对象分类，定义每一个类别下的数据属性，建立初始索引表，建立每一个数据对象分类在初始表中统一的时间轴与值，并与自然驾驶数据采集的时间轴保持一致；
11.b、设定属性切换标志，当某一个数据对象属性在某一个时刻发生改变时，则产生一个属性切换标志；
12.c、数据同步回放，每一个数据对象的属性值与自然驾驶中的视频同步回放，并可实现暂停、快退、快进功能；
13.d、将数据对象分类与初始索引表建立关联关系；
14.e、采集不同道路、不同时间段、不同地区的实际数据；
15.f、根据采集的实际数据自动化生成自然驾驶交通动态参与者初始索引表，将公开数据源获取的自然环境信息填充于初始索引表中，并对自动填充的数据属性值进行人工修正；
16.g、将标记修正区的多个标注框进行反映射至填充的初始索引表中。
17.进一步地，步骤a，所述数据对象分类为自然驾驶交通动态参与者和自然驾驶交通静态参与者两大类，其中，自然驾驶交通动态参与者又分为本车和其他目标物；本车包括本车行驶车道编号和本车动作，其他目标物包括目标物位置、目标物类型和目标物动作；目标物位置分为正前方、正后方、正左方和正右方四小类；自然驾驶交通静态参与者又分为车道线颜色、车道线类型、隔离带类型、天气和障碍物。
18.更进一步地，步骤d，自然驾驶交通动态参与者部分，由视频回放区、标记修正区、位置选择区、数据属性选择区及操作区组成；所述视频回放区，用于回放自然驾驶数据中的视频信号数据；所述标记修正区，用于将周围车辆按照自然驾驶动态交通参与者的目标物位置分类划分，与初始索引表建立映射关系，时间轴与视频回放区的时间轴一致；所述位置选择区，用于进行交通参与者对应位置的选择，18个位置与标记修正区的索引首行一一对应；所述数据属性选择区，用于添加数据附属信息，如交通参与者的id、动作、类型等；所述操作区，用于对标记框进行删除、切断等操作。
19.更进一步地，上述各功能区与初始索引表建立关联关系的方法为：
20.d11、将初始索引表中的数据对象分别映射为标记修正区的纵向时间列；
21.d12、连续时间段内，同一个数据对象下的相同的数据属性映射成为用户使用界面的蓝色标注框，标注框的长度，即为该项属性持续时间；
22.d13、将初始索引表中的时间轴映射成为可滚动拖拽，同时控制视频的回放时间轴；
23.d14、同一个数据对象下的不同数据属性之间映射的蓝色标注框有颜色深浅的区分；
24.d15、当蓝色标注框的长短变化时，映射的索引表中的内容也同步发生变化；
25.d16、属性切换标志映射为每一个蓝色标注框的上下边沿，连续的两个不同的属性可共用同一个属性切换标志；
26.d17、不同位置同一个目标物的所有蓝色标注框的左右侧沿颜色一致；
27.d18、时间限制：在拖动一个公共的属性标志时，所属的标注框同步移动，不论是否
在同一个数据对象下；
28.d19、位置限制：在目标物两个连续的时刻跨越多个位置时，禁止映射。
29.更进一步地，步骤d，自然驾驶交通静态参与者部分，由视频回放区、标记修正区、数据属性选择区及操作区组成。其中，所述视频回放区，用于回放自然驾驶数据中的视频信号数据；所述标记修正区，用于按照自然驾驶静态交通参与者的数据对象分类进行划分，与初始索引表建立映射关系，时间轴与视频回放区的时间轴一致；所述数据属性选择区，用于添加数据附属信息，如静态交通参与者的属性；所述操作区，用于对标记框进行删除、切断等操作。
30.更进一步地，上述各功能区与初始索引表建立关联关系的方法为：
31.d21、将初始索引表中的数据对象分别映射为标记修正区的纵向时间列；
32.d22、连续时间段内，同一个数据对象下的相同的数据属性映射成为用户使用界面的蓝色标注框，标注框的长度，即为该项属性持续时间；
33.d23、将初始索引表中的时间轴映射成为可滚动拖拽，同时控制视频的回放时间轴；
34.d24、同一个数据对象下的不同数据属性之间映射的蓝色标注框有颜色深浅的区分；
35.d25、当蓝色标注框的长短变化时，映射的索引表中的内容也同步发生变化；
36.d26、属性切换标志映射为每一个蓝色标注框的上下边沿，连续的两个不同的属性可共用同一个属性切换标志。
37.进一步地，步骤f，所述自然驾驶交通动态参与者初始索引表的自动化生成，步骤如下：
38.f11、依据自然驾驶场景数据中采集的目标物与本车之间的距离，将其划分在不同的目标物位置中；
39.f12、依据自然驾驶场景数据中采集的目标物及车道线与本车之间的距离，填充索引表中的目标物动作的属性值；
40.f13、依据自然驾驶场景数据中采集的目标物类型，填充索引表中的目标物类型下的属性值。
41.进一步地，步骤f，自动填充的数据属性值进行人工修正，修正步骤如下：
42.f21、将自动填充后索引表依据s106中的映射规则，映射于建立的用户使用界面中；
43.f22、用户对照视频实际情况，增加或者删除标注框，调整标注框的上下边沿，使之实际情况相符合。
44.进一步地，步骤g、映射步骤如下：
45.g1、将标记修正区对应时间轴的数据对象映射回初始索引表对应表头；
46.g2、将每一个数据分类下的标记框所对应的时间和数据属性映射回初始索引表对应单元格中。
47.一种计算机设备，所述计算机设备包括：
48.一个或多个处理器；
49.存储装置，用于存储一个或多个程序；
50.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。
51.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的方法。
52.与现有技术相比，本发明的有益效果是：
53.本发明创建了一种多时间轴的点击式标注方法，通过回放时间轴的移动，同步回放鸟瞰图与监控视频，便于人工查看；基于交通参与者的位置切换、附属信息切换时，点击切换标签至对应的时间轴，而非拖拽的方式进行标注，极大提高质量与效率，通过随着时间轴的移动进行点击标记的方式，最大限度的提高标记速度；提出了在标签切换与手动调整时，通过空间、时间方面的逻辑规则限制，保证切换时标注框首尾相接与避免出现空间跨越的问题，最大限度减少标注错误，误差控制在0.1s以内。
附图说明
54.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
55.图1基于自然驾驶数据的交通参与者位置及动作的手动标注方法的流程图；
56.图2-图8标记修正区操作示意图。
具体实施方式
57.下面结合实施例对本发明作进一步说明：
58.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
59.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
60.本发明基于自然驾驶数据的交通参与者位置及动作的标注方法，采用多时间轴的点击式标注方式，应对交通参与者较多且变化较快的情况，能够快速完成标记工作，并通过特定的规则限制，最大限度的提高效率。
61.如图1所示，本发明基于自然驾驶数据的交通参与者位置及动作的标注方法，包括以下步骤：
62.1、根据采集的自然驾驶数据的视频信号数据，将数据对象分类为自然驾驶交通动态参与者和自然驾驶交通静态参与者两大类。依据不同的数据分类，定义每一个类别下的数据属性，建立初始索引表，为每一个数据对象分类在初始表中建立统一的时间轴与值，并与自然驾驶数据采集的时间轴保持一致，各个数据对象分类的属性值随着时间轴独立变化。
63.其中，自然驾驶交通动态参与者又分为本车和其他目标物等。本车包括本车行驶
车道编号和本车动作，其他目标物包括目标物位置、目标物类型和目标物动作。目标物位置分为正前方、正后方、正左方和正右方四小类。自然驾驶交通静态参与者又分为车道线颜色、车道线类型、隔离带类型、天气和障碍物等。
64.2、设定属性切换标志，当某一个数据对象属性在某一个时刻发生改变时，则产生一个属性切换标志。
65.3、数据同步回放，每一个数据对象的属性值与自然驾驶中的视频同步回放，并可实现暂停、快退、快进等基本播放功能。
66.4、将自然驾驶交通动态参与者和自然驾驶交通静态参与者与初始索引表建立关联关系。
67.其中，自然驾驶交通动态参与者部分，由视频回放区、标记修正区、位置选择区、数据属性选择区及操作区组成。所述视频回放区，用于回放自然驾驶数据中的视频信号数据；所述标记修正区，用于将周围车辆按照自然驾驶动态交通参与者的目标物位置分类划分，与初始索引表建立映射关系，时间轴与视频回放区的时间轴一致；所述位置选择区，用于进行交通参与者对应位置的选择，18个位置与标记修正区的索引首行一一对应；所述数据属性选择区，用于添加数据附属信息，如交通参与者的id、动作、类型等；所述操作区，用于对标记框进行删除、切断等操作。
68.具体地，上述各功能区与初始索引表建立关联关系的方法为：
69.将初始索引表中的数据对象分别映射为标记修正区的纵向时间列；连续时间段内，同一个数据对象下的相同的数据属性映射成为用户使用界面的蓝色标注框，标注框的长度，即为该项属性持续时间；将初始索引表中的时间轴映射成为可滚动拖拽，同时控制视频的回放时间轴；同一个数据对象下的不同数据属性之间映射的蓝色标注框有颜色深浅的区分；当蓝色标注框的长短变化时，映射的索引表中的内容也同步发生变化；属性切换标志映射为每一个蓝色标注框的上下边沿，连续的两个不同的属性可共用同一个属性切换标志；不同位置同一个目标物的所有蓝色标注框的左右侧沿颜色一致；同一个目标物的所有连续蓝色标注框共用属性切换标志，在移动该属性标志时，同时改变其所属的两个蓝色标注框的上下边沿，不论这两个蓝色标注框是否署于同一个数据对象下；相同目标物连续两个时刻跨越多个位置，则禁止映射。
70.自然驾驶交通静态参与者部分，由视频回放区、标记修正区、数据属性选择区及操作区组成。其中，所述视频回放区，用于回放自然驾驶数据中的视频信号数据；所述标记修正区，用于按照自然驾驶静态交通参与者的数据对象分类进行划分，与初始索引表建立映射关系，时间轴与视频回放区的时间轴一致；所述数据属性选择区，用于添加数据附属信息，如静态交通参与者的属性；所述操作区，用于对标记框进行删除、切断等操作。
71.具体地，上述各功能区与初始索引表建立关联关系的方法为：将初始索引表中的数据对象分别映射为标记修正区的纵向时间列；连续时间段内，同一个数据对象下的相同的数据属性映射成为用户使用界面的蓝色标注框，标注框的长度，即为该项属性持续时间；将初始索引表中的时间轴映射成为可滚动拖拽，同时控制视频的回放时间轴；同一个数据对象下的不同数据属性之间映射的蓝色标注框有颜色深浅的区分；当蓝色标注框的长短变化时，映射的索引表中的内容也同步发生变化；属性切换标志映射为每一个蓝色标注框的上下边沿，连续的两个不同的属性可共用同一个属性切换标志。
72.5、采集不同道路、不同时间段、不同地区的实际数据。
73.6、自然驾驶交通动态参与者初始索引表的自动化生成，依据公开数据源获取的自然环境信息如天气的阴、晴、雨等，填充于初始索引表中，并对自动填充的数据属性值进行人工修正。
74.具体地，所述自然驾驶交通动态参与者初始索引表的自动化生成，步骤如下：依据自然驾驶场景数据中采集的目标物与本车之间的距离，将其划分在不同的目标物位置中；依据自然驾驶场景数据中采集的目标物及车道线与本车之间的距离，填充索引表中的目标物动作的属性值；依据自然驾驶场景数据中采集的目标物类型，填充索引表中的目标物类型下的属性值。
75.自动填充的数据属性值进行人工修正，修正步骤如下：将自动填充后索引表依据s106中的映射规则，映射于建立的用户使用界面中；用户对照视频实际情况，增加或者删除标注框，调整标注框的上下边沿，使之实际情况相符合。
76.7、将标记修正区的多个标注框进行反映射至填充的初始索引表中。
77.具体地，映射步骤如下：将标记修正区对应时间轴的数据对象映射回初始索引表对应表头；将每一个数据分类下的标记框所对应的时间和数据属性映射回初始索引表对应单元格中。
78.实施例1
79.一种基于自然驾驶数据的交通参与者位置及动作的标注方法，具体为交通数据检索表建立流程，包括如下步骤：
80.s1结构设置：
81.s101：数据对象分类
82.针对自然驾驶数据的采集内容与实际情况，依据数据所描述的对象进行分类，一个常见的分类如下：
83.一、自然驾驶交通动态参与者
84.a、本车
85.ⅰ
、本车行驶车道编号
86.ⅱ
、本车动作
87.b、其他目标物
88.ⅰ
、目标物位置-正前方
89.ⅱ
、目标物位置-正后方
90.ⅲ
、目标物位置-正左方
91.ⅳ
、目标物位置-正右方
92.ⅴ
、目标物类型
93.ⅵ
、目标物动作
94.二、自然驾驶交通静态参与者
95.a、车道线颜色
96.b、车道线类型
97.c、隔离带类型
98.d、天气
99.e、障碍物
100.s102：数据属性定义
101.依据s101中的数据分类，为每一个类别下的数据定义属性，一个典型类型如表1。
102.表1数据定义属性表
[0103][0104]
s103：初始索引表建立
[0105]
以每一个数据对象的分类作为表头，通过计算机等自动化手段建立初始索引表，为每一个数据对象分类在初始表中建立统一的时间轴与值，并与自然驾驶数据采集的时间轴保持一致，各个数据对象分类的属性值随着时间轴独立变化，一个典型的初始索引表如表2。
[0106]
表2初始索引表
[0107][0108]
s104：属性切换标志设定
[0109]
当某一个数据对象属性在某一个时刻发生改变时，则产生一个属性切换标志。
[0110]
s105：数据同步回放
[0111]
每一个数据对象的属性值与自然驾驶中得视频同步回放，并可实现暂停、快退、快进等基本播放功能。
[0112]
s106：建立用户使用界面
[0113]
通过计算机软件编程，依据步骤一至六实现用户使用界面，界面包括两部分：
[0114]
一、自然驾驶交通动态参与者部分
[0115]
该部分包括多个视频回放区，标记修正区，位置选择区、数据属性区与操作区。
[0116]
视频回放区：回放自然驾驶数据中的视频信号数据
[0117]
标记修正区：该区域将周围车辆按照自然驾驶动态交通参与者的目标物位置分类划分，与初始索引表建立映射关系，时间轴与视频回放区的时间轴一致。
[0118]
位置选择区：该区域用于进行交通参与者对应位置的选择，18个位置与标记修正区的索引首行一一对应。
[0119]
数据属性选择区：该区域用于添加数据附属信息，如交通参与者的id、动作、类型等。
[0120]
操作区：该区域可对标记框进行删除、切断等操作。
[0121]
该界面与初始索引表建立关联关系方法如下，典型样例如表3：
[0122]
1、将初始索引表中的数据对象分别映射为标记修正区的纵向时间列；
[0123]
2、连续时间段内，同一个数据对象下的相同的数据属性映射成为用户使用界面的蓝色标注框，标注框的长度，即为该项属性持续时间；
[0124]
3、将初始索引表中的时间轴映射成为可滚动拖拽，同时控制视频的回放时间轴；
[0125]
4、同一个数据对象下的不同数据属性之间映射的蓝色标注框有颜色深浅的区分；
[0126]
5、当蓝色标注框的长短变化时，映射的索引表中的内容也同步发生变化
[0127]
6、属性切换标志映射为每一个蓝色标注框的上下边沿，连续的两个不同的属性可共用同一个属性切换标志；
[0128]
7、不同位置同一个目标物的所有蓝色标注框的左右侧沿颜色一致；
[0129]
8、同一个目标物的所有连续蓝色标注框共用属性切换标志，在移动该属性标志时，同时改变其所属的两个蓝色标注框的上下边沿，不论这两个蓝色标注框是否署于同一个数据对象下；
[0130]
9、相同目标物连续两个时刻跨越多个位置，则禁止映射。
[0131]
表3自然驾驶交通动态参与者部分初始索引表映射
[0132]
[0133][0134]
二、自然驾驶交通静态参与者部分
[0135]
该部分与第一部分类似，去除位置选择区，将数据属性选择区中的内容替换为数据属性中的值，将标记修正区中的动态交通参与者的数据对象替换为静态交通参与者的数据对象。
[0136]
视频回放区：回放自然驾驶数据中的视频信号数据。
[0137]
标记修正区：该区域按照自然驾驶静态交通参与者的数据对象分类进行划分，与初始索引表建立映射关系，时间轴与视频回放区的时间轴一致。
[0138]
数据属性选择区：该区域用于添加数据附属信息，如静态交通参与者的属性。
[0139]
操作区：该区域可对标记框进行删除、切断等操作。
[0140]
该界面与初始索引表建立关联关系方法如下，典型样例如表4。
[0141]
1、将初始索引表中的数据对象分别映射为标记修正区的纵向时间列；
[0142]
2、连续时间段内，同一个数据对象下的相同的数据属性映射成为用户使用界面的蓝色标注框，标注框的长度，即为该项属性持续时间；
[0143]
3、将初始索引表中的时间轴映射成为可滚动拖拽，同时控制视频的回放时间轴；
[0144]
4、同一个数据对象下的不同数据属性之间映射的蓝色标注框有颜色深浅的区分；
[0145]
5、当蓝色标注框的长短变化时，映射的索引表中的内容也同步发生变化；
[0146]
6、属性切换标志映射为每一个蓝色标注框的上下边沿，连续的两个不同的属性可共用同一个属性切换标志。
[0147]
表4自然驾驶交通静态参与者部分初始索引表映射
[0148][0149][0150]
s2视频采集
[0151]
开展不同道路、不同时间段、不同地区的实际数据采集。
[0152]
s3数据处理
[0153]
s301自然驾驶交通动态参与者初始索引表的自动化生成，步骤如下:
[0154]
1、依据自然驾驶场景数据中采集的目标物与本车之间的距离，将其划分在不同的目标物位置中；
[0155]
2、依据自然驾驶场景数据中采集的目标物及车道线与本车之间的距离，填充索引表中的目标物动作的属性值；
[0156]
3、依据自然驾驶场景数据中采集的目标物类型，填充索引表中的目标物类型下的属性值。
[0157]
s302依据公开数据源获取的自然环境信息如天气的阴、晴、雨等，填充于初始索引表中。
[0158]
s303对s301-302中自动填充的数据属性值进行人工修正，修正步骤如下：
[0159]
1、将自动填充后索引表依据s106中的映射规则，映射于建立的用户使用界面中。
[0160]
2、用户对照视频实际情况，增加或者删除标注框，调整标注框的上下边沿，使之实际情况相符合。
[0161]
s4结果检索表建立：
[0162]
在完成s302时，将标记修正区的多个标注框进行反映射至s301-s302填充的初始索引表中，映射步骤如下：
[0163]
1、将标记修正区对应时间轴的数据对象映射回初始索引表对应表头；
[0164]
2、将每一个数据分类下的标记框所对应的时间和数据属性映射回初始索引表对应单元格中。
[0165]
实施例2
[0166]
基于自然驾驶数据的交通参与者位置及动作的标注方法，具体操作方法为：
[0167]
1、回放历史数据，可随时暂停与播放；
[0168]
2、输入交通参与者的id，于位置选择区点击交通参与者所处位置，默认从当前时刻至终止时刻，在对应的时间轴上填充标记框，数据属性选择区点击交通参与者正在进行的动作及其类型，为标记框添加数据属性；
[0169]
3、当交通参与者的动作变化时，点击数据属性选择区对应动作，同时在标记框内对应的时刻标记属性切换标志，切换并记录当前标记框的数据属性值。属性切换标志可进行上下拖动调整；
[0170]
4、当交通参与者的位置切换时，点击位置选择区对应的位置框，首先判断点击的位置是否存在跨区域，若存在，则禁止切换，如交通参与者无法从前方直接切换至后方，若不存在则标记框自动在当前时刻进行无缝切换；
[0171]
5、可拖拽某个数据对象内的标记框，使得标记框上或下边沿移动，其他数据对象内的与之连续的同一个目标物的标记框进行同步移动；
[0172]
6、当交通参与者消失时，点击操作区断开标记框；
[0173]
7、当交通参与者的类型变化或出现新的交通参与者时，重复2。
[0174]
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。