一种图像数据中车尾灯的标注方法和装置、存储介质与流程

1.本技术涉及数据标注领域，特别涉及一种图像数据中车尾灯的标注方法和装置、存储介质。


背景技术：

2.在相关技术中，通常会使用人工标注的真实图像数据作为机器学习模块的输入数据，机器学习模块根据标注的图像数据进行物体检测，得到物体检测的结果图像数据。
3.机器学习模块学习到的物体检测功能是否具有准确的检测结果，要依赖多个方面，一方面是机器学习模块的参数设定的情况，另一方面是训练数据的相关度。在训练数据这一方面，如果训练数据的相关度低的话，将影响机器学习模块的学习效率和学习结果。
4.如何提高训练数据的相关度是机器学习的长期需求。


技术实现要素：

5.本技术提供了一种图像数据中车尾灯的标注方案，用以提高用于训练车尾灯识别的训练数据的相关度。
6.根据本技术实施例的一个方面，提供了一种图像数据中车尾灯的标注方法，包括：标注装置显示包括同一个车辆的多帧图像数据；接收输入的每一帧图像数据中车辆的车尾灯参数，其中，车尾灯参数包括左/右车尾灯是否启动、左/右车尾灯的亮度、左/右车尾灯亮度变化；关联保存每一帧图像数据以及每一帧图像数据的车尾灯参数。
7.根据本技术实施例的另一个方面，提供了一种图像数据中车尾灯的标注装置，包括一个处理器和至少一个存储器，至少一个存储器中存储有至少一条机器可执行指令，处理器执行至少一条机器可执行指令以执行如上所述的图像数据中车尾灯的标注方法。
8.根据本技术实施例的另一个方面，一种非易失性存储介质，存储有至少一条机器可执行指令，至少一条机器可执行指令被处理器执行后实现如上所述的图像数据中车尾灯的标注方法。
9.根据本技术实施例的技术方案，标注装置显示包括同一个车辆的多帧图像数据，接收输入的每一帧图像数据中车辆的车尾灯参数，并关联保存每一帧图像数据以及每一帧图像数据的车尾灯参数。在车尾灯参数中，包括左右车尾灯是否启动、左右车尾灯的亮度、左右车尾灯的亮度变化。通过车尾灯参数能够体现出车辆的车尾灯的多方面特征，为训练机器学习模块提供有效的数据基础，使得机器学习模块能够学习获得对更多车尾灯变化情况进行识别和检测的能力，相比相关技术中的机器学习模块具有更准确更有效的检测能力。
附图说明
10.附图用来提供对本技术的进一步理解，并且构成说明书的一部分，与本技术的实施例一起用于解释本技术，并不构成对本技术的限制。
11.图1为本技术实施例提供的图像数据中车尾灯的标注装置的结构框图；
12.图2为本技术实施例提供的图像数据中车尾灯的标注处理的架构示意图；
13.图3为本技术实施例提供的图像数据中车尾灯的标注方法的处理流程；
14.图4为图3中步骤301的一种实施方式的处理流程图；
15.图5为图3中步骤301的另一种实施方式的处理流程图；
16.图6为图3中步骤301的另一种实施方式的处理流程图；
17.图7为图3中步骤301的另一种实施方式的处理流程图；
18.图8为图3中步骤301的另一种实施方式的处理流程图；
19.图9为图3中步骤301的另一种实施方式的处理流程图；
20.图10为图3中步骤303的一种实施方式的处理流程图。
具体实施方式
21.为了使本技术领域的人员更好地理解本技术中的技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
22.在相关技术中，在训练机器学习模块学习物体检测功能的过程中，会使用真实图像数据作为训练数据输入给机器学习模块，机器学习模块以设定的参数对图像数据进行物体检测学习，在确定机器学习模块训练完成后，得到可执行物体检测的机器学习模块。
23.其中，真实图像数据通常是由摄像头获取到的图像数据，并且具有至少一个人工标注的标注框。标注框通常是标注员在物体边缘外侧添加的矩形框。通过标注框在图像数据中的位置坐标，可以得到物体在图像数据中的位置和尺寸大小。在特殊的应用场景中，标注框也可以具有其它形状。
24.在训练机器学习模块学习车尾灯检测的训练中，在图像数据中标注出车尾灯的标注框的基础上，还可以进一步提供车尾灯的相关参数。根据这些相关参数，机器学习模块能够学习得到更准确的车尾灯检测功能。
25.本技术实施例提供了一种图像数据中车尾灯的标注方案。在该方案中，标注装置显示包括同一个车辆的多帧图像数据，接收输入的每一帧图像数据中车辆的车尾灯参数，并关联保存每一帧图像数据以及每一帧图像数据的车尾灯参数。在车尾灯参数中，包括左右车尾灯是否启动、左右车尾灯的亮度、左右车尾灯的亮度变化。通过车尾灯参数能够体现出车辆的车尾灯的多方面特征，为训练机器学习模块提供有效的数据基础，使得机器学习模块能够学习获得对更多车尾灯变化情况进行识别和检测的能力，相比相关技术中的机器学习模块具有更准确更有效的检测能力。
26.本技术的一些实施例提供了一种图像数据中车尾灯的标注方案。图1示出了本技术实施例提供的标注装置的结构，该装置1包括处理器11和至少一个存储器12。
27.在一些实施例中，至少一个存储器12可以是多种形态的存储装置，例如暂态或非暂态的存储介质，易失性或非易失性存储介质。在存储器12中可以存储至少一条机器可执行指令，至少一条机器可执行指令被处理器11执行后实现本技术实施例提供的图像数据中
车尾灯的标注处理(以下简称为车尾灯标注)。
28.在一些实施例中，标注装置1可以位于服务器端。在另一些实施例中，标注装置1也可以位于云端服务器中。在另一些实施例中，标注装置1还可以位于客户端中。
29.如图2所示，本技术实施例提供的图像数据中车尾灯的标注处理可以包括前端处理12和后端处理14。通过前端处理12显示相关的图像数据或其它数据，并接收标注员输入的相关数据或信息，例如，前端处理12可以是通过web页面实现的处理，或者是通过单独的应用界面实现的处理。后端处理14根据前端处理12接收到的相关数据和信息，进行相应的标注处理。在标注处理完成后，标注装置1可以进一步将标注结果提供给客户端、服务器、云端服务器上的其它处理或应用。
30.下面对标注装置1执行至少一条机器可执行指令实现的车尾灯标注处理进行说明。
31.图3中示出了本技术实施例提供的图像数据中车尾灯的标注方法的处理流程，也即标注装置执行的车尾灯标注处理的流程，包括：
32.步骤301、标注装置显示包括同一个车辆的多帧图像数据；
33.步骤303、接收输入的每一帧图像数据中车辆的车尾灯参数，其中，车尾灯参数包括左右车尾灯是否启动、左右车尾灯的亮度、左右车尾灯亮度变化；
34.步骤305、关联保存每一帧图像数据以及每一帧图像数据的车尾灯参数。
35.其中，在步骤301中标注装置显示的同一个车辆的多帧图像数据，这多帧图像数据可以是经过选取的图像数据。例如，可以是同一个摄像头获取的包括该车辆的多帧图像数据，也可以是不同摄像头获取的包括该车辆的多帧图像数据；可以是同一个摄像头在一个时间段内拍摄的包括该车辆的多帧图像数据，也可以是在不同时间段内拍摄的包括该车辆的多帧图像数据；可以是在相同的拍摄条件下，由相同或不同的摄像头获取的包括该车辆的多帧图像数据。
36.在步骤301中，标注装置可以通过多种方式来显示多帧图像数据。
37.显示方式一，如图4所示，可以将多帧图像数据分组，每次显示一组图像数据，包括：
38.步骤3011a、读取多帧图像数据中的当前组图像数据；其中，多帧图像数据包括至少一组图像数据；
39.步骤3012a、按照预定的显示顺序显示读取的当前组图像数据。
40.其中，在步骤3011a中，对于多帧图像数据，根据图像数据之间的相关度，或者与显示要求相匹配，可以预先将多帧图像数据分为多组图像数据，每组图像数据包括至少一帧图像数据。其中，相关度可以根据图像数据获取的条件来确定，例如在由多个摄像头获取的多帧图像数据中，同一个摄像头获取的图像数据之间具有较高的相关度，可以将同一个摄像头获取到的多帧图像数据划分至少一个分组；又例如，在同一个摄像头在不同时间段获取的多帧图像数据中，在相同时间段获取的多帧图像数据之间具有较高的相关度，可以将相同时间段中获取的多帧图像数据划分为至少一个分组。
41.当多帧图像数据是同一个摄像头获取的图像数据，并且图像数据之间的相关度很高的情况下，也可以按照预设的标注装置一次显示图像的数量，将多帧图像数据平均划分为多组图像数据。
42.标注装置在读取一组图像数据时，可以是从标注装置本地的存储器中读取图像数据，也可以从远程服务器或者云端服务器上读取图像数据。
43.在步骤3012a中，在标注装置显示读取的一组图像数据时，可以按照预设的显示顺序进行显示。例如，在人机界面一个指定的区域内，按照图像数据获取时间的升序顺序显示，或者按照降序顺序进行显示。
44.显示方式二、在图4所示处理的基础上，在一些实施例中，标注装置显示多帧图像数据的操作还包括如图5所示的处理，包括：
45.步骤3011a、读取多帧图像数据中的当前组图像数据；其中，多帧图像数据包括至少一组图像数据；
46.步骤3012a、按照预定的显示顺序和预定的显示时长显示读取的当前组图像数据；
47.步骤3013a、标注装置对显示时长进行计时；
48.步骤3014a、在显示时长计时到时后，处理返回步骤3011a读取下一组图像数据并进行显示。
49.在图5所示的处理中，设置显示时长，并对显示时长进行计时，标注装置能够实现自动显示多帧图像数据。显示时长的具体数值，可以根据应用场景中的需求来具体设置，满足标注员对多帧图像数据进行标注的速度和效率需求。
50.在一些实施例中，标注员还可以对显示时长的数值进行重新设置，以适应标注员的标注需求。也即，标注装置接收到显示时长重置的指令以及显示时长的数值，标注装置将显示时长的数值设置为接收到的数值。
51.显示方式三、在一些实施例中，在图5所示的基础上，如图6所示，标注装置显示多帧图像数据的操作还包括：
52.步骤3011a、读取多帧图像数据中的当前组图像数据；其中，多帧图像数据包括至少一组图像数据；
53.步骤3012a、按照预定的显示顺序和预定的显示时长显示读取的当前组图像数据；
54.步骤3013a、标注装置对显示时长进行计时；
55.步骤3015a、标注装置对预设的提醒时长进行计时，在提醒时长计时到时后，发出提示信息；其中，提醒时间小于显示时长；
56.步骤3014a、在显示时长计时到时后，处理返回步骤3011a读取下一组图像数据并进行显示。
57.在步骤3015a中，标注装置发出提示信息，可以是在人机界面上发出文字提醒信息、图像提醒信息、和/或通过声卡和扬声器等设备发出声音提醒信息。
58.通过设置提醒时间，可以在显示时长计时到时之前，对标注员发出提醒，提醒标注员关注当前的标注进度。
59.显示方式四、在一些实施例中，在图6所示的基础上，如图7所示，标注装置显示多帧图像数据的操作还包括如下的步骤：
60.步骤3011a、读取多帧图像数据中的当前组图像数据；其中，多帧图像数据包括至少一组图像数据；
61.步骤3012a、按照预定的显示顺序和预定的显示时长显示读取的当前组图像数据；
62.步骤3013a、标注装置对显示时长进行计时；
63.步骤3016a、标注装置接收到暂停显示的指令，暂停对显示时长的计时；
64.步骤3017a、标注装置接收到恢复显示的指令，继续对显示时长的计时；
65.步骤3014a、标注装置在显示时长计时到时后，处理返回步骤3011a读取下一组图像数据并进行显示。
66.在步骤3016a和步骤3017a中，标注装置在接收到暂停显示指令后，暂停对显示时长计时，能够使标注员使用更多的时间来观察和识别图像中车尾灯的情况，标注装置在接收到恢复显示的指令后，能够继续执行多帧图像的自动显示。从而标注装置能够结合标注员的指令来控制自动显示多帧图像数据的速度。
67.显示方式五、在一些实施例中，图6和图7所示的处理还可以进一步结合，得到如图8所示的处理：
68.步骤3011a、读取多帧图像数据中的当前组图像数据；其中，多帧图像数据包括至少一组图像数据；
69.步骤3012a、按照预定的显示顺序和预定的显示时长显示读取的当前组图像数据；
70.步骤3013a、标注装置对显示时长进行计时；
71.步骤3015a、标注装置对提醒时间进行计时，在提醒时间计时到时后，发出提示信息；其中，提醒时间小于显示时长；
72.步骤3016a、在接收到暂停显示的指令后，暂停对显示时长的计时；
73.步骤3017a、标注装置在接收到恢复显示的指令后，继续对显示时长的计时；
74.步骤3014a、标注装置在显示时长计时到时后，处理返回步骤3011a读取下一组图像数据并进行显示。
75.通过步骤3015a～3017a，标注装置可以在提醒时间计时到时候，发出提示信息，并在接收到标注员输入的暂停显示的指令后，暂停对显示时长的计时，在接收到标注员输入的恢复显示的指令后，继续对显示时长进行计时，能够对标注员发出提醒，并根据标注员的需求灵活地控制显示图像数据的速度。
76.显示方式六、图9显示了一种标注装置按标注员需求显示多帧图像数据的方式，包括：
77.步骤3011a、读取多帧图像数据中的当前组图像数据；其中，多帧图像数据包括至少一组图像数据；
78.步骤3012a、按照预定的显示顺序显示读取的当前组图像数据；
79.步骤3018a、标注装置在接收到读取下一组图像数据的指令后，处理返回步骤3011a读取多帧图像数据中的下一组图像数据。
80.通过图9所示的方式，能够根据标注员的输入的指令来读取图像数据并显示，满足标注员对标注速度和标注时间的需求。
81.在步骤303中，标注装置接收到的车尾灯参数，包括左车尾灯是否启动、右车尾灯是否启动、左车尾灯的亮度、右车尾灯的亮度、左车尾灯亮度变化、右车尾灯亮度变化。其中，对于左/右车尾灯是否启动，可以预设多个选项，例如：左转向灯亮、右转向灯亮、刹车灯量、无法判断；对于左/右车尾灯的亮度，可以预设多个选项，例如：看不见灯、灯不亮、灯亮、灯看不清；对于左/右车尾灯的亮度变化，可以预设多个变化选项，例如：无变化、一样亮、更亮、更暗、无法判断。
82.通过接收到的车尾灯参数可以体现出车尾灯的多方面特征、以及车辆在一定场景中的行驶特征，也即通过车尾灯参数表达车辆的车尾灯的变化情况、以及这种变化情况在车辆所处的驾驶环境中对应的车辆的行驶行为和行驶特征，这些特征将为训练得到高能力的机器学习模块提供数据基础。
83.在步骤303中，标注装置接收输入的每一帧图像数据中车辆的车尾灯参数的处理，可以通过如图10所示的接收方式来实现。
84.如图10所述，标注装置接收车尾灯参数的处理包括：
85.步骤3031、标注装置显示车尾灯参数包括的各个参数的至少一个选项；选项包括预设下拉菜单提供的选项、输入框提供的选项和/或预设按钮对应的选项，每个选项对应一个预设值；
86.步骤3032、接收通过下拉菜单或者按钮输入的车尾灯参数包括的每个参数的值。
87.其中，在步骤3031中，标注装置可以在人机界面上提供并显示预设的与车尾灯参数对应的下拉菜单、输入框、预设按钮和/或按键。每个下拉菜单中可以包括一级或者多级子菜单，每个子菜单中可以包括一个或多个选项，每个选项对应于一个车尾灯参数中的选项、并具有预设值。每个输入框可以包括至少一个选项，每个选项具有预设值。一个按钮或按键对应于车尾灯参数包括一个参数的一个选项、并具有预设值。
88.标注员可以根据观察到的图像数据中车尾灯的情况，在人机界面上提供的下拉菜单、输入框、预设按钮和/或按键进行相应的选择输入。标注装置根据通过下拉菜单、输入框、和/或按钮接收输入的车尾灯参数中每个参数的值。
89.在步骤305中，标注装置关联保存每一帧图像数据以及每一帧图像数据的车尾灯参数，可以通过多种方式实现。
90.在一些实施例中，标注装置可以建立每一帧图像数据和接收到的车尾灯参数的对应关系，将该对应关系保存为一个单独的文件，在该文件中记录每一帧图像数据的标识和接收到的车尾灯参数，并将建立的对应关系、每一帧图像数据、车尾灯参数进行关联保存。在一些实施例中，标注装置还可以将车尾灯参数作为每一帧图像数据的属性数据，记录在每一帧图像数据已有的属性数据文件中，并将每一帧结果图像数据和属性文件进行关联保存。
91.本技术中描述的实质内容以及功能性操作的实施方式，能够通过多种系统、数字电子电路、或者计算机软件、固件或者硬件来实现，这些实施方式包括说明书中公开的结构以及等同结构，或者这些结构的结合。说明书中描述的实质内容的实施方式，能够被实施为一个或者多个计算机程序产品，例如，计算机程序指令的一个或多个模块，该计算机程序指令被编码存储在一个有形且非易失性的计算机可读介质中，该计算机程序指令可被数据处理装置执行，或者用于控制数据处理装置的操作。该计算机可读介质可以是一个机器可读存储装置、机器可读存储基板、存储设备、能够影响机器可读传播信号的组合物、或者这些物质的组合。术语“数据处理单元”或者“数据处理装置”包括用于处理数据的所有装置、设备以及机器，示例性地包括可编程处理器、计算机、或者多处理器、多计算机。除硬件之外，这些装置可以包括为所讨论的计算机程序建立一个可执行环境的代码，例如，构成处理器防火墙、协议栈、数据库管理系统、操作系统的代码，或者这些代码的组合。
92.计算机程序(也被称为程序、软件、软件应用、脚本或者代码)可以通过任何一种编
程语言来编写，包括编译或翻译语音；并且可以被以任何形式来部署，包括一个独立的程序或者一个模块、构件、子用例、或者其它适于计算环境的单元。一个计算机程序不必对应于一个文件系统中的一个文件。一个程序能够被存储在一个文件中的一部分，该文件还存储有其他的程序或者数据(例如，存储在一个标记语言文档中的一个或多个脚本)，或者该程序被存储在一个专门针对于所讨论的程序的单独的文件中，或者被存储在一个相互协同的文件中(例如，存储有一个或多个模块、子程序或者代码部分的多个文件)。一个计算机程序可以被部署为被一个或多个计算机执行，这些计算机位于一个地址、或者分布在多个地址，并且通过一个通信网络进行互连。
93.本说明书描述的处理或者逻辑图可以被一个或者多个可编程处理器执行，以执行一个或多个计算机程序，并根据输入数据进行处理生成输出结果。处理或者逻辑图可以被专用逻辑电路执行，并且多种设备也可以被实现为专用逻辑电路，例如现场可编程门阵列(field programmable gate array，fpga)、或者专用集成电路(application specific integrated circuit，asic)。
94.用于执行计算机程序的处理器，示例性地包括通用微处理器和专用微处理器，以及任何种类的数字计算机中的任何一种或者多种处理器。通常，一个处理器会从一个只读存储器和/或一个随机接入存储器中接收指令和数据。一个计算机的基本单元包括一个处理器以及一个或多个存储装置，处理器用于执行指令，存储装置用于存储指令和数据。通常，一个计算机还包括或者操作性地耦合到一个或多个大型存储设备，以接收数据和/或发送数据，该大型存储设备包括磁盘、磁光盘或者光盘。但是，一个计算机不是必须包括这些设备。用于存储指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质以及存储设备，示例性地包括半导体存储设备，例如eprom、eeprom以及闪存设备。处理器和存储器可以被专用逻辑电路所替代，或者结合到专用逻辑电路中。
95.虽然本技术文件包括了多种实施方式，但是这些实施方式不用于解释为本技术的保护范围的限定，只是特征的描述，这些特征可以被实施到特定发明的特定实施例中。本技术中独立的实施例中描述的一些特征也可以被结合实施到一个单独的实施例中。在一个单独的实施例中描述的多个特征也可被分别实施到多个实施例中，或者实施到任何适合的更细一步的结合中。并且，虽然上述在一个特定的组合中描述一些特征，也可以将所要求的一个或者多个组合中去掉一个或多个特征，所要求的组合可以被进一步地组合或者对进一步组合进行变形。
96.相类似地，虽然在附图中以一定的顺序描述了多种操作，但是不应被理解为必须要以这样的顺序来执行这些操作，以达到理想的结果。并且，实施例中多种系统构件的拆分也不应被理解为在所有的实施例中都需要这样的拆分。显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。
97.显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。