一种用于图像标注的方法、介质及装置与流程

1.本公开涉及人工智能领域，具体而言涉及一种用于图像标注的方法、介质及装置。


背景技术：

2.数据标注是大部分人工智能算法得以有效运行的关键环节。数据标注越准确、标注的数据量越大，算法的性能就越好。例如，在自动驾驶和车辆网络v2x场景下，智能化识别交通标志是其智能化的一个重要部分。
3.现有技术中用于图像标注的方法和装置存在的问题包括：标注周期长，既耗时又费人力，自动化数据标注精度不够，监督方式单一等等。


技术实现要素：

4.根据本公开的第一方面，提供了一种在边缘端执行的用于图像标注的方法，所述方法包括：获取图像数据，其中，图像数据包括未标记数据；对图像数据进行弱标记查询，以得到弱标记数据；基于当前的模型对图像数据进行伪标记，以得到伪标记数据；判断监督控制状态；以及基于监督控制状态，从未标记数据池、弱标记数据池、伪标记数据池和/或强标记数据池中选择图像数据传送到云端，以用于模型的更新。
5.根据本公开的第二方面，提供了一种在边缘端的用于图像标注的装置，所述装置包括：数据处理模块，所述数据处理模块被配置为：获取图像数据，其中，图像数据包括未标记数据，以及基于监督控制状态，从未标记数据池、弱标记数据池、伪标记数据池和/或强标记数据池中选择图像数据传送到云端，以用于模型的更新；弱标记查询模块，所述弱标记查询模块被配置为对图像数据进行弱标记查询，以得到弱标记数据；边缘模型模块，所述边缘模型模块被配置为基于当前的模型对图像数据进行伪标记，以得到伪标记数据；以及监督状态控制模块，所述监督状态控制模块被配置为判断监督控制状态。
6.根据本公开的第三方面，提供了一种非暂态计算机可读存储介质，其上存储有程序，其特征在于，当所述程序由计算机执行时，使所述计算机执行根据本公开的第一方面所述的方法。
7.根据本公开的第四方面，提供了一种在边缘端的用于图像标注的装置，包括存储器和处理器，所述存储器与所述处理器通信耦合，所述存储器中存储有程序，所述程序当由处理器执行时，使得所述处理器执行根据本公开的第一方面所述的方法。
8.根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现根据本公开的第一方面所述的方法。
9.通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得更为清楚。
附图说明
10.构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解
释本公开的原理。
11.参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
12.图1是图示根据本公开的实施例的用于图像标注的系统的整体架构图；
13.图2是图示传统的pbal的原理的示意图；
14.图3是图示注意力机制的原理的示意图；
15.图4是图示根据本公开的实施例的用于图像标注的方法的示意图；
16.图5是图示根据本公开的实施例的用于图像标注的方法的流程图；
17.图6示出了可以实现根据本公开的实施例的计算设备的示例性配置。
具体实施方式
18.下面将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
19.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。也就是说，本文中的结构及方法是以示例性的方式示出，来说明本公开中的结构和方法的不同实施例。然而，本领域技术人员将会理解，它们仅仅说明可以用来实施的本公开的示例性方式，而不是穷尽的方式。此外，附图不必按比例绘制，一些特征可能被放大以示出具体组件的细节。
20.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
21.常用的图像标注方法包括pbal(pool
‑
based active learning，基于池的主动学习)，其原理参见图2。但是，传统的pbal要求用强标记数据进行训练，而强标记数据的标记过程是困难和耗时的，因此，本公开在pbal的基础上进行改进，兼顾了模型训练的准确度和标记难度。
22.图1是图示根据本公开的实施例的用于图像标注的系统100的整体架构图。如图1所示，该系统100可以被分为靠近现场(例如，实际进行检测的地点)的边缘端110和远离现场的云端120两个部分。其中，边缘端110可以包括数据处理模块111、弱标记查询模块112、监督状态控制模块113、相机114、边缘模型模块115；云端120可以包括模型训练模块121、智能边缘云平台122、web前端123。应理解的是，边缘端110和云端120不限于图1中示出的模块，而是可以包括更少或更多的模块。例如，边缘端110可以进一步包括计算资源和存储资源等，用于边缘端数据的存储和处理；云端120可以进一步包括计算资源等，用于云端数据的处理。
23.其中，相机114可以被配置为在边缘端获取图像数据，图像数据可以是图像、视频流中的图像帧等。可以基于在边缘端获取的图像数据构造用于训练的数据集或数据池。例如，在图像标注的目标是交通标志的情况下，可以基于相机114获取图像数据，其中至少部分图像数据(例如，从多路视频流中获取的视频流的关键帧)中包括作为目标的交通标志。
24.数据处理模块111可以被配置为获取图像数据，对图像数据进行处理，并将经处理的数据传送到云端以用于在云端进行模型的更新训练。在本公开的实施例中，获取的图像数据可以是从相机114获取的未标记数据。应注意的是，本公开不限于如上所述获取未标记
数据，而是还可以获取弱标记数据、伪标记数据、强标记数据中的一种或多种。在本公开的实施例中，强标记数据可以是指在图像中用紧密围绕在目标周围的识别方框对目标进行标记的图像数据。弱标记数据可以是指在图像中用比强标记数据弱的方式进行标记的图像数据，例如，可以在图像中目标的估计的中心位置处用点进行标记，可以在图像中围绕在目标周围的估计的识别方框的中心位置处用点进行标记。伪标记数据可以是指在图像中用经训练的模型生成的识别方框进行标记的图像数据。在本公开的实施例中，数据处理模块还可以被配置为基于监督控制状态，从未标记数据池、弱标记数据池、伪标记数据池和/或强标记数据池中选择图像数据传送到云端，以用于模型的更新。
25.弱标记查询模块112可以被配置为对图像数据进行弱标记查询，以得到弱标记数据。具体而言，弱标记查询模块112可以从数据处理模块111获取例如未标记的图像数据，并基于弱标记查询算法对其进行处理，以得到弱标记数据。
26.监督状态控制模块113可以被配置为自适应地切换监督控制状态，基于模型和图像数据判断应采取何种监督状态。监督控制状态可以包括强切换模式(strong switch)、中等切换模式(middle switch)、软切换模式(soft switch)，从而相应地处理不同标记的数据。
27.边缘模型模块115可以被配置为从云端120接收下发的经云端训练的模型，并且基于当前的模型对图像数据进行伪标记，以得到伪标记数据。
28.模型训练模块121可以被配置为接收由边缘端110的模块提供的数据，基于云端的计算资源和硬件资源，同时基于混合域注意力机制，针对复杂、标签众多的数据集，训练和更新模型。注意力机制的原理参见图3。通过结合通道域、空间域的混合域注意力机制，能够提高模型训练精度，加快网络的收敛，提高主动学习的效率。
29.智能边缘云平台122可以被配置为将模型训练模块121训练得到的模型进行诸如剪枝和量化之类的处理，并将经处理的模型发送到边缘模型模块101。
30.此外，web前端123可以被配置为展示检测的结果。
31.图4和图5示出了根据本公开的实施例的用于图像标注的方法。
32.如图5所示，在s501处，可以获取图像数据，其中，图像数据包括未标记数据。在本公开的实施例中，获取的图像数据还可以包括弱标记数据、伪标记数据和/或强标记数据等。在本公开的实施例中，获取的图像数据存入相应的数据池中，诸如未标记数据池、弱标记数据池、伪标记数据池、强标记数据池等，以供在需要从边缘端获取数据以更新、训练云端的模型时使用。
33.在s502处，可以对图像数据进行弱标记查询，以得到弱标记数据。如图6所示，在本公开的实施例中，可以对未标记数据池η和弱标记数据池ω中的图像数据进行弱标记查询。
34.在s503处，可以基于当前的模型对图像数据进行伪标记，以得到伪标记数据。在本公开的实施例中，可以对未标记数据和/或弱标记数据进行伪标记。在本公开的实施例中，在对弱标记数据进行伪标记时，如果基于当前的在边缘模型模块115中存储的模型进行伪标记时，得到的伪标记图像中包括多个识别方框的情况下，可以将多个识别方框中将弱标记的中心处的点包括在其中的一个方框选定为用于伪标记的识别方框。
35.在s504处，可以判断监督控制状态。监督控制状态可以包括如前文所述的监督控制状态，即，强切换、中等切换及软切换，并且在不同监督控制状态下选择不同的图像数据
发送到云端以用于模型的训练。在本公开的实施例中，判断监督控制状态属于强切换、中等切换及软切换中的哪一种可以包括顺序地执行以下判断：
[0036][0037][0038][0039]
其中，
[0040]
其中，n为当前模型更新的次数，d
n
为第n次更新的模型和第n
‑
1次更新的模型的map之差，d
max
为d
m
(1≤m≤n)中的最大值，c
i
为图像数据i根据当前模型预测的结果的置信度，θ、α、γ为参数。
[0041]
具体而言，顺序地执行判断可以包括：如果s
strong
＝1，则判断监督控制状态处于强切换模式；否则，如果s
middle
＝1，则判断监督控制状态处于中等切换模式；否则，如果s
soft
＝1，则判断监督控制状态处于软切换模式。
[0042]
在s505处，可以基于监督控制状态，从未标记数据池、弱标记数据池、伪标记数据池和/或强标记数据池中选择图像数据传送到云端，以用于模型的更新。在强切换模式下，可以从强标记数据池中选择图像数据；在中等切换模式下，可以从未标记数据池、弱标记数据池、伪标记数据池和强标记数据池中选择图像数据；在软切换模式下，可以从未标记数据池、弱标记数据池和伪标记数据池中选择图像数据。强切换对应的是强监督，模型查询带有检测框的强标记数据；中等切换对应的半监督，模型查询带有检测框的强标记数据批次和伪标记数据批次、弱标记数据批次以及未标记数据批次；软切换对应的是弱监督，模型查询弱标记数据批次和伪标记数据批次。在本公开的实施例中，从数据池中选择以发送到云端的数据批次(batch)可以包括固定大小的数据，诸如，sample size＝b，但是数据大小不限于此。并且，在本公开的实施例中，batch中包括的具体数据以及数据的顺序等可以是随机的。
[0043]
图6示出了能够实现根据本公开的实施例的计算设备600的示例性配置。
[0044]
计算设备600是能够应用本公开的上述方面的硬件设备的实例。计算设备600可以是被配置为执行处理和/或计算的任何机器。计算设备600可以是但不限制于工作站、服务器、台式计算机、膝上型计算机、平板计算机、个人数据助手(pda)、智能电话、车载计算机或以上组合。
[0045]
如图6所示，计算设备600可以包括可以经由一个或多个接口与总线602连接或通
信的一个或多个元件。总线602可以包括但不限于，工业标准架构(industry standard architecture，isa)总线、微通道架构(micro channel architecture，mca)总线、增强isa(eisa)总线、视频电子标准协会(vesa)局部总线、以及外设组件互连(pci)总线等。计算设备600可以包括例如一个或多个处理器604。一个或多个处理器604可以是任何种类的处理器，并且可以包括但不限于一个或多个通用处理器或专用处理器(诸如专用处理芯片)。处理器例如可以被配置为实现例如如图4和/或图5所示的方法。
[0046]
计算设备600还可以包括或被连接至非暂态存储设备614，该非暂态存储设备614可以是任何非暂态的并且可以实现数据存储的存储设备，并且可以包括但不限于盘驱动器、光存储设备、固态存储器、软盘、柔性盘、硬盘、磁带或任何其他磁性介质、压缩盘或任何其他光学介质、缓存存储器和/或任何其他存储芯片或模块、和/或计算机可以从其中读取数据、指令和/或代码的其他任何介质。计算设备600还可以包括随机存取存储器(ram)610和只读存储器(rom)612。rom 612可以以非易失性方式存储待执行的程序、实用程序或进程。ram 610可提供易失性数据存储，并存储与计算设备600的操作相关的指令。可单独地或以任何组合方式来使用前述实施方案的各个方面、实施方案、具体实施或特征。可由软件、硬件或硬件与软件的组合来实现前述实施方案的各个方面。
[0047]
例如，前述实施方案可体现为计算机可读介质上的计算机可读代码。计算机可读介质为可存储数据的任何数据存储设备，所述数据其后可由计算机系统读取。计算机可读介质的示例包括只读存储器、随机存取存储器、cd
‑
rom、dvd、磁带、硬盘驱动器、固态驱动器和光学数据存储设备。计算机可读介质还可分布在网络耦接的计算机系统中使得计算机可读代码以分布式方式来存储和执行。
[0048]
例如，前述实施方案可采用硬件电路的形式。硬件电路可以包括组合式逻辑电路、时钟存储设备(诸如软盘、触发器、锁存器等)、有限状态机、诸如静态随机存取存储器或嵌入式动态随机存取存储器的存储器、定制设计电路、可编程逻辑阵列等的任意组合。
[0049]
在一个实施方案中，可以通过用诸如verilog或vhdl的硬件描述语言(hdl)编码和设计一个或多个集成电路或者结合使用离散电路来实现根据本公开的硬件电路。
[0050]
综上所述，根据本公开的第一方面，提供了一种在边缘端执行的用于图像标注的方法，所述方法包括：获取图像数据，其中，图像数据包括未标记数据；对图像数据进行弱标记查询，以得到弱标记数据；基于当前的模型对图像数据进行伪标记，以得到伪标记数据；判断监督控制状态；以及基于监督控制状态，从未标记数据池、弱标记数据池、伪标记数据池和/或强标记数据池中选择图像数据传送到云端，以用于模型的更新。
[0051]
在根据本公开的实施例中，所述监督控制状态包括强切换、中等切换及软切换，其中：在强切换模式下，从强标记数据池中选择图像数据，在中等切换模式下，从未标记数据池、弱标记数据池、伪标记数据池和强标记数据池中选择图像数据，以及在软切换模式下，从未标记数据池、弱标记数据池和伪标记数据池中选择图像数据。
[0052]
在根据本公开的实施例中，判断监督控制状态包括顺序地执行以下判断：
[0053]
[0054][0055][0056]
其中，n为当前模型更新的次数，d
n
为第n次更新的模型和第n
‑
1次更新的模型的map之差，d
max
为d
m
(1≤m≤n)中的最大值，c
i
为图像数据i根据当前模型预测的结果的置信度，θ、α、γ为参数，
[0057]
其中：如果s
strong
＝1，则判断监督控制状态处于强切换模式；否则，如果s
middle
＝1，则判断监督控制状态处于中等切换模式；否则，如果s
soft
＝1，则判断监督控制状态处于软切换模式。
[0058]
在根据本公开的实施例中，传送到云端的数据被用于在云端基于混合域注意力机制进行模型训练，以得到更新的模型；并且更新的模型可用于下发到边缘端以对图像数据进行伪标记。
[0059]
在根据本公开的实施例中，获取的图像数据是边缘端处的相机获取的图像或视频中的图像帧。
[0060]
根据本公开的第二方面，提供了一种在边缘端的用于图像标注的装置，所述装置包括：数据处理模块，所述数据处理模块被配置为：获取图像数据，其中，图像数据包括未标记数据，以及基于监督控制状态，从未标记数据池、弱标记数据池、伪标记数据池和/或强标记数据池中选择图像数据传送到云端，以用于模型的更新；弱标记查询模块，所述弱标记查询模块被配置为对图像数据进行弱标记查询，以得到弱标记数据；边缘模型模块，所述边缘模型模块被配置为基于当前的模型对图像数据进行伪标记，以得到伪标记数据；以及监督状态控制模块，所述监督状态控制模块被配置为判断监督控制状态。
[0061]
在根据本公开的实施例中，所述监督控制状态包括强切换、中等切换及软切换，其中：在强切换模式下，从强标记数据池中选择图像数据，在中等切换模式下，从未标记数据池、弱标记数据池、伪标记数据池和强标记数据池中选择图像数据，以及在软切换模式下，从未标记数据池、弱标记数据池和伪标记数据池中选择图像数据。
[0062]
在根据本公开的实施例中，判断监督控制状态包括顺序地执行以下判断：
[0063][0064][0065]
[0066]
其中，n为当前模型更新的次数，d
n
为第n次更新的模型和第n
‑
1次更新的模型的map之差，d
max
为d
m
(1≤m≤n)中的最大值，c
i
为图像数据i根据当前模型预测的结果的置信度，θ、α、γ为参数，
[0067]
其中：如果s
strong
＝1，则判断监督控制状态处于强切换模式；否则，如果s
middle
＝1，则判断监督控制状态处于中等切换模式；否则，如果s
soft
＝1，则判断监督控制状态处于软切换模式。
[0068]
在根据本公开的实施例中，传送到云端的数据被用于在云端基于混合域注意力机制进行模型训练，以得到更新的模型；并且更新的模型可用于下发到边缘端以对图像数据进行伪标记。
[0069]
在根据本公开的实施例中，获取的图像数据是边缘端处的相机获取的图像或视频中的图像帧。
[0070]
根据本公开的第三方面，提供了一种非暂态计算机可读存储介质，其上存储有程序，其特征在于，当所述程序由计算机执行时，使所述计算机执行根据本公开的第一方面所述的方法。
[0071]
根据本公开的第四方面，提供了一种在边缘端的用于图像标注的装置，包括存储器和处理器，所述存储器与所述处理器通信耦合，所述存储器中存储有程序，所述程序当由处理器执行时，使得所述处理器执行根据本公开的第一方面所述的方法。
[0072]
根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现根据本公开的第一方面所述的方法。
[0073]
根据本公开的方法和装置采取基于主动学习和注意力机制的自动化交通标志图像标注的方法和系统，通过切换监督方法，实现对检测模型的自适应监督；采用云边协同训练数据的方法，引入注意力机制，提高检测模型的准确率；针对交通领域数据，提出了一种基于改进pbal框架图像自动化标注系统。带来的技术效果包括：引入混合域注意力机制和多种监督切换的方式，提高自动化标注的精度；自动化地标注交通标志数据，减少人力成本和时间成本；采用云边协同的处理方式，合理使用云边端设备，增加了资源利用率。本公开能够应用于日常图像标注，取得较好效果，并且不涉及硬件方面的改造，具有良好的实用性。
[0074]
虽然已通过示例详细展示了本发明的一些具体实施例，但是本领域技术人员应当理解，上述示例仅意图是说明性的而不限制本发明的范围。应该认识到的是，前述方法中的一些步骤不一定按照图示的顺序执行，而是它们可以被同时、以不同顺序或以重叠方式执行。此外，本领域技术人员可以根据需要增加一些步骤或省略一些步骤。前述系统中的一些部件不是必须按照图示的布置，本领域技术人员可以根据需要增加一些部件或省略一些部件。本领域技术人员应该理解，上述实施例可以在不脱离本发明的范围和实质的情况下被修改。本发明的范围是通过所附的权利要求限定的。