一种目标检测模型的更新方法、装置、设备及存储介质与流程

1.本发明涉及智能机器人的技术领域，特别是涉及一种目标检测模型的更新方法、装置、设备及存储介质。


背景技术：

2.目标检测就是找出图像中所有感兴趣的物体，包含物体定位和物体分类两个子任务，同时确定物体的类别和位置。基于深度学习的目标检测的流程主要有三个步骤：第一，数据采集人员在真实场景下使用专业相机对目标进行拍摄，得到原始数据；第二，部署在机器人上的深度学习模型通过训练好的逻辑推理功能将输入数据提取出特征；第三，在得到第二步提出的特征后，深度学习模型继续对输入数据提取出的特征进行分类判定，进而识别出输入数据图片中的目标，并且给出目标属于一种类别的概率。
3.深度学习的特征提取可以利用计算机的算力进行特征提取，基于深度学习的目标检测比传统方法更加便捷，可是在实际中遇到的数据往往不是理想数据，目标检测领域中往往会遇到长尾数据分布或者数据标签标错的情况，现有技术之一的做法是改进损失函数，让多数类的损失权重更高一些，这样做可以提高分类的准确率，改善类别不平衡问题，但是这样做无法解决标签标错或者困难样本分类问题。现有技术的另外做法是，利用数据增强策略扩充数据，这样做既可以兼顾解决类别不平衡问题，又可以解决困难样本分类和标签标错问题，但是现有的数据增强方法或是几何变换，或是随机裁剪等方法，这些方法虽然可以提高分类的准确率，但是会损失一些诸如背景信息，局部物体信息等等，导致目前对困难样本分类可用的技术较少，落地较为困难。且更改损失函数会扭曲数据的表征，当数据没有类别不均衡问题时，损失函数需要更改，模型反复部署会造成更新流程过于繁杂。


技术实现要素：

4.本发明要解决的技术问题是：提供一种目标检测模型的更新方法、装置、设备及存储介质，通过将采集到的图像数据与历史图像数据进行数据融合及对比学习，提高模型的鲁棒性，使得对困难样本的分类更准确。
5.为了解决上述技术问题，本发明提供了一种目标检测模型的更新方法，包括：
6.通过目标检测模型进行目标检测，获取当前目标检测的置信度，并将所述当前目标检测的置信度与预设阈值进行判断；
7.当判断所述当前目标检测的置信度小于预设阈值时，控制摄像头采集并存储当前帧的图像数据，并将采集到的达到预设数量的所述图像数据进行人工标注；
8.将进行人工标注后的所述图像数据与历史图像数据进行融合处理，生成融合图像数据；
9.将所述融合图像数据与所述历史图像数据进行对比学习，得到模型参数的键值对，并根据所述键值对对所述目标检测模型进行更新。
10.进一步地，所述将采集到的达到预设数量的所述图像数据进行人工标注，具体为：
11.实时获取所述图像数据的存储量，将所述存储量与预设数量相比，当所述存储量大于等于预设数量时，将达到预设数量的所述图像数据发送到服务器端，以使对所述图像数据进行人工标注；
12.当所述存储量小于预设数量时，等待下一次存储，并实时更新当前存储量。
13.进一步地，所述将进行人工标注后的所述图像数据与历史图像数据进行融合处理，生成融合图像数据，具体为：
14.选取人工标注后的所述图像数据的关键部分，并对所述关键部分进行裁剪，得到关键部分数据；
15.将所述关键部分数据融合到同类的历史图像数据中，以使生成融合图像数据。
16.进一步地，所述将所述融合图像数据与所述历史图像数据进行对比学习，具体为：
17.在对所述目标检测模型进行模型训练时，将所述融合图像数据和所述历史图像数据输入到所述目标检测模型中进行对比，输出所述融合图像数据和所述历史图像数据为同一类数据的概率。
18.进一步地，本发明提供的一种目标检测模型的更新装置，包括：置信度获取模块、图像数据采集模块、图像融合模块和对比模块；
19.其中，所述置信度获取模块，用于通过目标检测模型进行目标检测，获取当前目标检测的置信度，并将所述当前目标检测的置信度与预设阈值进行判断；
20.所述图像数据采集模块，用于当判断所述当前目标检测的置信度小于预设阈值时，控制摄像头采集并存储当前帧的图像数据，并将采集到的达到预设数量的所述图像数据进行人工标注；
21.所述图像融合模块，用于将进行人工标注后的所述图像数据与历史图像数据进行融合处理，生成融合图像数据；
22.所述对比模块，用于将所述融合图像数据与所述历史图像数据进行对比学习，得到模型参数的键值对，并根据所述键值对对所述目标检测模型进行更新。
23.进一步地，所述图像数据采集模块用于将采集到的达到预设数量的所述图像数据进行人工标注，具体为：
24.实时获取所述图像数据的存储量，将所述存储量与预设数量相比，当所述存储量大于等于预设数量时，将达到预设数量的所述图像数据发送到服务器端，以使对所述图像数据进行人工标注；
25.当所述存储量小于预设数量时，等待下一次存储，并实时更新当前存储量。
26.进一步地，所述图像融合模块用于将进行人工标注后的所述图像数据与历史图像数据进行融合处理，生成融合图像数据，具体为：
27.选取人工标注后的所述图像数据的关键部分，并对所述关键部分进行裁剪，得到关键部分数据；
28.将所述关键部分数据融合到同类的历史图像数据中，以使生成融合图像数据。
29.进一步地，所述对比模块用于将所述融合图像数据与所述历史图像数据进行对比学习，具体为：
30.在对所述目标检测模型进行模型训练时，将所述融合图像数据和所述历史图像数据输入到所述目标检测模型中进行对比，输出所述融合图像数据和所述历史图像数据为同
一类数据的概率。
31.进一步地，本发明提供的一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任意一项所述的目标检测模型的更新方法。
32.进一步地，本发明提供的一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述任意一项所述的目标检测模型的更新方法。
33.本发明实施例一种目标检测模型的更新方法、装置、设备及存储介质，与现有技术相比，具有如下有益效果：
34.在执行目标检测指令时，通过目标检测模型对获取当前目标检测的置信度与预设阈值进行判断；当判断所述当前目标检测的置信度小于预设阈值时，控制摄像头采集并存储当前帧的图像数据，使得摄像头只采集置信度差的图像数据，又由于置信度差的图像数据往往会被错误分类，因此本发明还对存储的置信度差的图像数据进行人工标注使其正确分类，将进行人工标注后的所述图像数据与历史图像数据进行融合处理后，通过两者对比学习，得到模型参数的键值对，并根据所述键值对对所述目标检测模型进行更新。与现有技术相比，本发明通过将采集到的图像数据与历史图像数据进行数据融合及对比学习，进而增强模型对困难样本分类的准确性，提高模型的鲁棒性。
附图说明
35.图1是本发明提供的一种目标检测模型的更新方法的一种实施例的流程示意图；
36.图2是本发明提供的一种目标检测模型的更新装置的一种实施例的结构示意图；
37.图3是本发明提供的一种目标检测模型的更新方法的一种实施例的图像融合示意图；
38.图4是本发明提供的一种目标检测模型的更新方法的一种实施例的图像对比学习示意图。
具体实施方式
39.下面将结合本发明中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
40.实施例1
41.参见图1，图1是本发明提供的一种目标检测模型的更新方法的一种实施例的流程示意图，如图1所示，该方法包括步骤101－步骤104，具体如下：
42.步骤101：通过目标检测模型进行目标检测，获取当前目标检测的置信度，并将所述当前目标检测的置信度与预设阈值进行判断。
43.本实施例中，目标检测模型设置于机器人中，通过向机器人发明目标检测指令，以使机器人系统中的通信模块接收到目标检测指令；其中，机器人系统除了包括通信模块和目标检测模型外，还包括摄像头模块、数据存储模块和中央控制模块；具体的，摄像头模块，
用于接受中央控制模块的指令，完成相机设备的高度、倾角等参数设置；获取图像数据，由目标检测模型完成目标检测识别后，由中央控制模块下达指令后存储到数据存储模块中；向中央控制模块反馈当前工作状态信息；通信模块，用于作为机器人系统与外界的通信接口，可以与中央控制模块完成双向通信，既能够接受外界的控制指令，也能够向外界反馈机器人当前的工作状态信息；数据存储模块，用于接受中央控制模块的指令，向中央控制模块反馈当前工作状态信息，存储来自数据采集模块的大规模数据；中央控制模块，用于作为机器人系统的决策中心，既可以获取其余模块的工作状态信息，也能够向其余模块发送指令，从而协调各模块的工作；目标检测模型，用于作为机器人判别数据的逻辑模型，可以识别出由摄像头拍摄到图像中的人或者物体等目标，并可以接收来自中央控制模块的模型参数更新指令，更新需要更新的模型参数，实现在线更新。
44.本实施例中，机器人系统中的通信模块将该目标检测指令传达给机器人的中央控制中心，以使中央控制中心控制机器人系统中的目标检测模型执行目标检测指令。中央控制中心在接收到目标检测指令时，还会启动实时监控，以获取机器人系统中其他相关模块的状态，如数据存储量和书数据传输效率等，并对各个相关模块的数据进行初始化，如对gpio设置，摄像头模块的配置进行初始化设置。
45.本实施例中，利用机器人系统中的目标检测模型进行日常的目标检测任务，且在执行目标检测任务时，获取当前帧的目标检测的置信度，并将当前帧的目标检测的置信度与预设阈值进行判断。
46.步骤102：当判断所述当前目标检测的置信度小于预设阈值时，控制摄像头采集并存储当前帧的图像数据，并将采集到的达到预设数量的所述图像数据进行人工标注。
47.本实施例中，设置预设阈值为70％，在执行目标检测时，若判断当前帧的目标检测的置信度小于预设阈值70％时，控制摄像头采集当前帧的图像数据，并将当前帧图像数据存储在数据存储模块中；若判断当前帧的目标检测的置信度大于等于预设阈值70％时，继续执行目标检测任务，无需控制摄像头采集当前帧的图像数据。
48.本实施例中，将采集到的达到预设数量的所述图像数据进行人工标注；具体的，实时获取数据存储模块中采集的置信度较低的图像数据的存储量，将采集的置信度较低的图像数据的存储量与预设数量相比，其中，预设数量可根据需求进行设置。当采集的置信度较低的图像数据的存储量大于等于预设数量时，将达到预设数量的所述图像数据通过通信模块发送到服务器端，以使数据工程师通过服务器对所述图像数据进行人工标注；当所述存储量小于预设数量时，继续等待摄像头采集并存储置信度较低的图像数据，实时更新当前存储量，直至存储量达到预设数量。
49.作为本实施例中的一种举例说明，因为置信度差的图像数据往往会被分类错误，所以需要重新标注，本实施例中对置信度差的图像数据进行分类的标准是数据工程师进行标签标注，以使图像数据越能代表困难样本，用于解决困难样本的分类问题。
50.步骤103：将进行人工标注后的所述图像数据与历史图像数据进行融合处理，生成融合图像数据。
51.本实施例中，当机器人需要对目标检测模型进行参数更新时，会通过通信模块将参数更新指令发送到服务器，以使数据工程师接收到参数更新指令后，将进行人工标注后的所述图像数据与历史图像数据进行cutmix融合；通过选取人工标注后的所述图像数据的
关键部分，并对所述关键部分进行裁剪，得到关键部分数据；由于每张图像数据都有一个标注框作为标签，把进行人工标注后的图像数据的关键部位进行裁剪后粘贴到历史图像数据中，这个过程中要把粘贴的关键部位的数据落在历史图像数据的标注框内，以使将所述关键部分数据融合到同类的历史图像数据中，以使生成融合图像数据。其中，选取的关键部分为两张图片中差异较大的区域部分，且在对两个图像进行融合的过程中，历史图像数据不需要参与到cutmix过程中，历史图像数据相当于基底数据，如图3所示。
52.作为本实施例中的一种举例说明，cutmix融合就是把一张图片的部分区域剪切下来贴到一张新图片的关键部位上，比如图3中的cutmix融合，选取一张猫的图片的头部剪切下来贴到一张狗的图片头部上，目的是防止模型不关注模型最重要的区域，cutout能够使得模型专注于目标较难区分的区域，而cutmix增强后的图片可以让模型对这两张图片的关注区域改变；融合的区域，即关键部分要选取最重要的且最能区分两张图片的区域，比如图3中的猫和狗可能身体和尾巴都很像，但是其头部的细节相差很大，因此选取两张图像的头部进行cutmix融合，生成融合图像数据。
53.步骤104：将所述融合图像数据与所述历史图像数据进行对比学习，得到模型参数的键值对，并根据所述键值对对所述目标检测模型进行更新。
54.本实施例中，数据工程师在服务器上用历史数据对目标检测模型进行模型训练的同时，还用通过cutmix融合后生成的融合图像数据进行一个额外的对比学习的任务，具体的，将融合图像数据和历史图像数据输入到所述目标检测模型中进行对比，输出所述融合图像数据和所述历史图像数据为同一类数据的概率，如图4所示。
55.作为本实施例中的一种举例说明，对比学习就是找出需要对比数据的区别，并把这个区别变成信息让目标检测模型学习到，如图4中输入两张图片，一种为大巴车图像，一张为货车图像，基于大巴车和货车的车厢部分图像数据较为相似，而两者的车头图像区别较大，因此对比学习就是找出两者的车头图像，让目标检测模型中重点学习到关注车辆的车头区域，同时输出两张图片是某一类的概率，其中，y和y’分别对应两张图片是具体某一类的概率，且两张图片的y和y’越接近越好，以使目标检测模型学到关注同一类不同个例的哪些区域比较好，从而提高困难样本的分类准确率，提高最终的目标检测置信度；同时，在数据量不扩充较多的情况下，提高目标检测模型对旧任务能力的泛化能力，为机器人完全离线对比学习提供了思路。
56.本实施例中，基于对比学习对目标检测模型进行训练，以使在服务器中对目标检测模型进行迭代训练，得到新的目标检测模型。
57.本实施例中，根据新得到的目标检测模型，将其模型参数整合成键值对，并将整合后得目标检测模型的键值对通过通信模块发送给机器人系统，以使机器人系统在获取新的目标检测模型的键值对后，在线更新机器人内部的目标检测模型。
58.本实施例中，在传输模型参数时，只需要把需要更新的模型参数通过键值对的形式发送给机器人系统，即可实现在线更新模型，机器人的模型参数不需要传统反复的迭代部署，通过服务器发送的键值对迭代更新现有模型参数即可，简化了模型更新过程。
59.本实施例中，基于已有的机器人系统完成目标检测任务和数据采集，边对目标进行识别，边进行数据采集，利用新采集的图像数据和历史图像数据进行cutmix数据融合后对比学习，提高对困难样本的分类准确性，同时提高模型的鲁棒性。
60.参见图2，图2是本发明提供的一种目标检测模型的更新装置的一种实施例的结构示意图，如图2所示，该装置包括置信度获取模块201、图像数据采集模块202、图像融合模块203和对比模块204，具体如下：
61.置信度获取模块201，用于通过目标检测模型进行目标检测，获取当前目标检测的置信度，并将所述当前目标检测的置信度与预设阈值进行判断；
62.图像数据采集模块202，用于当判断所述当前目标检测的置信度小于预设阈值时，控制摄像头采集并存储当前帧的图像数据，并将采集到的达到预设数量的所述图像数据进行人工标注；
63.图像融合模块203，用于将进行人工标注后的所述图像数据与历史图像数据进行融合处理，生成融合图像数据；
64.对比模块204，用于将所述融合图像数据与所述历史图像数据进行对比学习，得到模型参数的键值对，并根据所述键值对对所述目标检测模型进行更新。
65.本实施例中，图像数据采集模块202用于将采集到的达到预设数量的所述图像数据进行人工标注，具体地，实时获取所述图像数据的存储量，将所述存储量与预设数量相比；当所述存储量大于等于预设数量时，将达到预设数量的所述图像数据发送到服务器端，以使对所述图像数据进行人工标注；当所述存储量小于预设数量时，等待下一次存储，并实时更新当前存储量。
66.本实施例中，图像融合模块203用于将进行人工标注后的所述图像数据与历史图像数据进行融合处理，生成融合图像数据；具体的，选取人工标注后的所述图像数据的关键部分，并对所述关键部分进行裁剪，得到关键部分数据；将所述关键部分数据融合到同类的历史图像数据中，以使生成融合图像数据。
67.本实施例中，对比模块204用于将所述融合图像数据与所述历史图像数据进行对比学习；具体的，在对所述目标检测模型进行模型训练时，将所述融合图像数据和所述历史图像数据输入到所述目标检测模型中进行对比，输出所述融合图像数据和所述历史图像数据为同一类数据的概率。
68.所属领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不在赘述。
69.需要说明的是，上述目标检测模型的更新装置的实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
70.在上述的目标检测模型的更新方法的实施例的基础上，本发明另一实施例提供了一种目标检测模型的更新终端设备，该目标检测模型的更新终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时，实现本发明任意一实施例的目标检测模型的更新方法。
71.示例性的，在这一实施例中所述计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述目标检测模型的更新终端设备中的执行过程。
72.所述目标检测模型的更新终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述目标检测模型的更新终端设备可包括，但不仅限于，处理器、存储器。
73.所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field－programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述目标检测模型的更新终端设备的控制中心，利用各种接口和线路连接整个目标检测模型的更新终端设备的各个部分。
74.所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述目标检测模型的更新终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
75.在上述目标检测模型的更新方法的实施例的基础上，本发明另一实施例提供了一种存储介质，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时，控制所述存储介质所在的设备执行本发明任意一实施例的目标检测模型的更新方法。
76.在这一实施例中，上述存储介质为计算机可读存储介质，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read－only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
77.综上，本发明一种目标检测模型的更新方法、装置、设备及存储介质，通过目标检测模型进行目标检测，获取当前目标检测的置信度，并将当前目标检测的置信度与预设阈值进行判断；当判断当前目标检测的置信度小于预设阈值时，控制摄像头采集并存储当前帧的图像数据，并将采集到的达到预设数量的图像数据进行人工标注；将进行人工标注后的图像数据与历史图像数据进行融合处理，生成融合图像数据；将融合图像数据与历史图像数据进行对比学习，得到模型参数的键值对，并根据键值对对目标检测模型进行更新。与现有技术相比，本发明通过将采集到的图像数据与历史图像数据进行数据融合及对比学习，提高模型的鲁棒性，使得对困难样本的分类更准确。
78.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换
也应视为本发明的保护范围。