目标检测能力训练方法、装置、存储介质及电子设备与流程

1.本技术涉及电子领域，具体涉及一种图像目标检测能力训练方法、图像目标检测装置、计算机可读存储介质及电子设备。


背景技术：

2.现有的强监督学习目标检测算法依赖于大量的人工标注的真值样本数据(gt数据)来训练目标检测/分割模型，生产gt数据的时间和经济成本很高且质量难以保证。


技术实现要素：

3.针对上述问题，本技术实施例提供一种图像目标检测能力训练方法，其只需要较少的真值样本和仅包含简单图像级标签的输入样本就可以获得较强的目标检测能力，随着输入样本不断的自行增加，数量越来越多，场景也越来越丰富，模型的自我标注能力也越来越强，模型的目标检测能力也可以持续的自我增强，实现“在线学习”。
4.本技术第一方面实施例提供了一种图像目标检测能力训练方法，其包括：
5.对具有第一标识的第一图像进行训练，以使第一检测模型获得第一检测能力及形成所述第一检测能力的模型参数；
6.采用所述第一检测模型对具有第二标识的第二图像进行分析，以获取第一信息，所述第一信息至少包括多个目标及多个目标的类别；
7.第二检测模型根据所述第一信息，确定所述多个目标中的每个类别的目标的正示例以及负示例；以及
8.所述第二检测模型获取所述第一检测模型的所述模型参数，以使得所述第二检测模型继承所述第一检测模型的所述第一检测能力，并对所述多个目标中的每个类别的目标的所述正示例以及所述负示例进行训练，以使得所述第二检测模型获得第二检测能力。
9.本技术实施例的图像目标检测能力训练方法可以继承第一检测模型的模型参数，从而使得第二检测模型可以获得第一检测模型的第一检测能力，同时，第二检测模型还可以根据第一检测模型获取的第一信息，确定所述多个目标中的每个类别的目标的正示例以及负示例，并对所述多个目标中的每个类别的目标的所述正示例以及所述负示例进行训练，以使得所述第二检测模型获得第二检测能力，从而提升第二检测模型的检测能力，从而只需要采用较少的具有第一标识的第一图像(即较少数量的真值样本)，就可以获得具有较强的目标检测能力。
10.进一步地，所述对所述目标中的每个类别的目标的所述正示例以及所述负示例进行训练，以使得所述第二检测模型获得第二检测能力之后，所述方法还包括：
11.采用所述第二检测模型对第三图像、第四图像及测试图像进行分析，分别得到第一检测结果、第二检测结果及第三检测结果，其中，所述第一检测结果包括第三图像及第五图像，所述第二检测结果包括第四图像及第六图像，所述第三图像为未经标识的第一图像，第四图像为未经标识的第二图像，第五图像为具有第三标识的第一图像，第六图像为具有
第四标识的第二图像；以及
12.当所述第三检测结果的准确率满足预设条件或所述第二检测模型的训练次数小于第一预设阈值时，则将所述第一检测结果及所述第二检测结果送入所述第一检测模型进行循环训练，以提高所述第一检测模型的所述第一检测能力，从而提高所述第二检测模型的所述第二检测能力。
13.由于第二检测模型继承了第一检测模型的检测能力，因此，第一检测模型的第一检测能力提升了，第二检测模型的第二检测能力也随之提升。随着第二检测模型检测能力的不断提升，每次得到的第一检测结果及第二检测结果准确度也会不断提高，采用准确度提高后的第一检测结果及第二检测结果作为新的训练集对第一检测模型进行训练，又可以提高第一检测模型的第一检测能力，进而提高第二检测模型的第二检测能力。如此，只需要采用少量的第一图像及第二图像，通过对第一图像、第二图像、第一检测结果及第二检测结果，通过循环执行，即可不断提高第二检测模型的检测能力及精确度，不需要大量的真值样本，大大降低真值样本获取的成本(即具有第一标识的第一图像获取的成本)，同时又可以使第二检测模型具有自我学习的能力，不断提高第二检测模型的第二检测能力。本技术的完整流程中第二图像数据集是没有变化的，但当再次训练本算法时，第二图像数据集又会是一套新的数据集，由于在算法的使用过程中总是可以源源不断的输入新的第二图像数据集，到了一定阶段第二图像数据集可以动过检测结果自行标注图像级标签信息，所以算法模型就可以持续不断的正向反馈和自我增强，获得自我学习的能力。
14.进一步地，所述第一检测模型及第二检测模型完成指定轮次的训练后，将对第三图像、第四图像及测试图像进行一次测试，所述测试次数为n，其中，n为正整数，当n＝1时，所述方法还包括：
15.采用所述第一检测模型对所述测试图像进行检测，以得到第四检测结果；
16.所述第三检测结果满足预设条件，包括：
17.当所述第三检测结果的准确率与所述第四检测结果的准确率之差大于第二预设阈值。
18.通过对循环条件的限定，可以根据实际需要提高第二检测模型的检测能力及检测准确性，在使用较少真值样本的情况下，可以不断提高第二检测模型的检测能力，可以有效降低真值样本的成本，并实现不断自我学习。
19.进一步地，所述第一检测模型及第二检测模型完成指定轮次的训练后，将对第三图像、第四图像及测试图像进行一次测试，所述测试次数为n，其中，n为正整数，当n≥2时，所述方法还包括：
20.对所述第一检测结果及第二检测结果进行训练，以提高所述第一检测模型的第一检测能力，从而提高所述第二检测模型的所述第二检测能力；
21.采用所述第二检测模型对所述测试图像进行检测，以得到第n次第三检测结果；
22.所述第三检测结果满足预设条件，包括：
23.当所述第n次所述第三检测结果的准确率与第n-1次所述第三检测结果的准确率之差大于第二预设阈值。
24.通过对循环条件的限定，可以根据实际需要提高第二检测模型的检测能力及检测准确性，在使用较少真值样本的情况下，可以不断提高第二检测模型的检测能力，可以有效
降低真值样本的成本，并实现不断自我学习。
25.进一步地，所述对具有第一标识的第一图像进行训练之前，所述方法还包括：
26.采用目标检测算法中的数据增强算法，对所述第一图像进行光照畸变、几何畸变和图像遮挡。这样可以提高第一图像中场景泛化性。
27.进一步地，所述第一信息还包括所述第二图像中每个所述目标的方位信息以及每个所述目标的置信度，每个目标的方位信息包括所述目标的坐标及向量。这样不仅可以获得每个目标的位置信息，还可以获得每个目标的大小，从而可以更好的对目标进行识别，以更好的实现避障功能。
28.本技术第二方面实施例提供了一种图像目标检测能力训练装置，其包括：
29.第一检测单元，用于对具有第一标识的第一图像进行训练，以使第一检测模型获得第一检测能力及形成所述第一检测能力的模型参数；以及
30.第二检测单元，用于采用第一检测模型对具有第二标识的第二图像进行分析，以获取第一信息，所述第一信息至少包括多个目标及所述多个目标的类别；
31.所述第二检测单元还用于所述第二检测模型根据所述第一信息，确定所述多个目标中的每个类别的目标的正示例以及负示例；
32.所述第二检测单元还用于所述第二检测模型获取所述第一检测模型的所述模型参数，以使得所述第二检测模型继承所述第一检测模型的所述第一检测能力，并对所述多个目标中的每个类别的目标的所述正示例以及所述负示例进行训练，以使得所述第二检测模型获得第二检测能力。
33.本技术实施例的图像目标检测能力训练装置可以继承第一检测模型的模型参数，从而使得第二检测模型可以获得第一检测模型的第一检测能力，同时，第二检测模型还可以根据第一检测模型获取的第一信息，确定所述多个目标中的每个类别的目标的正示例以及负示例，并对所述多个目标中的每个类别的目标的所述正示例以及所述负示例进行训练，以使得所述第二检测模型获得第二检测能力，从而提升第二检测模型的检测能力，从而只需要采用较少的具有第一标识的第一图像(即较少数量的真值样本)，就可以获得具有较强的目标检测能力。
34.进一步地，所述第二检测单元还用于采用所述第二检测模型对第三图像、第四图像及测试图像进行分析，分别得到第一检测结果、第二检测结果及第三检测结果，其中，所述第一检测结果包括第三图像及第五图像，所述第二检测结果包括第四图像及第六图像，所述第三图像为未经标识的第一图像，第四图像为未经标识的第二图像，第五图像为具有第三标识的第一图像，第六图像为具有第四标识的第二图像；
35.所述图像目标检测能力训练装置还包括分析判断单元，所述分析判断单元用于当所述第三检测结果的准确率满足预设条件或所述第二检测模型的训练次数小于第一预设阈值时，则将所述第一检测结果及所述第二检测结果送入所述第一检测模型进行循环训练，以提高所述第一检测模型的所述第一检测能力，从而提高所述第二检测模型的所述第二检测能力。
36.由于第二检测单元继承了第一检测模型的检测能力，因此，第一检测模型的第一检测能力提升了，第二检测单元的第二检测能力也随之提升。随着第二检测单元检测能力的不断提升，每次得到的第一检测结果及第二检测结果准确度也会不断提高，采用准确度
提高后的第一检测结果及第二检测结果作为新的训练集对第一检测模型进行训练，又可以提高第一检测模型的第一检测能力，进而提高第二检测单元的第二检测能力。如此，只需要采用少量的第一图像及少量的第二图像，通过对第一图像、第二图像、第一检测结果及第二检测结果，通过循环执行，即可不断提高第二检测单元的检测能力及精确度，不需要大量的真值样本，大大降低真值样本获取的成本(即具有第一标识的第一图像获取的成本)，同时又可以使第二检测模型具有自我学习的能力，不断提高第二检测单元的第二检测能力。
37.进一步地，所述第一检测模型及第二检测模型完成指定轮次的训练后，将对无任何标识的第一图像、所述第二图像及测试图像进行一次测试，所述测试次数为n，其中，n为正整数，当n＝1时，
38.所述第一检测单元还用于采用所述第一检测模型对所述测试图像进行检测，以得到第四检测结果；
39.所述分析判断单元还用于当所述第三检测结果的准确率与所述第四检测结果的准确率之差大于第二预设阈值；或所述第二检测模型的训练次数小于第一预设阈值时，则所述第一检测结果及所述第二检测结果送入所述第一检测模型继续训练，以提高所述第一检测模型的所述第一检测能力，从而提高所述第二检测模型的所述第二检测能力。
40.通过对循环条件的限定，可以根据实际需要提高第二检测单元的检测能力及检测准确性，在使用较少真值样本的情况下，可以不断提高第二检测单元的检测能力，可以有效降低真值样本的成本，并实现不断自我学习。
41.进一步地，所述第一检测模型及第二检测模型完成指定轮次的训练后，将对无任何标识的第一图像、所述第二图像及测试图像进行一次测试，所述测试次数为n，其中，n为正整数，当n≥2时，
42.所述第一检测单元还用于对所述第一检测结果及第二检测结果进行训练，以提高所述第一检测模型的第一检测能力，从而提高所述第二检测模型的所述第二检测能力；
43.采用所述第二检测模型对所述测试图像进行检测，以得到第n次第三检测结果；
44.所述分析判断单元还用于当所述第n次所述第三检测结果的准确率与第n-1次所述第三检测结果的准确率之差大于第二预设阈值。
45.通过对循环条件的限定，可以根据实际需要提高第二检测单元的检测能力及检测准确性，在使用较少真值样本的情况下，可以不断提高第二检测单元的检测能力，可以有效降低真值样本的成本，并实现不断自我学习。
46.进一步地，所述第一检测单元还用于：采用目标检测算法中的数据增强算法，对所述第一图像进行光照畸变、几何畸变和图像遮挡。这样可以提高第一图像中场景泛化性。
47.进一步地，所述第一信息还包括所述第二图像中每个所述目标的方位信息以及每个所述目标的置信度，每个目标的方位信息包括所述目标的坐标及向量。这样不仅可以获得每个目标的位置信息，还可以获得每个目标的大小，从而可以更好的对目标进行识别，以更好的实现避障功能。
48.本技术第三方面实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行程序代码，所述计算机可执行程序代码用于使计算机执行本技术实施例所述的方法。
49.本技术第三方面实施例提供了一种电子设备，所述电子设备包括处理器和存储
器，所述存储器存储有可被所述处理器执行的程序代码，当所述程序代码被所述处理器调用并执行时，执行本技术实施例所述的方法。
50.本技术实施例的图像目标检测能力训练方法可以继承第一检测模型的模型参数，从而使得第二检测模型可以获得第一检测模型的第一检测能力，同时，第二检测模型还可以根据第一检测模型获取的第一信息，确定所述多个目标中的每个类别的目标的正示例以及负示例，并对所述多个目标中的每个类别的目标的所述正示例以及所述负示例进行训练，以使得所述第二检测模型获得第二检测能力，从而提升第二检测模型的检测能力，从而只需要采用较少的具有第一标识的第一图像(即较少数量的真值样本)，就可以获得具有较强的目标检测能力。
附图说明
51.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
52.图1是本技术一实施例的图像目标检测能力训练方法的流程示意图。
53.图2是本技术又一实施例的图像目标检测能力训练方法的流程示意图。
54.图3是本技术又一实施例的图像目标检测能力训练方法的流程示意图。
55.图4是本技术又一实施例的图像目标检测能力训练方法的流程示意图。
56.图5是本技术又一实施例的图像目标检测能力训练方法的流程示意图。
57.图6是本技术一实施例的图像目标检测能力训练装置的结构框图。
58.图7是本技术又一实施例的图像目标检测能力训练装置的结构框图。
59.图8是本技术实施例的电子设备的电路框图。
具体实施方式
60.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
61.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
62.下面将结合附图，对本技术实施例中的技术方案进行描述。
63.需要说明的是，为便于说明，在本技术的实施例中，相同的附图标记表示相同的部件，并且为了简洁，在不同实施例中，省略对相同部件的详细说明。
64.当前应用于场景图像的目标检测分析模型例如强监督目标检测模型，需要依赖大量人工标注的真值样本数据(gt数据)来训练目标检测/分割模型，真值样本数据标注的时间长、成本高、且质量难以保证。此外，强监督学习算法对于未学习的场景，泛化能力不足，
很难做到普遍性适用。因此，传统的强监督学习算法将只能进行前端优化，一旦算法完成移植部署后，强监督目标检测模型无法自我提升，无法实现“在线学习”。
65.本技术提供的图像目标检测能力训练方法得到的检测模型，可以应用于对场景图像中的目标例如车、人、障碍物等进行检测及分割，对目标的方位信息及类别进行识别，应用于自动驾驶车辆时，可以实现很好的避障功能，降低自动驾驶的风险。此外，本技术的图像目标检测能力训练方法还可以应用于人脸识别、医学检测等领域。
66.请参见图1，本技术实施例提供一种图像目标检测能力训练方法，其包括：
67.s101，对具有第一标识的第一图像进行训练，以使第一检测模型获得第一检测能力及形成所述第一检测能力的模型参数；
68.在一些实施例中，在对具有第一标识的第一图像进行训练之前，所述方法还包括：获取第一图像，并对所述第一图像进行第一标识。
69.可选地，根据应用场景选取原始数据的场景，并获取该场景的第一图像。原始数据的场景可以根据本技术的方法所应用场景中可能会存在的目标类别进行选取，例如选择一个包括全部目标类别的场景，或者包括主要目标类别的场景，例如包括人、车、路标、树等自动驾驶过程中需要精确识别的目标。在一些实施例中，第一图像可以通过相机、摄像机、手机等图像采集设备进行获取。在另一些实施例中，第一图案也可以从常用的图像数据库、网络数据库等中进行获取。
70.进一步地，对第一图像进行人工标注，以使第一图像具有第一标识。换言之，对图像样本(即第一图像)进行人工标注，以获得真值样本数据(即具有第一标识的第一图像)。第一标识包括第一图像中所有目标、所有目标的类别信息，所有目标的方位信息等。具体地，目标的方位信息可以通过目标候选框的形式进行标注，换言之，对第一图像中的每个目标采用候选框进行框选，该候选框的方位即为该目标的方位信息。
71.在一些实施例中，所述对具有第一标识的第一图像进行训练之前，所述方法还包括：采用目标检测算法(od算法)中的数据增强算法，对所述第一图像进行光照畸变、几何畸变和图像遮挡等有效的数据增强操作以提高第一图像中场景泛化性。
72.可选地，对具有第一标识的第一图像进行训练，以使第一检测模型获得第一检测能力及形成所述第一检测能力的模型参数，可以为：
73.将进行人工标注的(即具有第一标识的)第一图像送入第一检测模型中，以供第一检测模型进行训练、学习，从而获得对目标的第一检测能力，并形成具有该第一检测能力的模型参数。
74.具体地，选择一个强监督目标检测模型sslod(如以mask_rcnn算法为基础的目标检测模型)，将具有第一标识的第一图像(或者称为原始真值样本)送入第一检测模型(sslod模型)进行训练；同时训练过程中结合注意力机制技术(如senet，即一种注意力机制的神经网络)，为特征图(即第一图像)的重点通道或区域添加高权重，无关或非重点通道或区域添加低权重，让第一检测模型的训练过程更有针对性，这样对于中小目标(即体积或尺寸较小的目标)的检测有明显益处；同时可以采用ssp-net(特征金字塔池化网络)特征金字塔结构，进行多尺度特征融合，实现无需对输入目标执行归一化缩放就可以保证不同大小的目标进入第一检测模型后可以获得固定大小的输出，进一步改进了od的训练结果；同时，由于第一检测模型有真值样本数据(具有第一标识的第一图像)，可以依据真值样本数据采
用nms(非极大抑制)技术对目标检测中的叠框现象进行过滤。从而通过对具有第一标识的第一图像的训练、学习，以使第一检测模型获得较好的可以获得较好的目标检测能力(即第一检测能力)，可以检测图像中定义的多类的待检目标(例如k类，其中，k为正整数)，并输出目标的方位信息、类别信息及置信度。
75.可选地，第一检测模型可以为但不限于为强监督目标检测模型(semi-supervised learning object detection，sslod模型)。第一图像的数量为多张，具体地，可以为但不限于为3万、5万、10万、20万、30万、50万等。第一图像的数量越多越好，但是数量越多成本越高，具体数量可以根据使用场景及第一检测模型的初始模型需要达到的第一检测能力进行确定。
76.现有的强监督目标检测模型要投入实际应用，需要满足预设的目标检测能力及检测准确率，在投入应用之前，需要进行大量的训练学习，从而需要提供大量人工标注的真值样品供其训练及学习。而本实施例中，只要使第一检测模型能够通过第一图像获取一定的第一检测能力即可，因此，本实施例的第一图像的数量可以远少于强监督目标检测模型成型所需要的真值样本的数量。例如，可以为现有模型所需的样本数量的1％、3％、5％、8％、10％等。
77.s102，采用所述第一检测模型对具有第二标识的第二图像进行分析，以获取第一信息，所述第一信息至少包括多个目标及多个目标的类别；
78.在一些实施例中，采用所述第一检测模型对具有第二标识的第二图像进行分析，所述方法还包括：获取第二图像，并对所述第二图像进行第二标识。
79.具体地，依据实际可能的典型应用场景，随机采样一批新的无任何人工标注的原始数据(即第二图像)，对第二图像进行简单图像级标注；换言之，仅标识出第二图像中包括哪些目标的类别，对于每个类别的方位信息等不进行标注。例如第二图像中包括若干个“汽车(car)”、若干个“人(person)”，则该图像的标签就是[“car”,“person”]，不需要去关心“car”和“person”有多少个及他们在图像的哪个区域。可选地，第二标识包括第二图像的所有目标的类别；换言之，第二标识包括简单图像级标签。
[0080]
在一些实施例中，第一图像与第二图像不同，换言之，第一图像与第二图像为不同的场景的图像。在另一些实施例中，第二图像为第一图像中的一部分不同，换言之，第二图像可以为第一图像，可以从第一图像从选取。
[0081]
可选地，采用所述第一检测模型对具有第二标识的第二图像进行分析，以获取第一信息，可以为：采用已经获得第一检测能力的第一检测模型，对具有第二标识的第二图像进行分析、检测，以获得每张第二图像中的第一信息。
[0082]
可选地，所述第一信息还包括第二图像中每个所述目标的方位信息以及每个所述目标的置信度，每个目标的方位信息包括所述目标的坐标及向量。
[0083]
具体地，目标的方位信息可以通过目标候选框的形式进行标注，换言之，对第二图像中的每个目标采用候选框进行框选。可选地，候选框可以为矩形框，该矩形框的四个角的坐标或者向量组成该目标的方位信息。通过获取目标候选框的四个点的坐标或者向量，从而可以准确得到该目标的具体位置，此外，还可以通过候选框四个角的坐标或向量计算出目标的大小，从而可以更好的对目标进行识别，以更好的实现避障功能。
[0084]
s103，第二检测模型根据所述第一信息，确定所述多个目标中的每个类别的目标
的正示例以及负示例；以及
[0085]
可选地，第二检测模型可以为但不限于为多示例学习模块(mil模块)，mil模块包括多示例分类器(milclassifier，mil分类器)。
[0086]
可选地，采用第二检测模型的mil模块获取第一检测模型根据第二图像获得的第一信息，并根所述第一信息，确定所述多个目标中的每个类别的正示例以及负示例。例如，对于“人”来说，“人”为其正包(正box)，正包中的每个像素点为“人”这个类别的正示例，“人”以外的类别为“人”的负包(负box)，负包中的每个像素点为“人”的负示例。由此，可以获得每个类别的目标的正示例和负示例，当第二图像中包括k个类别的目标时，则可以将每个图像的所有目标全部转换成二分类数据集，从而获得k个二分类数据集。
[0087]
s104，所述第二检测模型获取所述第一检测模型的所述模型参数，以使得所述第二检测模型继承所述第一检测模型的所述第一检测能力，并对所述多个目标中的每个类别的目标的所述正示例以及所述负示例进行训练，以使得所述第二检测模型获得第二检测能力。
[0088]
可选地，采用transfer风格迁移学习将第一检测模型的模型参数迁移到第二检测模型的mil模块中，以使所述第二检测模型获取所述第一检测模型的所述模型参数，以继承所述第一检测模型的所述第一检测能力。同时，采用第二检测模型中的多示例分类器对所述多个目标中的每个类别的目标的所述正示例及负示例进行训练，以使第二检测模型获得对每一个类别的目标的正示例及负示例进行区分的能力，进而获取目标检测的能力，即第二检测能力。
[0089]
为了获得更好的训练效果，第二检测模型的mil_classifier模型中依旧采用sslod模块(第一检测模型)中的注意力机制和多尺度特征融合操作，同时采用类似于非极大抑制的叠框抑制算法(如在损失函数loss_function的定义中，对与特征得分最高的检测框iou(交并比)较大但置信度c较小的目标的loss_function进行附加惩罚项，以消除此类叠框的影响)，最终mil_classifier模型获得了对图像进行k类像素二分类的能力，可以识别出图像中每一个像素是否属于k类中的某一类目标。换言之，获得对k类目标中的正示例与负示例进行分类的能力。
[0090]
本技术实施例的图像目标检测能力训练方法可以继承第一检测模型的模型参数，从而使得第二检测模型可以获得第一检测模型的第一检测能力，同时，第二检测模型还可以根据第一检测模型获取的第一信息，确定所述多个目标中的每个类别的目标的正示例以及负示例，并对所述多个目标中的每个类别的目标的所述正示例以及所述负示例进行训练，以使得所述第二检测模型获得第二检测能力，从而提升第二检测模型的检测能力，从而只需要采用较少的具有第一标识的第一图像(即较少数量的真值样本)，就可以获得具有较强的目标检测能力。
[0091]
请参见图2，本技术实施例还提供一种图像目标检测能力训练方法，其包括：
[0092]
s201，对具有第一标识的第一图像进行训练，以使第一检测模型获得第一检测能力及形成所述第一检测能力的模型参数；
[0093]
s202，采用所述第一检测模型对具有第二标识的第二图像进行分析，以获取第一信息，所述第一信息至少包括多个目标及多个目标的类别；
[0094]
s203，第二检测模型根据所述第一信息，确定所述多个目标中的每个类别的目标
的正示例以及负示例；
[0095]
s204，所述第二检测模型获取所述第一检测模型的所述模型参数，以使得所述第二检测模型继承所述第一检测模型的所述第一检测能力，并对所述多个目标中的每个类别的目标的所述正示例以及所述负示例进行训练，以使得所述第二检测模型获得第二检测能力；
[0096]
关于步骤s201至步骤s203的详细描述，请参见上述实施例对应部分的描述，在此不再赘述。
[0097]
s205，采用所述第二检测模型对第三图像、第四图像及测试图像进行分析，分别得到第一检测结果、第二检测结果及第三检测结果，其中，所述第一检测结果包括第三图像及第五图像，所述第二检测结果包括第四图像及第六图像，其中，所述第三图像为未经标识的第一图像，第四图像为未经标识的第二图像，第五图像为具有第三标识的第一图像，第六图像为具有第四标识的第二图像；以及
[0098]
可选地，将没有任何人工标注的第一图像、没有任何人工标注的第二图像及没有任何人工标注的测试图像(testdata)一并送入第二检测模型的mil模块中，进行检测分析，以获取第一图像的第一检测结果、第二图像的第二检测结果以及所述测试图像的第三检测结果；其中，所述第一检测结果包括未经标识的第一图像及具有第三标识的第一图像，所述第二检测结果包括未经标识的第二图像及具有第四标识的第二图像。具体地，采用第二检测模型的mil模块将第一图像、第二图像及测试图像分别进行k个类别的像素二分类(即正示例及负示例分类)以后，经一定的逻辑后处理可以实现对第一图像、第二图像及测试图像中每个类别的目标的实例化分割，即将某一目标显著性的与背景及其他目标区分开，最后将实例分割出来的目标进行一个最小矩形包围，该包围框即为该目标的od检测结果。可选地，第二检测模型还包括伪标签模块(pseude_gt模块)，采用第二检测模型的伪标签模块将第一图像、第二图像及测试图像的od检测结果经模板化替换以后，成为可用于训练和测试的数据格式(如.json或.xml格式等)，即分别获得第一检测结果、第二检测结果及第三检测结果。
[0099]
可选地，第三标识包括第二检测模型检测获得的第一图像中每个目标的方位信息、类别及置信度。第四标识包括第二检测模型检测获得的第二图像中每个目标的方位信息、类别及置信度。第三检测结果包括测试图像中所有目标的方位信息、类别以及置信度。
[0100]
需要说明的是，测试图像在整个学习、训练过程中，只用于测试，不用模型训练。
[0101]
s206，当所述第三检测结果的准确率满足预设条件或所述第二检测模型的训练次数小于第一预设阈值时，则所述第一检测结果及所述第二检测结果送入所述第一检测模型进行循环训练，以提高所述第一检测模型的所述第一检测能力，从而提高所述第二检测模型的所述第二检测能力。
[0102]
可选地，第一预设阈值可以为但不限于为2次、3次、4次、5次、6次等，具体可以根据第二检测模型所需要获得的第二检测能力的准确性及经济成本进行确定，本技术不作具体限定。
[0103]
可选地，采用第二检测模型的伪标签模块对测试图像的第三检测结果的准确率进行判断，当第三检测结果的准确率达到预设条件，小于预设数值，例如可以为但不限于为小于90％、后小于95％等，或者是所述第二检测模型的训练次数小于第一预设阈值时，则认为
该模型的检测准确率还可以再提升，此时，将第一检测结果及第二检测结果作为训练集，送入第一检测模型中，继续进行训练学习，以提高第一检测模型的第一检测能力，换言之，提高第一检测模型的对目标检测的精确度，从而提高第二检测模型的第二检测能力，即提高第二检测模型的对目标检测的精确度。由于第二检测模型继承了第一检测模型的检测能力，因此，第一检测模型的第一检测能力提升了，第二检测模型的第二检测能力也随之提升。随着第二检测模型检测能力的不断提升，每次得到的第一检测结果及第二检测结果准确度也会不断提高，采用准确度提高后的第一检测结果及第二检测结果作为新的训练集对第一检测模型进行训练，又可以提高第一检测模型的第一检测能力，进而提高第二检测模型的第二检测能力。如此，只需要采用少量的第一图像及少量的第二图像，通过对第一图像、第二图像、第一检测结果及第二检测结果，通过循环执行步骤s201至步骤s206，即可不断提高第二检测模型的检测能力及精确度，不需要大量的真值样本，大大降低真值样本获取的成本(即具有第一标识的第一图像获取的成本)，同时又可以使第二检测模型具有自我学习的能力，不断提高第二检测模型的第二检测能力。
[0104]
此外，当用户不断采集新的场景图像，需要对第二检测模型的版本进行升级时，可以将新的场景图像作为第二图像，再次循环执行步骤s202至步骤s206，由于在算法的使用过程中总是可以源源不断的输入新的第二图像数据集，到了一定阶段第二图像数据集可以动过检测结果自行标注图像级标签信息，所以第二检测模型就可以持续不断的正向反馈和自我增强，获得自我学习的能力，并实现版本自我迭代更新。
[0105]
本实施例与上述实施例相同的特征部分请参见上述实施例对应部分的描述在此不再赘述。
[0106]
请参见图3，本技术实施例还提供一种图像目标检测能力训练方法，其包括：
[0107]
s301，对具有第一标识的第一图像进行训练，以使第一检测模型获得第一检测能力及形成所述第一检测能力的模型参数；
[0108]
s302，采用所述第一检测模型对具有第二标识的第二图像进行分析，以获取第一信息，所述第一信息至少包括多个目标以及多个目标的类别；
[0109]
s303，第二检测模型根据所述第一信息，确定所述多个目标中的每个类别的目标的正示例以及负示例；
[0110]
s304，所述第二检测模型获取所述第一检测模型的所述模型参数，以使得所述第二检测模型继承所述第一检测模型的所述第一检测能力，并对所述多个目标中的每个类别的目标的所述正示例以及所述负示例进行训练，以使得所述第二检测模型获得第二检测能力；
[0111]
s305，采用所述第二检测模型对未经标识的所述第一图像、未经标识的所述第二图像及未经标识的测试图像进行分析，分别得到第一检测结果、第二检测结果及第三检测结果，其中，所述第一检测结果包括未经标识的第一图像及具有第三标识的第一图像，所述第二检测结果包括未经标识的第二图像及具有第四标识的第二图像；
[0112]
关于步骤s301至步骤s305的详细描述，请参见上述实施例对应部分的描述，在此不再赘述。
[0113]
s306，采用所述第一检测模型对所述测试图像进行检测，以得到第四检测结果；以及
[0114]
可选地，将测试图像送入第一检测模型，对其进行检测分析，以得到测试图像的第四检测结果。其中，第四检测结果包括测试图像中包括的所有目标的类别、方位信息及置信度。
[0115]
所述第一检测模型及第二检测模型完成指定轮次的训练后，将对第三图像、第四图像及测试图像进行一次测试，所述测试次数为n，其中，n为正整数，当n＝1时，执行步骤s307。
[0116]
s307，当所述第三检测结果的准确率与所述第四检测结果的准确率之差大于第二预设阈值或所述第二检测模型的训练次数小于第一预设阈值时，则将所述第一检测结果及所述第二检测结果送入所述第一检测模型继续训练，以提高所述第一检测模型的所述第一检测能力，从而提高所述第二检测模型的所述第二检测能力。
[0117]
可选地，在第一检测模型及第二检测模型完成一轮训练，并分别获得第一次的未经标识的第一图像、未经标识的第二图像及未经标识的测试图像的第一检测结果、第二检测结果及第三检测结果之后，将所述第三检测结果的准确率与所述第四检测结果的准确率之差与第二预设阈值进行比较，当所述第三检测结果的准确率与所述第四检测结果的准确率之差大于第二预设阈值或所述第二检测模型的训练次数小于第一预设阈值时，则所述第一检测结果及所述第二检测结果送入所述第一检测模型继续训练，以提高所述第一检测模型的所述第一检测能力，从而提高所述第二检测模型的所述第二检测能力。
[0118]
可选地，所述第三检测结果的准确率可以通过第一检测模型对测试图像进行检测得到的各个目标的置信度得到，所述第四检测结果的准确率可以通过第二检测模型对测试图像进行检测得到的各个目标的置信度得到。
[0119]
可选地，第二预设阈值可以为但不限于为3％、5％、8％、10％、15％等。
[0120]
在一具体实施例中，第一预设阈值为3次，第二预设阈值为5％，则当所述第三检测结果的准确率与所述第四检测结果的准确率之差大于5％或者n小于3时，则将所述第一检测结果及所述第二检测结果送入所述第一检测模型继续训练，以提高所述第一检测模型的所述第一检测能力，从而提高所述第二检测模型的所述第二检测能力。
[0121]
本实施例与上述实施例相同的特征部分请参见上述实施例对应部分的描述在此不再赘述。
[0122]
请一并参见图4，在一些实施例中，步骤s307之后，所述方法还包括：s308，对所述第一检测结果及第二检测结果进行训练，以提高所述第一检测模型的第一检测能力，从而提高所述第二检测模型的所述第二检测能力。
[0123]
具体地，将第一检测结果及第二检测结果送入第一检测模型，对所述第一检测结果及第二检测结果进行训练，以提高所述第一检测模型的第一检测能力，从而提高所述第二检测模型的所述第二检测能力。
[0124]
本实施例与上述实施例相同的特征部分请参见上述实施例对应部分的描述在此不再赘述。
[0125]
请参见图5，本技术实施例还提供一种图像目标检测能力训练方法，其包括：
[0126]
s401，对具有第一标识的第一图像进行训练，以使第一检测模型获得第一检测能力及形成所述第一检测能力的模型参数；
[0127]
s402，采用所述第一检测模型对具有第二标识的第二图像进行分析，以获取第一
信息，所述第一信息至少包括多个目标及多个目标的类别；
[0128]
s403，第二检测模型根据所述第一信息，确定所述多个目标中的每个类别的目标的正示例以及负示例；
[0129]
s404，所述第二检测模型获取所述第一检测模型的所述模型参数，以使得所述第二检测模型继承所述第一检测模型的所述第一检测能力，并对所述多个目标中的每个类别的目标的所述正示例以及所述负示例进行训练，以使得所述第二检测模型获得第二检测能力；
[0130]
s405，采用所述第二检测模型对第三图像、第四图像及测试图像进行分析，分别得到第一检测结果、第二检测结果及第三检测结果，其中，所述第一检测结果包括未经标识的第一图像及具有第三标识的第一图像，所述第二检测结果包括未经标识的第二图像及具有第四标识的第二图像；
[0131]
所述第一检测模型及第二检测模型完成指定轮次的训练后，将对第三图像、第四图像及测试图像进行一次测试，所述测试次数为n，其中，n为正整数，当n＝1时，执行步骤s406、s407及s409，当n≥2时，执行步骤s408及s409。
[0132]
s406，采用所述第一检测模型对所述测试图像进行检测，以得到第四检测结果；
[0133]
可选地，将测试图像送入第一检测模型，对其进行检测分析，以得到测试图像的第四检测结果。其中，第四检测结果包括测试图像中包括的所有目标的类别、方位信息及置信度。
[0134]
s407，当所述第三检测结果的准确率与所述第四检测结果的准确率之差大于第二预设阈值或所述第二检测模型的训练次数小于第一预设阈值时，则将所述第一检测结果及所述第二检测结果送入所述第一检测模型继续训练，以提高所述第一检测模型的所述第一检测能力，从而提高所述第二检测模型的所述第二检测能力；以及
[0135]
步骤s401至步骤s407的详细描述请参见上述实施例对应部分的描述，在此不再赘述。步骤s407之后，则执行步骤s409。
[0136]
s408，采用所述第二检测模型对所述测试图像进行检测，以得到第n次第三检测结果；当所述第n次所述第三检测结果的准确率与第n-1次所述第三检测结果的准确率之差大于第二预设阈值或所述第二检测模型的训练次数小于第一预设阈值时，则将所述第一检测结果及所述第二检测结果送入所述第一检测模型继续训练，以提高所述第一检测模型的所述第一检测能力，从而提高所述第二检测模型的所述第二检测能力；
[0137]
可选地，每轮训练结束后，均采用第二检测模型对测试图像进行检测，以得到第n次第三检测结果，当所述第n次所述第三检测结果的准确率与第n-1次所述第三检测结果的准确率之差大于第二预设阈值，例如大于5％或10％等；或所述第二检测模型的训练次数小于第一预设阈值时，则将所述第一检测结果及所述第二检测结果送入所述第一检测模型继续训练，以提高所述第一检测模型的所述第一检测能力，从而提高所述第二检测模型的所述第二检测能力。步骤s408之后，则执行步骤s409。
[0138]
s409，对所述第一检测结果及第二检测结果进行训练，以提高所述第一检测模型的第一检测能力，从而提高所述第二检测模型的所述第二检测能力。
[0139]
步骤s409的详细描述请参见上述实施例对应部分的描述，在此不再赘述。
[0140]
本实施例与上述实施例相同的特征部分请参见上述实施例对应部分的描述在此
不再赘述。
[0141]
请参见图6，本技术实施例还提供一种图像目标检测能力训练装置500，其包括：
[0142]
第一检测单元510，用于对具有第一标识的第一图像进行训练，以使第一检测模型获得第一检测能力及形成所述第一检测能力的模型参数；以及
[0143]
第二检测单元530，用于采用第一检测模型对具有第二标识的第二图像进行分析，以获取第一信息，所述第一信息至少包括多个目标及所述多个目标的类别；
[0144]
所述第二检测单元530还用于所述第二检测模型根据所述第一信息，确定所述多个目标中的每个类别的目标的正示例以及负示例；
[0145]
所述第二检测单元530还用于所述第二检测模型获取所述第一检测模型的所述模型参数，以使得所述第二检测模型继承所述第一检测模型的所述第一检测能力，并对所述多个目标中的每个类别的目标的所述正示例以及所述负示例进行训练，以使得所述第二检测模型获得第二检测能力。
[0146]
可选地，所述第一信息还包括所述第二图像中每个所述目标的方位信息以及每个所述目标的置信度，每个目标的方位信息包括所述目标的坐标及向量。
[0147]
本实施例与上述实施例相同的特征部分请参见上述实施例对应部分的描述在此不再赘述。
[0148]
本技术实施例的图像目标检测能力训练装置500可以继承第一检测模型的模型参数，从而使得第二检测模型可以获得第一检测模型的第一检测能力，同时，第二检测模型还可以根据第一检测模型获取的第一信息，确定所述多个目标中的每个类别的目标的正示例以及负示例，并对所述多个目标中的每个类别的目标的所述正示例以及所述负示例进行训练，以使得所述第二检测模型获得第二检测能力，从而提升第二检测模型的检测能力，从而只需要采用较少的具有第一标识的第一图像(即较少数量的真值样本)，就可以获得具有较强的目标检测能力。
[0149]
在一些实施例中，所述第一检测单元510还用于：采用目标检测算法中的数据增强算法，对所述第一图像进行光照畸变、几何畸变和图像遮挡。
[0150]
请参见图7，在一些实施例中，所述第二检测单元530还用于所述第二检测单元还用于采用所述第二检测模型对第三图像、第四图像及测试图像进行分析，分别得到第一检测结果、第二检测结果及第三检测结果，其中，所述第一检测结果包括第三图像及第五图像，所述第二检测结果包括第四图像及第六图像，所述第三图像为未经标识的第一图像，第四图像为未经标识的第二图像，第五图像为具有第三标识的第一图像，第六图像为具有第四标识的第二图像；所述图像目标检测能力训练装置500还包括分析判断单元550，所述分析判断单元550用于当所述第三检测结果的准确率满足预设条件或所述第二检测模型的训练次数小于第一预设阈值时，则将所述第一检测结果及所述第二检测结果送入所述第一检测模型进行循环训练，以提高所述第一检测模型的所述第一检测能力，从而提高所述第二检测模型的所述第二检测能力。
[0151]
本实施例与上述实施例相同的特征部分请参见上述实施例对应部分的描述在此不再赘述。
[0152]
在一些实施例中，所述第一检测模型及第二检测模型完成指定轮次的训练后，将对第三图像、第四图像及测试图像进行一次测试，所述测试次数为n，其中，n为正整数，当n
＝1时，
[0153]
所述第一检测单元510还用于采用所述第一检测模型对所述测试图像进行检测，以得到第四检测结果；
[0154]
所述分析判断单元550还用于当所述第三检测结果的准确率与所述第四检测结果的准确率之差大于第二预设阈值；或所述第二检测模型的训练次数小于第一预设阈值时，则所述第一检测结果及所述第二检测结果送入所述第一检测模型继续训练，以提高所述第一检测模型的所述第一检测能力，从而提高所述第二检测模型的所述第二检测能力。
[0155]
本实施例与上述实施例相同的特征部分请参见上述实施例对应部分的描述在此不再赘述。
[0156]
在一些实施例中，所述第一检测模型及第二检测模型完成指定轮次的训练后，将对第三图像、第四图像及测试图像进行一次测试，所述测试次数为n，其中，n为正整数，当n≥2时，
[0157]
所述第一检测单元510还用于对所述第一检测结果及第二检测结果进行训练，以提高所述第一检测模型的第一检测能力，从而提高所述第二检测模型的所述第二检测能力；
[0158]
采用所述第二检测模型对所述测试图像进行检测，以得到第n次第三检测结果；
[0159]
所述分析判断单元550还用于当所述第n次所述第三检测结果的准确率与第n-1次所述第三检测结果的准确率之差大于第二预设阈值。
[0160]
本实施例与上述实施例相同的特征部分请参见上述实施例对应部分的描述在此不再赘述。
[0161]
本技术实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有可执行程序代码，该计算机可执行程序代码用于使计算机执行本技术实施例的图像目标检测能力训练方法。
[0162]
请参见图8，本技术实施例还提供一种电子设备600，其包括处理器610和存储器630，存储器630存储有可被处理器610执行的程序代码，当程序代码被处理器610调用并执行时，执行本技术实施例的图像目标检测能力训练方法。
[0163]
存储器630作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的图像目标检测能力训练方法对应的程序指令/模块。处理器610通过运行存储在存储器630中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例图像目标检测能力训练方法。
[0164]
可以包括随机存取存储器(random access memory，ram)、只读存储器(read-only memory，rom)、电可擦可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、只读光盘(compact disc read-only memory，cd-rom)或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。此外。任何连接可以适当的成为计算机可读介质。例如，如果软件是使用同轴电缆、光纤光缆、双绞线、数字用户线(digital subscriber line，dsl)或者诸如红外线、无线电和微波之类的无线技术从网站、服务器或者其他远程源传输的，那么同轴电缆、光纤光缆、双绞线、dsl或者诸如红外线、无
线和微波之类的无线技术包括在所属介质的定影中。如本发明所使用的，盘(disk)和碟(disc)包括压缩光碟(cd)、激光碟、光碟、数字通用光碟(dvd)、软盘和蓝光光碟，其中盘通常磁性的复制数据，而碟则用激光来光学的复制数据。上面的组合也应当包括在计算机可读介质的保护范围之内。
[0165]
本发明的电子设备600包括但不限于电脑、笔记本电脑、平板电脑、手机、相机、智能手环、智能手表、智能眼镜等带显示屏的电子设备。
[0166]
在本技术中提及“实施例”“实施方式”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现所述短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本技术所描述的实施例可以与其它实施例相结合。此外，还应该理解的是，本技术各实施例所描述的特征、结构或特性，在相互之间不存在矛盾的情况下，可以任意组合，形成又一未脱离本技术技术方案的精神和范围的实施例。
[0167]
最后应说明的是，以上实施方式仅用以说明本技术的技术方案而非限制，尽管参照以上较佳实施方式对本技术进行了详细说明，本领域的普通技术人员应当理解，可以对本技术的技术方案进行修改或等同替换都不应脱离本技术技术方案的精神和范围。