图像的新类别识别方法及装置与流程

1.本发明涉及图像识别技术领域，尤其涉及一种图像的新类别识别方法和装置。


背景技术：

2.近年来，在很多实际应用中都有出现深度学习的身影。可以说，现在的深度学习技术在生活中无处不在。在目标识别和分类中，深度学习的应用尤为突出，其中监督学习性能最好，但是它效果好的来源是由于使用了大量的有标记的样本进行训练。但是在实际生活中，标记数据是非常耗时耗钱的，但是大量的无标记样本是被提供的。因此基于少量的有标记样本和大量的无标记样本进行学习的半监督学习范式被提了出来。但是普通的半监督学习假设的是有标记样本和无标记样本都是属于同一个分布的。在开放的场景中，无标记样本里可能包含了有标记样本中不包含的新类别的样本。比如在机器人巡航时，当它发现新的目标，对该目标的识别和分类是至关重要的。所以旨在解决在开放场景中如何识别新类的问题。
3.在现有的专利和发表的论文中，目前仍未有基于决策差异集成的开放场景下的新类目标识别技术，此技术可以应用到机器人巡航等应用中。
4.针对上述问题，一般认为新类是指出现在无标记样本集和测试集中但不出现在有标记集合中的样本。例如，训练的时候，有标记的样本只有“猫”和“狗”两类，但是在无标记集合和测试集中不仅有“猫”和“狗”，还有“鸟”这个新的类别。我们的目标是基于少量的有标记样本和大量的包含新类的无标记样本来训练一个模型，该模型应用于测试集中不仅能对可见类进行很好的分类，还能对新类样本进行识别。


技术实现要素：

5.为克服相关技术中存在的问题，本发明提供一种图像的新类别识别方法和装置。
6.根据本发明实施例的第一方面，提供一种图像的新类别识别方法，方法包括：根据有标记样本图像生成第一有标记样本图像集和第二有标记样本图像集；根据所述第一有标记样本图像集进行训练，得到第一图像识别模型；根据所述第二有标记样本图像集进行训练，得到第二图像识别模型；将所有的无标记样本图像分别输入所述第一图像识别模型和第二图像识别模型，以得到每个无标记样本图像的第一置信度和第二置信度；根据所述每个无标记样本图像的第一置信度和第二置信度进行样本图像的挑选，并为挑选出的目标无标记样本图像确定伪标记；根据所有带有伪标记的目标无标记样本图像和有标记样本图像进行模型训练，以得到目标图像识别模型，其中，所述目标图像识别模型输出的类别数比所述第一图像识别模型和所述第二图像识别模型输出的类别数多一个，多的类别用于预测新类别。
7.在一个实施例，优选地，根据所述每个无标记样本图像的第一置信度和第二置信度进行样本图像的挑选，并为挑选出的目标无标记样本图像确定伪标记，包括：
当无标记样本图像的第一置信度和第二置信度均大于预设值，且最大值概率对应的类别相同时，确定该无标记样本图像为目标无标记样本图像，并将所述最大值概率对应的类别确定为伪标记；当无标记样本图像的第一置信度和第二置信度均大于预设值，且最大值概率对应的类别不相同时，丢弃所述无标记样本图像。
8.在一个实施例，优选地，根据所述每个无标记样本图像的第一置信度和第二置信度进行样本图像的挑选，并为挑选出的目标无标记样本图像确定伪标记，包括：当无标记样本图像的第一置信度和第二置信度均小于所述预设值时，确定该无标记样本图像为目标无标记样本图像，并将其伪标记确定为新类别。
9.在一个实施例，优选地，根据有标记样本图像生成第一有标记样本图像集和第二有标记样本图像集，包括：对所述有标记样本图像进行两次不同的随机采样，以生成第一有标记样本图像集和第二有标记样本图像集。
10.在一个实施例，优选地，所述方法还包括：获取预识别图像；将所述预识别图像输入所述目标图像识别模型，以确定所述预识别图像所属的类别，其中，所属类别包括已有类别和新类别。
11.根据本发明实施例的第二方面，提供一种图像的新类别识别装置，装置包括：生成模块，用于根据有标记样本图像生成第一有标记样本图像集和第二有标记样本图像集；第一训练模块，用于根据所述第一有标记样本图像集进行训练，得到第一图像识别模型；第二训练模块，用于根据所述第二有标记样本图像集进行训练，得到第二图像识别模型；处理模块，用于将所有的无标记样本图像分别输入所述第一图像识别模型和第二图像识别模型，以得到每个无标记样本图像的第一置信度和第二置信度；第一确定模块，用于根据所述每个无标记样本图像的第一置信度和第二置信度进行样本图像的挑选，并为挑选出的目标无标记样本图像确定伪标记；第三训练模块，用于根据所有带有伪标记的目标无标记样本图像和有标记样本图像进行模型训练，以得到目标图像识别模型，其中，所述目标图像识别模型输出的类别数比所述第一图像识别模型和所述第二图像识别模型输出的类别数多一个，多的类别用于预测新类别。
12.在一个实施例，优选地，第一确定模块用于：当无标记样本图像的第一置信度和第二置信度均大于预设值，且最大值概率对应的类别相同时，确定该无标记样本图像为目标无标记样本图像，并将所述最大值概率对应的类别确定为伪标记；当无标记样本图像的第一置信度和第二置信度均大于预设值，且最大值概率对应的类别不相同时，丢弃所述无标记样本图像。
13.在一个实施例，优选地，所述第一确定模块还用于：
当无标记样本图像的第一置信度和第二置信度均小于所述预设值时，确定该无标记样本图像为目标无标记样本图像，并将其伪标记确定为新类别。
14.在一个实施例，优选地，所述生成模块用于：对所述有标记样本图像进行两次不同的随机采样，以生成第一有标记样本图像集和第二有标记样本图像集。
15.在一个实施例，优选地，所述装置还包括：获取模块，用于获取预识别图像；第二确定模块，用于将所述预识别图像输入所述目标图像识别模型，以确定所述预识别图像所属的类别，其中，所属类别包括已有类别和新类别。
16.根据本发明实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现第一方面中任一项方法的步骤。
17.本发明的实施例提供的技术方案可以包括以下有益效果：本发明实施例中，不仅可以对可见类进行很好地识别，在挑选样本时使用了集成的思想，能够让挑选的样本更加准确，伪标记的识别也更加准确。
18.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
19.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
20.图1是根据一示例性实施例示出的一种图像的新类别识别方法的流程图。
21.图2是根据一示例性实施例示出的一种图像的新类别识别方法中步骤s105的流程图。
22.图3是根据一示例性实施例示出的另一种图像的新类别识别方法的流程图。
23.图4是根据一示例性实施例示出的一种图像的新类别识别装置的框图。
24.图5是根据一示例性实施例示出的另一种图像的新类别识别装置的框图。
25.其中，图中的附图标记所表示的构件：41
‑
生成模块，42
‑
第一训练模块，43
‑
第二训练模块，44
‑
处理模块，45
‑
第一确定模块，46
‑
第三训练模块，51
‑
获取模块，52
‑
第二确定模块。
具体实施方式
26.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
27.图1是根据一示例性实施例示出的一种图像的新类别识别方法的流程图，如图1所示，该方法包括：步骤s101，根据有标记样本图像生成第一有标记样本图像集和第二有标记样本图像集；
在一个实施例，优选地，根据有标记样本图像生成第一有标记样本图像集和第二有标记样本图像集，包括：对所述有标记样本图像进行两次不同的随机采样，以生成第一有标记样本图像集和第二有标记样本图像集。
28.步骤s102，根据所述第一有标记样本图像集进行训练，得到第一图像识别模型；步骤s103，根据所述第二有标记样本图像集进行训练，得到第二图像识别模型；步骤s104，将所有的无标记样本图像分别输入所述第一图像识别模型和第二图像识别模型，以得到每个无标记样本图像的第一置信度和第二置信度；步骤s105，根据所述每个无标记样本图像的第一置信度和第二置信度进行样本图像的挑选，并为挑选出的目标无标记样本图像确定伪标记；步骤s106，根据所有带有伪标记的目标无标记样本图像和有标记样本图像进行模型训练，以得到目标图像识别模型，其中，所述目标图像识别模型输出的类别数比所述第一图像识别模型和所述第二图像识别模型输出的类别数多一个，多的类别用于预测新类别。
29.在该实施例中，不仅可以对可见类进行很好地识别，在挑选样本时使用了集成的思想，能够让挑选的样本更加准确，伪标记的识别也更加准确。
30.图2是根据一示例性实施例示出的一种图像的新类别识别方法中步骤s105的流程图。
31.如图2所述，在一个实施例，优选地，上述步骤s105包括：步骤s201，当无标记样本图像的第一置信度和第二置信度均大于预设值，且最大值概率对应的类别相同时，确定该无标记样本图像为目标无标记样本图像，并将所述最大值概率对应的类别确定为伪标记；步骤s202，当无标记样本图像的第一置信度和第二置信度均大于预设值，且最大值概率对应的类别不相同时，丢弃所述无标记样本图像。
32.步骤s203，当无标记样本图像的第一置信度和第二置信度均小于所述预设值时，确定该无标记样本图像为目标无标记样本图像，并将其伪标记确定为新类别。
33.除上述几种情况外，其他情况均丢弃无标记样本图像。
34.图3是根据一示例性实施例示出的另一种图像的新类别识别方法的流程图。
35.如图3所示，在一个实施例，优选地，所述方法还包括：步骤s301，获取预识别图像；步骤s302，将所述预识别图像输入所述目标图像识别模型，以确定所述预识别图像所属的类别，其中，所属类别包括已有类别和新类别。
36.图4是根据一示例性实施例示出的一种图像的新类别识别装置的框图。
37.如图4所示，根据本发明实施例的第二方面，提供一种图像的新类别识别装置，装置包括：生成模块41，用于根据有标记样本图像生成第一有标记样本图像集和第二有标记样本图像集；第一训练模块42，用于根据所述第一有标记样本图像集进行训练，得到第一图像识别模型；第二训练模块43，用于根据所述第二有标记样本图像集进行训练，得到第二图像
识别模型；处理模块44，用于将所有的无标记样本图像分别输入所述第一图像识别模型和第二图像识别模型，以得到每个无标记样本图像的第一置信度和第二置信度；第一确定模块45，用于根据所述每个无标记样本图像的第一置信度和第二置信度进行样本图像的挑选，并为挑选出的目标无标记样本图像确定伪标记；第三训练模块46，用于根据所有带有伪标记的目标无标记样本图像和有标记样本图像进行模型训练，以得到目标图像识别模型，其中，所述目标图像识别模型输出的类别数比所述第一图像识别模型和所述第二图像识别模型输出的类别数多一个，多的类别用于预测新类别。
38.在一个实施例，优选地，第一确定模块45用于：当无标记样本图像的第一置信度和第二置信度均大于预设值，且最大值概率对应的类别相同时，确定该无标记样本图像为目标无标记样本图像，并将所述最大值概率对应的类别确定为伪标记；当无标记样本图像的第一置信度和第二置信度均大于预设值，且最大值概率对应的类别不相同时，丢弃所述无标记样本图像。
39.在一个实施例，优选地，所述第一确定模块45还用于：当无标记样本图像的第一置信度和第二置信度均小于所述预设值时，确定该无标记样本图像为目标无标记样本图像，并将其伪标记确定为新类别。
40.在一个实施例，优选地，所述生成模块41用于：对所述有标记样本图像进行两次不同的随机采样，以生成第一有标记样本图像集和第二有标记样本图像集。
41.图5是根据一示例性实施例示出的另一种图像的新类别识别装置的框图。
42.如图5所示，在一个实施例，优选地，所述装置还包括：获取模块51，用于获取预识别图像；第二确定模块52，用于将所述预识别图像输入所述目标图像识别模型，以确定所述预识别图像所属的类别，其中，所属类别包括已有类别和新类别。
43.根据本发明实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现第一方面中任一项方法的步骤。
44.进一步可以理解的是，本发明中“多个”是指两个或两个以上，其它量词与之类似。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。单数形式的“一种”、
“”
和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
45.进一步可以理解的是，术语“第一”、“第二”等用于描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开，并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。
46.进一步可以理解的是，本发明实施例中尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行
全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。
47.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本技术旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
48.应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。