一种增强型目标检测方法和存储设备与流程

1.本发明涉及目标检测技术领域，特别涉及一种增强型目标检测方法和存储设备。


背景技术：

2.目前的目标检测的大多数做法是进行检测识别并输出类别以及位置，在新品类增加时需要重新采集标注数据集进行重新训练部署。物体识别的能力受限于用于目标检测模型的训练数据集的特征以及图像特征的提取质量。这样的目标检测模型用于目标检测装置时，会出现以下问题：
3.目标检测模型的训练数据集包含物体类别、物体特征、非目标特征等多种类型的图像信息。即目标检测模型提取的是训练数据集的低级、中级和高级特征。数据集的质量对目标检测模型的影响非常大。
4.模型的网络结构和网络拓扑(网络建模/网络层级/核心网络单元)，模型的网络性能(参数调优等)调优，对目标检测的影响也非常大。
5.针对上述两个问题，当目标检测的需求发生变化(增加识别类型、提升识别精度)时，用于目标检测的数据集和深度学习模型都需要重新构建，非常麻烦。


技术实现要素：

6.为此，需要提供一种增强型目标检测方法，用以解决现有目标检测方法当目标检测的需求发生时，用于目标检测的数据集和深度学习模型都需要重新构建的技术问题。具体技术方案如下：
7.一种增强型目标检测方法，包括步骤：
8.训练待用模型，所述待用模型包括：前景背景区分模型和特征提取分类模型；
9.响应添加新类别指令，输入新品类图像至所述前景背景区分模型得到前景图像；
10.输入所述前景图像至所述特征提取分类模型得到特征向量；
11.对所述特征向量进行聚类生成新类簇。
12.进一步的，还包括步骤：
13.响应品类识别指令；
14.输入待识别图像至所述前景背景区分模型得到前景图像；
15.输入所述前景图像至所述特征提取分类模型得到特征向量；
16.对所述特征向量进行聚类，并更新类簇中心点；
17.输出对应品类类别。
18.进一步的，所述“训练待用模型”，具体还包括步骤：
19.标注采集的图像数据的类别生成数据集；
20.用标注好的数据集进行前景背景区分模型训练；
21.输入图像至前景背景区分模型进行推理生成前景图像；
22.对前景图像进行类别标注，生成前景图像类别数据集；
23.用所述前景图像类别数据集进行特征提取分类模型训练；
24.输入已知类别的前景图像至所述特征提取分类模型进行推理生成特征向量，对所述特征向量进行聚类生成基础类簇。
25.进一步的，所述“输入待识别图像至所述前景背景区分模型得到前景图像”，具体还包括步骤：
26.输入待识别图像至前景背景区分网络进行推理，再进行nms过滤得到前景图像。
27.进一步的，所述“输入图像至前景背景区分模型进行推理生成前景图像”，具体还包括步骤：
28.裁减掉与物体无关的部分，去除干扰性的冗余特征；
29.所述数据集包括：当前需要识别类别和无关类别。
30.为解决上述技术问题，还提供了一种存储设备，具体技术方案如下：
31.一种存储设备，其中存储有指令集，所述指令集用于执行：
32.训练待用模型，所述待用模型包括：前景背景区分模型和特征提取分类模型；
33.响应添加新类别指令，输入新品类图像至所述前景背景区分模型得到前景图像；
34.输入所述前景图像至所述特征提取分类模型得到特征向量；
35.对所述特征向量进行聚类生成新类簇。
36.进一步的，所述指令集还用于执行：
37.响应品类识别指令；
38.输入待识别图像至所述前景背景区分模型得到前景图像；
39.输入所述前景图像至所述特征提取分类模型得到特征向量；
40.对所述特征向量进行聚类，并更新类簇中心点；
41.输出对应品类类别。
42.进一步的，所述指令集还用于执行：
43.所述“训练待用模型”，具体还包括步骤：
44.标注采集的图像数据的类别生成数据集；
45.用标注好的数据集进行前景背景区分模型训练；
46.输入图像至前景背景区分模型进行推理生成前景图像；
47.对前景图像进行类别标注，生成前景图像类别数据集；
48.用所述前景图像类别数据集进行特征提取分类模型训练；
49.输入已知类别的前景图像至所述特征提取分类模型进行推理生成特征向量，对所述特征向量进行聚类生成基础类簇。
50.进一步的，所述指令集还用于执行：
51.所述“输入待识别图像至所述前景背景区分模型得到前景图像”，具体还包括步骤：
52.输入待识别图像至前景背景区分网络进行推理，再进行nms过滤得到前景图像。
53.进一步的，所述指令集还用于执行：所述“输入图像至前景背景区分模型进行推理生成前景图像”，具体还包括步骤：
54.裁减掉与物体无关的部分，去除干扰性的冗余特征；
55.所述数据集包括：当前需要识别类别和无关类别。
56.本发明的有益效果是：一种增强型目标检测方法，包括步骤：训练待用模型，所述待用模型包括：前景背景区分模型和特征提取分类模型；响应添加新类别指令，输入新品类图像至所述前景背景区分模型得到前景图像；输入所述前景图像至所述特征提取分类模型得到特征向量；对所述特征向量进行聚类生成新类簇。以上方法中，因本技术中训练的前景背景区分模型是针对泛类的，只是检测区分物体的前景和背景，这样当有新类别增加时，因为是针对泛类，所以不需要再重新训练。故此当有新类别添加时，无需额外再重新训练前景背景区分模型和特征提取分类模型，将大大简化训练流程，灵活性高。
57.上述发明内容相关记载仅是本技术技术方案的概述，为了让本领域普通技术人员能够更清楚地了解本技术的技术方案，进而可以依据说明书的文字及附图记载的内容予以实施，并且为了让本技术的上述目的及其它目的、特征和优点能够更易于理解，以下结合本技术的具体实施方式及附图进行说明。
附图说明
58.附图仅用于示出本技术具体实施方式以及其他相关内容的原理、实现方式、应用、特点以及效果等，并不能认为是对本技术的限制。
59.图1为具体实施方式所述一种增强型目标检测方法的流程图；
60.图2为具体实施方式所述训练待用模型的流程图；
61.图3为具体实施方式所述品类识别的流程图；
62.图4为具体实施方式所述一种存储设备的模块示意图；
63.图5为具体实施方式所述一种存储设备的硬件架构示意图。
64.附图标记说明：
65.400、存储设备。
具体实施方式
66.为详细说明本技术可能的应用场景，技术原理，可实施的具体方案，能实现目的与效果等，以下结合所列举的具体实施例并配合附图详予说明。本文所记载的实施例仅用于更加清楚地说明本技术的技术方案，因此只作为示例，而不能以此来限制本技术的保护范围。
67.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中各个位置出现的“实施例”一词并不一定指代相同的实施例，亦不特别限定其与其它实施例之间的独立性或关联性。原则上，在本技术中，只要不存在技术矛盾或冲突，各实施例中所提到的各项技术特征均可以以任意方式进行组合，以形成相应的可实施的技术方案。
68.除非另有定义，本文所使用的技术术语的含义与本技术所属技术领域的技术人员通常理解的含义相同；本文中对相关术语的使用只是为了描述具体的实施例，而不是旨在限制本技术。
69.在本技术的描述中，用语“和/或”是一种用于描述对象之间逻辑关系的表述，表示可以存在三种关系，例如a和/或b，表示：存在a，存在b，以及同时存在a和b这三种情况。另外，本文中字符“/”一般表示前后关联对象是一种“或”的逻辑关系。
70.在本技术中，诸如“第一”和“第二”之类的用语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何实际的数量、主次或顺序等关系。
71.在没有更多限制的情况下，在本技术中，语句中所使用的“包括”、“包含”、“具有”或者其他类似的表述，意在涵盖非排他性的包含，这些表述并不排除在包括所述要素的过程、方法或者产品中还可以存在另外的要素，从而使得包括一系列要素的过程、方法或者产品中不仅可以包括那些限定的要素，而且还可以包括没有明确列出的其他要素，或者还包括为这种过程、方法或者产品所固有的要素。
72.与《审查指南》中的理解相同，在本技术中，“大于”、“小于”、“超过”等表述理解为不包括本数；“以上”、“以下”、“以内”等表述理解为包括本数。此外，在本技术实施例的描述中“多个”的含义是两个以上(包括两个)，与之类似的与“多”相关的表述亦做此类理解，例如“多组”、“多次”等，除非另有明确具体的限定。
73.请参阅图1至图3，在本实施例中，一种增强型目标检测方法可应用在一种存储设备上，所述存储设备包括但不限于：个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端等。如：平板电脑、笔记本电脑、工控电脑、安防监控设备、安检设备等系统。增强型目标检测方法对硬件系统有一定要求，一种存储设备的硬件框架如图5所示。以下展开说明，通用的计算机设备，通过扩展智能ai设备或网络ai算例等方式，理论上也具有执行增强型目标检测方法的物理条件。
74.如图5所述，所述存储设备包括以下硬件单元：处理器单元、传感器组件、通信组件、npu/gpu组件、多媒体加速组件、内存组件、存储组件、电源组件和i/o接口组件。
75.典型的存储设备，处理器和其他硬件单元建立双向连接，进行双向数据和控制交互。处理器一般是异构多处理器；处理器优选的具有cpu单元、gpu单元、opencl单元、npu单元和硬件视频codec单元的异构多处理器。其中cpu单元负责执行软件和逻辑控制类型的负载任务；gpu单元负责加速图形渲染类型的负载任务；opencl单元负责加速计算类型的负载任务；npu单元负责加速深度学习的负载任务；硬件视频codec单元负责加速视频编解码类型的负载任务。
76.存储器负责数据和程序的动态写入和动态读出。存储器可以存储操作系统、应用程序、通讯录、即时消息、数字图像、数字视频等。存储器的物理电子设备可以是静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)等。
77.内存用于暂时存放cpu中的运算数据，与硬盘等外部存储器交换的数据。内存一般采用半导体存储单元，包括随机存储器(ram)，只读存储器(rom)，以及高速缓存(cache)。
78.通信组件可以接入标准数据通信网络，如wifi，2g/3g/4g/5g，或它们的组合。通信组件还可是接入近场通信网络，如蓝牙、近场通信(nfc)，或它们的组合。
79.i/o接口是处理器外部设备或组件交换信息的物理通道。i/o接口是可编程的，其工作方式由程序进行控制。
80.电源组件为多种组件提供外部电源。电源组件可以包含电源管理单元(pmu)、单路或多路电源。处理器单元可以对电源组件进行电源管理，管理系统的电源分配和功耗控制。
81.传感器组件还可以包括图像传感器，如cmos/ccd图像传感器，用于摄像类应用。在
一些实施例中，该传感器组件还可以包括压力传感器、陀螺仪传感器、加速度传感器、磁传感器、接近传感器或温度传感器。
82.视频组件用于硬件编码和解码视频数据。视频组件一般具有h263/h264/h265/vp8/vp9等硬件编解码器。
83.音频组件用于硬件音频采集和输出。硬件音频采集要求对原始音频数据进行3a音频处理。
84.显示组件用于显示输出和显示输出切换和管理。显示组件提供一个输出接口的屏幕，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。
85.安全组件用于保护敏感用户信息，可以用于安全存取身份信息、指纹信息、账户信息等敏感用户信息。
86.对存储设备的硬件做完介绍后，以下结合图1至图3对一种增强型目标检测方法的具体实施方式展开说明：
87.本技术的核心技术思想在于：采用了一种全新的方式，主要是训练前景背景区分模型和特征提取分类模型，然后可以利用这两个模型来进行类别识别，而当有新品类增加时，这两个模型是无需做任何改动的，而是只要将这个新品类通过网络生成新类簇存储，然后再进行品类识别即可。
88.当有新类别添加时，具体步骤可如下：
89.步骤s101：训练待用模型，待用模型包括：前景背景区分模型和特征提取分类模型。
90.其中训练待用模型的步骤如图2所示：
91.步骤s201：标注采集的图像数据的类别生成数据集。数据集包括：当前需要识别类别和无关类别。
92.步骤s202：用标注好的数据集进行前景背景区分模型训练。其中前景背景区分模型可为ssd、yolov3和centernet中的任意一种。
93.步骤s203：输入图像至前景背景区分模型进行推理生成前景图像。在本实施例中，可将图像批量送入前景背景区分模型进行推理，且会裁减掉与物体无关的部分，去除干扰性的冗余特征。
94.步骤s204：对前景图像进行类别标注，生成前景图像类别数据集。
95.步骤s205：用前景图像类别数据集进行特征提取分类模型训练。该特征提取分类模型为本技术自行设计的，其模型可根据场景复杂度以及硬件资源更改(for(n)表示第2层for循环n次)：
96.1conv＝》relu＝》conv＝》relu＝》bn＝》pool＝》dropout
97.2for(n)conv＝》relu＝》bn＝》conv＝》relu＝》pool＝》dropout
98.3conv＝》relu＝》bn＝》conv＝》relu＝》bn＝》pool
99.4fc
100.步骤s206：输入已知类别的前景图像至特征提取分类模型进行推理生成特征向量，对特征向量进行聚类生成基础类簇。
101.训练好待用模型后，执行步骤s102：响应添加新类别指令，输入新品类图像至前景背景区分模型得到新品类图像对应的前景图像。
102.步骤s103：输入新品类图像对应的前景图像至特征提取分类模型得到对应的特征向量。
103.步骤s104：对特征向量进行聚类生成新类簇。在生成新类簇后，在下次需要该品类时就可走品类识别流程进行识别。
104.其中品类识别流程如图3所示：
105.步骤s301：响应品类识别指令。
106.步骤s302：输入待识别图像至前景背景区分模型得到待识别图像对应的前景图像。具体为将待识别图像送入前景背景区分网络(该前景背景区分网络为前景背景区分模型中的一个环节)进行推理，再进行nms过滤，得到前景图像。
107.步骤s303：输入待识别图像对应的前景图像至特征提取分类模型得到特征向量。
108.步骤s304：对特征向量进行聚类，并同时更新类簇中心点。更新类簇中心点以便于让每一个类别的每个中心点更适配该类别，提高之后聚类的精确度。
109.步骤s305：输出对应品类类别。在对特征向量进行聚类后查看其更靠近哪个类簇中心点，则为对应的类别。
110.一种增强型目标检测方法，包括步骤：训练待用模型，所述待用模型包括：前景背景区分模型和特征提取分类模型；响应添加新类别指令，输入新品类图像至所述前景背景区分模型得到前景图像；输入所述前景图像至所述特征提取分类模型得到特征向量；对所述特征向量进行聚类生成新类簇。以上方法中，当有新类别添加时，无需额外再重新训练前景背景区分模型和特征提取分类模型，将大大简化训练流程，灵活性高。因本技术中训练的前景背景区分模型是针对泛类的，只是检测区分物体的前景和背景，这样当有新类别增加时，因为是针对泛类，所以不需要再重新训练。故此本技术区分前景/背景不是为了区分而区分，而是当目标识别系统需要增加需求(添加新类别)时，深度学习模型不需要重新训练。
111.以下结合图4，对一种存储设备400的具体实施方式展开说明：
112.一种存储设备400，其中存储有指令集，所述指令集用于执行：
113.训练待用模型，待用模型包括：前景背景区分模型和特征提取分类模型。
[0114]“训练待用模型”，具体还包括步骤：
[0115]
标注采集的图像数据的类别生成数据集。数据集包括：当前需要识别类别和无关类别。
[0116]
用标注好的数据集进行前景背景区分模型训练。其中前景背景区分模型可为ssd、yolov3和centernet中的任意一种。
[0117]
输入图像至前景背景区分模型进行推理生成前景图像。在本实施方式中，可将图像批量送入前景背景区分模型进行推理，且会裁减掉与物体无关的部分，去除干扰性的冗余特征。
[0118]
对前景图像进行类别标注，生成前景图像类别数据集。
[0119]
用前景图像类别数据集进行特征提取分类模型训练。该特征提取分类模型为本技术自己设计的，其模型可根据场景复杂度以及硬件资源更改(for(n)表示第2层for循环n次)：
[0120]
1conv＝》relu＝》conv＝》relu＝》bn＝》pool＝》dropout
[0121]
2for(n)conv＝》relu＝》bn＝》conv＝》relu＝》pool＝》dropout
[0122]
3conv＝》relu＝》bn＝》conv＝》relu＝》bn＝》pool
[0123]
4fc
[0124]
输入已知类别的前景图像至特征提取分类模型进行推理生成特征向量，对特征向量进行聚类生成基础类簇。
[0125]
训练好待用模型后，响应添加新类别指令，输入新品类图像至前景背景区分模型得到新品类图像对应的前景图像。
[0126]
输入新品类图像对应的前景图像至特征提取分类模型得到对应的特征向量。
[0127]
对特征向量进行聚类生成新类簇。在生成新类簇后，在下次需要该品类时就可走品类识别流程进行识别。
[0128]
其中品类识别如下：
[0129]
进一步的，所述指令集还用于执行：
[0130]
响应品类识别指令；
[0131]
输入待识别图像至前景背景区分模型得到待识别图像对应的前景图像。具体为将待识别图像送入前景背景区分网络(该前景背景区分网络为前景背景区分模型中的一个环节)进行推理，再进行nms过滤，得到前景图像。
[0132]
输入待识别图像对应的前景图像至特征提取分类模型得到特征向量。
[0133]
对所述特征向量进行聚类，并同时更新类簇中心点。更新类簇中心点以便于让每一个类别的每个中心点更适配该类别，提高之后聚类的精确度。
[0134]
输出对应品类类别。在对特征向量进行聚类后查看其更靠近哪个类簇中心点，则为对应的类别。
[0135]
一种存储设备400，其中存储有指令集，所述指令集用于执行：训练待用模型，所述待用模型包括：前景背景区分模型和特征提取分类模型；响应添加新类别指令，输入新品类图像至所述前景背景区分模型得到前景图像；输入所述前景图像至所述特征提取分类模型得到特征向量；对所述特征向量进行聚类生成新类簇。以上存储设备400，当有新类别添加时，无需额外再重新训练前景背景区分模型和特征提取分类模型，将大大简化训练流程，灵活性高。因本技术中训练的前景背景区分模型是针对泛类的，只是检测区分物体的前景和背景，这样当有新类别增加时，因为是针对泛类，所以不需要再重新训练。故此本技术区分前景/背景不是为了区分而区分，而是当目标识别系统需要增加需求(添加新类别)时，深度学习模型不需要重新训练。
[0136]
需要说明的是，尽管在本文中已经对上述各实施例进行了描述，但并非因此限制本发明的专利保护范围。因此，基于本发明的创新理念，对本文所述实施例进行的变更和修改，或利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接地将以上技术方案运用在其他相关的技术领域，均包括在本发明的专利保护范围之内。