垃圾图像分类方法、装置、电子设备及存储介质与流程

1.本技术涉及图像分类技术领域，尤其涉及一种垃圾图像分类方法、装置、电子设备及存储介质。


背景技术：

2.随着人工智能的发展，图像识别的应用范围越来越广，随着人们的环保意识增强，垃圾分类逐渐成为人们生活的热点，但面对干垃圾、湿垃圾、可回收垃圾、有害垃圾的正确分类，大部分人还是无法正确分类。因此，结合人工智能技术进行图像识别来帮助人们实现垃圾的正确分类显得尤为重要。
3.现有技术中，可以通过获取垃圾图片训练集，将该垃圾图片训练集输入到深度学习神经网络模型中，并根据垃圾标签信息对深度学习神经网络模型进行监督学习，以获取分类模型，即经过训练的深度学习神经网络模型，进而通过所述分类模型对目标垃圾图片进行分类以获取垃圾分类结果。
4.但是，上述分类模型只可以识别出常规垃圾的分类，对于一些变形的垃圾，如压缩的瓶子、塑料罐等，识别的准确性较低，从而导致垃圾分类的准确性降低。


技术实现要素：

5.本技术提供一种垃圾图像分类方法、装置、电子设备及存储介质，可以识别出变形的垃圾，提高垃圾识别准确性以及垃圾分类的准确性。
6.第一方面，本技术提供一种垃圾图像分类方法，所述方法包括：获取待识别的垃圾图像，将所述待识别的垃圾图像输入到特征提取模块中进行特征提取，得到目标特征数据；所述特征提取模块包括多个残差块，每一残差块包括多层网络层，每一网络层对应有参数值，所述参数值来自经过训练的第一识别分类模型；利用损失函数计算所述目标特征数据与预定义类别的相似度，得到所述预定义类别对应的概率值；所述预定义类别用于区分垃圾的种类；所述损失函数与第一识别分类模型中对应的损失函数不同；基于所述概率值确定所述待识别的垃圾图像的类别。
7.可选的，将所述待识别的垃圾图像输入到特征提取模块中进行特征提取，得到目标特征数据，包括：将所述待识别的垃圾图像进行归一化处理；针对每一残差块，将归一化处理的垃圾图像输入到所述残差块中，经过多层网络层计算，得到每一层输出的特征数据；将每一层输出的特征数据进行特征融合，并将每一残差块对应的融合后的特征数据再次进行融合，得到所述目标特征数据。
8.可选的，基于所述概率值确定所述待识别的垃圾图像的类别，包括：将预定义类别与所述目标特征数据的概率值按照大小顺序进行排序；
获取排序最前的概率值对应的类别，确定所述类别为所述待识别的垃圾图像对应的类别。
9.可选的，基于所述概率值确定所述待识别的垃圾图像的类别，包括：针对每一预定义类别，判断该类别对应的概率值是否大于预设阈值；若是，则确定该类别为所述待识别的垃圾图像对应的类别。
10.可选的，所述方法还包括：若确定每一预定义类别对应的概率值均小于预设阈值，则将该待识别的垃圾图像进行显示，以进行人工评判所述待识别的垃圾图像的类别；获取人工评判所述待识别的垃圾图像对应的类别，并将所述待识别的垃圾图像和对应的类别作为训练数据，输入到第一识别分类模型进行训练。
11.可选的，所述方法还包括：获取带标签的训练数据集和不带标签的训练数据集；所述带标签的训练数据集包括无形变的垃圾图像以及对应的标签类别；所述不带标签的训练数据集包括变形的垃圾图像；利用所述带标签的训练数据集对第一识别分类模型进行训练，利用所述不带标签的训练数据集对第二识别分类模型进行训练；所述第一识别分类模型和所述第二识别分类模型为同种类型的模型；判断经过训练后的第二识别分类模型的输出结果是否满足预设要求；若否，则获取经过训练后的第一识别分类模型中各个网络层的参数值，并将所述参数值迁移到经过训练后的第二识别分类模型中各个网络层中，以替换经过训练后的第二识别分类模型中各个网络层对应的参数值；更新第一识别分类模型中各个网络层的参数值，继续对所述第一识别分类模型和所述第二识别分类模型进行训练；若是，则停止训练。
12.可选的，获取带标签的训练数据集和不带标签的训练数据集，包括：将带标签的训练数据集和不带标签的训练数据集中的图像按照预定义比例进行数据扩充；所述数据扩充包括图像翻转、灰度值变换、镜像转换；获取扩充后的带标签的训练数据集和不带标签的训练数据集。
13.第二方面，本技术提供一种垃圾图像分类装置，所述装置包括：提取模块，用于获取待识别的垃圾图像，将所述待识别的垃圾图像输入到特征提取模块中进行特征提取，得到目标特征数据；所述特征提取模块包括多个残差块，每一残差块包括多层网络层，每一网络层对应有参数值，所述参数值来自经过训练的第一识别分类模型；计算模块，用于利用损失函数计算所述目标特征数据与预定义类别的相似度，得到所述预定义类别对应的概率值；所述预定义类别用于区分垃圾的种类；所述损失函数与第一识别分类模型中对应的损失函数不同；确定模块，用于基于所述概率值确定所述待识别的垃圾图像的类别。
14.第三方面，本技术提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如第一方面中任一项所述的方法。
15.第四方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面中任一项所述的方法。
16.综上所述，本技术提供一种垃圾图像分类方法、装置、电子设备及存储介质，可以通过获取待识别的垃圾图像，进一步的，将待识别的垃圾图像输入到特征提取模块中进行特征提取，得到目标特征数据；该特征提取模块包括多个残差块，每一残差块包括多层网络层，每一网络层对应有参数值，用于提取不同的特征数据，进一步的，可以利用损失函数计算目标特征数据与预定义类别的相似度，得到预定义类别对应的概率值，并基于计算得到的概率值确定待识别的垃圾图像的类别，其中，参数值来自经过训练的第一识别分类模型；预定义类别用于区分垃圾的种类。这样，可以基于待识别的垃圾图像对应特征数据与预定义类别的相似度，准确的识别出垃圾类别，如变形的垃圾，提高垃圾识别与垃圾分类的准确性。
附图说明
17.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
18.图1为本技术实施例提供的一种应用场景示意图；图2为本技术实施例提供的一种垃圾图像分类方法的流程示意图；图3为本技术实施例提供的一种模型训练的结构示意图；图4为本技术实施例提供的一种模型训练的流程示意图；图5为本技术实施例提供的一种垃圾图像分类装置的结构示意图；图6为本技术实施例提供的一种电子设备的结构示意图。
19.通过上述附图，已示出本技术明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本技术构思的范围，而是通过参考特定实施例为本领域技术人员说明本技术的概念。
具体实施方式
20.为了便于清楚描述本技术实施例的技术方案，在本技术的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一设备和第二设备仅仅是为了区分不同的设备，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
21.需要说明的是，本技术中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本技术中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
22.本技术中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，
描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b的情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项（个）”或其类似表达，是指的这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a，b，或c中的至少一项（个），可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。
23.随着科技的进步推动了人类的生活走向便捷智能化，其中人工智能识别技术越来越贴近我们的生活，由于们的环保意识增强，垃圾分类逐渐成为人们生活的热点，实行干湿垃圾分类，有利于减少垃圾占地，减少污染，提高资源利用率，具有社会、经济和生态效益。目前，人工分类存在着工作强度高、环境差、成本高等缺点，因此，研究出了大量的垃圾智能识别算法来进行垃圾分类。
24.一种可能的实现方式中，研究了一种方法如基于自适应数据聚类的锚箱和yolov3深色模型来识别、分类和检测干湿垃圾。经过实验结果表明，该方法可以适应复杂环境下干湿垃圾的分类，能够准确快速地识别干湿垃圾，使得湿垃圾分类的准确率在90%以上，满足垃圾二级处理的要求。
25.另一种可能的实现方式中，研究了一种垃圾智能分类装置对垃圾进行分类，该垃圾智能分类装置以stm32芯片为主控芯片，利用openmv4摄像头构建垃圾识别神经网络进行垃圾识别，而垃圾的识别结果通过串口传回单片机，进一步的，将识别类别后的垃圾通过控制电机旋转到相应的角度进行垃圾输送，且该垃圾智能分类装置还可以利用红外管判断垃圾高度，实现满负荷报警；还具有一个显示屏，显示要扔的垃圾的类型和数量，以及一段可以播放的宣传视频，以提高人们对垃圾分类的认识。
26.再一种可能的实现方式中，研究了一种基于深度学习的多任务垃圾存放点智能管理网络，该网络结合了yolov5、deepsort、insightface和openpose等算法，实现了基于实时监控视频的垃圾桶检测、垃圾桶状态识别和分析、人脸识别、动作识别和多目标跟踪，进而实现对垃圾的分类。通过工作分解结构（work breakdown structure，wbs）数据集上的实验验证了该网络优于其他垃圾点状态识别方法。此外，该网络经过训练，可以处理不同的垃圾沉积场景，具有优越的性能，其中，该网络的训练利用废物箱状态的新数据集，所述数据集为现有的废物箱识别领域提供补充说明。
27.又一种可能的实现方式中，通过对不同神经网络中特征映射的可视化分析，提出了一种适用于现实生活中垃圾检测的skip-yolo模型，所述skip-yolo模型用于垃圾的分类。具体的，可以通过大尺寸卷积核放大模型的感受野，增强图像的浅层信息，进而利用密集卷积块提取垃圾的高维特征映射，通过加强浅层低语义和深层高语义信息的共享，提高了同类垃圾中相似特征的敏感性，进一步的，将多尺度高维特征映射集成并发送到yolo层，以预测垃圾的类型和位置。通过实验结果表明，与yolov3相比，所述skip-yolo模型的检测精度提高了22.5%，平均召回率提高了18.6%，可以成功地检测出复杂多场景中的生活垃圾。此外，该skip-yolo模型缓解了深剩余块体的过度拟合问题，具有广泛的应用性能。
28.但是，上述垃圾分类的方法大多基于已有模型如yolov3等算法进行一定改动来实现垃圾的分类与识别任务，只可以识别出常规垃圾的分类，在实际应用场景中，经常会出现一些变形的垃圾，比如压缩的瓶子、塑料罐等，面对这些变形的垃圾，上述方式识别的准确性较低，从而导致垃圾分类的准确性降低。
29.可以理解的是，上述传统的检测方法鲁棒性差，准确率低，无法在复杂背景下实现快速检测，而基于监督学习的垃圾智能识别算法，在真实环境下，面对复杂环境以及多种不易识别垃圾的情况下可能表现并不良好，因此，如何在已有的数据集以及网络模型下，实现对压缩的垃圾等未见过的图像进行精准分类与识别，显得尤为重要。
30.针对上述问题，本技术实施例提供一种垃圾图像分类方法，所述垃圾图像分类方法基于零样本学习实现，可以识别出变形的垃圾，具体的，利用特征提取模块对待识别垃圾图像进行特征提取，该特征提取模块中包括的所有网络层对应的参数值来自经过训练的识别分类模型中特征提取模块中对应的网络层，经过训练的识别分类模型为利用带标签数据训练过的，所述带标签数据包括垃圾图像以及对应的类别，进一步的，计算出特征数据与预定义类别的概率，进而根据概率确定待识别垃圾图像的类别，这样，通过将带有标签数据的特征迁移到没有标签数据的模型中，使得其可以识别出未标注类别的垃圾图像如变形的垃圾，提高识别准确性以及分类的准确性。
31.示例性的，图1为本技术实施例提供的一种应用场景示意图，本技术提供的一种垃圾图像分类方法可以应用于如图1所示的应用场景中。该应用场景包括：待处理垃圾如变形的易拉罐101、垃圾分类装置102和用户103；其中，垃圾分类装置102中安装有拍摄模块1021和显示模块1022；具体的，用户103将变形的易拉罐101放置于垃圾分类装置102的拍摄模块1021中，进一步的，拍摄模块1021对变形的易拉罐101进行拍照，然后将拍照后的图像上传至垃圾分类装置102的服务器中提取特征数据，进而分别计算出该特征数据与服务器中设定的每一类别的概率，从而可以根据概率的大小确定待识别垃圾图像的类别，如该服务器利用垃圾图像分类方法识别出变形的易拉罐101对应的垃圾类别为易拉罐，进而垃圾分类装置102将变形的易拉罐101分类放置对应的垃圾收纳箱内。
32.可以理解的是，该垃圾分类装置102还具有显示模块1022，可以显示待处理垃圾的分类结果，也可以在垃圾分类装置102未能识别出待处理垃圾的类别时，显示提示信息，以提示用户103选择待处理垃圾的相应类别，进而将待处理垃圾放置对应的垃圾收纳箱内。
33.该垃圾分类装置102可应用于公共场所、家庭等场所，实现垃圾种类的识别，并实现自动分类入箱，完成垃圾的自动分类，代替人工分类，提高垃圾分类的准确性。
34.需要说明的是，本技术实施例对待处理垃圾的类别种类不作具体限定，其类别可以为干垃圾、湿垃圾、可回收垃圾、有害垃圾等，也可以为易拉罐、纸制品、纺织品、塑料制品、厨余垃圾等，且以上应用场景中待处理垃圾为示例说明，本技术实施例提供的垃圾图像分类方法是基于零样本学习实现，可以用于多种类别的垃圾的分类，尤其可以对不易识别垃圾如压缩的瓶子、塑料罐等进行分类。其中，零样本学习（zero-shot learning，zsl）指的是让计算机模拟人类的推理方式，来识别从未见过的新事物。
35.下面以具体地实施例对本技术的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本技术的实施例进行描述。
36.图2为本技术实施例提供的一种垃圾图像分类方法的流程示意图，如图2所示，所述垃圾图像分类方法包括如下步骤：s201、获取待识别的垃圾图像，将所述待识别的垃圾图像输入到特征提取模块中进行特征提取，得到目标特征数据；所述特征提取模块包括多个残差块，每一残差块包括多
层网络层，每一网络层对应有参数值，所述参数值来自经过训练的第一识别分类模型。
37.其中，所述第一识别分类模型为基于深度学习的卷积神经网络模型。经过训练的第一识别分类模型，可以指的是利用大量带有标签的数据集训练过的识别分类模型，所述数据集包括垃圾图像以及其对应的标签类别，如饮料瓶子图像以及其对应标签为可回收垃圾等，所述数据集包括大量的垃圾图像以及其对应的标签类别，本技术实施例对垃圾图像的数量以及标签类别的种类不作具体限定。
38.可以理解的是，在经过训练的第一识别分类模型中的各个网络层对应的参数值可以共享到所述特征提取模块中对应的各个网络层，使得所述特征提取模块提取出待识别的垃圾图像对应的目标特征数据，所述目标特征数据可以用于识别出对应的类别，如第一识别分类模型利用大量的无形变的多种类型的易拉罐图像进行训练，使得第一识别分类模型可以识别出易拉罐，在训练过程中，第一识别分类模型中各个网络层可以提取不同的特征数据，如材质金属、外形有拉口、包装有图案、圆柱形等，进一步的，将第一识别分类模型中各个网络层对应的参数值迁移到所述特征提取模块中的各个网络层，这样，在获取到待识别的垃圾图像为变形的易拉罐图像时，所述特征提取模块可以提取出的特征数据有材质金属、外形有拉口、包装有图案等，进而利用所述特征提取模块可以提取出的特征数据进行垃圾类型的识别，虽然所述特征提取模块提取出的特征数据缺乏更多的细节，但这些特征数据已经足够刻画易拉罐，从而让计算机成功识别出来未见过的变形的易拉罐图像。
39.在本步骤中，所述特征提取模块中每一残差块可以提取所述待识别的垃圾图像的不同种类的特征，如颜色特征、纹理特征、形状特征、空间特征等，针对每一残差块，该残差块中包括多层网络层，每一网络层用于提取对应种类特征下的层次特征数据，如颜色特征下有3个颜色特征，分别为红色，绿色和蓝色，则该残差块下的网络层可以提取出图片中红色特征数据、绿色特征数据和蓝色特征数据。
40.示例性的，在图1的应用场景下，垃圾分类装置102获取变形的易拉罐101的图像，并将变形的易拉罐101的图像输入到服务器的特征提取模块中进行特征提取，得到目标特征数据，如材质金属、外形有拉口、包装有图案等。
41.需要说明的是，所述目标特征数据的表现形式是转换为计算机语言的数字形式，如材质金属表示为01。
42.s202、利用损失函数计算所述目标特征数据与预定义类别的相似度，得到所述预定义类别对应的概率值；所述预定义类别用于区分垃圾的种类；所述损失函数与第一识别分类模型中对应的损失函数不同。
43.本技术实施例中，所述预定义类别为设定的用于区分垃圾的种类如干垃圾、湿垃圾、可回收垃圾、有害垃圾等，或易拉罐、纸制品、纺织品、塑料制品、厨余垃圾等，本技术实施例对预定义类别的划分不作具体限定，所述预定义类别存储于服务器中，可以人为输入设定，也可以通过云端实时更新。
44.在本步骤中，可以通过目标特征数据的每个像素点来进行其所属类别的概率值计算，则计算所述目标特征数据与预定义类别的相似度的损失函数如下所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）其中，表示目标特征数据，h，w分别表示待识别的垃圾图像的高和宽，
表示待识别的垃圾图像的第i行j列的像素点与预定义类别的概率值，x
t
表示待识别的垃圾图像。
45.所述第一识别分类模型通常采用交叉熵损失函数来作为损失函数，其公式如下所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）其中，p
ic
表示训练样本数据i预测为垃圾类别为c类的概率，y
ic
表示训练样本数据i是否为真实类别为c，若是则为1，若不是则为0；n表示训练样本数据的数量，所述训练样本数据为垃圾图像。
46.具体的，所述第一识别分类模型通过损失函数（2）计算训练样本与预定义类别的概率值，在所述概率值小于预设阈值时，可以更新第一识别分类模型中的各个网络层的参数值，进而对第一识别分类模型重新进行训练，使得第一识别分类模型垃圾识别分类的效果更好。
47.s203、基于所述概率值确定所述待识别的垃圾图像的类别。
48.在本步骤中，计算所述概率值即是通过全连接层来完成视觉到语义的映射，所述语义为每一个垃圾类别对应的语义向量，所述视觉为所述特征提取模块提取的目标特征数据，在计算得到每一个垃圾类别与所述待识别的垃圾图像对应目标特征数据的概率值之后，可以根据概率值的大小确定所述待识别的垃圾图像对应的类别，如概率值最大对应的垃圾类别即为所述待识别的垃圾图像对应的类别。
49.可以理解的是，基于所述概率值的大小确定所述待识别的垃圾图像对应的类别，不仅可以正确识别出常规垃圾的分类如干垃圾、湿垃圾等，还可以对一些难以辨别、模型未见过的垃圾进行正确分类，用于实际应用中更具经济价值，进而正确识别出垃圾分类的属性。
50.因此，本技术提供一种垃圾图像分类方法，可以通过获取待识别的垃圾图像，进一步的，将待识别的垃圾图像输入到特征提取模块中进行特征提取，得到目标特征数据，进一步的，可以利用损失函数计算目标特征数据与预定义类别的相似度，得到预定义类别对应的概率值，并基于计算得到的概率值确定待识别的垃圾图像的类别，其中，参数值来自经过训练的第一识别分类模型；预定义类别用于区分垃圾的种类。这样，可以基于待识别的垃圾图像对应特征数据与预定义类别的相似度，准确的识别出垃圾类别，如变形的垃圾，提高垃圾识别与垃圾分类的准确性。
51.可选的，将所述待识别的垃圾图像输入到特征提取模块中进行特征提取，得到目标特征数据，包括：将所述待识别的垃圾图像进行归一化处理；针对每一残差块，将归一化处理的垃圾图像输入到所述残差块中，经过多层网络层计算，得到每一层输出的特征数据；将每一层输出的特征数据进行特征融合，并将每一残差块对应的融合后的特征数据再次进行融合，得到所述目标特征数据。
52.本技术实施例中，归一化处理指的是将待识别的垃圾图像进行数据尺寸统一，并进行像素归一化，使得输入特征提取模块中的数据尺度是一致的，这样，可以加快梯度收敛
过程，节约时间，并提高精度。
53.在本步骤中，每一残差块包括多层网络层，每一网络层对应有相应的激活函数，所述激活函数用于提取特征数据，所述激活函数对应有参数值，以一个特征提取模块中包括四个残差块为例，具体的，一个特征提取模块中每个残差块的输出都可以直接访问下一个残差块，从而使局部融合的特征能够连续传递。
54.其中，每一残差块输出的特征数据可能包含的特征数据不完全，故将残差块中每一网络层输出的特征数据基于最后一层输出的特征数据进行融合，使得残差块输出的特征数据更具完整性，类似的，可以将特征提取模块中每一残差块输出的特征数据和每一网络层输出的特征数据融合，进而汇总，得到目标特征数据。
55.需要说明的是，每一网络层提取出的特征数据可能不同，如某一残差块中第一个网络层可以提取出图片中红色特征数据，进一步的，第二个网络层可以提取出图片中绿色特征数据，第三个网络层可以提取出图片中蓝色特征数据，进一步的，将每一网络层输出的特征数据融合，最终可以得到包含颜色特征的特征数据；本技术实施例对每一残差块中多个网络层的提取特征数据的类别不作具体限定，以上仅是示例说明。
56.示例性的，在图1的应用场景下，垃圾分类装置102中的服务器在获取到变形的易拉罐101的图像后，对所述图像进行归一化处理，进而将经过归一化处理的图像输入到服务器中特征提取模块中，所述特征提取模块的处理过程为：针对每一残差块，将经过归一化处理的图像输入到残差块中，经过多层网络层计算，得到每一层输出的特征数据；进一步的，将每一层输出的特征数据进行特征融合，进一步的，将每一残差块对应的融合后的特征数据再次进行融合，汇总特征数据，从而得到目标特征数据。
57.因此，本技术可以汇总每一网络层对应的特征数据，从而使得获取待识别的垃圾图像的特征数据更多，使得可以用于进行垃圾分类的识别。
58.可选的，基于所述概率值确定所述待识别的垃圾图像的类别，包括：将预定义类别与所述目标特征数据的概率值按照大小顺序进行排序；获取排序最前的概率值对应的类别，确定所述类别为所述待识别的垃圾图像对应的类别。
59.示例性的，在图1的应用场景下，垃圾分类装置102中的服务器可以利用损失函数（1）计算每一类别如易拉罐、纸制品、纺织品、塑料制品与目标特征数据的概率值，如类别易拉罐与目标特征数据的概率值为0.8，类别纸制品与目标特征数据的概率值为0.4，类别纺织品与目标特征数据的概率值为0.2，类别塑料制品与目标特征数据的概率值为0.7，进一步的，将上述概率值按照大小顺序进行排序:0.8、0.7、0.4、0.2；获取排序最前的概率值0.8对应的类别为易拉罐，则可以确定易拉罐为变形的易拉罐101的图像对应的类别。
60.因此，本技术实施例可以基于每一类别与目标特征数据的概率值的大小确定待识别的垃圾图像的类别，通过选取概率值最大的作为待识别的垃圾图像的类别，提高了垃圾识别的准确性与速率。
61.可选的，基于所述概率值确定所述待识别的垃圾图像的类别，包括：针对每一预定义类别，判断该类别对应的概率值是否大于预设阈值；若是，则确定该类别为所述待识别的垃圾图像对应的类别。
62.本技术实施例中，预设阈值可以指的是设定的用于确定待识别的垃圾图像的类别
的概率值较高的数值，本技术实施例对预设阈值的大小不作具体限定。
63.示例性的，垃圾分类装置102中的服务器可以利用损失函数（1）计算每一类别如易拉罐、纸制品、纺织品、塑料制品与目标特征数据的概率值，进一步的，判断每一类别对应的概率值是否大于预设阈值；若是，则确定该类别为易拉罐为变形的易拉罐101的图像对应的类别，如计算得到类别易拉罐与目标特征数据的概率值为0.8，类别纸制品与目标特征数据的概率值为0.4，类别纺织品与目标特征数据的概率值为0.2，类别塑料制品与目标特征数据的概率值为0.7，该预设阈值若设置为0.75，则确定类别易拉罐对应的概率值大于预设阈值，则变形的易拉罐101的图像对应的类别为易拉罐。
64.可选的，若设置的阈值为0.6，则确定类别易拉罐与塑料制品对应的概率值均大于预设阈值，则可以在显示模块1022上显示提示信息，以提示用户103判断该变形的易拉罐101对应的类别是易拉罐还是塑料制品，进一步的，垃圾分类装置102基于用户103的选择将变形的易拉罐101分类放置对应的垃圾收纳箱内。
65.可以理解的是，对于特征数据相似度较高的垃圾类别，通过概率值是否大于预设阈值判断的方法可能不太准确，因此，在该种情况下，可以显示已确定的垃圾类别，即经过筛选后的结果（概率值小于预设阈值的垃圾类别删去）让人工进行评判，进而提高垃圾识别的准确性。
66.因此，本技术实施例可以基于每一类别与目标特征数据的概率值的大小确定待识别的垃圾图像的类别，通过选取概率值大于预设阈值的作为待识别的垃圾图像的类别，提高了垃圾识别的准确性。
67.可选的，所述方法还包括：若确定每一预定义类别对应的概率值均小于预设阈值，则将该待识别的垃圾图像进行显示，以进行人工评判所述待识别的垃圾图像的类别；获取人工评判所述待识别的垃圾图像对应的类别，并将所述待识别的垃圾图像和对应的类别作为训练数据，输入到第一识别分类模型进行训练。
68.在本步骤中，若服务器在存储的预定义类别并没有找到适合待识别的垃圾图像，即每一预定义类别对应的概率值均小于预设阈值的情况下，可以将该待识别的垃圾图像进行显示，也可以将该待识别的垃圾图像对应的特征以文字的形式进行显示，进而人工进行判断该待识别的垃圾图像对应的类别，本技术实施例对待识别的垃圾图像显示的形式以及内容不作具体限定。
69.可选的，若该待识别的垃圾图像对应的类别在服务器存储的预定义类别中存在，则可以人工选取对应的类别，并将所述待识别的垃圾图像和人工选取的类别作为训练数据，输入到第一识别分类模型进行训练。
70.可选的，若该待识别的垃圾图像对应的类别在服务器存储的预定义类别中不存在，则可以人工输入相应的类别，并将所述待识别的垃圾图像和人工输入的类别作为训练数据，输入到第一识别分类模型进行训练。
71.因此，本技术实施例针对判别不出垃圾类别的情形，可以通过人工进行判断，提高垃圾分类的准确性，还可以将待识别的垃圾图像和对应的类别作为新的训练数据进行模型训练，提高模型的计算精度。
72.可选的，在使用该垃圾图像分类方法进行垃圾分类时，需要提前训练相应的模型，
以使训练后的模型可以正确识别出常规垃圾的分类以及模型未见过的垃圾；示例性的，图3为本技术实施例提供的一种模型训练的结构示意图，如图3所示，通过收集垃圾数据并对其进行预处理如进行有无标签分类，可以将垃圾数据分为带标签的数据和不带标签的数据，所述带标签的数据包括无形变的垃圾图像以及对应的标签类别；所述不带标签的数据包括变形的垃圾图像，进一步的，将带标签的数据输入到识别子模型中进行训练，将不带标签的数据输入到另一识别子模型中进行训练，上述识别子模型种类相同（即特征提取模块相同，损失函数不同）；进一步的，将上述两个识别子模型的特征提取模块中对应的参数值共享，若共享参数值后的识别子模型的训练效果符合提前设定的学习率，则停止对识别子模型的训练，若共享参数值后的识别子模型的训练效果不符合提前设定的学习率，则继续对识别子模型进行训练，直至训练效果满足提前设定的学习率。
73.可选的，结合图3所述的实施例，所述方法还包括：获取带标签的训练数据集和不带标签的训练数据集；所述带标签的训练数据集包括无形变的垃圾图像以及对应的标签类别；所述不带标签的训练数据集包括变形的垃圾图像；利用所述带标签的训练数据集对第一识别分类模型进行训练，利用所述不带标签的训练数据集对第二识别分类模型进行训练；所述第一识别分类模型和所述第二识别分类模型为同种类型的模型；判断经过训练后的第二识别分类模型的输出结果是否满足预设要求；若否，则获取经过训练后的第一识别分类模型中各个网络层的参数值，并将所述参数值迁移到经过训练后的第二识别分类模型中各个网络层中，以替换经过训练后的第二识别分类模型中各个网络层对应的参数值；更新第一识别分类模型中各个网络层的参数值，继续对所述第一识别分类模型和所述第二识别分类模型进行训练；若是，则停止训练。
74.本技术实施例中，将模型训练的原始数据分为带有标签的垃圾图像以及没有标签的垃圾图像，标签指的是类别，关于带有标签的垃圾图像，可以通过收集网上的公开数据集来使用，对于没有标签的数据，通过人工收集一些垃圾图像如压缩过的饮料罐，揉碎的纸张等难以辨别、产生形变的垃圾，本技术实施例对训练数据集的获取方式以及获取数量不作具体限定。
75.在本步骤中，预设要求可以指的是设定的用于确定第二识别分类模型的输出结果较好对应的要求，如预设要求为输入结果中的概率值大于特定阈值，本技术实施例对预设要求对应的具体内容不作限定。
76.可选的，判断模型是否还需训练，可以通过判断所述第二识别分类模型训练的效果是否满足提前设定的自适应的学习率，和/或，所述第二识别分类模型训练次数是否满足提前设定的次数，所述训练的效果由损失函数计算得到的结果确定。
77.示例性的，图4为本技术实施例提供的一种模型训练的流程示意图，如图4所示，将带有标签数据以及不带有标签数据的垃圾影像分别输入到构建的特征提取模块中进行特征提取，该特征提取模块由4个残差块组成，进一步的，该特征提取模块通过跳层连接将上一层的网络输出与下一层的网络输出连接在一起，减少梯度消散的问题，从而更好地进行特征提取，进一步的，将提取的特征数据（h
×w×
d）通过全连接层来完成视觉到语义的映
射，即通过全连接层来计算特征数据与所有的类别的相似度，进而得到每个类别的概率，选取概率符合要求的类别作为垃圾分类的输出结果，其中，h，w分别为垃圾影像的高和宽，d为类别的种类。
78.另一方面，基于参数共享机制可以将带有标签数据的特征迁移到没有标签数据的模型中，从而实现不带有标签的垃圾数据同样可以得到正确分类的功能；其中，在经过第一次参数共享后，判断不带有标签数据的垃圾影像输入的模型（第二识别分类模型）中的输出结果是否满足预设要求，若是，则停止训练，并存储特征提取模块中各个网络层对应的参数值，若否，则更新第一识别分类模型中各个网络层的参数值，再次进行模型训练以及参数共享，直至第二识别分类模型的输出结果满足预设要求。
79.需要说明的是，本技术实施例采用adam优化器来作为模型的优化手段，在模型训练过程中，对带有标签数据以及不带有标签数据分别构建两个损失函数来进行模型训练。其中，带有标签数据的损失函数用于学习视觉特征以及语义特征之间的关联性；不带有标签数据的损失函数用于防止模型训练结果产生偏置，即过多地偏向于带有标签数据。
80.可以理解的是，本技术是实施例还可以验证第二识别分类模型学习的优越性。即可以通过采用labelme、photoshop等图像处理工具制作收集的不带标签数据的相关标签，将不带标签数据以及对应的相关标签输入到第一识别分类模型或第二识别分类模型进行验证，验证模型的训练结果。
81.因此，本技术实施例提出了一种基于零样本的模型训练方法，可以通过对模型进行多次训练，直至满足预设要求，提高模型的识别精度，使得可以识别出变形的垃圾。
82.可选的，获取带标签的训练数据集和不带标签的训练数据集，包括：将带标签的训练数据集和不带标签的训练数据集中的图像按照预定义比例进行数据扩充；所述数据扩充包括图像翻转、灰度值变换、镜像转换；获取扩充后的带标签的训练数据集和不带标签的训练数据集。
83.本技术实施例中，预定义比例可以指的是设定的用于丰富样本数量对应的比例，如将某一图像经过图像翻转、灰度值变换、镜像转换等图像数据扩充方法以1：10的扩充比例来对原始数据进行扩充，使得输入数据更加丰富，进而利用该输入数据训练后的模型识别的准确性更高。
84.其中，所述图像翻转可以指的是将图像变换多种不同角度，所述灰度值变换可以指的是将图像转换多种不同的背景颜色或更换像素清晰度，所述镜像转换包括水平镜像转换、垂直镜像转换和对角镜像转换；所述水平镜像转换可以指的是将图像的左右部分以图像垂直中轴线为中心进行镜像对换；所述垂直镜像转换可以指的是将图像的上下部分以图像水平中轴线为中心进行镜像对换；所述对角镜像转换可以指的是将图像以图像水平中轴线和垂直中轴线的交点为中心进行镜像对换。
85.因此，本技术实施例可以通过丰富训练数据集的样本数量，使得训练后的模型可以识别多种图像形式下的同一种垃圾，提高实用性。
86.在前述实施例中，对本技术实施例提供的垃圾图像分类方法进行了介绍，而为了实现上述本技术实施例提供的方法中的各功能，作为执行主体的电子设备可以包括硬件结构和/或软件模块，以硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各功能。上述各功能中的某个功能以硬件结构、软件模块、还是硬件结构加软件模块的方式来执
行，取决于技术方案的特定应用和设计约束条件。
87.例如，图5为本技术实施例提供的一种垃圾图像分类装置的结构示意图，如图5所示，该装置包括：提取模块510、计算模块520和确定模块530；其中，所述提取模块510，用于获取待识别的垃圾图像，将所述待识别的垃圾图像输入到特征提取模块中进行特征提取，得到目标特征数据；所述特征提取模块包括多个残差块，每一残差块包括多层网络层，每一网络层对应有参数值，所述参数值来自经过训练的第一识别分类模型；所述计算模块520，用于利用损失函数计算所述目标特征数据与预定义类别的相似度，得到所述预定义类别对应的概率值；所述预定义类别用于区分垃圾的种类；所述损失函数与第一识别分类模型中对应的损失函数不同；所述确定模块530，用于基于所述概率值确定所述待识别的垃圾图像的类别。
88.可选的，所述提取模块510，具体用于：将所述待识别的垃圾图像进行归一化处理；针对每一残差块，将归一化处理的垃圾图像输入到所述残差块中，经过多层网络层计算，得到每一层输出的特征数据；将每一层输出的特征数据进行特征融合，并将每一残差块对应的融合后的特征数据再次进行融合，得到所述目标特征数据。
89.可选的，所述确定模块530，具体用于：将预定义类别与所述目标特征数据的概率值按照大小顺序进行排序；获取排序最前的概率值对应的类别，确定所述类别为所述待识别的垃圾图像对应的类别。
90.可选的，所述确定模块530，具体用于：针对每一预定义类别，判断该类别对应的概率值是否大于预设阈值；若是，则确定该类别为所述待识别的垃圾图像对应的类别。
91.可选的，所述装置还包括人工识别模块，所述人工识别模块，用于：若确定每一预定义类别对应的概率值均小于预设阈值，则将该待识别的垃圾图像进行显示，以进行人工评判所述待识别的垃圾图像的类别；获取人工评判所述待识别的垃圾图像对应的类别，并将所述待识别的垃圾图像和对应的类别作为训练数据，输入到第一识别分类模型进行训练。
92.可选的，所述装置还包括训练模块；所述训练模块包括获取单元、训练单元、判断单元和处理单元；具体的，所述获取单元，用于获取带标签的训练数据集和不带标签的训练数据集；所述带标签的训练数据集包括无形变的垃圾图像以及对应的标签类别；所述不带标签的训练数据集包括变形的垃圾图像；所述训练单元，用于利用所述带标签的训练数据集对第一识别分类模型进行训练，利用所述不带标签的训练数据集对第二识别分类模型进行训练；所述第一识别分类模型和所述第二识别分类模型为同种类型的模型；所述判断单元，用于判断经过训练后的第二识别分类模型的输出结果是否满足预设要求；所述处理单元，用于当所述输出结果不满足预设要求时，获取经过训练后的第一
识别分类模型中各个网络层的参数值，并将所述参数值迁移到经过训练后的第二识别分类模型中各个网络层中，以替换经过训练后的第二识别分类模型中各个网络层对应的参数值；更新第一识别分类模型中各个网络层的参数值，继续对所述第一识别分类模型和所述第二识别分类模型进行训练；当所述输出结果满足预设要求时，停止训练。
93.可选的，所述获取单元，具体用于：将带标签的训练数据集和不带标签的训练数据集中的图像按照预定义比例进行数据扩充；所述数据扩充包括图像翻转、灰度值变换、镜像转换；获取扩充后的带标签的训练数据集和不带标签的训练数据集。
94.本技术实施例提供的一种垃圾图像分类装置的具体实现原理和效果可以参见上述实施例对应的相关描述和效果，此处不做过多赘述。
95.本技术实施例还提供了一种电子设备的结构示意图，图6为本技术实施例提供的一种电子设备的结构示意图，如图6所示，该电子设备可以包括：处理器601以及与所述处理器通信连接的存储器602；该存储器602存储计算机程序；该处理器601执行该存储器602存储的计算机程序，使得该处理器601执行上述任一实施例所述的方法。
96.其中，存储器602和处理器601可以通过总线603连接。
97.本技术实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序执行指令，计算机执行指令被处理器执行时用于实现如本技术前述任一实施例中的所述的方法。
98.本技术实施例还提供了一种运行指令的芯片，该芯片用于执行如本技术前述任一实施例中由电子设备所执行的前述任一实施例中所述的方法。
99.本技术实施例还提供了一种计算机程序产品，该程序产品包括计算机程序，该计算机程序被处理器执行时可实现如本技术前述任一实施例中由电子设备所执行的前述任一实施例中所述的方法。
100.在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
101.作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案。
102.另外，在本技术各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
103.上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器执行本技术各个实施例所述方法的部分步骤。
104.应理解，上述处理器可以是中央处理单元（central processing unit，简称cpu），还可以是其它通用处理器、数字信号处理器（digital signal processor，简称dsp）、专用集成电路（application specific integrated circuit，简称asic）等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合申请所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
105.存储器可能包含高速随机存取存储器（random access memory，简称ram），也可能还包括非不稳定的存储器（non-volatile memory，简称nvm），例如至少一个磁盘存储器，还可以为u盘、移动硬盘、只读存储器、磁盘或光盘等。
106.总线可以是工业标准体系结构（industry standard architecture，简称isa）总线、外部设备互连（peripheral component interconnect，简称pci）总线或扩展工业标准体系结构（extended industry standard architecture，简称eisa）总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本技术附图中的总线并不限定仅有一根总线或一种类型的总线。
107.上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（static random-access memory，简称sram），电可擦除可编程只读存储器（electrically erasable programmable read only memory，简称eeprom），可擦除可编程只读存储器（erasable programmable read-only memory，简称eprom），可编程只读存储器（programmable read-only memory，简称prom），只读存储器（read-only memory，简称rom），磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
108.一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路（application specific integrated circuits，简称asic）中。当然，处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。
109.以上所述，仅为本技术实施例的具体实施方式，但本技术实施例的保护范围并不局限于此，任何在本技术实施例揭露的技术范围内的变化或替换，都应涵盖在本技术实施例的保护范围之内。因此，本技术实施例的保护范围应以所述权利要求的保护范围为准。