一种垃圾检测方法以及装置与流程

1.本技术涉及深度学习视觉算法领域，尤其涉及一种垃圾检测方法、装置。


背景技术：

2.现代社会除了追求经济发展以外，人类的生存环境更是与每个人息息相关。在城市生活中，垃圾处理不及时不仅影响市容市貌，也在降低人们的生活质量，影响人们的生活状态。如何及时处理垃圾是城市管理部门与环卫部门首要解决的问题。
3.目前，城市垃圾监管与处理需要巡逻人员的巡查，环卫部门的人员片区负责制，对于大堆垃圾需要将巡查到的垃圾拍摄以图片形式上传到处理后台，再由处理人员指挥调度区域负责人，区域负责人再将任务派发给处理人员，由处理人员处理后将结果反馈给处理后台，这一过程耗时长，且存在多处中转容易使处理任务堆积，不仅耗费大量人力物力还会因处理不及时导致市民投诉，给市政管理和财政管理增加了大量压力，使得市民生活幸福感大大降低。
4.随着城市监控的普及，摄像头几乎遍布了城市的各个角落，而一些城市管理工作也应用到这些摄像头，如何将这些监控摄像与城市垃圾的处理相结合，将深度学习技术与图像处理技术应用到城市垃圾检测和管理是智慧城市的重要一步。


技术实现要素：

5.本技术提供一种垃圾检测方法，以可以提高从图像中识别垃圾的效率和精准度，进而提高了用户体验。
6.第一方面，本技术提供了一种垃圾检测方法，所述方法包括：
7.获取待识别图像，并将所述待识别图像输入已训练的垃圾检测模型；
8.所述垃圾检测模型对所述待识别图像进行特征提取，得到多个不同尺度的特征图；
9.所述垃圾检测模型对所述多个特征图分别进行垃圾检测，得到所述多个特征图各自对应的垃圾检测结果以及结果置信度；
10.所述垃圾检测模型根据所述多个特征图各自对应的垃圾检测结果以及结果置信度，输出所述待识别图像的垃圾检测结果。
11.可选的，所述垃圾检测结果包括垃圾位置信息和垃圾类别；所述垃圾位置信息包括标注有垃圾区域的待识别图像以及垃圾的坐标信息。
12.可选的，所述垃圾检测模型的生成方式包括：
13.获取训练样本数据集；所述训练样本数据集包括若干组训练样本数据，其中，每组训练样本数据包括训练样本图像以及所述训练样本图像对应的垃圾位置信息标签和垃圾类别标签；
14.将训练样本图像输入预设的网络模型，得到所述训练样本图像对应的预测垃圾位置信息、预测垃圾类别标签以及预测置信度；
15.根据训练样本对应的预测垃圾位置信息、预测垃圾类别标签、预测置信度，以及所述训练样本图像对应的垃圾位置信息标签和垃圾类别标签，确定总损失值；
16.根据所述总损失值对所述网络模型的模型参数进行调整，直至所述网络模型满足训练条件，并将所述网络模型作为所述垃圾检测模型。
17.可选的，所述根据训练样本对应的预测垃圾位置信息、预测垃圾类别标签、预测置信度，以及所述训练样本图像对应的垃圾位置信息标签和垃圾类别标签，确定总损失值，包括：
18.根据训练样本对应的预测垃圾位置信息、预测垃圾类别标签、预测置信度，以及所述训练样本图像对应的垃圾位置信息标签和垃圾类别标签，确定边框损失值、类别损失值和置信度损失值；
19.根据所述边框损失值、所述类别损失值和所述置信度损失值，确定总损失值。
20.可选的，所述获取训练样本数据集，包括：
21.获取原始采集图像；
22.对所述原始采集图像进行矫正处理，得到矫正后的图像；
23.获取所述矫正后的图像对应的垃圾位置信息标签和垃圾类别标签；
24.将所述矫正后的图像作为训练样本数据中的训练样本图像，以及，将所述矫正后的图像对应的垃圾位置信息标签和垃圾类别标签作为所述训练样本图像对应的垃圾位置信息标签和垃圾类别标签。
25.可选的，在所述获取训练样本数据集的步骤之后，所述方法还包括：
26.对所述训练样本数据集中的训练样本图像进行数据增强处理，得到数据增加图像；
27.将所述数据增强图像以及所述数据增强图像对应的垃圾位置信息标签和垃圾类别标签，作为所述训练样本数据集中的一组训练样本数据；
28.其中，所述数据增强处理方式包括以下至少一种：翻转变换、随机修剪、色彩抖动、平移变换、尺度变换、对比度变换、噪声扰动、旋转变换/反射变换。
29.可选的，在所述获取训练样本数据集的步骤之后，所述方法还包括：
30.将所述训练样本数据集中的任意多张训练样本图像进行拼接处理，得到一张拼接训练样本图像；
31.将所述拼接训练样本图像以及所述多张训练样本图像对应的垃圾位置信息标签和垃圾类别标签，作为所述训练样本数据集中的一组训练样本数据。
32.可选的，所述方法还包括：
33.若所述待识别图像的垃圾检测结果中包括垃圾位置信息和垃圾类别，则输出垃圾清理提示信息。
34.可选的，所述方法还包括：
35.若所述待识别图像的垃圾检测结果的核对结果为负样本，则利用所述待识别图像以及所述待识别图像的纠正垃圾检测结果，对所述垃圾检测模型进行模型训练。
36.第二方面，本技术提供了一种垃圾检测装置，所述装置包括：
37.输入单元，用于获取待识别图像，并将所述待识别图像输入已训练的垃圾检测模型；
38.第一获取单元，用于所述垃圾检测模型对所述待识别图像进行特征提取，得到三个不同尺度的特征图；
39.第二获取单元，用于控制所述垃圾检测模型对所述三个特征图分别进行垃圾检测，得到所述三个特征图各自对应的垃圾检测结果以及结果置信度；
40.第三获取单元，用于控制所述垃圾检测模型根据所述三个特征图各自对应的垃圾检测结果以及结果置信度，输出所述待识别图像的垃圾检测结果。
41.可选的，所述垃圾检测结果包括垃圾位置信息和垃圾类别；所述垃圾位置信息包括标注有垃圾区域的待识别图像以及垃圾的坐标信息。
42.可选的，所述装置还包括模型生成单元，用于：
43.获取训练样本数据集；所述训练样本数据集包括若干组训练样本数据，其中，每组训练样本数据包括训练样本图像以及所述训练样本图像对应的垃圾位置信息标签和垃圾类别标签；
44.将训练样本图像输入预设的网络模型，得到所述训练样本图像对应的预测垃圾位置信息、预测垃圾类别标签以及预测置信度；
45.根据训练样本对应的预测垃圾位置信息、预测垃圾类别标签、预测置信度，以及所述训练样本图像对应的垃圾位置信息标签和垃圾类别标签，确定总损失值；
46.根据所述总损失值对所述网络模型的模型参数进行调整，直至所述网络模型满足训练条件，并将所述网络模型作为所述垃圾检测模型。
47.可选的，所述模型生成单元，具体用于：
48.根据训练样本对应的预测垃圾位置信息、预测垃圾类别标签、预测置信度，以及所述训练样本图像对应的垃圾位置信息标签和垃圾类别标签，确定边框损失值、类别损失值和置信度损失值；
49.根据所述边框损失值、所述类别损失值和所述置信度损失值，确定总损失值。
50.可选的，所述所述模型生成单元，具体用于：
51.获取原始采集图像；
52.对所述原始采集图像进行矫正处理，得到矫正后的图像；
53.获取所述矫正后的图像对应的垃圾位置信息标签和垃圾类别标签；
54.将所述矫正后的图像作为训练样本数据中的训练样本图像，以及，将所述矫正后的图像对应的垃圾位置信息标签和垃圾类别标签作为所述训练样本图像对应的垃圾位置信息标签和垃圾类别标签。
55.可选的，所述模型生成单元，还用于：
56.对所述训练样本数据集中的训练样本图像进行数据增强处理，得到数据增加图像；
57.将所述数据增强图像以及所述数据增强图像对应的垃圾位置信息标签和垃圾类别标签，作为所述训练样本数据集中的一组训练样本数据；
58.其中，所述数据增强处理方式包括以下至少一种：翻转变换、随机修剪、色彩抖动、平移变换、尺度变换、对比度变换、噪声扰动、旋转变换/反射变换。
59.可选的，所述模型生成单元，还用于：
60.将所述训练样本数据集中的任意多张训练样本图像进行拼接处理，得到一张拼接
训练样本图像；
61.将所述拼接训练样本图像以及所述多张训练样本图像对应的垃圾位置信息标签和垃圾类别标签，作为所述训练样本数据集中的一组训练样本数据。
62.可选的，所述装置还包括提示单元：
63.若所述待识别图像的垃圾检测结果中包括垃圾位置信息和垃圾类别，则输出垃圾清理提示信息。
64.可选的，所述装置还包括重新训练单元：
65.若所述待识别图像的垃圾检测结果的核对结果为负样本，则利用所述待识别图像以及所述待识别图像的纠正垃圾检测结果，对所述垃圾检测模型进行模型训练。
66.第三方面，本技术提供了一种可读介质，包括执行指令，当电子设备的处理器执行所述执行指令时，所述电子设备执行如第一方面中任一所述的方法。
67.第四方面，本技术提供了一种电子设备，包括处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器执行如第一方面中任一所述的方法。
68.由上述技术方案可以看出，本技术提供了一种垃圾检测方法，在本实施例中，可以先获取待识别图像，并将所述待识别图像输入已训练的垃圾检测模型；然后，所述垃圾检测模型可以对所述待识别图像进行特征提取，得到多个不同尺度的特征图；接着，所述垃圾检测模型对所述多个特征图分别进行垃圾检测，得到所述多个特征图各自对应的垃圾检测结果以及结果置信度；最后，所述垃圾检测模型根据所述多个特征图各自对应的垃圾检测结果以及结果置信度，输出所述待识别图像的垃圾检测结果。可见，本技术可以利用垃圾检测模型对图像中的垃圾进行识别，而不需要和现有技术一样，需要人工从图像中识别垃圾，从而可以避免出现人工识别垃圾过程中容易出现由于操作错误所导致的识别遗漏、效率低下、耗时费力的问题，提高了从图像中识别垃圾的效率和精准度，进而提高了用户体验。
69.上述的非惯用的优选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
70.为了更清楚地说明本技术实施例或现有的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
71.图1为本技术一实施例提供的一种垃圾检测方法的流程示意图；
72.图2为本技术一实施例提供的一种垃圾检测方法的流程示意图；
73.图3为本技术一实施例提供的一种垃圾检测装置的结构示意图；
74.图4为本技术一实施例提供的一种电子设备的结构示意图。
具体实施方式
75.为使本技术的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本技术的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本技术一部分
实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
76.目前，城市垃圾监管与处理需要巡逻人员的巡查，环卫部门的人员片区负责制，对于大堆垃圾需要将巡查到的垃圾拍摄以图片形式上传到处理后台，再由处理人员指挥调度区域负责人，区域负责人再将任务派发给处理人员，由处理人员处理后将结果反馈给处理后天，这一过程耗时长，且存在多处中转容易使处理任务堆积，不仅耗费大量人力物力还会因处理不及时导致市民投诉，给市政管理和财政管理增加了大量压力，使得市民生活幸福感大大降低。故此，亟需一种新的垃圾检测方法。
77.本技术提供了一种垃圾检测方法，在本实施例中，可以先获取待识别图像，并将所述待识别图像输入已训练的垃圾检测模型；然后，所述垃圾检测模型可以对所述待识别图像进行特征提取，得到多个不同尺度的特征图；接着，所述垃圾检测模型对所述多个特征图分别进行垃圾检测，得到所述多个特征图各自对应的垃圾检测结果以及结果置信度；最后，所述垃圾检测模型根据所述多个特征图各自对应的垃圾检测结果以及结果置信度，输出所述待识别图像的垃圾检测结果。可见，本技术可以利用垃圾检测模型对图像中的垃圾进行识别，而不需要和现有技术一样，需要人工从图像中识别垃圾，从而可以避免出现人工识别垃圾过程中容易出现由于操作错误所导致的识别遗漏、效率低下、耗时费力的问题，提高了从图像中识别垃圾的效率和精准度，进而提高了用户体验。需要说明的是，本技术实施例可以应用于电子设备(比如手机、平板、电脑等)或者服务器中。需要说明的是，除了上述提及的方式以外，还可以为其他的实现方式，在这里并不限定。
78.下面结合附图，详细说明本技术的各种非限制性实施方式。
79.参见图1，示出了本技术实施例中的一种垃圾检测方法，在本实施例中，所述方法例如可以包括以下步骤：
80.s101：获取待识别图像，并将所述待识别图像输入已训练的垃圾检测模型。
81.在本实施例中，可以先获取待识别图像，其中，待识别图像可以理解为需要进行垃圾识别的图像。在一种实现方式中，待识别图像可以是由摄像头采集的，例如可以是实时采集的，比如每隔10s采集一次，可以理解的是，摄像头可以是固定采集一目标区域(即需要监控是否存在垃圾的区域)，也可以是通过摄像头转动采集多个目标区域。
82.在获取到待识别图像后，可以将待识别图像输入已训练的垃圾检测模型中，其中，该垃圾检测模型可以是基于训练样本数据集训练得到的；其中，训练样本数据集可以包括若干组训练样本数据，其中，每组训练样本数据包括训练样本图像以及所述训练样本图像对应的垃圾检测结果。
83.s102：所述垃圾检测模型对所述待识别图像进行特征提取，得到多个不同尺度的特征图。
84.在本实施例中，垃圾检测模型获取到待识别图像后，可以对所述待识别图像进行特征提取，得到多个不同尺度的特征图。
85.需要强调的是，通常一幅图像包含各种不同的物体，并且有大有小。比较理想的是一次就可以将所有大小的物体同时检测出来，因此，网络必须具备能够检测到不同大小的物体的能力，并且网络越深，特征图就会越小，所以越往后小的物体也就越难检测出来。针对这一问题，垃圾检测模型可以采用多个不同尺度的特征来检测垃圾，例如，在一种实现方
式中垃圾检测模型可以为yolov3模型，yolov3可以通过3个不同尺度的特征图来检测垃圾；这样，垃圾检测模型能够检测到更加细粒度的特征，垃圾检测模型可以采用fpn(feature pyramid network)结构来对应多重尺度的不同精度，对不同深度的feature map(即特征图)分别进行垃圾检测，当前层的feature map会对未来层(即下一层)的feature map进行上采样，并加以利用，这样，可以将低阶特征与高阶特征融合起来，提升垃圾检测精度。
86.s103：所述垃圾检测模型对所述多个特征图分别进行垃圾检测，得到所述多个特征图各自对应的垃圾检测结果以及结果置信度。
87.在获取到多个特征图后，垃圾检测模型可以对所述多个特征图分别进行垃圾检测，得到所述多个特征图各自对应的垃圾检测结果以及结果置信度，即各个特征图各自分别对应的垃圾检测结果和该垃圾检测结果的结果置信度，需要说明的是，垃圾检测结果的结果置信度越高，说明该垃圾检测结果的可信度越高，即真实率越高。
88.其中，所述垃圾检测结果可以包括垃圾位置信息和垃圾类别。所述垃圾位置信息可以包括标注有垃圾区域的待识别图像以及垃圾的坐标信息，举例来说，标注有垃圾区域的待识别图像可以为在图像中有垃圾的图像区域标注有标注框的待识别图像，即在待识别图像中通过标注框将有垃圾区域进行标注，而垃圾的坐标信息可以理解为标注框的坐标信息，比如标注框为矩形框时，垃圾的坐标信息可以为矩形框的至少两个对角点的坐标信息，比如矩形框左上角和右下角的坐标信息，或者矩形框右上角和左下角的坐标信息。所述垃圾类别可以理解为垃圾的类型，例如可以包括废纸、塑料、玻璃、金属、布料、餐厨垃圾和有害垃圾等。而结果置信度可以包括垃圾位置信息对应的置信度和垃圾类别对应的置信度。
89.s104：所述垃圾检测模型根据所述多个特征图各自对应的垃圾检测结果以及结果置信度，输出所述待识别图像的垃圾检测结果。
90.垃圾检测模型得到多个特征图各自对应的垃圾检测结果以及结果置信度后，所述垃圾检测模型根据所述多个特征图各自对应的垃圾检测结果以及结果置信度，输出所述待识别图像的垃圾检测结果。在一种实现方式中，可以将多个特征图各自对应的垃圾检测结果以及结果置信度中，结果置信度最高的垃圾检测结果作为所述待识别图像的垃圾检测结果。
91.由上述技术方案可以看出，本技术提供了一种垃圾检测方法，在本实施例中，可以先获取待识别图像，并将所述待识别图像输入已训练的垃圾检测模型；然后，所述垃圾检测模型可以对所述待识别图像进行特征提取，得到多个不同尺度的特征图；接着，所述垃圾检测模型对所述多个特征图分别进行垃圾检测，得到所述多个特征图各自对应的垃圾检测结果以及结果置信度；最后，所述垃圾检测模型根据所述多个特征图各自对应的垃圾检测结果以及结果置信度，输出所述待识别图像的垃圾检测结果。可见，本技术可以利用垃圾检测模型对图像中的垃圾进行识别，而不需要和现有技术一样，需要人工从图像中识别垃圾，从而可以避免出现人工识别垃圾过程中容易出现由于操作错误所导致的识别遗漏、效率低下、耗时费力的问题，提高了从图像中识别垃圾的效率和精准度，进而提高了用户体验。
92.接下来，将介绍所述垃圾检测模型的生成方式。具体地，在本实施例中，垃圾检测模型的生成方式包括以下步骤：
93.步骤a：获取训练样本数据集。
94.在本实施例中，所述训练样本数据集可以包括若干组训练样本数据，其中，每组训
练样本数据包括训练样本图像以及所述训练样本图像对应的垃圾位置信息标签和垃圾类别标签。
95.作为一种示例，可以先获取原始采集图像。比如可以通过多个固定摄像头下拍摄的视频，截取包含有垃圾(垃圾桶、垃圾袋、纸板(包含纸箱)、塑料瓶、啤酒瓶)的图片，将这些图片汇总生成数据集。
96.然后，可以对所述原始采集图像进行矫正处理，得到矫正后的图像。因为采集、截取图片的过程可能会导致图片失真、变形、模糊等问题，因此需要筛选和矫正数据。对于图片变形的问题可以将采用图形图像学算法对原始采集图像进行处理，以保证数据集质量，避免因为数据问题使得模型达不到最优。
97.接着，可以获取所述矫正后的图像对应的垃圾位置信息标签和垃圾类别标签。并且，可以将所述矫正后的图像作为训练样本数据中的训练样本图像，以及，将所述矫正后的图像对应的垃圾位置信息标签和垃圾类别标签作为所述训练样本图像对应的垃圾位置信息标签和垃圾类别标签。比如，可以将原始采集图像数据集中每一张图片包含的垃圾类别用矩形框框选，并标注垃圾类别，得到每一张图片包含的垃圾种类与垃圾坐标信息(矩形框左上角与右下角坐标信息)，形成标记数据集，其中，标记数据集中的标记文件与原始采集图像集中原始采集图像一一对应。
98.在一种实现方式中，在所述获取训练样本数据集的步骤之后，所述方法还包括：对所述训练样本数据集中的训练样本图像进行数据增强处理，得到数据增加图像；将所述数据增强图像以及所述数据增强图像对应的垃圾位置信息标签和垃圾类别标签，作为所述训练样本数据集中的一组训练样本数据。
99.其中，所述数据增强处理方式包括以下至少一种：翻转变换、随机修剪、色彩抖动、平移变换、尺度变换、对比度变换、噪声扰动、旋转变换/反射变换。
100.需要说明的是，在训练样本图像标记后，对训练样本图像进行数据增强，可以提高训练样本图片数量，提高模型的识别性能与泛化能力。
101.在一种实现方式中，在所述获取训练样本数据集的步骤之后，所述方法还包括：将所述训练样本数据集中的任意多张训练样本图像进行拼接处理，得到一张拼接训练样本图像；将所述拼接训练样本图像以及所述多张训练样本图像对应的垃圾位置信息标签和垃圾类别标签，作为所述训练样本数据集中的一组训练样本数据。
102.具体地，为了丰富检测物体的背景，在本实现方式中可以同时融合多张训练样本图片，例如，可以将训练样本数据集中的四张训练样本图像进行拼接处理，得到一张训练样本图像，这样，相当于变相增加了训练过程中batch的数量，能显著的减少对大mini_batch的需求。
103.步骤b：将训练样本图像输入预设的网络模型，得到所述训练样本图像对应的预测垃圾位置信息、预测垃圾类别标签以及预测置信度。
104.在本实施例中，可以依次将一张或多张训练样本图像输入预设的网络模型，得到各张训练样本图像对应的预测垃圾位置信息、预测垃圾类别标签以及预测置信度。
105.需要说明的是，在本实施例的一种实现方式中，预设的网络模型可以为yolo v3模型，yolov3在yolov1与yolov2的基础上调整了网络结构，利用多尺度特征进行对象检测，对象分类用logistic取代了softmax。yolov3没有全连接层与池化层，可以对应任意大小的输
入图像，主要由75个卷积层构成，并在网络中添加了resnet残差模块，这样有利于解决深层次网络的梯度问题。resnet残差网络相当于在原始cnn网络结构中添加了一条shortcut path，学习过程从直接学习特征，变成在之前学习的特征的基础上添加某些特征，来获得更好的特征。这样一来，一个复杂的特征h(x)，之前是独立一层一层学习的，现在就变成了这样一个模型h(x)＝f(x) x，其中x是shortcut开始时的特征，而f(x)就是对x进行的填补与增加，成为残差。因此学习的目标就从学习完整的信息，变成学习残差了，使得学习优质特征的难度大大减小。yolov3中的softmax层被替换为一个1x1的卷积层 logistic激活函数的结构，可以对应多标签对象。yolov3对预选框bbox进行预测时，采用逻辑回归(logistic regression)，每个预选框包含五个元素bbox(x,y,w,h,c)其中前四个表示预选框的大小与坐标位置，最后一个值为置信度；pr(object)*iou(bbox,object)＝σ(t0)，其中pr(object)*iou(bbox,object)为预测边框的置信度，是对预测参数t0进行σ变换后作为置信度的值，t0为网络输出置信度。σ是sigmoid函数。
106.步骤c：根据训练样本对应的预测垃圾位置信息、预测垃圾类别标签、预测置信度，以及所述训练样本图像对应的垃圾位置信息标签和垃圾类别标签，确定总损失值；
107.在本实施例中，可以根据训练样本对应的预测垃圾位置信息、预测垃圾类别标签、预测置信度，以及所述训练样本图像对应的垃圾位置信息标签和垃圾类别标签，确定边框损失值(lbox(即bbox的误差))、类别损失值(lcls)和置信度损失值(lobj)。具体地，可以根据预测垃圾位置信息和垃圾位置信息标签确定边框损失值，可以根据预测垃圾类别标签和垃圾类别标签确定类别损失值，可以根据预测置信度确定置信度损失值。其中，边框损失值(lbox)、类别损失值(lcls)和置信度损失值(lobj)的计算方式如下：
[0108][0109][0110][0111][0112]
其中，s表示预测网格尺度，b表示预测坐标，表示如果在i，j处的预测坐标有目标，则其值为1，否则为0；表示如果在i，j处的预测坐标没有目标则其值为1，否则为0；c表示置信度，p表示类别概率；λ
coord
、
[0113]
λ
class
、λ
nobj
、λ
opj
是为了增加边界框的损失并减少不包含对象的框的置信度预测的损失而存在的参数；xi，yi表示中心点坐标，wi，hi分别表示宽和高；分别表示期望中心点坐标，分别表示期望宽和高，为期望置信度。接着，可以根据所述边框损失值、
所述类别损失值和所述置信度损失值，确定总损失值。例如，可以将边框损失值、类别损失值和置信度损失值的总和作为总损失值，即loss＝lbox lobj lcls，其中，loss为总损失值。
[0114]
步骤d：根据所述总损失值对所述网络模型的模型参数进行调整，直至所述网络模型满足训练条件，并将所述网络模型作为所述垃圾检测模型。
[0115]
其中，训练条件为模型的迭代训练次数满足预设次数，例如500次，或者模型的模型参数已收敛。
[0116]
另外，需要说明的是，在本实施例中，网络模型训练模型并调整参数获得最优权重模型的方式为：数据集分为训练集、验证集、测试集三部分。训练集用于基于yolov3网络的模型训练，将训练集送入yolov3模型中迭代训练可得到多个权重模型。验证集用于模型训练中及时调整模型参数。由于刚开始训练时，网络模型的权重(weights)是随机初始化的，此时若选择一个较大的学习率,可能带来模型的不稳定(振荡)，在训练模型的过程中采用gradual warmup方法进行学习率的调整，从最初的小学习率开始，每个step增大一点点，直到达到最初设置的比较大的学习率时，采用最初设置的学习率进行训练，可以使得开始训练的几个epoches或者一些steps内学习率较小,在预热的小学习率下，模型可以慢慢趋于稳定,等模型相对稳定后再选择预先设置的学习率进行训练,使得模型收敛速度变得更快，模型效果更佳。其中，在训练过程中，根据网络学习效果，会生成对应的权重文件，根据权重文件就可以在未训练的图片中检测到垃圾。权重文件相当于将学习到的特征保存下来，在使用时根据权重文件中的特征去匹配未训练过的图片，得到检测结果。
[0117]
且训练基于coco预训练模型，能快速降低模型学习损失，提高模型训练效率。一边训练一边验证可以及时调整模型参数，减少由于结果验证较晚带来的时间成本。测试集用于模型训练完成后测试模型训练效果，用于最优权重模型的预测。
[0118]
在一种实现方式中，在s104后，所述方法还包括：若所述待识别图像的垃圾检测结果中包括垃圾位置信息和垃圾类别，则输出垃圾清理提示信息。
[0119]
在本实施例中，若所述待识别图像的垃圾检测结果中包括垃圾位置信息和垃圾类别，则说明该待识别图像中对应的区域中包括垃圾，此时可以输出垃圾清理提示信息，比如可以语音提醒也可以在终端界面中弹出清理消息，以提示用户清理垃圾。这样，本实施例通过确定待识别图像的垃圾检测结果中包括垃圾位置信息和垃圾类别，则输出垃圾清理提示信息，以提示用户清理垃圾，可以与社会治理平台结合，治理联动实现异常自动上报预警功能，在市容市貌，民生改善等方面均有重大作用。
[0120]
因为垃圾时间上报存在一定时间，垃圾持续存在会更新垃圾存在时间，可根据持续时间判断垃圾是否已经被处理。因此，在本实施例中，可以是针对该同一区域在连续时间(比如十分钟内)持续检测到存在垃圾，才输出垃圾清理提示信息。
[0121]
在一种实现方式中，在s104后，所述方法还包括：
[0122]
若所述待识别图像的垃圾检测结果的核对结果为负样本，即垃圾监测结果与待识别图像的实际垃圾检测结果不一致时，核对结果为负样本，说明垃圾检测模型识别错误，则可以利用所述待识别图像以及所述待识别图像的纠正垃圾检测结果，对所述垃圾检测模型进行模型训练。
[0123]
作为一个示例，如图2所示，可以将固定摄像头下拍摄的视频实时传回社会治理平
台服务端，利用训练好的模型对传回视频实时检测，将检测到的垃圾在视频中以矩形框标记并标注类别，社会治理平台服务端会对检测结果进行干预，若社会治理平台服务端监测到检测结果错误，则可以收集检测错误的负样本。当收集到的负样本超过一定数量或者有新增异物(垃圾)类别时，自优化会自动开启，即开始利用收集到的负样本继续对所述垃圾检测模型进行模型训练。此时数据集中的训练样本数据包括两个来源，一是预备好的数据，二是系统自动收集的图片。这样，随着时间的推移，本技术获得的反馈的负样本越多，垃圾检测模型在线训练迭代的次数也越多，模型的效果会逐渐优化，准确率会逐渐提升。
[0124]
综上，与现有技术相比，本技术主要有以下几点益处：
[0125]
(1)本技术采用固定摄像头拍摄视频作为数据来源，减少了人工干预，能准确实时的检测当前摄像头下情况。
[0126]
(2)本技术可以应用于社会治理平台中的垃圾检测，检测到垃圾后，平台上会有人工进行处置。本技术会收集检测到的物体图片以及人工处置的结果，并将人工处置的结果转换为训练模型所对应的标签。当收集到的物体图片数量到达指定的阈值后，本技术会自动开启模型训练的进程。随着时间的推移，本发明获得的人工反馈变多，在线训练迭代的次数也变多，模型的效果会逐渐优化，准确率会逐渐提升。
[0127]
(3)本技术以垃圾治理为主要目的，基于yolov3实时检测，模型稳定性高，检测识别性能好，能排除外界因素的影响，达到“精准治理”的目的。
[0128]
(4)与社会治理平台结合，治理联动实现异常自动上报预警功能，在市容市貌，民生改善等方面均有重大作用。
[0129]
如图3所示，为本技术所述一种垃圾检测装置的一个具体实施例。本实施例所述装置，即用于执行上述实施例所述方法的实体装置。其技术方案本质上与上述实施例一致，本实施例中所述装置包括：
[0130]
输入单元301，用于获取待识别图像，并将所述待识别图像输入已训练的垃圾检测模型；
[0131]
第一获取单元302，用于所述垃圾检测模型对所述待识别图像进行特征提取，得到三个不同尺度的特征图；
[0132]
第二获取单元303，用于控制所述垃圾检测模型对所述三个特征图分别进行垃圾检测，得到所述三个特征图各自对应的垃圾检测结果以及结果置信度；
[0133]
第三获取单元304，用于控制所述垃圾检测模型根据所述三个特征图各自对应的垃圾检测结果以及结果置信度，输出所述待识别图像的垃圾检测结果。
[0134]
可选的，所述垃圾检测结果包括垃圾位置信息和垃圾类别；所述垃圾位置信息包括标注有垃圾区域的待识别图像以及垃圾的坐标信息。
[0135]
可选的，所述装置还包括模型生成单元，用于：
[0136]
获取训练样本数据集；所述训练样本数据集包括若干组训练样本数据，其中，每组训练样本数据包括训练样本图像以及所述训练样本图像对应的垃圾位置信息标签和垃圾类别标签；
[0137]
将训练样本图像输入预设的网络模型，得到所述训练样本图像对应的预测垃圾位置信息、预测垃圾类别标签以及预测置信度；
[0138]
根据训练样本对应的预测垃圾位置信息、预测垃圾类别标签、预测置信度，以及所
述训练样本图像对应的垃圾位置信息标签和垃圾类别标签，确定总损失值；
[0139]
根据所述总损失值对所述网络模型的模型参数进行调整，直至所述网络模型满足训练条件，并将所述网络模型作为所述垃圾检测模型。
[0140]
可选的，所述模型生成单元，具体用于：
[0141]
根据训练样本对应的预测垃圾位置信息、预测垃圾类别标签、预测置信度，以及所述训练样本图像对应的垃圾位置信息标签和垃圾类别标签，确定边框损失值、类别损失值和置信度损失值；
[0142]
根据所述边框损失值、所述类别损失值和所述置信度损失值，确定总损失值。
[0143]
可选的，所述所述模型生成单元，具体用于：
[0144]
获取原始采集图像；
[0145]
对所述原始采集图像进行矫正处理，得到矫正后的图像；
[0146]
获取所述矫正后的图像对应的垃圾位置信息标签和垃圾类别标签；
[0147]
将所述矫正后的图像作为训练样本数据中的训练样本图像，以及，将所述矫正后的图像对应的垃圾位置信息标签和垃圾类别标签作为所述训练样本图像对应的垃圾位置信息标签和垃圾类别标签。
[0148]
可选的，所述模型生成单元，还用于：
[0149]
对所述训练样本数据集中的训练样本图像进行数据增强处理，得到数据增加图像；
[0150]
将所述数据增强图像以及所述数据增强图像对应的垃圾位置信息标签和垃圾类别标签，作为所述训练样本数据集中的一组训练样本数据；
[0151]
其中，所述数据增强处理方式包括以下至少一种：翻转变换、随机修剪、色彩抖动、平移变换、尺度变换、对比度变换、噪声扰动、旋转变换/反射变换。
[0152]
可选的，所述模型生成单元，还用于：
[0153]
将所述训练样本数据集中的任意多张训练样本图像进行拼接处理，得到一张拼接训练样本图像；
[0154]
将所述拼接训练样本图像以及所述多张训练样本图像对应的垃圾位置信息标签和垃圾类别标签，作为所述训练样本数据集中的一组训练样本数据。
[0155]
可选的，所述装置还包括提示单元：
[0156]
若所述待识别图像的垃圾检测结果中包括垃圾位置信息和垃圾类别，则输出垃圾清理提示信息。
[0157]
可选的，所述装置还包括重新训练单元：
[0158]
若所述待识别图像的垃圾检测结果的核对结果为负样本，则利用所述待识别图像以及所述待识别图像的纠正垃圾检测结果，对所述垃圾检测模型进行模型训练。
[0159]
图4是本技术实施例提供的一种电子设备的结构示意图。在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(random-access memory，ram)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
[0160]
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是isa
(industry standard architecture，工业标准体系结构)总线、pci(peripheral component interconnect，外设部件互连标准)总线或eisa(extended industry standard architecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
[0161]
存储器，用于存放执行指令。具体地，执行指令即可被执行的计算机程序。存储器可以包括内存和非易失性存储器，并向处理器提供执行指令和数据。
[0162]
在一种可能实现的方式中，处理器从非易失性存储器中读取对应的执行指令到内存中然后运行，也可从其它设备上获取相应的执行指令，以在逻辑层面上形成垃圾检测装置。处理器执行存储器所存放的执行指令，以通过执行的执行指令实现本技术任一实施例中提供的垃圾检测方法。
[0163]
上述如本技术图1所示实施例提供的垃圾检测装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field－programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0164]
结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
[0165]
本技术实施例还提出了一种可读介质，该可读存储介质存储有执行指令，存储的执行指令被电子设备的处理器执行时，能够使该电子设备执行本技术任一实施例中提供的垃圾检测方法，并具体用于执行上述垃圾检测所述的方法。
[0166]
前述各个实施例中所述的电子设备可以为计算机。
[0167]
本领域内的技术人员应明白，本技术的实施例可提供为方法或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例，或软件和硬件相结合的形式。
[0168]
本技术中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0169]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要
素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0170]
以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。