基于图像识别的垃圾处理方法、装置及电子设备与流程

1.本技术涉及云技术、大数据及人工智能技术领域，具体而言，本技术涉及一种基于图像识别的垃圾处理方法、装置及电子设备。


背景技术：

2.垃圾分类一般是指按一定规定或标准将垃圾分类储存、投放和搬运，从而转变成公共资源。垃圾分类的目的是提高垃圾的经济价值，降低垃圾处理成本，减少土地资源的消耗，保护环境。
3.目前，我国大力提倡垃圾分类政策，且在该领域投入巨大，但却收效甚微。其主要原因在于垃圾分类设备的使用复杂性，致使很多用户不了解垃圾应该如何分类，分类后的垃圾又该如何投放到不同的垃圾箱中。过于烦琐的垃圾分类步骤，很难让用户坚持下来，所以垃圾分类的政策一直停留在表面，无法真正有效进行实施。


技术实现要素：

4.本技术实施例提供了一种基于图像识别的垃圾处理方法、装置及电子设备，基于该方案，可以辅助用户进行垃圾分类，提升垃圾分类的准确性，并可以使用户了解各物品类别对应的垃圾评估结果，提升环保意识。
5.为实现上述目的，本技术实施例提供的具体技术方案如下：
6.一方面，本技术实施例提供了一种基于图像识别的垃圾处理方法，该方法包括：
7.获取垃圾对应的待处理图像；
8.对待处理图像进行识别，得到待处理图像中包含的各物品所属的物品类别和每个物品的属性信息；
9.对于每个物品类别，基于属于物品类别的各物品的属性信息，确定物品类别对应的垃圾评估结果；
10.基于各物品类别的垃圾评估结果，生成待处理图像对应的垃圾分类评估结果。
11.另一方面，本发明实施例还提供了一种基于图像识别的垃圾处理装置，该装置包括：
12.待处理图像获取模块，用于获取垃圾对应的待处理图像；
13.垃圾识别模块，用于对待处理图像进行识别，得到待处理图像中包含的各物品所属的物品类别和每个物品的属性信息；
14.评估结果确定模块，用于对于每个物品类别，基于属于物品类别的各物品的属性信息，确定物品类别对应的垃圾评估结果；
15.分类评估结果生成模块，用于基于各物品类别的垃圾评估结果，生成待处理图像对应的垃圾分类评估结果。
16.本发明实施例还提供了一种电子设备，该电子设备包括一个或多个处理器；存储器；一个或多个计算机程序，其中一个或多个计算机程序被存储在存储器中并被配置为由
一个或多个处理器执行，一个或多个计算机程序被配置用于执行上述基于图像识别的垃圾处理方法或基于图像识别的垃圾处理方法的各种可选实现方式中提供的方法。
17.本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质用于存储计算机程序，当计算机程序在处理器上运行时，使得处理器可以执行上述基于图像识别的垃圾处理方法或基于图像识别的垃圾处理方法的各种可选实现方式中提供的方法。
18.本发明实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述基于图像识别的垃圾处理方法或基于图像识别的垃圾处理方法的各种可选实现方式中提供的方法。
19.本技术提供的技术方案带来的有益效果是：
20.本技术提供的一种基于图像识别的垃圾处理方法、装置及电子设备，能够利用图像识别技术，对垃圾对应的待处理图像进行图像识别，得到待处理图像中所包含的各物品的物品类别，从而能够辅助用户进行垃圾分类或者进行垃圾自动分类处理，提高垃圾分类的准确性；另外，本技术实施例的方法还可以根据各物品类别对应的属性信息，确定各物品类别对应的垃圾评估结果，可以使用户了解各物品类别对应的垃圾评估结果，根据垃圾评估结果进行相应的垃圾处理，或者根据确定出的垃圾分类评估结果进行垃圾的回收处理。
附图说明
21.为了更清楚地说明本技术实施例中的技术方案，下面将对本技术实施例描述中所需要使用的附图作简单地介绍。
22.图1为本技术实施例提供的基于图像识别的垃圾处理方法的流程图；
23.图2为本技术实施例提供的应用程序的用户界面的示意图；
24.图3为本技术实施例提供的卷积神经网络模型的图像处理过程示意图；
25.图4为本技术实施例提供的应用程序的垃圾分类处理过程的示意图；
26.图5为本技术实施例提供的基于图像识别的垃圾处理过程的示意图；
27.图6为本技术实施例提供的垃圾价值评估过程的示意图；
28.图7为本技术实施例提供的垃圾分类列表的示意图；
29.图8为本技术实施例提供的垃圾回收处理过程的示意图；
30.图9为本技术实施例提供的基于图像识别的垃圾处理装置的结构示意图；
31.图10为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
32.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本技术，而不能解释为对本技术的限制。
33.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本技术的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加
一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
34.本技术实施例是针对现有技术中存在的垃圾分类设备使用复杂，垃圾分类无法有效实施提供的一种基于图像识别的垃圾处理方法，基于该方法能够辅助用户进行垃圾分类或者进行垃圾自动分类处理，提高垃圾分类的准确性，还可以根据各物品类别对应的属性信息，确定各物品类别对应的垃圾评估结果，可以使用户了解各物品类别对应的垃圾评估结果，根据垃圾评估结果进行相应的垃圾处理，或者根据确定出的垃圾分类评估结果进行垃圾的回收处理。
35.其中，本技术实施例中所涉及的图像处理方式可以通过人工智能技术实现，本技术实施例提供的方案所涉及的数据处理(如数据计算)可以通过云技术中的云计算实现。
36.云计算(cloud computing)是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。
37.作为云计算的基础能力提供商，会建立云计算资源池(简称云平台，一般称为iaas(infrastructure as a service，基础设施即服务)平台，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(为虚拟化机器，包含操作系统)、存储设备、网络设备。
38.按照逻辑功能划分,在iaas(infrastructure as a service，基础设施即服务)层上可以部署paas(platform as a service,平台即服务)层，paas层之上再部署saas(software as a service,软件即服务)层，也可以直接将saas部署在iaas上。paas为软件运行的平台，如数据库、web容器等。saas为各式各样的业务软件，如web门户网站、短信群发器等。一般来说，saas和paas相对于iaas是上层。
39.云计算(cloud computing)指it基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源；广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是it和软件、互联网相关，也可是其他服务。云计算是网格计算(grid computing)、分布式计算(distributedcomputing)、并行计算(parallel computing)、效用计算(utility computing)、网络存储(network storage technologies)、虚拟化(virtualization)、负载均衡(load balance)等传统计算机和网络技术发展融合的产物。
40.随着互联网、实时数据流、连接设备多样化的发展，以及搜索服务、社会网络、移动商务和开放协作等需求的推动，云计算迅速发展起来。不同于以往的并行分布式计算，云计算的产生从理念上将推动整个互联网模式、企业管理模式发生革命性的变革。
41.本技术实施例中所涉及的图像识别模型可以通过人工智能技术中的机器学习来实现。
42.人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理
论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
43.人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大基于图像识别的垃圾处理技术、操作/交互系统、机电一体化等技术。本技术实施例涉及的人工智能技术主要包括机器学习/深度学习等几大方向。
44.机器学习(machine learning,ml)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
45.本技术实施例中所涉及的图像识别模型所需要的训练数据可以为从互联网中获取到的大数据。
46.大数据(big data)是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。随着云时代的来临，大数据也吸引了越来越多的关注，大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
47.下面以具体地实施例对本技术的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本技术的实施例进行描述。
48.本技术技术方案的执行主体为计算机设备，包括但不限于服务器、个人电脑、笔记本电脑、平板电脑、智能手机等。计算机设备包括用户设备与网络设备。其中，用户设备包括但不限于电脑、智能手机、pad等；网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或于云计算的由大量计算机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。其中，计算机设备可单独运行来实现本技术，也可接入网络并通过与网络中的其他计算机设备的交互操作来实现本技术。其中，计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、vpn网络等。
49.本技术实施例提供了一种基于图像识别的垃圾处理方法，该方法的执行主体可以为任一电子设备，例如，该方法可以由服务器执行，如图1所示，该方法可以包括：
50.步骤s101，获取垃圾对应的待处理图像；
51.其中，待处理图像可以是针对垃圾进行拍照得到的图像，可选的，也可以是从用户终端接收到的图像，如用户在需要进行垃圾分类处理时，可以通过其智能手机对待处理的垃圾进行拍照，将得到的垃圾的待处理图像上传给服务器。
52.可选的，本技术实施例所提供的方案可以实现为一应用程序，该应用程序可以是
一个独立的应用程序，也可以是一个应用程序插件(如小程序)，用户可以在其终端设备上安装或者使用该应用程序，通过该应用程序的用户界面触发相应的拍照功能进行垃圾拍摄，得到待处理图像。
53.作为一示例，应用程序的界面可以如图2所示，用户终端响应于用户的拍照触发操作，启用摄像头，用户可以将摄像头对准垃圾，对垃圾进行拍照，得到垃圾对应的待处理图像，可选的，可以将拍摄得到的图像显示在应用程序的界面中，界面中还可以设置有确认上传按钮，用户在确认上传之后，用户终端则将该待处理图像上传到服务器，服务器对获取到的待处理图像进行后续的处理。
54.作为另一可选实施方式，本技术实施例所提供的方案可以作为垃圾自动回收处理系统的构成部分，例如，可以在垃圾回收点安装相应的垃圾检测回收设备，该检测回收设备可以与服务器通信连接，该检测回收设备可以配置有相应的垃圾投放结构和垃圾回收结构，用户在将垃圾投入垃圾投放结构之后，垃圾投放结构对垃圾进行拍照，得到垃圾对应的待处理图像，对待处理图像进行识别，得到待处理图像中的各物品的物品类别，并根据物品类别对垃圾进行分类，将分类后的垃圾送入垃圾回收结构进行回收。
55.步骤s102，对待处理图像进行识别，得到待处理图像中包含的各物品所属的物品类别和每个物品的属性信息；
56.其中，待处理图像中包括各个物品，为了实现垃圾分类以及垃圾评估结果，需要对图像中的各物品进行类别识别，得到图像中包含的各物品所属的物品类别，并确定每个物品的属性信息，其中，属性信息可以为与评估各物品类别的垃圾评估结果相关的任意属性的信息，对于属性信息的具体内容，本实施例对此不做限定。
57.可选的，服务器可以利用预先训练好的图像识别模型对待处理图像进行图像识别，提取待处理图像的图像特征，对待处理图像中的各物品进行分类，并确定每个物品类别对应的属性信息。其中，图像识别模型可以是利用大量图像作为训练样本训练得到的，图像识别模型可以是任意神经网络模型，例如，卷积神经网络模型(convolutional neural networks，cnn)等。
58.在一种可能的实现方式中，对待处理图像进行识别，得到待处理图像中包含的各物品所属的物品类别和每个物品的属性信息，包括：
59.对待处理图像中包含的各物品的类别进行识别，得到待处理图像中包含的各物品所属的物品类别；
60.对于每个物品，基于待处理图像获取物品的物品特征，基于物品特征，确定物品的属性信息。
61.在实际应用中，图像识别模型可以包括依次级联的图像分类模块和属性确定模块，图像分类模块用于对待处理图像中的各物品的类别进行识别。可选的，检测待处理图像中的各物体的物体边缘，根据各物体的物体边缘进行图像分割，提取分割出的各物品的图像的图像特征，根据图像特征对各物品的类别进行识别，得到每个物品的物品类别。属性确定模块用于提取待处理图像中属于每个物品类别的各物品的物品特征，根据每个物品的物品特征，确定每个物品的属性信息。属于不同物品类别的物品的属性信息可以相同也可以不同。
62.在一示例中，图像分类模块可以通过cnn来实现，如图3所示，该示例的图像分类模
块包括依次级联的输入层、卷积层、池化层、全连接层f1、全连接层f2。将待处理图像输入cnn的输入层，cnn的卷积层对将待处理图像的r、g、b三个通道的图像进行卷积处理，也就是提取待处理图像进行特征提取，得到待处理图像的各特征图(如图中所示的f1、f2、f3、f4)，将各特征图输入池化层，池化层对各特征图进行降维处理，将处理后的特征图输入第一个全连接层(如图中所示的“全连接层f1”)，第一个全连接层将各特征图与权重矩阵进行加权处理，也就是线性变换，(也就是如图3中所示的“展平”处理)，然后输入第二个全连接层(如图中所示的“全连接层f2”)，第二个全连接层将第一个全连接层输出的图像进行非线性变换，得到待处理图像中的各物品所属的物品类别并输出，如图中所示的物品a和物品b，其中，物品a表示图像中包含了一个物品类别为a的物品，物品b表示图像中包含了一个物品类别为b的物品。可选的，通过图像分类模块对待处理图像中包含的物品进行类别识别时，还可以得到图像中所包含的各物品在该待处理图像中对应的位置信息，从而后续可以基于各物品的位置信息从图像中对应的区域获取到该物品的相关信息，如外形特征等。
63.在一个具体的实施例中，本技术技术方案通过安装在用户终端的应用程序来实现，应用程序对垃圾的分类过程如图4所示，用户终端接收用户在应用程序的用户界面触发的对垃圾拍照的操作，启动摄像头，采集垃圾对应的待处理图像，将待处理图像上传到服务器，本实施例中，待处理图像中包括三个物品。服务器将待处理图像作为原始图像数据输入cnn(如图中所示的卷积神经网络算法)进行处理，cnn通过卷积层、池化层、全连接层等对待处理图像中的各物品进行分类处理，得到分类结果(如图中所示的分类图像数据)，分类结果具体包括：物品a、物品b、物品c，其中，物品a表示图像中包含了一个物品类别为a的物品，物品b表示图像中包含了一个物品类别为b的物品，物品c表示图像中包含了一个物品类别为c的物品。
64.服务器根据属于每个物品类别的各物品的物品特征确定该物品的属性信息具体见如下实施例：
65.在一种可能的实现方式中，对于每个物品，基于待处理图像获取物品的物品特征，基于物品特征，确定物品的属性信息，包括：
66.基于待处理图像，提取物品的视觉特征，物品特征包括视觉特征；
67.基于视觉特征，确定物品的属性信息。
68.在实际应用中，属于每个物品类别的各物品的物品特征可以包括视觉特征，视觉特征为待处理图像中的各物品在视觉上可以体现出的特征，也可以是可以看得到的表象特征。对于属于每个物品类别中的每个物品，可以根据该物品的视觉特征，确定该物品的属性信息。
69.在一种可能的实现方式中，视觉特征包括色彩特征或外形特征中的至少一项。
70.在实际应用中，色彩特征可以包括但不限于：颜色、亮度、饱和度或对比度中的至少一项；外形特征可以包括但不限于：物品在图像中的宽度、高度或宽高比例中的至少两项。
71.在一种可能的实现方式中，若视觉特征包括色彩特征，对于每个物品，基于视觉特征，确定物品的属性信息，包括：
72.基于物品的色彩特征，确定物品的新旧程度，属性信息包括新旧程度。
73.在实际应用中，对于每个物品，在确定垃圾评估结果时，需要考虑物品的新旧程
度，属性信息可以包括新旧程度，物品的新旧程度可以根据物品的色彩特征来确定。可选的，可以根据待处理图像中的物品图像的颜色、亮度、饱和度或对比度中的至少一项来确定物品的光泽度等，进而确定该物品的新旧程度。
74.在一示例中，待处理图像中包括物品a1、a2，物品a1属于物品类别b1，物品a2属于物品类别b2，根据物品a1的颜色和亮度，确定出a1的新旧程度为6，根据物品a2的颜色和亮度，确定出物品a2的新旧程度为7，服务器可以将每个物品的新旧程度作为最终的垃圾分类评估结果提供给用户。
75.在一种可能的实现方式中，若视觉特征包括外形特征，对于每个物品，基于物品的视觉特征，确定物品的属性信息，包括：
76.基于物品的外形特征，确定物品的尺寸信息；
77.基于尺寸信息，确定物品的实体信息，实体信息包括物品的质量、面积或体积中的至少一项，属性信息包括实体信息。
78.在实际应用中，对于每个物品，在确定垃圾评估结果时，需要考虑物品的实体信息等，属性信息包括实体信息。实体信息可以包括质量、面积或体积中的至少一项。物品的质量、面积或体积可以根据物品的尺寸信息来确定，而尺寸信息可以根据外形特征来确定。外形特征可以包括但不限于：物品在图像中的宽度、高度或宽高比例中的至少两项。对于形状不规则的物品，可以根据该物品的外形特征，按照预设方式确定尺寸信息，进一步确定该物品的质量、面积或体积等实体信息。
79.可选的，对于每个物品，可以根据该物品在待处理图像中的宽高比例，查询属于同一物品类别中符合该宽高比例的实体物品，作为待处理图像中的物品对应的实体物品，将该实体物品的尺寸信息，作为待处理图像中的该物品的尺寸信息，根据该尺寸信息确定该物品的属性信息。其中，针对某个物品类别，预先配置该物品类别中宽高比例对应的实体物品的尺寸信息，在同一物品类别中，可以配置宽高比例不同的多个实体物品的尺寸信息，根据待处理图像中的物品的宽高比例，可以在同一物品类别中匹配到宽高比例相同的实体物品，将匹配到的实体物品的尺寸信息作为待处理图像中的物品的尺寸信息。可以理解的是，实体物品的尺寸信息为待处理图像中的物品的估计尺寸，可以不是待处理图像中的物品的实际尺寸。
80.在一示例中，物品类别为厨余垃圾，计算厨余垃圾的质量时，可以根据厨余垃圾在待处理图像中的尺寸，计算厨余垃圾的面积，根据厨余垃圾的面积，按照预设的计算规则，估计相应面积厨余垃圾对应的体积，从而根据厨余垃圾的体积评估厨余垃圾的危害程度。
81.在一示例中，若物品类别为玻璃酒瓶，提取的待处理图像中的酒瓶的外形特征为宽高比1:3，则预先配置的玻璃酒瓶类中宽高比为1:3的实体酒瓶的宽度为60mm，高度为180mm，则将宽度60mm，高度180mm作为待处理图像中的酒瓶的宽度和高度，根据该宽度和高度计算该酒瓶的体积。
82.步骤s103，对于每个物品类别，基于属于该物品类别的各物品的属性信息，确定该物品类别对应的垃圾评估结果；
83.其中，垃圾评估结果是对该物品类别的回收价值、有害程度等进行评估得到的结果。对于每个物品类别，可以根据属于该物品类别的各物品的属性信息来对该物品类别进行评估，从而确定该物品类别对应的垃圾评估结果，对于不同的物品类别，若对应的属性信
息不同，则可以得到不同的垃圾评估结果。
84.在一种可能的实现方式中，对于每个物品类别，基于属于该物品类别的各物品的属性信息，确定该物品类别对应的垃圾评估结果，包括以下至少一项：
85.基于属于该物品类别的各物品的属性信息，确定该物品类别对应的垃圾价值，垃圾价值包括危害程度或回收价值中的至少一项，垃圾评估结果包括垃圾价值；
86.统计属于物品类别的各物品的数量，垃圾评估结果包括属于该物品类别的各物品的数量；
87.基于属于该物品类别的各物品的属性信息，确定该物品类别对应的属性信息，垃圾评估结果包括该物品类别对应的属性信息。
88.在实际应用中，垃圾价值可以指生活垃圾、工业垃圾、电子垃圾等的剩余价值，包含其是对生态环境的利害，其价值可以是正向价值，也可以是负向价值。垃圾价值包括该物品类别的垃圾对环境的危害程度或回收价值中的至少一项，对于每个物品类别，可以根据属于该物品类别中的每个物品的属性信息来确定该物品类别的危害程度，危害程度可以包括但不限于危害等级或危害程度值。
89.可选的，服务器在对每个物品类别进行垃圾结果评估时，可以首先确定该物品类别所属的垃圾属性类别，垃圾属性类别为可回收类别或不可回收类别，若该物品类别为可回收类别，再进一步确定属于该物品类别的各物品的回收价值，根据各物品的回收价值，计算该物品类别对应的回收价值。
90.可选的，若某一物品类别的回收价值是零，则表示该物品类别是不可回收的，则服务器可以不获取回收价值，如果回收价值不是零，即该物品类别是可回收的，可以获取该物品类别的回收价值。
91.另外，垃圾属性类别还可以包括任何其他类别，例如，不燃烧不可回收、可燃烧不可回收、厨余垃圾、干垃圾、湿垃圾等，本技术对此不做限定。
92.可选的，服务器利用图像识别模型识别出待处理图像中属于每个物品类别的物品的数量，对属于每个物品类别中的物品进行数量统计，得到属于每个物品类别的物品的数量作为垃圾评估结果，并提供给用户。
93.可选的，对于每个物品类别，还可以根据属于该物品类别的各物品的属性信息，确定该物品类别的属性信息。在确定该物品类别的属性信息时，可以将属于该物品类别中的各物品各自的属性信息，作为该物品类别的属性信息；也可以将属于该物品类别中的各物品的属性信息进行统计，将统计结果作为该物品类别的属性信息。对于不同的物品类别，根据属于该物品类别中的各物品的属性信息确定该物品类别的属性信息的具体计算方式不同，可以根据具体需要进行配置，本技术对此不做限定。另外，在确定物品类别对应的属性信息时，可以根据需求配置确定哪种或哪些属性信息。
94.在一示例中，物品b1、b2、b3属于物品类别b，b1的质量为400克，b2的质量为500克、b3的质量为600克，则物品类别b对应的质量可以是400克 500克 600克＝1500克。
95.在一种可能的实现方式中，对于每个物品类别，基于属于该物品类别的各物品的属性信息，确定该物品类别对应的垃圾价值，包括：
96.基于属于该物品类别的各物品的属性信息，确定属于该物品类别的各物品的垃圾价值；
97.基于属于该物品类别的各物品的垃圾价值，确定该物品类别对应的垃圾价值。
98.在实际应用中，在确定物品类别对应的垃圾价值时，可以基于属于该物品类别的各物品的属性信息，确定各物品各自的垃圾价值，将属于该物品类别中的各物品各自的垃圾价值，作为该物品类别对应的垃圾价值；也可以根据属于该物品类别的各物品的垃圾价值，计算该物品类别对应的垃圾价值。
99.可选的，服务器可以根据某一物体类别中的各物品质量，确定各物品的危害程度值，将属于该物品类别的各物品的危害程度值进行累加，得到该物品类别对应的危害程度值。
100.在一示例中，物品c1、c2、c3属于物品类别c，c1的危害值为10，c2的危害值为15、c3的危害值为20，则物品类别c对应的危害值是10 15 20＝45。
101.步骤s104，基于各物品类别的垃圾评估结果，生成待处理图像对应的垃圾分类评估结果。
102.服务器将每个物品类别和每个物品类别对应的垃圾评估结果生成垃圾分类评估结果，垃圾分类评估结果包括的具体内容可以根据具体需要进行配置。
103.本实施例提供的基于图像识别的垃圾处理方法，能够利用图像识别技术，对垃圾对应的待处理图像进行图像识别，得到待处理图像中所包含的各物品的物品类别，从而能够辅助用户进行垃圾分类或者进行垃圾自动分类处理，提高垃圾分类的准确性；另外，本技术实施例的方法还可以根据各物品类别对应的属性信息，确定各物品类别对应的垃圾评估结果，可以使用户了解各物品类别对应的垃圾评估结果，根据垃圾评估结果进行相应的垃圾处理，或者根据确定出的垃圾分类评估结果进行垃圾的回收处理。
104.在一种可能的实现方式中，垃圾分类评估结果包括各物品类别对应的垃圾评估结果。
105.在实际应用中，可以将各物品类别对应的垃圾评估结果生成垃圾分类列表，作为垃圾分类评估结果提供给用户，或者根据各物品类别对应的垃圾评估结果，进行垃圾回收处理。
106.在一种可能的实现方式中，对于任一物品类别，垃圾评估结果包括该物品类别的垃圾价值，垃圾价值包括危害程度和回收价值；
107.基于各物品类别的垃圾评估结果，生成待处理图像对应的垃圾分类评估结果，包括以下至少一项：
108.对于每个物品类别，基于物品类别的回收价值，获取物品类别对应的回收预约信息，垃圾分类评估结果包括物品类别对应的回收预约信息；
109.对于每个物品类别，基于物品类别的危害程度，确定物品类别对应的危害程度提示信息或环境影响提示信息中的至少一项；垃圾分类评估结果包括物品类别对应的危害程度提示信息或环境影响提示信息中的至少一项。
110.在实际应用中，若物品类别的垃圾属性类别为可回收类别，服务器获取该物品类别对应的回收预约信息作为垃圾分类评估结果中的一部分内容，回收预约信息用于对该物品类别的中的物品进行回收预约。
111.可选的，回收预约信息可以通过超链接的方式在用户终端进行展示，若用户终端接收到用户针对回收预约信息的触发操作，则生成回收预约请求发送至服务器，服务器根
据该回收预约请求，获取回收预约对应的网络地址发送至用户终端，用户终端登录该网络地址进行回收预约。
112.另外，服务器还可以根据各物品类别各自对应的危害程度，确定各物品类别各自对应的危害程度提示信息和环境影响提示信息，危害程度提示信息用于提示各物品类别对环境的危害程度，危害程度提示信息可以包括危害程度颜色或危害程度数值中的至少一项。危害程度颜色可以根据危害程度的大小进行配置，例如，危害程度远大，则配置的危害程度颜色越深。环境影响提示信息是指该物品类别对环境的影响的文字描述信息。
113.可选的，服务器将包括各物品类别各自对应的危害程度提示信息、环境影响信、回收预约信息、新旧程度、数量中的至少一项作为垃圾分类评估结果发送到用户终端，便于用户终端向用户展示该垃圾分类评估结果。
114.可选的，环境影响提示信息可以通过超链接的方式在用户终端进行展示，若用户终端接收到用户针对环境影响提示信息的触发操作，则生成环境影响提示信息获取请求发送至服务器，服务器根据该获取请求，获取环境影响提示信息发送至用户终端，供用户进行浏览。
115.在一种可能的实现方式中，该方法还包括以下至少一项：
116.将所述垃圾分类评估结果提供给用户；或者
117.基于所述垃圾分类评估结果进行垃圾回收处理。
118.在实际应用中，其中，垃圾分类评估结果可以为可视化的形式，例如，可以是垃圾分类列表，垃圾分类列表中可以包括各物品类别，以及各物品类别对应的垃圾评估结果。服务器得到垃圾分类评估结果以后，可以将垃圾分类评估结果发送到用户终端，以便于用户根据该垃圾分类评估结果进行垃圾分类，以及了解各物品类别对应的垃圾价值，提升环境保护意识。
119.另外，本技术技术方案还可以嵌入垃圾分类箱中，进行智能化垃圾分类，通过对垃圾对应的待处理图像进行识别，最终得到垃圾分类评估结果，根据垃圾分类评估结果，在垃圾箱内部对垃圾按照各物品类别进行分类处理，并进行垃圾回收处理，将垃圾回收处理结果发送到用户终端。
120.下面通过一个具体的实施例对本技术技术方案的垃圾处理过程进行详细介绍。本实施例只是本技术技术方案的一种实现方式，并不代表本技术技术方案的全部实现方式。
121.如图5所示，本实施例中，通过安装在用户终端的应用程序来实现本技术技术方案，通过图像识别模型对待处理图像进行识别，图像识别模型为卷积神经网络模型，用户终端接收用户在应用程序的用户界面触发的对垃圾拍照的操作，启动摄像头，采集垃圾对应的待处理图像，将待处理图像上传到服务器，服务器对待处理图像进行图像分析，将待处理图像输入卷积神经网络模型进行识别，卷积神经网络模型对待处理图像中的各物品进行分类识别，得到各物品所属的物品类别和各物品的属性信息，属性信息可以包括新旧程度、质量、体积或面积中的至少一项，对于每个物品类别，根据属于该物品类别的各物品的属性信息，确定该物品类别对应的垃圾评估结果，可以通过评估算法来实现，服务器最终将各物品所属的物品类别和各物品类别对应的垃圾评估结果，生成垃圾分类评估结果，以垃圾分类列表的形式发送到用户终端，供用户进行浏览。
122.下面通过一个具体的实施例对本技术技术方案的垃圾价值评估过程进行详细介
绍。
123.如图6所示，通过卷积神经网络模型对待处理图像进行识别，得到待处理图像中包含的各物品以及各物品所属的物品类别(如图中所示的“物品分类”)，对于每个物品类别，获取待处理图像中属于该物品类别的各物品的物品特征：色彩特征(如图中所示的物品颜色组成)、外形特征(如图中所示的“物品虚拟宽度、物品虚拟高度、宽高所在比例”)以及其他特征，根据各物品的物品特征，确定各物品各自对应的属性信息，以物品a为例，属性信息可以包括新旧程度、质量、尺寸，根据各物品各自对应的属性信息，确定属于该物品类别的各物品各自的垃圾价值，根据属于该物品类别的各物品各自的垃圾价值，确定该物品类别对应的垃圾价值。通过评估算法(如图中所示的“知识体系算法计算”)，评估物品a所属的物品类别对应的垃圾价值。若待处理图像中还包括其他物品类别，则按照同样的处理方式，根据属于各物品类别的各物品的垃圾价值，确定各物品类别对应的垃圾价值，将各物品类别以及各物品类别对应的垃圾价值，生成垃圾分类评估列表，发送到用户终端，用户终端向用户进行显示。
124.在一个具体的实施例中，服务器接收用户终端发送的垃圾对应的待处理图像；对待处理图像进行识别，得到待处理图像中所包含的各物品所属的物品类别和每个物品类别的属性信息；对于每个物品类别，基于属于该物品类别的各物品的属性信息，确定该物品类别对应的垃圾价值；基于各物品类别和各物品类别对应的垃圾价值，生成待处理图像对应的垃圾分类评估结果，在本实施例中，服务器将垃圾分类评估结果以垃圾分类列表的形式发送到用户终端，垃圾分类列表中包括各物品所属的物品类别以及各物品类别各自的属性信息、垃圾评估结果。的如图7所示，物品类别包括：旧手机、电池类、玻璃酒瓶、纸板旧书籍、厨余垃圾，其中，旧手机、玻璃酒瓶、纸板旧书籍的垃圾属性类别为可回收类别，垃圾分类评估结果中包括回收价值和回收预约信息。对于每个物品类别，垃圾分类评估结果中还包括各物品类别的新旧程度(如图中所示的“新旧度”)、危害值、数量、环境影响提示信息(如图中所示的“查看对环境影响”)、危害程度颜色。其中，危害程度颜色越深，表示对环境的危害程度越大。旧手机类的新旧度为8.5，回收价值为220元，危害值为8，数量为1；电池类的新旧度为1，由于电池类的垃圾属性类别为不可回收类，默认回收价值为0元，危害值为10，数量为1；玻璃酒瓶类的新旧度为10，回收价值为2.6元，危害值为3，数量为12；纸板旧书籍类的新旧度为9，回收价值为220元，危害值为1，质量为约20kg；厨余垃圾类的新旧度为8.5，由于厨余垃圾的垃圾属性类别为不可回收类，默认回收价值为0元，危害值为3，质量为约2kg。
125.其中，回收预约信息和环境影响提示信息以超链接的方式在垃圾分类列表中展示，若用户终端接收到用户针对回收预约信息的触发操作，则生成回收预约请求发送至服务器，服务器根据该回收预约请求，获取回收预约对应的网络地址发送至用户终端，用户终端登录该网络地址进行回收预约。若用户终端接收到用户针对环境影响提示信息的触发操作，则生成环境影响提示信息获取请求发送至服务器，服务器根据该获取请求，获取环境影响提示信息发送至用户终端，供用户进行浏览。
126.在一个具体的实施例中，利用本技术技术方案对垃圾进行回收处理的过程如图8所示，本技术技术方案可以以垃圾分类系统的方式嵌入垃圾分类箱中，垃圾从进料口进入垃圾分类箱中，通过图像采集模块对垃圾进行拍照，通过图像识别模块对垃圾对应的待处理图像进行识别(如图中所示的“图像采集和识别”)，得到待处理图像中包含的各物品所属
的物品类别和每个物品的属性信息；对于每个物品类别，基于属于物品类别的各物品的属性信息，确定物品类别对应的垃圾评估结果；基于各物品类别的垃圾评估结果，生成待处理图像对应的垃圾分类评估结果。根据垃圾分类评估结果，得到垃圾分类结果：物品a表示图像中包含了一个物品类别为a的物品，物品b表示图像中包含了一个物品类别为b的物品,物品c表示图像中包含了一个物品类别为c的物品,物品d表示图像中包含了一个物品类别为d的物品。通过低速传送带将物品类别为a的物品、物品类别为b的物品、物品类别为c的物品、物品类别为d的物品传送到各物品类别对应的垃圾箱中，如图中所示的不燃烧不可回收垃圾、可燃烧不可回收垃圾、可回收垃圾、厨余垃圾，并进行垃圾回收处理，将垃圾回收处理结果发送到用户终端。
127.本技术实施例提供的基于图像识别的垃圾处理方法，能够利用图像识别技术，对垃圾对应的待处理图像进行图像识别，得到待处理图像中所包含的各物品的物品类别，从而能够辅助用户进行垃圾分类或者进行垃圾自动分类处理，提高垃圾分类的准确性；另外，本技术实施例的方法还可以根据各物品类别对应的属性信息，确定各物品类别对应的垃圾评估结果，可以使用户了解各物品类别对应的垃圾评估结果，根据垃圾评估结果进行相应的垃圾处理，或者根据确定出的垃圾分类评估结果进行垃圾的回收处理。
128.与图1中所示方法相同的原理，本公开的实施例中还提供了一种基于图像识别的垃圾处理装置20，如图9所示，该基于图像识别的垃圾处理装置20包括：
129.待处理图像获取模块21，用于获取垃圾对应的待处理图像；
130.垃圾识别模块22，用于对待处理图像进行识别，得到待处理图像中包含的各物品所属的物品类别和每个物品的属性信息；
131.评估结果确定模块23，用于对于每个物品类别，基于属于物品类别的各物品的属性信息，确定物品类别对应的垃圾评估结果；
132.分类评估结果生成模块24，用于基于各物品类别的垃圾评估结果，生成待处理图像对应的垃圾分类评估结果。
133.在一种可能的实现方式中，垃圾识别模块22，用于：
134.对待处理图像中包含的各物品的类别进行识别，得到待处理图像中包含的各物品所属的物品类别；
135.对于每个物品，基于待处理图像获取物品的物品特征，基于物品特征，确定物品的属性信息。
136.在一种可能的实现方式中，对于每个物品，垃圾识别模块22在基于待处理图像获取物品的物品特征，基于物品特征，确定物品的属性信息时，用于：
137.基于待处理图像，提取物品的视觉特征，物品特征包括视觉特征；
138.基于视觉特征，确定物品的属性信息。
139.在一种可能的实现方式中，视觉特征包括色彩特征或外形特征中的至少一项。
140.在一种可能的实现方式中，在视觉特征包括色彩特征时，对于每个物品，垃圾识别模块22在基于视觉特征，确定物品的属性信息时，用于：
141.基于物品的色彩特征，确定物品的新旧程度，属性信息包括新旧程度。
142.在一种可能的实现方式中，在视觉特征包括外形特征时，对于每个物品，垃圾识别模块22在基于物品的视觉特征，确定物品的属性信息时，用于：
143.基于物品的外形特征，确定物品的尺寸信息；
144.基于尺寸信息，确定物品的实体信息，实体信息包括物品的质量、面积或体积中的至少一项，属性信息包括实体信息。
145.在一种可能的实现方式中，对于每个物品类别，评估结果确定模块23用于以下至少一项：
146.基于属于物品类别的各物品的属性信息，确定物品类别对应的垃圾价值，垃圾价值包括危害程度或回收价值中的至少一项，垃圾评估结果包括垃圾价值；
147.统计属于物品类别的各物品的数量，垃圾评估结果包括属于物品类别的各物品的数量；
148.基于属于物品类别的各物品的属性信息，确定物品类别对应的属性信息，垃圾评估结果包括物品类别对应的属性信息。
149.在一种可能的实现方式中，对于每个物品类别，评估结果确定模块23在基于属于物品类别的各物品的属性信息，确定物品类别对应的垃圾价值时，用于：
150.基于属于物品类别的各物品的属性信息，确定属于物品类别的各物品的垃圾价值；
151.基于属于物品类别的各物品的垃圾价值，确定物品类别对应的垃圾价值。
152.在一种可能的实现方式中，垃圾分类评估结果包括各物品类别对应的垃圾评估结果。
153.在一种可能的实现方式中，对于任一物品类别，垃圾评估结果包括物品类别的垃圾价值，垃圾价值包括危害程度和回收价值；
154.分类评估结果生成模块24，用于以下至少一项：
155.对于每个物品类别，基于物品类别的回收价值，获取物品类别对应的回收预约信息，垃圾分类评估结果包括物品类别对应的回收预约信息；
156.对于每个物品类别，基于物品类别的危害程度，确定物品类别对应的危害程度提示信息或环境影响提示信息中的至少一项；垃圾分类评估结果包括物品类别对应的危害程度提示信息或环境影响提示信息中的至少一项。
157.在一种可能的实现方式中，基于图像识别的垃圾处理装置20还包括以下至少一项：
158.结果显示模块，用于将垃圾分类评估结果提供给用户；或者
159.垃圾处理模块，用于基于垃圾分类评估结果进行垃圾回收处理。
160.本公开实施例的基于图像识别的垃圾处理装置可执行本公开的实施例所提供的与图1对应的基于图像识别的垃圾处理方法，其实现原理相类似，本公开实施例中的基于图像识别的垃圾处理装置中的各模块所执行的动作是与本公开实施例中的基于图像识别的垃圾处理方法中的步骤相对应的，对于基于图像识别的垃圾处理装置的各模块的详细功能描述具体可以参见前文中所示的对应的基于图像识别的垃圾处理方法中的描述，此处不再赘述。
161.本技术实施例提供的基于图像识别的垃圾处理装置，能够利用图像识别技术，对垃圾对应的待处理图像进行图像识别，得到待处理图像中所包含的各物品的物品类别，从而能够辅助用户进行垃圾分类或者进行垃圾自动分类处理，提高垃圾分类的准确性；另外，
本技术实施例的方法还可以根据各物品类别对应的属性信息，确定各物品类别对应的垃圾评估结果，可以使用户了解各物品类别对应的垃圾评估结果，根据垃圾评估结果进行相应的垃圾处理，或者根据确定出的垃圾分类评估结果进行垃圾的回收处理。
162.其中，所述基于图像识别的垃圾处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码)，例如该基于图像识别的垃圾处理装置为一个应用软件；该装置可以用于执行本技术实施例提供的方法中的相应步骤。
163.在一些实施例中，本发明实施例提供的基于图像识别的垃圾处理装置可以采用软硬件结合的方式实现，作为示例，本发明实施例提供的基于图像识别的垃圾处理装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的基于图像识别的垃圾处理方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(asic，application specific integrated circuit)、dsp、可编程逻辑器件(pld，programmacle logic device)、复杂可编程逻辑器件(cpld，complex programmacle logic device)、现场可编程门阵列(fpga，field
‑
programmacle gate array)或其他电子元件。
164.在另一些实施例中，本发明实施例提供的基于图像识别的垃圾处理装置可以采用软件方式实现，图9示出了存储在存储器中的基于图像识别的垃圾处理装置，其可以是程序和插件等形式的软件，并包括一系列的模块，包括待处理图像获取模块21、垃圾识别模块22、评估结果确定模块23、分类评估结果生成模块24，用于实现本发明实施例提供的基于图像识别的垃圾处理方法。
165.上述实施例从虚拟模块的角度介绍了基于图像识别的垃圾处理装置，下述从实体模块的角度介绍一种电子设备，具体如下所示：
166.本技术实施例提供了一种电子设备，如图10所示，图10所示的电子设备10000包括：处理器10001和存储器10003。其中，处理器10001和存储器10003相连，如通过总线10002相连。可选地，电子设备10000还可以包括收发器10004。需要说明的是，实际应用中收发器10004不限于一个，该电子设备10000的结构并不构成对本技术实施例的限定。
167.处理器10001可以是cpu，通用处理器，gpu，dsp，asic，fpga或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器10001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，dsp和微处理器的组合等。
168.总线10002可包括一通路，在上述组件之间传送信息。总线10002可以是pci总线或eisa总线等。总线10002可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
169.存储器10003可以是rom或可存储静态信息和指令的其他类型的静态存储设备，ram或者可存储信息和指令的其他类型的动态存储设备，也可以是eeprom、cd
‑
rom或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
170.存储器10003用于存储执行本技术方案的应用程序代码，并由处理器10001来控制执行。处理器10001用于执行存储器10003中存储的应用程序代码，以实现前述任一方法实施例所示的内容。
171.本技术实施例提供了一种电子设备，本技术实施例中的电子设备包括：一个或多个处理器；存储器；一个或多个计算机程序，其中一个或多个计算机程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序被处理器执行时，获取垃圾对应的待处理图像；对所述待处理图像进行识别，得到所述待处理图像中包含的各物品所属的物品类别和每个所述物品的属性信息；对于每个所述物品类别，基于属于所述物品类别的各物品的属性信息，确定所述物品类别对应的垃圾评估结果；基于各所述物品类别的垃圾评估结果，生成所述待处理图像对应的垃圾分类评估结果。
172.本技术实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当计算机程序在处理器上运行时，使得处理器可以执行前述方法实施例中相应内容。
173.根据本技术的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述基于图像识别的垃圾处理方法的各种可选实现方式中提供的方法。
174.应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
175.以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。