垃圾投放检测方法、装置、设备及存储介质与流程

1.本发明涉及人工智能技术领域，尤其涉及一种垃圾投放检测方法、装置、设备及存储介质。


背景技术：

2.面对日益增长的垃圾产量，通过垃圾分类管理最大限度地实现垃圾资源利用，减少垃圾处置数量，是非常重要的举措。目前，北京、深圳、南京等多个城市已制定垃圾分类管理条例，强制实行垃圾分类。现有技术中，由于摄像头的安装位置和投放人的身体姿态影响，不一定能正确抓拍到投放垃圾的双手，容易错报，从而导致垃圾投放的误报率较高。
3.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

4.本发明的主要目的在于提供了一种垃圾投放检测方法、装置、设备及存储介质，旨在解决如何降低垃圾投放的误报率的技术问题。
5.为实现上述目的，本发明提供了一种垃圾投放检测方法，所述垃圾投放检测方法包括：
6.确定垃圾投放区域内的停留行人和垃圾桶位置信息；
7.获取所述停留行人的骨骼关键点信息，并根据所述骨骼关键点信息确定手臂摆幅信息；
8.根据所述垃圾桶位置信息和所述手臂摆幅信息进行垃圾投放检测。
9.可选地，所述获取所述停留行人的骨骼关键点信息，并根据所述骨骼关键点信息确定手臂摆幅信息的步骤，包括：
10.获取所述停留行人的骨骼关键点信息，并根据所述骨骼关键点信息获得各关键点坐标及各关键点对应的置信度；
11.根据所述置信度从各关键点中选取多个目标关键点坐标；
12.根据多个目标关键点坐标确定手臂摆幅信息。
13.可选地，所述根据多个目标关键点坐标确定手臂摆幅信息的步骤，包括：
14.从多个目标关键点坐标中选取手掌关键点坐标和手臂关键点坐标；
15.根据所述手臂关键点坐标和所述手掌关键点坐标确定手臂摆幅信息。
16.可选地，所述从多个目标关键点坐标中选取手掌关键点坐标和手臂关键点坐标的步骤，包括：
17.从多个目标关键点坐标中选取手掌关键点坐标，并根据所述垃圾桶位置信息确定垃圾桶坐标；
18.根据所述垃圾桶坐标判断所述手掌关键点坐标是否满足预设投放条件；
19.在所述手掌关键点坐标满足所述预设投放条件时，从各目标关键点坐标中选取手
臂关键点坐标。
20.可选地，所述根据所述手臂关键点坐标和所述手掌关键点坐标确定手臂摆幅信息的步骤，包括：
21.根据所述手臂关键点坐标和所述手掌关键点坐标确定手臂摆幅角度；
22.判断所述手臂摆幅角度是否大于或等于预设摆幅阈值；
23.在所述手臂摆幅角度大于或等于所述预设摆幅阈值时，根据所述手臂摆幅角度确定手臂摆幅信息。
24.可选地，所述根据所述手臂摆幅角度确定手臂摆幅信息的步骤，包括：
25.获取所述停留行人对应的手臂摆幅时间；
26.根据所述手臂摆幅角度和所述手臂摆幅时间确定手臂摆幅角速度；
27.判断所述手臂摆幅角速度是否大于或等于预设摆幅角速度阈值；
28.在所述手臂摆幅角速度大于或等于所述预设摆幅角速度阈值时，根据所述手臂摆幅角度和所述手臂摆幅角速度确定手臂摆幅信息。
29.可选地，所述判断所述手臂摆幅角速度是否大于或等于预设摆幅角速度阈值的步骤之后，还包括：
30.在所述手臂摆幅角速度小于所述预设摆幅角速度阈值时，返回所述确定垃圾投放区域内的停留行人的步骤。
31.可选地，所述根据所述垃圾桶位置信息和所述手臂摆幅信息进行垃圾投放检测的步骤，包括：
32.获取所述停留行人在垃圾投放区域内的停留时长；
33.判断所述停留时长是否小于或等于预设停留阈值；
34.在所述停留时长小于或等于所述预设停留阈值时，根据所述垃圾桶位置信息和所述手臂摆幅信息进行垃圾投放检测。
35.可选地，所述根据所述垃圾桶位置信息和所述手臂摆幅信息进行垃圾投放检测的步骤之后，还包括：
36.在检测到停留行人进行垃圾投放时，获取垃圾图像；
37.根据所述垃圾图像确定垃圾分类信息，并根据所述垃圾分类信息对所述停留行人进行垃圾投放提示。
38.可选地，所述根据所述垃圾图像确定垃圾分类信息的步骤，包括：
39.对所述垃圾图像进行预处理，获得待处理垃圾图像；
40.对所述待处理垃圾图像进行卷积处理，获得卷积垃圾图像；
41.对所述卷积垃圾图像进行池化处理，获得垃圾特征图像；
42.根据所述垃圾特征图像确定垃圾分类信息。
43.可选地，所述根据所述垃圾特征图像确定垃圾分类信息的步骤，包括：
44.根据所述垃圾特征图像确定垃圾特征信息；
45.对所述垃圾特征信息进行分类处理，获得垃圾分类信息。
46.可选地，所述确定垃圾投放区域内的停留行人和垃圾桶位置信息的步骤之前，还包括：
47.获取垃圾桶全景图像，并根据所述垃圾桶全景图像对垃圾桶位置进行标定，获得
顶点像素坐标；
48.根据所述顶点像素坐标确定垃圾桶标定区域，并根据所述垃圾桶标定区域确定垃圾投放区域。
49.此外，为实现上述目的，本发明还提出一种垃圾投放检测装置，所述垃圾投放检测装置包括：
50.确定模块，用于确定垃圾投放区域内的停留行人和垃圾桶位置信息；
51.获取模块，用于获取所述停留行人的骨骼关键点信息，并根据所述骨骼关键点信息确定手臂摆幅信息；
52.检测模块，用于根据所述垃圾桶位置信息和所述手臂摆幅信息进行垃圾投放检测。
53.可选地，所述获取模块，还用于获取所述停留行人的骨骼关键点信息，并根据所述骨骼关键点信息获得各关键点坐标及各关键点对应的置信度；
54.所述获取模块，还用于根据所述置信度从各关键点中选取多个目标关键点坐标；
55.所述获取模块，还用于根据多个目标关键点坐标确定手臂摆幅信息。
56.可选地，所述获取模块，还用于从多个目标关键点坐标中选取手掌关键点坐标和手臂关键点坐标；
57.所述获取模块，还用于根据所述手臂关键点坐标和所述手掌关键点坐标确定手臂摆幅信息。
58.可选地，所述获取模块，还用于从多个目标关键点坐标中选取手掌关键点坐标，并根据所述垃圾桶位置信息确定垃圾桶坐标；
59.所述获取模块，还用于根据所述垃圾桶坐标判断所述手掌关键点坐标是否满足预设投放条件；
60.所述获取模块，还用于在所述手掌关键点坐标满足所述预设投放条件时，从各目标关键点坐标中选取手臂关键点坐标。
61.可选地，所述获取模块，还用于根据所述手臂关键点坐标和所述手掌关键点坐标确定手臂摆幅角度；
62.所述获取模块，还用于判断所述手臂摆幅角度是否大于或等于预设摆幅阈值；
63.所述获取模块，还用于在所述手臂摆幅角度大于或等于所述预设摆幅阈值时，根据所述手臂摆幅角度确定手臂摆幅信息。
64.可选地，所述获取模块，还用于获取所述停留行人对应的手臂摆幅时间；
65.所述获取模块，还用于根据所述手臂摆幅角度和所述手臂摆幅时间确定手臂摆幅角速度；
66.所述获取模块，还用于判断所述手臂摆幅角速度是否大于或等于预设摆幅角速度阈值；
67.所述获取模块，还用于在所述手臂摆幅角速度大于或等于所述预设摆幅角速度阈值时，根据所述手臂摆幅角度和所述手臂摆幅角速度确定手臂摆幅信息。
68.此外，为实现上述目的，本发明还提出一种垃圾投放检测设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的垃圾投放检测程序，所述垃圾投放检测程序配置为实现如上文所述的垃圾投放检测方法的步骤。
69.此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有垃圾投放检测程序，所述垃圾投放检测程序被处理器执行时实现如上文所述的垃圾投放检测方法的步骤。
70.本发明首先确定垃圾投放区域内的停留行人和垃圾桶位置信息，然后获取停留行人的骨骼关键点信息，并根据骨骼关键点信息确定手臂摆幅信息，之后根据垃圾桶位置信息和骨骼关键点信息对手臂摆幅信息进行垃圾投放检测。相较于现有技术，需要手动抓拍垃圾投放图像，导致垃圾投放的检测效率低下，而本发明是根据垃圾桶位置信息和手臂摆幅信息进行垃圾投放检测，进而提高了垃圾投放的检测效率，且降低了垃圾投放的误报率。
附图说明
71.图1是本发明实施例方案涉及的硬件运行环境的垃圾投放检测设备的结构示意图；
72.图2为本发明垃圾投放检测方法第一实施例的流程示意图；
73.图3为本发明垃圾投放检测方法第一实施例的人体骨骼关键点示意图；
74.图4为本发明垃圾投放检测方法第一实施例的手臂摆幅角速度曲线图；
75.图5为本发明垃圾投放检测方法第二实施例的流程示意图；
76.图6为本发明垃圾投放检测装置第一实施例的结构框图。
77.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
78.应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
79.参照图1，图1为本发明实施例方案涉及的硬件运行环境的垃圾投放检测设备结构示意图。
80.如图1所示，该垃圾投放检测设备可以包括：处理器1001，例如中央处理器(central processing unit，cpu)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(k eyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(wirele ss-fidelity，wi-fi)接口)。存储器1005可以是高速的随机存取存储器(ra ndom access memory，ram)存储器，也可以是稳定的非易失性存储器(n on-volatile memory，nvm)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
81.本领域技术人员可以理解，图1中示出的结构并不构成对垃圾投放检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
82.如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及垃圾投放检测程序。
83.在图1所示的垃圾投放检测设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明垃圾投放检测设备中的处理器1001、存储器1005可以设置在垃圾投放检测设备中，所述垃圾投放检测设备通过处理器1001调用存储器1005中存储的垃圾投放检测程序，并执行本发明实施例提供的垃圾投放检
测方法。
84.本发明实施例提供了一种垃圾投放检测方法，参照图2，图2为本发明垃圾投放检测方法第一实施例的流程示意图。
85.本实施例中，所述垃圾投放检测方法包括以下步骤：
86.步骤s10：确定垃圾投放区域内的停留行人和垃圾桶位置信息。
87.易于理解的是，本实施例的执行主体可以是具有数据处理、网络通讯和程序运行等功能的垃圾投放检测设备，也可以为其他具有相似功能的计算机设备等，本实施例并不加以限制。
88.可以理解的是，垃圾投放区域可以理解为垃圾投放进入区域和(或)垃圾投放走出区域等，垃圾桶位置信息可以为垃圾桶的空间坐标信息等，本实施例并不加以限制。
89.进一步地，为了能够精准确定垃圾投放区域，确定垃圾投放区域内的停留行人和垃圾桶位置信息的步骤之前，还可以获取垃圾桶全景图像，并根据垃圾桶全景图像对垃圾桶位置进行标定，获得顶点像素坐标，之后根据顶点像素坐标确定垃圾桶标定区域，并根据垃圾桶标定区域确定垃圾投放区域等。
90.垃圾投放区域的划定方式还可以为采用四边形对投放点的垃圾桶位置进行整体标定，获取四个顶点的像素坐标，记为area_bin。之后采用四边形划定垃圾投放进入区域和垃圾投放走出区域，分别记为area_in和area_out，其中，垃圾投放进入区域和垃圾投放走出区域的大小可以依据现场情况选定等。
91.假设垃圾投放进入区域宽度为area_bin宽度的2～4倍，高度为area_bin 高度的1.2倍，则垃圾投放走出区域宽度可以为area_bin宽度的3～5倍，高度为area_bin高度的1.4倍等。
92.需要说明的是，垃圾投放进入区域和垃圾投放走出区域可以是同一区域，但在边界处由于图像检测误差，或者行人微小的位置变动，检测结果会显示行人短时间内反复进出，这种抖动或切换对后续处理带来很多不便。因此，将垃圾投放走出区域设定面积需要比垃圾投放进入检测区域大，进而可以降低图像检测误差等。
93.还需要说明的是，停留行人为在垃圾投放进入区域的待检测人员等，由于较多行人可以从垃圾投放区域来回走动，为了能够精准识别需要垃圾投放的停留行人，可以根据现场资源条件选用合适的智能模型，智能模型可以对位于投放区域内的行人进行检测和跟踪等。
94.由于目标检测yolo v5模型进行行人检测，其推理时间最快0.007秒，即每秒140帧，而其权重文件大小只有27mb，智能模型可以为目标检测yo lo v5模型，进而可以利用目标检测yolo v5模型进行行人检测。之后行人跟踪可以选用多目标跟踪算法deepsort，进而利用运动模型和外观信息进行数据关联。
95.假设多目标跟踪算法若检测到行人i，则会为其生成唯一标识，记为idi，且只要没有跟踪丢失，idi保持不变。并建立行人id动态列表id_list＝[id1,id 2
,......]，当检测到有行人进入到检测区area_in时，将其id添加到列表中；当检测到行人走出检测区area_out时，将其id从类别中删除。还可以记录行人 i进入和走出投放区域的时间分别为t
i,in
和t
i,out
进行存储等。
[0096]
步骤s20：获取所述停留行人的骨骼关键点信息，并根据所述骨骼关键点信息确定
手臂摆幅信息。
[0097]
骨骼关键点信息可以为停留行人的多个关节点坐标信息，可以为手掌坐标，还可以手肘坐标，还可以为肩坐标等，手臂摆幅信息可以为手臂摆幅角度和手臂摆幅角速度等，本实施例并不加以限制。
[0098]
进一步地，为了能够精准获取手臂摆幅信息，获取停留行人的骨骼关键点信息，并根据骨骼关键点信息确定手臂摆幅信息的步骤，包括：获取停留行人的骨骼关键点信息，骨骼关键点信息包括各关键点坐标及各关键点对应的置信度，根据置信度从各关键点中选取多个目标关键点坐标，根据多个目标关键点坐标确定手臂摆幅信息等。
[0099]
假设骨骼关键点信息包括手掌坐标、手肘坐标及肩坐标，则手掌坐标对应的置信度为0.9，手肘坐标对应的置信度为0.1，肩坐标对应的置信度为0.7，若预设置信阈值为0.6，手掌坐标和肩坐标对应的置信度大于预设置信阈值，则将手掌坐标和肩坐标作为目标关键点坐标，手肘坐标对应的置信度小于预设置信阈值，需要利用骨骼关键点获取软件重新获取手肘坐标等，其中，预设置信阈值可以为用户自定义设置，可以为0.6，还可以为0.8等，本实施例并不加以限制。
[0100]
根据多个目标关键点坐标确定手臂摆幅信息的方式，还可以为从多个目标关键点坐标中选取手掌关键点坐标和手臂关键点坐标，之后根据手臂关键点坐标和手掌关键点坐标确定手臂摆幅信息等。
[0101]
从多个目标关键点坐标中选取手掌关键点坐标和手臂关键点坐标的处理方式可以为，从多个目标关键点坐标中选取手掌关键点坐标，并根据垃圾桶位置信息确定垃圾桶坐标，根据垃圾桶坐标判断所述手掌关键点坐标是否满足预设投放条件；在手掌关键点坐标满足所述预设投放条件时，从各目标关键点坐标中选取手臂关键点坐标等。
[0102]
根据手臂关键点坐标和所述手掌关键点坐标确定手臂摆幅信息的方式可以为，根据手臂关键点坐标和手掌关键点坐标确定手臂摆幅角度，判断所述手臂摆幅角度是否大于或等于预设摆幅阈值，在所述手臂摆幅角度大于或等于所述预设摆幅阈值时，根据所述手臂摆幅角度确定手臂摆幅信息等，其中，预设摆幅阈值可以为用户自定义设置，可以为60度，也可以为80度，还可以为100度等。
[0103]
根据手臂摆幅角度确定手臂摆幅信息的步骤可以为，获取停留行人对应的手臂摆幅时间，根据手臂摆幅角度和手臂摆幅时间确定手臂摆幅角速度，判断手臂摆幅角速度是否大于或等于预设摆幅角速度阈值，在手臂摆幅角速度大于或等于预设摆幅角速度阈值时，根据手臂摆幅角度和所述手臂摆幅角速度确定手臂摆幅信息等，在手臂摆幅角速度小于预设摆幅角速度阈值时，返回确定垃圾投放区域内的停留行人的步骤，其中预设摆幅角速度可以为用户自定义设置，可以为4，还可以为5等。
[0104]
假设根据手臂关键点坐标和手掌关键点坐标与地面之间的角度即手臂摆幅角度为100度，判断手臂摆幅角度100度是否大于或等于预设摆幅阈值90 度，在手臂摆幅角度100度大于或等于预设摆幅阈值90度时，获取停留行人对应的手臂摆幅时间，若手臂摆幅时间为20s时，大于预设手臂摆幅时间阈值 4s时，根据手臂摆幅角度100度和手臂摆幅时间20s确定手臂摆幅角速度5，判断手臂摆幅角速度是否大于或等于预设摆幅角速度阈值4，在手臂摆幅角速度大于或等于预设摆幅角速度阈值时，根据手臂摆幅角度和所述手臂摆幅角速度确定手臂摆幅信息根据所述手臂摆幅角度确定手臂摆幅信息等。
[0105]
步骤s30：根据所述垃圾桶位置信息和所述手臂摆幅信息进行垃圾投放检测。
[0106]
根据垃圾桶位置信息和手臂摆幅信息进行垃圾投放检测的步骤可以为，获取停留行人在垃圾投放区域内的停留时长，然后判断停留时长是否小于或等于预设停留阈值，在停留时长小于或等于预设停留阈值时，根据垃圾桶位置信息和骨骼关键点信息对手臂摆幅信息进行垃圾投放检测，其中预设停留阈值可以为用户自定义设置，可以为5min，还可以为6min等。
[0107]
在具体实现中，对检测跟踪到的每个行人，采用自上向下的人体关键点检测模型alphapose输出人体17个关键点坐标，如图3所示，图3为本发明垃圾投放检测方法第一实施例的人体骨骼关键点示意图，其中，1为脖子关键点，2为右肩关键点，3为右肘关键点，4为右腕关键点，5为左肩关键点，6 为左肘关键点，7为左腕关键点，8为右臀关键点，9为右膝关键点，10为右踝关键点，11为左臀关键点，12为左膝关键点，13为左踝关键点。骨骼关键点中的每个点对应一个坐标pi＝(xi,yi)和得分ci∈[0,1],i＝0,1,...,16,分别表示骨骼关键点示意图中的像素位置，以及该骨骼点位置的置信度，之后判断停留行人是否有抛垃圾行为，并检测双手骨骼点是否曾位于垃圾桶上方，若(x4,y4) ∈area_bin且(x7,y7)∈area_bin不成立，表明未在厨余垃圾桶上方检测到双手骨骼点，则通过双肘、双手骨骼点位置实时计算行人胳膊的摆幅(角度)，判断摆幅最大值及摆幅角速度超过阈值。
[0108]
计算摆幅角速度的方式可以为计算并保存每个时刻帧tj向量与竖直方向y轴的夹角，记为当检测到行人走出检测区域时，计算双手最大摆幅若max_degree《degr ee
thresh
，则检测周界内行人检测、跟踪，否则在取max_degree值的角度左右两侧由近及远各取ci》c
thresh
的10个点，通过线性拟合计算出两条直线的斜率k1和k 2
，即角速度，如图4所示。图4为本发明垃圾投放检测方法第一实施例的手臂摆幅角速度曲线图，图中
“×”
点ci《c
thresh
，不参与拟合，x轴为视频帧时间，即帧数，避免计算天文时间引入的算法耗时。记k＝max(∣k1∣,∣k2∣)，若k《k
thresh
，则检测周界内行人检测、跟踪，否则计算行人在垃圾投放区域的停留时间，判断是否小于阈值。记ti＝t
i,out-t
i,in
，若ti》t
thresh
，则检测周界内行人检测、跟踪，否则告警提示“请正确投放垃圾”，并将该行人id从id_list中删除。判断所有视频帧是否分析完毕，否则检测周界内行人检测、跟踪，其中，ti的单位为视频帧数等。
[0109]
进一步地，为了降低垃圾投放的误报率，根据垃圾桶位置信息和手臂摆幅信息进行垃圾投放检测的步骤之后，对垃圾图像进行预处理，获得待处理垃圾图像，对待处理垃圾图像进行卷积处理，获得卷积垃圾图像，对卷积垃圾图像进行池化处理，获得垃圾特征图像，根据垃圾特征图像确定垃圾分类信息，其中，垃圾分类信息可以为干垃圾，有害垃圾，湿垃圾等，之后根据垃圾分类信息判断停留行人是否将垃圾进行正确投放等。
[0110]
根据垃圾特征图像确定垃圾分类信息的步骤，可以为根据垃圾特征图像确定垃圾特征信息，之后对垃圾特征信息进行分类处理，获得垃圾分类信息等。
[0111]
预处理是指对图像进行增强处理，该增强处理包括噪声消除、图像平滑和图像锐化处理过程，该增强处理通过图像识别处理器实现。
[0112]
特征图像由图像识别处理器通过神经网络模型训练获取，该神经网络模型为已经训练过的神经网络模型且包括以下15层：相互交叉的四个卷积层和四个下采样层、三个全
连接层、三个激活层、一个分类层，其中，全连接层用来调节参数、使网络更稳定的，激活层用于提高网络速度；在该神经网络模型中，预处理的图像经过交叉进行的卷积和下采样处理后，由图像识别处理器提取第10层激活层中权值参数作为图像的特征。
[0113]
特征不仅要能够更好地描述图像，减少过度拟合，更重要的是还要能够很好地区分不同类别的图像。
[0114]
本发明构建的卷积神经网络图像训练模型总共有15层，其结构提高了识别率，对垃圾的识别具有更好的稳定性。本发明所用的预设的分类网络可以是多种模型，根据用户的需要和图像的数量，可以选取不同的分类器进行比较，如支持向量机、径向基分类器、bp神经网络，根据实验支持向量机的效果最佳，速度最快识别率最高。
[0115]
特征图像识别通过预设的分类网络模型实现，该分类网络模型为通过特征图像训练过的网络模型，在获取特征图像后，直接输入到该分类网络模型中完成对特征图像进行识别，然后将识别结果返回给图像识别处理器，图像识别处理器根据识别结果判断是否可回收，判断可回收垃圾类别等。
[0116]
在本实施例中，首先确定垃圾投放区域内的停留行人和垃圾桶位置信息，然后获取停留行人的骨骼关键点信息，并根据骨骼关键点信息确定手臂摆幅信息，之后根据垃圾桶位置信息和手臂摆幅信息进行垃圾投放检测。相较于现有技术，需要手动抓拍垃圾投放图像，导致垃圾投放的检测效率低下，而本发明是根据垃圾桶位置信息和手臂摆幅信息进行垃圾投放检测，进而提高了垃圾投放的检测效率，且降低了垃圾投放的误报率。
[0117]
参考图5，图5为本发明垃圾投放检测方法第二实施例的流程示意图。
[0118]
基于上述第一实施例，在本实施例中，所述步骤s20，还包括：
[0119]
步骤s201：获取所述停留行人的骨骼关键点信息，并根据所述骨骼关键点信息获得各关键点坐标及各关键点对应的置信度。
[0120]
骨骼关键点信息可以为停留行人的多个关节点坐标信息，可以为手掌坐标，还可以手肘坐标，还可以为肩坐标等，手臂摆幅信息可以为手臂摆幅角度和手臂摆幅角速度等，本实施例并不加以限制。
[0121]
假设骨骼关键点信息包括手掌坐标、手肘坐标及肩坐标，则手掌坐标对应的置信度为9，手肘坐标对应的置信度为4，肩坐标对应的置信度为7等。
[0122]
步骤s202：根据所述置信度从各关键点中选取多个目标关键点坐标。
[0123]
进一步地，为了能够精准获取手臂摆幅信息，获取停留行人的骨骼关键点信息，并根据骨骼关键点信息确定手臂摆幅信息的步骤，包括：获取停留行人的骨骼关键点信息，并根据骨骼关键点信息确定各关键点坐标及各关键点对应的置信度，根据所述置信度从各关键点中选取多个目标关键点坐标。
[0124]
假设骨骼关键点信息包括手掌坐标、手肘坐标及肩坐标，则手掌坐标对应的置信度为0.9，手肘坐标对应的置信度为0.4，肩坐标对应的置信度为0.7，若预设置信阈值为0.6，手掌坐标和肩坐标对应的置信度大于预设置信阈值，则将手掌坐标和肩坐标作为目标关键点坐标，手肘坐标对应的置信度小于预设置信阈值，需要利用骨骼关键点获取软件重新获取手肘坐标等，其中，预设置信阈值可以为用户自定义设置，可以为0.6，还可以为0.8等，本实施例并不加以限制。
[0125]
根据多个目标关键点坐标确定手臂摆幅信息的方式，还可以为从多个目标关键点
坐标中选取手掌关键点坐标和手臂关键点坐标，之后根据手臂关键点坐标和手掌关键点坐标确定手臂摆幅信息等。
[0126]
从多个目标关键点坐标中选取手掌关键点坐标和手臂关键点坐标的处理方式可以为，从多个目标关键点坐标中选取手掌关键点坐标，并根据垃圾桶位置信息确定垃圾桶坐标，根据垃圾桶坐标判断所述手掌关键点坐标是否满足预设投放条件；在手掌关键点坐标满足所述预设投放条件时，从各目标关键点坐标中选取手臂关键点坐标等。
[0127]
步骤s203：根据多个目标关键点坐标确定手臂摆幅信息。
[0128]
目标关键点坐标可以为手臂关键点坐标和所述手掌关键点坐标，根据手臂关键点坐标和所述手掌关键点坐标确定手臂摆幅信息的方式可以为，根据手臂关键点坐标和手掌关键点坐标确定手臂摆幅角度，判断所述手臂摆幅角度是否大于或等于预设摆幅阈值，在所述手臂摆幅角度大于或等于所述预设摆幅阈值时，根据所述手臂摆幅角度确定手臂摆幅信息等，其中，预设摆幅阈值可以为用户自定义设置，可以为60度，也可以为80度，还可以为100 度等。
[0129]
根据手臂摆幅角度确定手臂摆幅信息的步骤可以为，获取停留行人对应的手臂摆幅时间，根据手臂摆幅角度和手臂摆幅时间确定手臂摆幅角速度，判断手臂摆幅角速度是否大于或等于预设摆幅角速度阈值，在手臂摆幅角速度大于或等于预设摆幅角速度阈值时，根据手臂摆幅角度和所述手臂摆幅角速度确定手臂摆幅信息等，在手臂摆幅角速度小于预设摆幅角速度阈值时，返回确定垃圾投放区域内的停留行人的步骤，其中预设摆幅角速度可以为用户自定义设置，可以为4，还可以为5等。
[0130]
假设根据手臂关键点坐标和手掌关键点坐标与地面之间的角度即手臂摆幅角度为100度，判断手臂摆幅角度100度是否大于或等于预设摆幅阈值90 度，在手臂摆幅角度100度大于或等于预设摆幅阈值90度时，获取停留行人对应的手臂摆幅时间，若手臂摆幅时间为20s时，大于预设手臂摆幅时间阈值 4s时，根据手臂摆幅角度100度和手臂摆幅时间20s确定手臂摆幅角速度5，判断手臂摆幅角速度是否大于或等于预设摆幅角速度阈值4，在手臂摆幅角速度大于或等于预设摆幅角速度阈值时，根据手臂摆幅角度和所述手臂摆幅角速度确定手臂摆幅信息根据所述手臂摆幅角度确定手臂摆幅信息等。
[0131]
在具体实现中，对检测跟踪到的每个行人，采用自上向下的人体关键点检测模型alphapose输出人体17个关键点坐标，如图3所示，图3为本发明垃圾投放检测方法第一实施例的人体骨骼关键点示意图，其中骨骼关键点中的每个点对应一个坐标pi＝(xi,yi)和得分ci∈[0,1],i＝0,1,...,16,分别表示骨骼关键点示意图中的像素位置，以及该骨骼点位置的置信度，之后判断停留行人是否有抛垃圾行为，并检测双手骨骼点是否曾位于垃圾桶上方，若(x4,y4)∈a rea_bin且(x7,y7)∈area_bin不成立，表明未在厨余垃圾桶上方检测到双手骨骼点，则通过双肘、双手骨骼点位置实时计算行人胳膊的摆幅(角度)，判断摆幅最大值及摆幅角速度超过阈值。
[0132]
计算摆幅角速度的方式可以为计算并保存每个时刻帧tj向量与竖直方向y轴的夹角，记为当检测到行人走出检测区域时，计算双手最大摆幅若max_degre e《degree
thresh
，则检测周界内行人检测、跟踪，否则在取max_degree值的角度左右两侧由近及远各取ci》c
thresh
的10
个点，通过线性拟合计算出两条直线的斜率k1和k2，即角速度，并将手臂摆幅角度和手臂摆幅角速度作为手臂摆幅信息等。
[0133]
在本实施例中，首先获取停留行人的骨骼关键点信息，包括各关键点坐标及关键点对应的置信度，然后根据置信度从各关键点中选取多个目标关键点坐标，之后根据多个目标关键点坐标确定手臂摆幅信息，从而可以精准获取手臂摆幅信息。
[0134]
参照图6，图6为本发明垃圾投放检测装置第一实施例的结构框图。
[0135]
如图6所示，本发明实施例提出的垃圾投放检测装置包括：
[0136]
确定模块6001，用于确定垃圾投放区域内的停留行人和垃圾桶位置信息；
[0137]
获取模块6002，用于获取所述停留行人的骨骼关键点信息，并根据所述骨骼关键点信息确定手臂摆幅信息；
[0138]
检测模块6003，用于根据所述垃圾桶位置信息和所述手臂摆幅信息进行垃圾投放检测。
[0139]
在本实施例中，首先确定垃圾投放区域内的停留行人和垃圾桶位置信息，然后获取停留行人的骨骼关键点信息，并根据骨骼关键点信息确定手臂摆幅信息，之后根据垃圾桶位置信息和手臂摆幅信息进行垃圾投放检测。相较于现有技术，需要手动抓拍垃圾投放图像，导致垃圾投放的检测效率低下，而本发明是根据垃圾桶位置信息和手臂摆幅信息进行垃圾投放检测，进而提高了垃圾投放的检测效率，且降低了垃圾投放的误报率。
[0140]
进一步地，所述获取模块6002，还用于获取所述停留行人的骨骼关键点信息，并根据所述骨骼关键点信息获得各关键点坐标及各关键点对应的置信度；
[0141]
所述获取模块6002，还用于根据所述置信度从各关键点中选取多个目标关键点坐标；
[0142]
所述获取模块6002，还用于根据多个目标关键点坐标确定手臂摆幅信息。
[0143]
进一步地，所述获取模块6002，还用于从多个目标关键点坐标中选取手掌关键点坐标和手臂关键点坐标；
[0144]
所述获取模块6002，还用于根据所述手臂关键点坐标和所述手掌关键点坐标确定手臂摆幅信息。
[0145]
进一步地，所述获取模块6002，还用于从多个目标关键点坐标中选取手掌关键点坐标，并根据所述垃圾桶位置信息确定垃圾桶坐标；
[0146]
所述获取模块6002，还用于根据所述垃圾桶坐标判断所述手掌关键点坐标是否满足预设投放条件；
[0147]
所述获取模块6002，还用于在所述手掌关键点坐标满足所述预设投放条件时，从各目标关键点坐标中选取手臂关键点坐标。
[0148]
进一步地，所述获取模块6002，还用于根据所述手臂关键点坐标和所述手掌关键点坐标确定手臂摆幅角度；
[0149]
所述获取模块6002，还用于判断所述手臂摆幅角度是否大于或等于预设摆幅阈值；
[0150]
所述获取模块6002，还用于在所述手臂摆幅角度大于或等于所述预设摆幅阈值时，根据所述手臂摆幅角度确定手臂摆幅信息。
[0151]
进一步地，所述获取模块6002，还用于获取所述停留行人对应的手臂摆幅时间；
[0152]
所述获取模块6002，还用于根据所述手臂摆幅角度和所述手臂摆幅时间确定手臂摆幅角速度；
[0153]
所述获取模块6002，还用于判断所述手臂摆幅角速度是否大于或等于预设摆幅角速度阈值；
[0154]
所述获取模块6002，还用于在所述手臂摆幅角速度大于或等于所述预设摆幅角速度阈值时，根据所述手臂摆幅角度和所述手臂摆幅角速度确定手臂摆幅信息。
[0155]
进一步地，所述获取模块6002，还用于在所述手臂摆幅角速度小于所述预设摆幅角速度阈值时，返回所述确定垃圾投放区域内的停留行人的操作。
[0156]
进一步地，所述检测模块6003，还用于获取所述停留行人在垃圾投放区域内的停留时长；
[0157]
检测模块6003，还用于判断所述停留时长是否小于或等于预设停留阈值；
[0158]
检测模块6003，还用于在所述停留时长小于或等于所述预设停留阈值时，根据所述垃圾桶位置信息和所述手臂摆幅信息进行垃圾投放检测。
[0159]
进一步地，所述垃圾投放检测装置还包括提示模块；
[0160]
所述提示模块，用于在检测到停留行人进行垃圾投放时，获取垃圾图像；
[0161]
所述提示模块，还用于根据所述垃圾图像确定垃圾分类信息，并根据所述垃圾分类信息对所述停留行人进行垃圾投放提示。
[0162]
进一步地，所述提示模块，还用于对所述垃圾图像进行预处理，获得待处理垃圾图像；
[0163]
所述提示模块，还用于对所述待处理垃圾图像进行卷积处理，获得卷积垃圾图像；
[0164]
所述提示模块，还用于对所述卷积垃圾图像进行池化处理，获得垃圾特征图像；
[0165]
所述提示模块，还用于根据所述垃圾特征图像确定垃圾分类信息。
[0166]
进一步地，所述提示模块，还用于根据所述垃圾特征图像确定垃圾特征信息；
[0167]
所述提示模块，还用于对所述垃圾特征信息进行分类处理，获得垃圾分类信息。
[0168]
进一步地，所述确定模块6001，还用于获取垃圾桶全景图像，并根据所述垃圾桶全景图像对垃圾桶位置进行标定，获得顶点像素坐标；
[0169]
所述确定模块6001，还用于根据所述顶点像素坐标确定垃圾桶标定区域，并根据所述垃圾桶标定区域确定垃圾投放区域。
[0170]
本发明垃圾投放检测装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
[0171]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0172]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0173]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做
出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
[0174]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
[0175]
本发明公开了a1、一种垃圾投放检测方法，所述垃圾投放检测方法包括：
[0176]
确定垃圾投放区域内的停留行人和垃圾桶位置信息；
[0177]
获取所述停留行人的骨骼关键点信息，并根据所述骨骼关键点信息确定手臂摆幅信息；
[0178]
根据所述垃圾桶位置信息和所述手臂摆幅信息进行垃圾投放检测。
[0179]
a2、如权利要求a1所述的方法，所述获取所述停留行人的骨骼关键点信息，并根据所述骨骼关键点信息确定手臂摆幅信息的步骤，包括：
[0180]
获取所述停留行人的骨骼关键点信息，并根据所述骨骼关键点信息获得各关键点坐标及各关键点对应的置信度；
[0181]
根据所述置信度从各关键点中选取多个目标关键点坐标；
[0182]
根据多个目标关键点坐标确定手臂摆幅信息。
[0183]
a3、如权利要求a2所述的方法，所述根据多个目标关键点坐标确定手臂摆幅信息的步骤，包括：
[0184]
从多个目标关键点坐标中选取手掌关键点坐标和手臂关键点坐标；
[0185]
根据所述手臂关键点坐标和所述手掌关键点坐标确定手臂摆幅信息。
[0186]
a4、如权利要求a3所述的方法，所述从多个目标关键点坐标中选取手掌关键点坐标和手臂关键点坐标的步骤，包括：
[0187]
从多个目标关键点坐标中选取手掌关键点坐标，并根据所述垃圾桶位置信息确定垃圾桶坐标；
[0188]
根据所述垃圾桶坐标判断所述手掌关键点坐标是否满足预设投放条件；
[0189]
在所述手掌关键点坐标满足所述预设投放条件时，从各目标关键点坐标中选取手臂关键点坐标。
[0190]
a5、如权利要求a3所述的方法，所述根据所述手臂关键点坐标和所述手掌关键点坐标确定手臂摆幅信息的步骤，包括：
[0191]
根据所述手臂关键点坐标和所述手掌关键点坐标确定手臂摆幅角度；
[0192]
判断所述手臂摆幅角度是否大于或等于预设摆幅阈值；
[0193]
在所述手臂摆幅角度大于或等于所述预设摆幅阈值时，根据所述手臂摆幅角度确定手臂摆幅信息。
[0194]
a6、如权利要求a5所述的方法，所述根据所述手臂摆幅角度确定手臂摆幅信息的步骤，包括：
[0195]
获取所述停留行人对应的手臂摆幅时间；
[0196]
根据所述手臂摆幅角度和所述手臂摆幅时间确定手臂摆幅角速度；
[0197]
判断所述手臂摆幅角速度是否大于或等于预设摆幅角速度阈值；
[0198]
在所述手臂摆幅角速度大于或等于所述预设摆幅角速度阈值时，根据所述手臂摆幅角度和所述手臂摆幅角速度确定手臂摆幅信息。
[0199]
a7、如权利要求a6所述的方法，所述判断所述手臂摆幅角速度是否大于或等于预设摆幅角速度阈值的步骤之后，还包括：
[0200]
在所述手臂摆幅角速度小于所述预设摆幅角速度阈值时，返回所述确定垃圾投放区域内的停留行人的步骤。
[0201]
a8、如权利要求a1-a7任一项所述的方法，所述根据所述垃圾桶位置信息和所述手臂摆幅信息进行垃圾投放检测的步骤，包括：
[0202]
获取所述停留行人在垃圾投放区域内的停留时长；
[0203]
判断所述停留时长是否小于或等于预设停留阈值；
[0204]
在所述停留时长小于或等于所述预设停留阈值时，根据所述垃圾桶位置信息和所述手臂摆幅信息进行垃圾投放检测。
[0205]
a9、如权利要求a8所述的方法，所述根据所述垃圾桶位置信息和所述手臂摆幅信息进行垃圾投放检测的步骤之后，还包括：
[0206]
在检测到停留行人进行垃圾投放时，获取垃圾图像；
[0207]
根据所述垃圾图像确定垃圾分类信息，并根据所述垃圾分类信息对所述停留行人进行垃圾投放提示。
[0208]
a10、如权利要求a9所述的方法，所述根据所述垃圾图像确定垃圾分类信息的步骤，包括：
[0209]
对所述垃圾图像进行预处理，获得待处理垃圾图像；
[0210]
对所述待处理垃圾图像进行卷积处理，获得卷积垃圾图像；
[0211]
对所述卷积垃圾图像进行池化处理，获得垃圾特征图像；
[0212]
根据所述垃圾特征图像确定垃圾分类信息。
[0213]
a11、如权利要求a10所述的方法，所述根据所述垃圾特征图像确定垃圾分类信息的步骤，包括：
[0214]
根据所述垃圾特征图像确定垃圾特征信息；
[0215]
对所述垃圾特征信息进行分类处理，获得垃圾分类信息。
[0216]
a12、如权利要求a1所述的方法，所述确定垃圾投放区域内的停留行人和垃圾桶位置信息的步骤之前，还包括：
[0217]
获取垃圾桶全景图像，并根据所述垃圾桶全景图像对垃圾桶位置进行标定，获得顶点像素坐标；
[0218]
根据所述顶点像素坐标确定垃圾桶标定区域，并根据所述垃圾桶标定区域确定垃圾投放区域。
[0219]
本发明公开了b13、一种垃圾投放检测装置，所述垃圾投放检测装置包括：
[0220]
确定模块，用于确定垃圾投放区域内的停留行人和垃圾桶位置信息；
[0221]
获取模块，用于获取所述停留行人的骨骼关键点信息，并根据所述骨骼关键点信息确定手臂摆幅信息；
[0222]
检测模块，用于根据所述垃圾桶位置信息和所述手臂摆幅信息进行垃圾投放检测。
[0223]
b14、如权利要求b13所述的装置，所述获取模块，还用于获取所述停留行人的骨骼关键点信息，并根据所述骨骼关键点信息获得各关键点坐标及各关键点对应的置信度；
[0224]
所述获取模块，还用于根据所述置信度从各关键点中选取多个目标关键点坐标；
[0225]
所述获取模块，还用于根据多个目标关键点坐标确定手臂摆幅信息。
[0226]
b15、如权利要求b14所述的装置，所述获取模块，还用于从多个目标关键点坐标中选取手掌关键点坐标和手臂关键点坐标；
[0227]
所述获取模块，还用于根据所述手臂关键点坐标和所述手掌关键点坐标确定手臂摆幅信息。
[0228]
b16、如权利要求b15所述的装置，所述获取模块，还用于从多个目标关键点坐标中选取手掌关键点坐标，并根据所述垃圾桶位置信息确定垃圾桶坐标；
[0229]
所述获取模块，还用于根据所述垃圾桶坐标判断所述手掌关键点坐标是否满足预设投放条件；
[0230]
所述获取模块，还用于在所述手掌关键点坐标满足所述预设投放条件时，从各目标关键点坐标中选取手臂关键点坐标。
[0231]
b17、如权利要求b15所述的装置，所述获取模块，还用于根据所述手臂关键点坐标和所述手掌关键点坐标确定手臂摆幅角度；
[0232]
所述获取模块，还用于判断所述手臂摆幅角度是否大于或等于预设摆幅阈值；
[0233]
所述获取模块，还用于在所述手臂摆幅角度大于或等于所述预设摆幅阈值时，根据所述手臂摆幅角度确定手臂摆幅信息。
[0234]
b18、如权利要求b17所述的装置，所述获取模块，还用于获取所述停留行人对应的手臂摆幅时间；
[0235]
所述获取模块，还用于根据所述手臂摆幅角度和所述手臂摆幅时间确定手臂摆幅角速度；
[0236]
所述获取模块，还用于判断所述手臂摆幅角速度是否大于或等于预设摆幅角速度阈值；
[0237]
所述获取模块，还用于在所述手臂摆幅角速度大于或等于所述预设摆幅角速度阈值时，根据所述手臂摆幅角度和所述手臂摆幅角速度确定手臂摆幅信息。
[0238]
本发明公开了c19、一种垃圾投放检测设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的垃圾投放检测程序，所述垃圾投放检测程序配置为实现如上文所述的垃圾投放检测方法的步骤。
[0239]
本发明公开了d20、一种存储介质，其特征在于，所述存储介质上存储有垃圾投放检测程序，所述垃圾投放检测程序被处理器执行时实现如上文所述的垃圾投放检测方法的步骤。