滑块异常检测方法、装置和起重机与流程

1.本发明涉及深度学习相关技术领域，尤其涉及一种滑块异常检测方法、装置和起重机。


背景技术：

2.起重臂场景下，滑块的异常情况通常是随着时间变化的，存在强的时序相关性的特点。目前应用于起重臂场景下的滑块异常检测方法一般通用性高，可以通过视频检测滑块的异常行为。但是，针对视频进行分析的检测模型通常情况下模型体量大，复杂度高，对服务器算力要求高，实时性难以保证。


技术实现要素：

3.本发明提供一种滑块异常检测方法、装置和起重机，用以解决现有技术针对现有技术中的检测模型体量大，复杂度高，对服务器算力要求高，无法保证实时性的缺陷。
4.本发明提供一种滑块异常检测方法，包括：
5.获取实时视频流，对所述实时视频流进行实时抽帧得到目标图片，确定目标图片集；其中，所述目标图片集包括距离当前时刻预设时间段内拍摄的多张目标图片；
6.将所述目标图片集输入预设的检测模型，得到异常检测结果；其中，所述检测模型用于确定所述目标图片集中各个目标图片中的滑块区域，提取滑块区域的几何特征，基于随机森林分类方法和所述几何特征进行分类，得到异常检测结果；
7.基于所述异常检测结果进行异常通报。
8.根据本发明提供的一种滑块异常检测方法，所述获取实时视频流，对所述实时视频流进行实时抽帧得到目标图片，确定目标图片集；其中，所述目标图片集包括距离当前时刻预设时间段内拍摄的多张目标图片，包括：
9.获取实时视频流；
10.对所述实时视频流进行解码得到多张连续的图片；
11.每间隔第一预设数量的图片抽取一张图片作为目标图片；
12.基于先入先出的原则将所述目标图片存入目标图片集中；其中，所述目标图片集用于存储第二预设数量的目标图片。
13.根据本发明提供的一种滑块异常检测方法，所述检测模型包括：语义分割模型、特征提取模型、随机森林分类模型；
14.所述将所述目标图片集输入预设的检测模型，得到异常检测结果，包括：
15.将所述目标图片集输入所述语义分割模型；
16.基于所述语义分割模型，确定所述目标图片中的滑块区域；
17.将所述目标图片中的滑块区域输入所述特征提取模型，提取所述滑块区域的几何特征；
18.将所述几何特征输入随机森林分类模型，得到异常检测结果；其中，所述随机森林
分类模型是基于所述随机森林分类方法搭建的。
19.根据本发明提供的一种滑块异常检测方法，所述几何特征包括：用于表示滑块移动情况的第一特征、用于表示滑块波动情况的第二特征和用于表示滑块形变情况的第三特征。
20.根据本发明提供的一种滑块异常检测方法，所述第一特征的提取过程包括：
21.确定所述滑块区域的最小外接矩形框；
22.计算所述最小外接矩形框的中心坐标，将所述中心坐标作为所述第一特征。
23.根据本发明提供的一种滑块异常检测方法，所述第二特征的提取过程包括：
24.确定各所述滑块区域的最小外接矩形框；
25.确定各所述滑块区域的最小外接矩形框的中心点，得到多个中心点；
26.确定所述多个中心点的最小外接矩形框；
27.确定所述多个中心点的最小外接矩形框的对角线长度，将所述对角线长度作为所述第二特征。
28.根据本发明提供的一种滑块异常检测方法，所述第三特征的提取过程包括：
29.确定所述滑块区域的最小外接矩形框；
30.确定各所述滑块区域的最小外接矩形框的中心点；
31.确定所述最小外接矩形框的短边的方向为间隙方向；
32.确定经过所述中心点且方向为间隙方向的直线为目标直线；
33.确定所述目标直线与所述滑块区域重合的部分为间隙距离线段，将所述间隙距离线段作为所述第三特征。
34.本发明还提供一种滑块异常检测装置，包括：
35.获取单元，用于获取实时视频流，对所述实时视频流进行实时抽帧得到目标图片，确定目标图片集；其中，所述目标图片集包括距离当前时刻预设时间段内拍摄的多张目标图片；
36.检测单元，用于将所述目标图片集输入预设的检测模型，得到异常检测结果；其中，所述检测模型用于确定所述目标图片集中各个目标图片中的滑块区域，提取滑块区域的几何特征，基于随机森林分类方法和所述几何特征进行分类，得到异常检测结果；
37.通报单元，用于基于所述异常检测结果进行异常通报。
38.本发明还提供一种起重机，包括滑块和检测设备，所述检测设备用于执行如上述任一种所述滑块异常检测方法的步骤。
39.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述滑块异常检测方法的步骤。
40.本发明提供的滑块异常检测方法中，首先对视频进行抽帧处理，抽帧处理可以减少需要进行计算的图片的数量，一定程度上减少对于算力的要求。之后将目标图片集输入预设的检测模型；检测模型首先确定目标图片集中各个目标图片中的滑块区域；如此设置，模型首先提取出重点关注的区域，即目标图片中的滑块区域，之后仅仅对滑块区域进行处理，进一步地减少了需要处理的数据量。进一步地，检测模型还在滑块区域中提取滑块区域的几何特征，基于几何特征进行分类，得到识别结果。基于此，明确了重点关注的对象为几
何特征，仅仅基于几何特征进行分类，进一步减少了对其他非必要关注的特征信息的提取和分析。需要说明的是，随机森林分类方法是现有技术中对服务算力要求较低的一种模型。最后，基于异常检测结果进行异常通报。通过上述方式，降低需要进行运算的数据，减少对于服务器算力的需求，进而提高识别模型的识别速度，以提高实时性。
附图说明
41.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
42.图1是本发明提供的滑块异常检测方法的流程示意图之一；
43.图2是本发明提供的滑块异常检测方法的流程示意图之二；
44.图3是本发明提供的滑块异常检测方法的流程示意图之三；
45.图4是本发明提供的滑块异常检测方法中第一特征效果图；
46.图5是本发明提供的滑块异常检测方法中第二特征效果图；
47.图6是本发明提供的滑块异常检测方法中第三特征效果图；
48.图7是本发明提供的滑块异常检测装置的结构示意图；
49.图8是本发明提供的电子设备的结构示意图。
具体实施方式
50.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
51.首先对本发明实施例的应用场景进行说明，工业场景下异常检测是生产过程中常见的检测任务，异常任务包括单点异常(global outliers)，上下文异常(contextual outliers)，集体异常(collective outliers)。而滑块异常检测是典型的上下文异常任务，滑块在时间序列中产生波动的异常行为，某一个时间点的表现与前后时间段的表现存在明显的差异，单一的图像无法体现滑块的异常情况。
52.目前起重臂场景下的滑块异常情况通常是随着时间变化的，存在强的时序相关性，一般滑块异常检测方法为：基于视频识别异常算法，通过监测短视频内的时序特征动态变化，以此为基础对滑块的异常行为进行监督报警。这种异常检测方案通用性高，可以检测滑块的异常行为，但是有一个缺陷，针对视频分析的检测模型通常情况下模型体量大，复杂度高，对服务器算力要求高，实时性难以保证。此外，考虑到现实起重臂滑块的工作场景情况的复杂性，器械的偏差等客观影响，模型容易存在鲁棒性不强，误报率高等问题。本技术针对这一问题提出了对应的解决方案。
53.下面结合图1-图8描述本发明的滑块异常检测方法、装置和起重机。图1为本发明实施例提供的一种滑块异常检测方法的流程图，该方法可以由本发明实施例提供的滑块异常检测装置来执行。参考图1，该方法具体可以包括如下步骤。
54.步骤110，获取实时视频流，对所述实时视频流进行实时抽帧得到目标图片，确定目标图片集；其中，所述目标图片集包括距离当前时刻预设时间段内拍摄的多张目标图片。
55.步骤120，将所述目标图片集输入预设的检测模型，得到异常检测结果；其中，所述检测模型用于确定所述目标图片集中各个目标图片中的滑块区域，提取滑块区域的几何特征，基于随机森林分类方法和所述几何特征进行分类，得到异常检测结果。
56.步骤130，基于所述异常检测结果进行异常通报。
57.具体的，进行异常通报的方式可以但不限于为声光报警，或发送报警信息至预设终端或服务器。
58.上述方法中，首先对视频进行抽帧处理，抽帧处理可以减少需要进行计算的图片的数量，一定程度上减少对于算力的要求。之后将所述目标图片集输入预设的检测模型；检测模型具体用于首先确定所述目标图片集中各个目标图片中的滑块区域；如此设置，模型首先提取出重点关注的区域，即目标图片中的滑块区域，之后仅仅对滑块区域进行处理，进一步地减少了需要处理的数据量。进一步地，检测模型还用于在滑块区域中提取具体的几何特征，基于几何特征进行分类，得到识别结果。基于此，明确了重点关注的对象为几何特征，仅仅基于几何特征进行分类，进一步减少了对其他非必要关注的特征信息的提取和分析。需要说明的是，随机森林分类方法是现有技术中对服务算力要求较低的一种模型。最后，在得到异常检测结果后，基于所述异常检测结果进行异常通报。通过上述方式，降低需要进行运算的数据，减少对于服务器算力的需求，进而提高识别模型的识别速度，以提高实时性。
59.具体的，参照图2，步骤110包括：
60.步骤111，获取实时视频流。
61.具体的，实时视频流可以为预设的摄像装置实时采集到的。示例性的，在起重机工作的现场可以设置一些摄像装置。这些摄像装置朝向所述起重机工作现场中滑块所在的位置，对滑块进行实时拍摄，并将拍摄到的视频以实时视频流的格式传输至预设的终端或服务器，以供终端或服务器基于获取的实时视频流，执行本发明实施例提供的方法。
62.步骤112，对所述实时视频流进行解码得到多张连续的图片。
63.步骤113，每间隔第一预设数量的图片抽取一张图片作为目标图片。
64.步骤114，基于先入先出的原则将所述目标图片存入目标图片集中；其中，所述目标图片集用于存储第二预设数量的目标图片。
65.示例性的，现有技术中常用的拍摄设备一般每秒拍摄25帧，即可以在一秒之内得到25张图片。基于此，可以设置间隔的第一预设数量为9张，即每10张抽取一张图片作为目标图片。进一步的，一个目标图片集可以用于存储5张的目标图片。如此设置，在一个数据集内部的目标图片为在2秒时间内等时间间隔抽取的5张目标图片。这5张目标图片可以标识2秒内滑块的变化。即：基于两秒内的变化确定滑块是否出现异常。
66.进一步的，步骤114中，基于先入先出的原则将所述目标图片存入目标图片集中；如此设置，每拍摄10帧，便会出现一张新的目标图片，将新的目标图片存入目标图片集后，会使得目标图片集删除最早输入的目标图片。即：目标图片集得到更新。
67.通过上述方式可以使得实时视频流中，每传输10帧图片，目标图片集便更新一次；每次目标图片集更新，立即执行步骤120，以便于实时的发现异常。
68.具体的，参照图3，检测模型包括：语义分割模型、特征提取模型、随机森林分类模型；所述将所述目标图片集输入预设的检测模型，得到异常检测结果，包括：
69.步骤121，将所述目标图片集输入所述语义分割模型。
70.步骤122，基于所述语义分割模型，确定所述目标图片中的滑块区域。其中，语义分割模型为经过预先训练的语义分割模型。语义分割模型是图像识别相关模型中一种成熟的模型，可以在进行训练之后对图片进行分割，得到图片中的预设区域或预设事物图样。
71.需要说明的是，在进行目标图片的滑块区域的确定时，临近的两次目标图片集中部分图片相同，部分图片不同，不同的图片为本次输入目标图片集的新的目标图片。语义分割模型可以具体用于对新的目标图片进行语义分割，得到新的目标图片的滑块区域。如此可以进一步地降低对于算力的要求。
72.步骤123，将所述目标图片中的滑块区域输入所述特征提取模型，提取所述滑块区域的几何特征。
73.步骤124，将所述几何特征输入随机森林分类模型，得到异常检测结果；其中，所述随机森林分类模型是基于所述随机森林分类方法搭建的。
74.具体的，将得到的几何特征进行归一化处理，之后输入到训练好的随机森林分类模型中进行特征分类，进而得出当前时刻的滑块状态。随机森林分类模型也是预先训练好的模型，随机森林分类模型具有算力要求低，速度快，能够有效保证算法时效性的特点。
75.需要说明的是，本发明实施例提及的几何特征主要包括：用于表示滑块移动情况的第一特征、用于表示滑块波动情况的第二特征和用于表示滑块形变情况的第三特征。
76.参照图4，所述第一特征的提取过程包括：确定所述滑块区域的最小外接矩形框；计算所述最小外接矩形框的中心点的中心坐标，将所述中心坐标作为所述第一特征。如此，目标图像集中的每一张图片可以得到对应的中心坐标；通过这些中心坐标表示滑块移动情况。
77.参照图5，所述第二特征的提取过程包括：确定各所述滑块区域的最小外接矩形框；确定各所述滑块区域的最小外接矩形框的中心点，得到多个中心点；确定所述多个中心点的最小外接矩形框；确定所述多个中心点的最小外接矩形框的对角线长度，将所述对角线长度作为所述第二特征。
78.需要说明的是，在计算第二特征时，需要用到中心点；中心点是与图4中第一特征的中心坐标对应的点。因此实际运行中，可以基于第一特征的中心坐标，进行第二特征的计算。基于目标图像集中各目标图像对应的中心点，确定一个最小外接矩形框；确定所述多个中心点的最小外接矩形框的对角线长度，通过对角线长度表示滑块波动情况。
79.参照图6，所述第三特征的提取过程包括：确定所述滑块区域的最小外接矩形框；确定各所述滑块区域的最小外接矩形框的中心点；确定所述最小外接矩形框的短边的方向为间隙方向；确定经过所述中心点且方向为间隙方向的直线为目标直线；确定所述目标直线与所述滑块区域重合的部分为间隙距离线段，将所述间隙距离线段作为所述第三特征。如此，目标图像集中的每一张图片可以得到对应的间隙距离线段；通过这些间隙距离线段表示滑块形变情况。
80.通过上述方式，可以确定用于表示滑块移动情况的第一特征、用于表示滑块波动情况的第二特征和用于表示滑块形变情况的第三特征。通过特定的方式，在目标图片集中
提取这些具体的几何特征，进行滑块异常的判断。相较于直接采用图片进行全面的特征提取和运算，本发明实施例提供的方案中，对于特征的提取更加的具有针对性，对于算力的要求更低。
81.需要说明的是，在确定第一特征、第二特征和第三特征时，存在大量的重复步骤，例如：重复计算各个目标图片对应的中心点和最小外接矩形框。对于这类重复的计算，可以通过调用计算结果的方式，使得对于相同的计算过程，在后的步骤能够直接调用在前的步骤的计算结果，如此避免对相同问题的重复运算，进一步降低对于算力的要求。
82.下面对本发明提供的滑块异常检测装置进行描述，下文描述的滑块异常检测装置与上文描述的滑块异常检测方法可相互对应参照。
83.参照图7，本发明实施例提供的滑块异常检测装置包括：
84.获取单元71，用于获取实时视频流，对所述实时视频流进行实时抽帧得到目标图片，确定目标图片集；其中，所述目标图片集包括距离当前时刻预设时间段内拍摄的多张目标图片。
85.检测单元72，用于将所述目标图片集输入预设的检测模型，得到异常检测结果；其中，所述检测模型用于确定所述目标图片集中各个目标图片中的滑块区域，提取滑块区域的几何特征，基于随机森林分类方法和所述几何特征进行分类，得到异常检测结果。
86.通报模块73，用于基于所述异常检测结果进行异常通报。
87.本发明实施例提供的滑块异常检测装置，首先对视频进行抽帧处理，抽帧处理可以减少需要进行计算的图片的数量，一定程度上减少对于算力的要求。之后将所述目标图片集输入预设的检测模型；检测模型具体用于首先确定所述目标图片集中各个目标图片中的滑块区域；如此设置，模型首先提取出重点关注的区域，即目标图片中的滑块区域，之后仅仅对滑块区域进行处理，进一步地减少了需要处理的数据量。进一步地，检测模型还用于在滑块区域中提取具体的几何特征，基于几何特征进行分类，得到识别结果。基于此，明确了重点关注的对象为几何特征，仅仅基于几何特征进行分类，进一步减少了对其他非必要关注的特征信息的提取和分析。需要说明的是，随机森林分类方法是现有技术中对服务算力要求较低的一种模型。最后，在得到异常检测结果后，基于所述异常检测结果进行异常通报。通过上述方式，降低需要进行运算的数据，减少对于服务器算力的需求，进而提高识别模型的识别速度，以提高实时性。
88.可选的，所述获取实时视频流，对所述实时视频流进行实时抽帧得到目标图片，确定目标图片集；其中，所述目标图片集包括距离当前时刻预设时间段内拍摄的多张目标图片，包括：
89.获取实时视频流；
90.对所述实时视频流进行解码得到多张连续的图片；
91.每间隔第一预设数量的图片抽取一张图片作为目标图片；
92.基于先入先出的原则将所述目标图片存入目标图片集中；其中，所述目标图片集用于存储第二预设数量的目标图片。
93.可选的，所述检测模型包括：语义分割模型、特征提取模型、随机森林分类模型；
94.所述将所述目标图片集输入预设的检测模型，得到异常检测结果，包括：
95.将所述目标图片集输入所述语义分割模型；
96.基于所述语义分割模型，确定所述目标图片中的滑块区域；
97.将所述目标图片中的滑块区域输入所述特征提取模型，提取所述滑块区域的几何特征；
98.将所述几何特征输入随机森林分类模型，得到异常检测结果；其中，所述随机森林分类模型是基于所述随机森林分类方法搭建的。
99.可选的，所述几何特征包括：用于表示滑块移动情况的第一特征、用于表示滑块波动情况的第二特征和用于表示滑块形变情况的第三特征。
100.可选的，所述第一特征的提取过程包括：
101.确定所述滑块区域的最小外接矩形框；
102.计算所述最小外接矩形框的中心坐标，将所述中心坐标作为所述第一特征。
103.可选的，所述第二特征的提取过程包括：
104.确定各所述滑块区域的最小外接矩形框；
105.确定各所述滑块区域的最小外接矩形框的中心点，得到多个中心点；
106.确定所述多个中心点的最小外接矩形框；
107.确定所述多个中心点的最小外接矩形框的对角线长度，将所述对角线长度作为所述第二特征。
108.可选的，所述第三特征的提取过程包括：
109.确定所述滑块区域的最小外接矩形框；
110.确定各所述滑块区域的最小外接矩形框的中心点；
111.确定所述最小外接矩形框的短边的方向为间隙方向；
112.确定经过所述中心点且方向为间隙方向的直线为目标直线；
113.确定所述目标直线与所述滑块区域重合的部分为间隙距离线段，将所述间隙距离线段作为所述第三特征。
114.基于上述任一实施例，本发明还提供一种起重机，包括滑块和检测设备，所述检测设备用于执行如上任一实施例所述滑块异常检测方法的步骤。
115.图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(communications interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行滑块异常检测方法，该方法包括：获取实时视频流，对所述实时视频流进行实时抽帧得到目标图片，确定目标图片集；其中，所述目标图片集包括距离当前时刻预设时间段内拍摄的多张目标图片；将所述目标图片集输入预设的检测模型，得到异常检测结果；其中，所述检测模型用于确定所述目标图片集中各个目标图片中的滑块区域，提取滑块区域的几何特征，基于随机森林分类方法和所述几何特征进行分类，得到异常检测结果；基于所述异常检测结果进行异常通报。
116.此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施
例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
117.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的滑块异常检测方法，该方法包括：获取实时视频流，对所述实时视频流进行实时抽帧得到目标图片，确定目标图片集；其中，所述目标图片集包括距离当前时刻预设时间段内拍摄的多张目标图片；将所述目标图片集输入预设的检测模型，得到异常检测结果；其中，所述检测模型用于确定所述目标图片集中各个目标图片中的滑块区域，提取滑块区域的几何特征，基于随机森林分类方法和所述几何特征进行分类，得到异常检测结果；基于所述异常检测结果进行异常通报。
118.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的滑块异常检测方法，该方法包括：获取实时视频流，对所述实时视频流进行实时抽帧得到目标图片，确定目标图片集；其中，所述目标图片集包括距离当前时刻预设时间段内拍摄的多张目标图片；将所述目标图片集输入预设的检测模型，得到异常检测结果；其中，所述检测模型用于确定所述目标图片集中各个目标图片中的滑块区域，提取滑块区域的几何特征，基于随机森林分类方法和所述几何特征进行分类，得到异常检测结果；基于所述异常检测结果进行异常通报。
119.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
120.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
121.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。