一种异常煤块识别方法及装置与流程

1.本说明书涉及图像识别技术领域，具体涉及目标检测技术领域，尤其涉及一种异常煤块识别方法及装置。


背景技术：

2.采煤机是一种在煤矿矿场用于采煤的机械设备，一般和刮板运输机(后文简称刮板机)配合使用。采煤机会将煤壁上的煤矿切割下来，并在粉碎煤矿后通过刮板机对粉碎的煤矿进行运输。
3.有些情况下，在存在大煤块的情况下，将可能影响刮板机或采煤机的正常运转。相关技术中为了防止大煤块影响刮板机或采煤机的正常运转，一般是通过人工巡查来查看是否存在大煤块，而这种方式耗费人力，且容易对工人的人身安全造成损坏，在人力资源不足的情况下，很可能不能及时发现并对大煤块进行处理。


技术实现要素：

4.本说明书提供了一种异常煤块识别方法及装置。
5.根据本说明书实施例的第一方面，提供一种异常煤块识别方法，所述方法包括：
6.获取待处理视频，所述待处理视频的视频帧中包括煤矿工地的工作组件的工作区域，所述工作组件为刮板机和/或采煤机；
7.确定所述视频帧中的识别子区域，所述识别子区域包括所述工作组件；
8.对所述识别子区域进行图像识别处理，识别所述视频帧中的异常煤块；所述异常煤块为尺寸/体积大于预设阈值的块状物。
9.在一可选实施例中，所述确定所述视频帧中的识别子区域，包括：
10.根据预先设定的识别子区域的位置，将所述视频帧中所述识别子区域的位置的图像作为识别子区域。
11.通过将预设的位置作为了识别子区域，较为快速方便地确定了识别子区域。
12.在一可选实施例中，所述确定所述视频帧中的识别子区域，包括：
13.从所述待处理视频中获取所述视频帧对应的前置视频帧集，所述前置视频帧集中包括的各前置视频帧的采集时间位于所述视频帧的采集时间之前；
14.按照采集时间顺序，将所述前置视频帧集合中的各前置视频帧和所述视频帧组成动作序列；
15.根据所述动作序列，识别得到所述动作序列中的工作组件，将所述工作组件所在位置的图像作为识别子区域。
16.通过动作序列来识别工作组件，提高了工作组件识别的准确度。
17.在一可选实施例中，所述对所述识别子区域进行图像识别处理，识别所述视频帧中的异常煤块之前，所述方法还包括：
18.从所述待处理视频中获取所述视频帧对应的前置视频帧集，所述前置视频帧集中
包括的各前置视频帧的采集时间位于所述视频帧的图像采集时间之前；
19.分别识别所述前置视频帧和所述视频帧中的所述工作组件；
20.根据所述前置视频帧中的工作组件与所述视频帧中的工作组件之间的位置关系，确定所述工作组件处于工作状态。
21.通过在识别异常煤块前确定了工作组件的运动状态，减少了无用运算。
22.在一可选实施例中，所述对所述识别子区域进行图像识别处理，识别所述视频帧中的异常煤块，包括：
23.对所述识别子区域进行图像识别处理，得到所述视频帧中包括的至少一个煤块；
24.从识别出的所述至少一个煤块中确定尺寸/体积大于预设阈值的异常煤块。
25.通过先识别煤块，再从煤块中识别异常煤块的方法，提高了异常煤块识别的准确率。
26.在一可选实施例中，所述从识别出的所述至少一个煤块中确定尺寸/体积大于预设阈值的异常煤块，包括：
27.对于所述至少一个煤块中的任一煤块，将所述煤块的尺寸/体积与所述工作组件的尺寸/体积进行比较；
28.响应于尺寸/体积比较结果符合预设的尺寸条件，将所述煤块确定为异常煤块。
29.通过与工作组件的尺寸/大小进行比较从而识别异常煤块，避免图像失真对于异常煤块识别的影响，提高了异常煤块识别的准确率。
30.在一可选实施例中，所述方法还包括：
31.响应于从所述视频帧中识别出异常煤块，保存如下至少一项：
32.所述视频帧和所述视频帧中的异常煤块信息；
33.或者，所述待处理视频和所述待处理视频中的异常煤块信息；
34.所述异常煤块信息用于表征以下信息中至少一项：
35.所述异常煤块的体积；
36.或者，所述异常煤块的尺寸；
37.或者所述异常煤块在视频中的位置。
38.通过保存异常煤块相关的视频/图像，以及保存异常煤块信息，对异常煤块进行了有效记录。
39.根据本说明书实施例的第二方面，提供一种异常煤块识别装置，包括：一种异常煤块识别装置，所述装置包括：
40.待处理视频获取模块，用于获取待处理视频，所述待处理视频的视频帧中包括煤矿工地的工作组件的工作区域，所述工作组件为刮板机和/或采煤机；
41.识别子区域确定模块，用于确定所述视频帧中的识别子区域，所述识别子区域包括所述工作组件；
42.异常煤块识别模块，用于对所述识别子区域进行图像识别处理，识别所述视频帧中的异常煤块；所述异常煤块为尺寸/体积大于预设阈值的块状物。
43.在一可选实施例中，所述识别子区域确定模块，具体用于：
44.根据预先设定的识别子区域的位置，将所述视频帧中所述识别子区域的位置的图像作为识别子区域。
45.通过将预设的位置作为了识别子区域，较为快速方便地确定了识别子区域。
46.在一可选实施例中，所述识别子区域确定模块，具体用于：
47.从所述待处理视频中获取所述视频帧对应的前置视频帧集，所述前置视频帧集中包括的各前置视频帧的采集时间位于所述视频帧的采集时间之前；
48.按照采集时间顺序，将所述前置视频帧集合中的各前置视频帧和所述视频帧组成动作序列；
49.根据所述动作序列，识别得到所述动作序列中的工作组件，将所述工作组件所在位置的图像作为识别子区域。
50.通过动作序列来识别工作组件，提高了工作组件识别的准确度。
51.在一可选实施例中，所述异常煤块识别模块执行之前，还包括：
52.工作状态确定模块，用于：从所述待处理视频中获取所述视频帧对应的前置视频帧集，所述前置视频帧集中包括的各前置视频帧的采集时间位于所述视频帧的图像采集时间之前；分别识别所述前置视频帧和所述视频帧中的所述工作组件；根据所述前置视频帧中的工作组件与所述视频帧中的工作组件之间的位置关系，确定所述工作组件处于工作状态。
53.通过在识别异常煤块前确定了工作组件的运动状态，减少了无用运算。
54.在一可选实施例中，所述异常煤块识别模块，包括：
55.煤块识别子模块，用于对所述识别子区域进行图像识别处理，得到所述视频帧中包括的至少一个煤块；
56.异常煤块识别子模块，用于从识别出的所述至少一个煤块中确定尺寸/体积大于预设阈值的异常煤块。
57.通过先识别煤块，再从煤块中识别异常煤块的方法，提高了异常煤块识别的准确率。
58.在一可选实施例中，所述异常煤块识别子模块，具体用于：
59.对于所述至少一个煤块中的任一煤块，将所述煤块的尺寸/体积与所述工作组件的尺寸/体积进行比较；
60.响应于尺寸/体积比较结果符合预设的尺寸条件，将所述煤块确定为异常煤块。
61.通过与工作组件的尺寸/大小进行比较从而识别异常煤块，避免图像失真对于异常煤块识别的影响，提高了异常煤块识别的准确率。
62.在一可选实施例中，所述装置还包括：
63.数据保存模块，用于：
64.响应于从所述视频帧中识别出异常煤块，保存如下至少一项：
65.所述视频帧和所述视频帧中的异常煤块信息；
66.或者，所述待处理视频和所述待处理视频中的异常煤块信息；
67.所述异常煤块信息用于表征以下信息中至少一项：
68.所述异常煤块的体积；
69.或者，所述异常煤块的尺寸；
70.或者所述异常煤块在视频中的位置。
71.通过保存异常煤块相关的视频/图像，以及保存异常煤块信息，对异常煤块进行了
有效记录。
72.根据本说明书实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的异常煤块识别方法。
73.根据本说明书实施例的第四方面，提供一种计算机设备，所述计算机设备包括：
74.一个或多个处理器；
75.存储器，用于存储一个或多个程序；
76.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的异常煤块识别方法。
77.本说明书提供一种异常煤块识别方法及装置，获取待处理视频，所述待处理视频的视频帧中包括煤矿工地的工作组件的工作区域，所述工作组件为刮板机和/或采煤机；确定所述视频帧中的识别子区域，所述识别子区域包括所述工作组件；对所述识别子区域进行图像识别处理，识别所述视频帧中的异常煤块；所述异常煤块为尺寸/体积大于预设阈值的块状物。通过拍摄待处理视频，并对待处理视频进行图像识别处理，识别出刮板机和采煤机大煤块这种较可能出现大煤块的区域，并在这些区域内识别出大煤块，可以尽快识别出大煤块，避免刮板机上的大煤块阻碍刮板机、采煤机运行进一步导致刮板机、采煤机的损坏，以及避免采煤机上的大煤块掉落损坏刮板机。
78.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。
附图说明
79.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本说明书的实施例，并与说明书一起用于解释本说明书的原理。
80.图1是本说明书根据一示例性实施例示出的一种异常煤块识别方法的流程图。
81.图2是本说明书根据一示例性实施例示出的另一种异常煤块识别方法的流程图。
82.图3是本说明书根据一示例性实施例示出的一种异常煤块识别装置的框图。
83.图4是本说明书根据一示例性实施例示出的一种异常煤块识别装置所在计算机设备的一种硬件结构图。
具体实施方式
84.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。
85.在本说明书使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
86.应当理解，尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱
离本说明书范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
87.煤矿工地中一般是通过采煤机对煤矿进行开采。采煤机一般是在地面上水平移动，切割近似垂直于地面的煤矿工作面。煤矿工作面一般是通过液压支架支撑。在采煤机从煤矿工作面上切割下煤块后，一般会通过和采煤机相连的滚筒将采煤机切割下来的煤块进行再次切割，切割成方便运输的小煤块。切割后的小煤块会落在采煤机旁边的刮板运输机上，并通过刮板运输机将煤块传送至皮带，再通过皮带对煤块进行运输。
88.而有些情况下，虽然煤矿工作面通过液压支架支撑，但是仍有可能发生：有些煤块从工作面上脱落落在采煤机上，采煤机上的煤块可能会进一步砸在刮板机上，可能会对刮板机造成损坏。此外，采煤机上的煤块自身也可能阻碍采煤机的正常运行，导致采煤机损坏。此外，在滚筒切割不彻底的情况下，刮板机上也可能会出现一些大煤块，这些大煤块由于重量和大小可能会阻碍刮板机的正常运行，对刮板机造成损坏，因此需要去识别大煤块。
89.相关技术中为了快速识别出大煤块，防止大煤块对机器运行造成损坏，一般是安排工作人员对煤矿工地进行巡视，查看是否存在大煤块，但是这种方法较为耗费人力资源，在煤矿工地较大的情况下，需要的工作人员也较多。此外，在工地进行巡视也对工作人员的安全会造成影响，因此相关技术中缺少一种有效识别大煤块的方法。
90.为了解决上述问题，考虑可以在煤矿工地中采煤机、刮板机的工作区域设置摄像设备，通过摄像设备采集煤矿工地的图像，并得到煤矿工地中包括刮板机、采煤机的识别子区域，在识别子区域内进行图像识别处理，识别出大煤块，防止大煤块影响采煤机、刮板机的正常运行。
91.本说明书提供一种异常煤块识别方法及装置，获取待处理视频，所述待处理视频的视频帧中包括煤矿工地的工作组件的工作区域，所述工作组件为刮板机和/或采煤机；确定所述视频帧中的识别子区域，所述识别子区域包括所述工作组件；对所述识别子区域进行图像识别处理，识别所述视频帧中的异常煤块；所述异常煤块为尺寸/体积大于预设阈值的块状物。通过拍摄待处理视频，并对待处理视频进行图像识别处理，识别出刮板机和采煤机大煤块这种较可能出现大煤块的区域，并在这些区域内识别出大煤块，可以尽快识别出大煤块，避免刮板机上的大煤块阻碍刮板机、采煤机运行进一步导致刮板机、采煤机的损坏，以及避免采煤机上的大煤块掉落损坏刮板机。
92.接下来对本说明书实施例进行详细说明。
93.如图1所示，图1是本说明书根据一示例性实施例示出的一种异常煤块识别方法的流程图，包括以下步骤：
94.步骤101，获取待处理视频，所述待处理视频的视频帧中包括煤矿工地的工作组件的工作区域，所述工作组件为刮板机和/或采煤机。
95.具体而言，为了识别出阻碍工作组件正常运行的大煤块(也即尺寸/体积大于预设阈值的块状物)，首先需要获取煤矿工地拍摄的视频中的视频帧，这样才能完成后续步骤中对视频帧的识别处理。
96.接下来将对步骤101进行详细说明。
97.对于本方法的执行主体而言，本说明书所述的方法可以由独立于多个摄像设备的
服务器执行，也可以由摄像设备自身对视频帧进行处理进行大煤块(等同于异常煤块)的识别。需要说明的是，不论是由何种设备来执行上述方法，由于本说明书中的方法需要实时监控是否存在大煤块，这样才能对大煤块进行及时处理，本说明书中的摄像设备都需要具备网络传输能力。
98.如果该方法是由服务器执行的，在执行步骤101中服务器需要先获取摄像设备拍摄的视频帧。视频帧获取的过程具体可以是，摄像设备被设定为每隔一定时间从视频中采集一个视频帧，摄像设备采集到视频帧后，可以通过边缘服务器，基于实时流传输协议(real time streaming protocol，rtsp)将视频帧传输给前述的服务器。这样做是考虑到有些情况下服务器并不会对所有视频帧都进行图像识别处理，这样可以减少无用数据的传输，提高传输效率。
99.此外，获取待处理视频的过程可以是，摄像设备在拍摄到一段视频(即待处理视频)后，通过边缘服务器，基于实时流传输协议(real time streaming protocol，rtsp)将视频流传输给前述的服务器。
100.如果该方法是由摄像设备所执行的，步骤101中获取待处理视频可以是获取拍摄的视频流，将视频流中每一帧/部分帧作为下文中进行处理的视频帧。此外，摄像设备在执行完该方法后，还可以将识别结果发送给服务器进行存储，也可以是只在识别到大煤块的情况下，将识别结果发送给服务器。
101.在对本方法的执行主体进行说明后，还需要对待处理视频和拍摄待处理视频的摄像设备进行说明。
102.待处理视频可以是安装在工地的摄像设备所拍摄的，由于煤矿工地可能安装了较多数量的摄像设备，为了减少识别的待处理视频的数量，减轻处理压力，可以预先根据各摄像设备的安装位置，确定哪些摄像设备能拍到刮板机和采煤机的工作区域，并仅将这些摄像设备拍到的视频作为待处理视频。
103.对于摄像设备而言，考虑到煤矿工地工作环境恶劣，煤灰较多，有些低下矿井光线较差，为了在环境恶劣的情况下保证大煤块识别结果的准确，可以设置高清摄像头对工作组件的工作区域进行拍摄。
104.步骤103，确定所述视频帧中的识别子区域，所述识别子区域包括所述工作组件。
105.具体而言，待处理视频拍摄的范围较广，会使得视频帧背景复杂，而复杂的背景可能会导致误识别，比如误将对工作组件没有影响的其他物品识别成大煤块。待处理视频中有些情况下工作组件的区域只占整个视频帧的一小部分，在只需要识别工作组件上的异常煤块的情况下，如果对整个视频帧进行识别处理，需要耗费较多的资源，因此可以先确定包括工作组件的识别子区域，以减少误识别、减少耗费的资源。
106.接下来将对步骤103的具体实现方式进行具体说明。
107.对于确定识别子区域的方法而言，在某些情况下，摄像设备的视角是不会变化的，且设备的工作区域也是固定的，这种情况下，为了提高效率，识别子区域可以是预先设置的。
108.换言之，步骤103具体包括：根据预先设定的识别子区域的位置，将所述视频帧中所述识别子区域的位置的图像作为识别子区域。即预先设置了每个图视频帧中识别子区域的位置在哪，在获取到待处理视频后，直接将待处理视频帧中预设位置的图像作为识别子
区域。
109.除此之外，有些情况下，摄像设备的视角会移动，或者工作组件会移动，比如采煤机自身，也会在工作面上来回移动。这种情况下，为了保证识别结果的准确性，可以通过图像识别的方法识别出包括工作组件的识别子区域。
110.换言之，步骤103包括：对所述视频帧进行图像识别，识别得到所述视频帧中的工作组件，将所述工作组件所在位置的图像作为识别子区域。
111.其中，图像识别可以通过人工神经网络实现，具体而言，人工神经网络例如可以包括cnn(convolutional neural networks，卷积神经网络)、rcnn(region-cnn，区域卷积神经网络)、fast rcnn等目标检测网络的一种或多种组合，本说明书对于所使用的人工神经网络不做限定。
112.在摄像设备视角不移动，但是工作组件会在预设工作面附近移动的情况下，步骤103还可以是，预设一个工作区域，工作区域包括工作组件可能移动到的所有位置，然后获取到视频帧后，在工作区域内通过人工神经网络进行图像识别处理，识别出工作组件，将识别到的工作组件所在位置作为识别子区域。
113.此外，为了提高工作组件识别的准确度，可以联合多帧视频帧组成动作序列，寻找动作序列中每一帧都存在的物体作为工作组件，这样可以提高工作组件识别的准确度，防止将其他只在某个视频帧中出现的干扰物识别为工作组件。
114.换言之，步骤103包括：从所述待处理视频中获取所述视频帧对应的前置视频帧集，所述前置视频帧集中包括的各前置视频帧的采集时间位于所述视频帧的图像采集时间之前；按照采集时间顺序，将所述前置视频帧集合中的各前置视频帧和所述视频帧组成动作序列；根据所述动作序列，识别得到所述动作序列中的工作组件，将所述工作组件所在位置的图像作为识别子区域。
115.此外，为了进一步提高识别准确率，通过动作序列来寻找识别子区域，除了寻找每一帧都存在的物体之外，还可以比较物体在动作序列中的位置，确定位置变换连续的物体作为工作组件。这样一方面可以提升识别准确率，防止将某些遮挡镜头的物体误识别为工作组件，另一方面确定位置变换连续的物体作为工作组件，还可以对工作组件是否工作进行识别，由于在工作组件工作时大煤块才会对工作组件产生影响，这样先识别工作组件是否工作，避免了对没有工作的工作组件进行识别，避免做无用识别。
116.当然上述几种方法只是对步骤103具体实现方式的举例，本说明书中步骤103的具体实现方式不限于上述几种。
117.步骤105，对所述识别子区域进行图像识别处理，识别所述视频帧中的异常煤块；所述异常煤块为尺寸/体积大于预设阈值的块状物。
118.具体而言，在获取到识别子区域后，可以通过图像处理的方式识别到大煤块(即异常煤块)。异常煤块是由于尺寸/体积较大，会对工作组件的运行造成阻碍风险的块状物，该块状物可以是煤块，也可以是石块等。
119.接下来将对步骤105的实现方式进行说明。
120.图像识别处理可以和上文的图像识别的实现方式相同，都通过人工神经网络实现。异常煤块即上文中的大煤块，如上文所述需要识别的煤块为尺寸/体积较大，会对工作组件正常运行造成阻碍，甚至可能会损坏工作组件的煤块/石块等块状物。
121.为了得到可以识别大煤块的人工神经网络，需要先训练得到可以识别大煤块的人工神经网络。具体而言，可以先拍摄一些视频，人工对视频中的大煤块进行标注，然后通过标注完成的样本对人工神经网络进行训练，得到可以识别大煤块的人工神经网络。
122.具体的识别大煤块的方法将在下文进行详述，在此暂不赘述。
123.此外，考虑到有些情况下并不需要识别大煤块，比如在采煤机和刮板机停止工作的时间，或者有些情况下，为了防止大煤块对工作组件造成影响，会先暂停工作组件的运行，这些情况下不需要耗费资源识别大煤块。
124.因此，可以在获取到待处理视频后，识别大煤块之前，先判断工作组件是否在运转，在工作组件运转的情况下，再进行大煤块的识别，在工作组件停转的情况下不进行大煤块的识别。为了识别工作组件是否在工作，考虑到可以通过待处理视频中，该视频帧和前置视频帧中工作组件的状态来判断工作组件是否在工作。
125.换言之，在步骤105之前，所述方法还包括：从所述待处理视频中获取所述视频帧对应的前置视频帧集，所述前置视频帧集中包括的各前置视频帧的采集时间位于所述视频帧的图像采集时间之前；分别识别所述前置视频帧和视频帧中的所述工作组件；根据所述前置视频帧中的工作组件与所述视频帧中的工作组件之间的位置关系，确定所述工作组件处于工作状态。
126.其中，前置视频帧中的工作组件与所述视频帧中的工作组件之间的位置关系，对于采煤机来说，可以是采煤机位于工作面哪个具体的位置，对于刮板机来说，由于其只有链条会转动，位置关系可以指的是链条相对于刮板机的位置。通过前置图像和视频帧中工作组件的位置关系，就可以判断出工作组件是否在工作。
127.在执行完步骤105后，还可以定位大煤块的位置或者通过工作人员来处理等，接下来将对执行完步骤105后所执行的步骤进行详细说明。
128.在识别出大煤块后，为了更好地对大煤块进行处理，可以先定位大煤块的位置，具体的定位方法，可以是根据采集图像采集设备的摄像设备的位置来确定。换言之，所述方法还包括：根据采集所述视频帧的摄像设备的位置，确定所述异常煤块在煤矿工地的位置。
129.具体而言，每个待处理视频对应存储有拍摄信息，拍摄信息可以包括拍摄日期、拍摄该视频的摄像设备的编号等内容，可以根据拍摄信息中的摄像设备的编号，确定拍摄该待处理视频的摄像设备。
130.在确定了拍摄该待处理视频的摄像设备之后，还可以预先存储每个摄像设备的安装位置和朝向，根据预先存储的摄像设备的编号和摄像设备安装位置朝向的对应关系，确定拍摄大煤块的摄像设备的位置，再进一步根据摄像设备的朝向，确定大煤块在煤矿工地的位置。
131.当然考虑到有些情况下摄像设备可以拍摄的范围有限，且煤矿工地较大，那么可以直接将摄像设备的位置作为大煤块在煤矿工地的位置。
132.通过上述方式完成了对大煤块的定位，从而可以更方便的完成对大煤块的处理。
133.在发现大煤块后，还可以通知工作人员或其他管理人员，以对大煤块进行处理。换言之，所述方法还包括：响应于从所述视频帧中识别出异常煤块，向客户端发送提示信息，以通过所述提示信息提示识别到异常煤块。
134.其中，提示信息中可以包括识别到的异常煤块的图像，以使得客户端的用户(即前
文所述的工作人员或其他管理人员)先通过提示信息来判断是否存在识别错误。
135.提示信息中还可以包括拍摄该待处理视频的摄像设备的标识，或者前文中所确定的大煤块的位置，以使得可以尽快对大煤块进行处理。
136.在用户确定识别出的异常煤块的确是异常煤块的情况下，可以通过客户端或其他方式来控制被异常煤块所阻碍的工作组件停机，以防止机器由于转不动发热过多造成损坏。在用户确定是异常煤块的情况下，由于异常煤块过大可能造成工作组件无法正常运转，不能仅通过机器来处理大煤块，因此还可以通知其他负责处理大煤块的工作人员去处理该异常煤块，以使得工作组件可以恢复正常运转。
137.此外，在识别出异常煤块后，还可以对识别出来的大煤块的图像或视频进行存储。换言之，所述方法还包括：响应于从所述视频帧中识别出异常煤块，保存如下至少一项：所述视频帧；或者，所述待处理视频。通过存储图像或视频，可以快速对过往事故进行溯源，方便煤矿工地的管理。
138.在存储视频帧和/或待处理视频的同时，为了方便对异常煤块进行记录，还可以存储以下信息中的至少一项作为异常煤块信息：所述异常煤块的体积；或者，所述异常煤块的尺寸；或者所述异常煤块在视频中的位置。当然，除此之外，还可以存储异常煤块在煤矿工地中的位置、异常煤块的处理情况等等信息，本说明注中对异常煤块信息的具体表征方式不做限定。
139.在对异常煤块识别方法进行整体说明后，接下来将对步骤105中的识别异常煤块的方法进行详细说明。
140.具体而言，可以通过端对端的人工神经网络模型直接识别是否包括符合要求的异常煤块。
141.此外，为了提高识别的准确率，可以先通过可以识别出煤块的人工神经网络识别出煤块，在识别出煤块后，通过判断煤块的大小是否符合预设的大小条件，从识别出的煤块中筛选出异常煤块，从而完成异常煤块的识别。
142.换言之，如图2所示，步骤105具体包括以下步骤：
143.步骤201，对所述识别子区域进行图像识别处理，得到所述视频帧中包括的至少一个煤块。
144.步骤203，从识别出的所述至少一个煤块中确定尺寸/体积大于预设阈值的异常煤块。
145.其中，从识别出的煤块中筛选寸/体积大于预设阈值的煤块，可以是根据识别出的煤块的像素个数确定的，可以设置像素个数大于一定值的煤块为异常煤块。
146.此外，考虑到有些情况下，摄像头位置设定的问题，导致拍摄出的图像存在近大远小、图像边缘变形的问题，这种情况下如果只通过煤块的像素个数来确定是否为异常煤块，将可能会导致识别结果不准确。在上述情况下，为了提高异常煤块识别准确率，可以将煤块和煤块周围其他已知大小的物体进行尺寸的比较，从而确定该煤块是否为异常煤块。考虑到对于工作组件而言，其大小是已知的，那么可以将煤块与工作组件的尺寸进行比较，从而确定是否存在异常煤块。
147.换言之，步骤203具体包括：对于所述至少一个煤块中的任一煤块，将所述煤块的尺寸/体积与所述工作组件的尺寸/体积进行比较；响应于尺寸/体积比较结果符合预设的
尺寸条件，将所述煤块确定为异常煤块。
148.当然，从识别出的煤块中识别异常煤块的方法不限于上述方法，本说明书上述只是对识别异常煤块的方法进行举例，并不表示对本说明书的限定。
149.上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了剪辑，本说明书不再赘述。
150.本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
151.与前述方法的实施例相对应，本说明书还提供了装置及其所应用的终端的实施例。
152.如图3所示，图3是本说明书根据一示例性实施例示出的一种异常煤块识别装置的框图，所述装置包括：
153.待处理视频获取模块310，用于获取待处理视频，所述待处理视频的视频帧中包括煤矿工地的工作组件的工作区域，所述工作组件为刮板机和/或采煤机；
154.识别子区域确定模块320，用于确定所述视频帧中的识别子区域，所述识别子区域包括所述工作组件；
155.异常煤块识别模块330，用于对所述识别子区域进行图像识别处理，识别所述视频帧中的异常煤块；所述异常煤块为尺寸/体积大于预设阈值的块状物。
156.在一可选实施例中，所述识别子区域确定模块320，具体用于：根据预先设定的识别子区域的位置，将所述视频帧中所述识别子区域的位置的图像作为识别子区域。
157.在一可选实施例中，所述识别子区域确定模块320，具体用于：从所述待处理视频中获取所述视频帧对应的前置视频帧集，所述前置视频帧集中包括的各前置视频帧的采集时间位于所述视频帧的采集时间之前；按照采集时间顺序，将所述前置视频帧集合中的各前置视频帧和所述视频帧组成动作序列；根据所述动作序列，识别得到所述动作序列中的工作组件，将所述工作组件所在位置的图像作为识别子区域。
158.在一可选实施例中，所述异常煤块识别模块330执行之前，还包括：工作状态确定模块340(图中未示出)，用于：从所述待处理视频中获取所述视频帧对应的前置视频帧集，所述前置视频帧集中包括的各前置视频帧的采集时间位于所述视频帧的图像采集时间之前；分别识别所述前置视频帧和所述视频帧中的所述工作组件；根据所述前置视频帧中的工作组件与所述视频帧中的工作组件之间的位置关系，确定所述工作组件处于工作状态。
159.在一可选实施例中，所述异常煤块识别模块330，包括：
160.煤块识别子模块331(图中未示出)，用于对所述识别子区域进行图像识别处理，得到所述视频帧中包括的至少一个煤块。
161.异常煤块识别子模块332(图中未示出)，用于从识别出的所述至少一个煤块中确定尺寸/体积大于预设阈值的异常煤块。
162.在一可选实施例中，所述异常煤块识别子模块332，具体用于：对于所述至少一个煤块中的任一煤块，将所述煤块的尺寸/体积与所述工作组件的尺寸/体积进行比较；响应于尺寸/体积比较结果符合预设的尺寸条件，将所述煤块确定为异常煤块。
163.在一可选实施例中，所述装置还包括：数据保存模块350(图中未示出)，用于：响应
于从所述视频帧中识别出异常煤块，保存如下至少一项：所述视频帧和所述视频帧中的异常煤块信息；或者，所述待处理视频和所述待处理视频中的异常煤块信息；所述异常煤块信息用于表征以下信息中至少一项：所述异常煤块的体积；或者，所述异常煤块的尺寸；或者所述异常煤块在视频中的位置。
164.上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
165.对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
166.如图4所示，图4示出了实施例异常煤块装置所在计算机设备的一种硬件结构图，该设备可以包括：一个或多个处理器1010、用于存储一个或多个程序的存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
167.处理器1010可以采用通用的cpu(central processing unit，中央处理器)、微处理器、应用专用集成电路(application specific integrated circuit，asic)、或者一个或多个集成电路等方式实现，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的异常煤块识别方法。
168.存储器1020可以采用rom(read only memory，只读存储器)、ram(random access memory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
169.输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
170.通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如usb、网线等)实现通信，也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信。
171.总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
172.需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
173.本说明书实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的异常煤块识别方法。
174.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
175.上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
176.本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本说明书的其它实施方案。本说明书旨在涵盖本说明书的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本说明书的一般性原理并包括本说明书未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本说明书的真正范围和精神由下面的权利要求指出。
177.应当理解的是，本说明书并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本说明书的范围仅由所附的权利要求来限制。
178.以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。