一种多路图像采集的矿井水灾监测方法及装置与流程

1.本发明涉及矿井水灾预警技术领域，尤其涉及多路图像采集的矿井水灾监测方法及装置。


背景技术：

2.煤炭是我国主要能源，约占一次能源70％。煤炭行业是高危行业，瓦斯、水灾、火灾、顶板、煤尘等事故困扰着煤矿安全生产。我国煤矿发生重特大事故中，矿井水灾是对矿井危害性较大的自然灾害，以煤矿事故死亡的人数计算，水害事故占15 .72％，仅次于瓦斯和顶板事故，位居第三，矿井发生水灾事故后，容易造成一系列的安全事故，因此有必要对矿井的水灾提出一种有效的监测方法。
3.现有的技术中，cn110067599a提出了一种基于图像的矿井水灾感知预警方法，其需要多路的摄影机并设置补光灯等设备，并且该技术方案需要对大量的像素点进行运算，对设备的要求较高，不适合应用于生产实际。


技术实现要素：

4.本发明实施例提供一种多路图像采集的矿井水灾监测方法及装置，用以实现减少设备的投入，并且降低数据的复杂程度，实现同时对多个生产区域水灾隐患的同时监控。
5.本技术实施例提出一种多路图像采集的矿井水灾监测方法，包括：预先在多个目标监测区域设置位置标记，其中各目标监测区域设置的位置标记相同，且该位置标记将该目标监测区域分为多个子区域；利用多路摄像头采集各目标监测区域的视频数据；为采集的多路视频数据，按照时间轴组合成一路视频流，发送给上位机；上位机接收该路视频流，并基于所述时间轴从该路视频流的多个位置选取相应的目标图像；根据所述位置标记将该目标图像进行分割，以获得该子区域的分割子图像；按照设定的顺序依次从各目标图像的不同位置选取至少一张分割图像，组合各分割子图像以获得待检图像；利用所述待检图像与预设标准图像进行对比，以判定各待检区域是否存在水灾隐患。
6.在一些实施例中，为采集的多路视频数据，按照时间轴组合成一路视频流包括：按照相同的时间间隔，将多路视频数据进行剪裁，并按照时间轴进行组合，以获得一路视频流。
7.在一些实施例中，上位机接收该路视频流，并基于所述时间轴从该路视频流的多个位置选取相应的目标图像包括：基于在各时间间隔内的指定位置选取一张图像作为基础图像；利用该时间间隔内的至少部分视频数据对所述基础图像进行图像增强，以获得所
述目标图像。
8.在一些实施例中，按照设定的顺序依次从各目标图像选取至少一张分割图像，组合各分割子图像以获得待检图像包括：为本轮检测，在该目标图像的第一位置选取至少一张分割图像，以及，在与该目标图像时间轴相邻的目标图像中的第二位置选取至少一张分割图像，其中所述第二位置与所述第一位置的次序相邻；为下一轮检测，在该目标图像的第二位置选取至少一张分割图像，以及，在与该目标图像时间轴相邻的目标图像中的第三位置选取至少一张分割图像，其中所述第三位置与所述第二位置的次序相邻。
9.在一些实施例中，利用所述待检图像与预设标准图像进行对比，以判定各待检区域是否存在水灾隐患包括：判断所述待检图像与所述预设标准图像之间的偏差，在所述偏差大于第一阈值的情况下，确定存在偏差所在的子区域，并将该子区域确定为疑似水灾区域。
10.在一些实施例中，将该子区域确定为疑似水灾区域之后，所述矿井水灾监测方法还包括：增大对该子区域对应的视频数据进行剪裁的时间间隔；和/或，增加对该子区域选取的分割图像的数量，其中，在该子区域增加选取的分割图像满足，与当前分割图像邻近。
11.在一些实施例中，利用所述待检图像与预设标准图像进行对比，以判定各待检区域是否存在水灾隐患还包括：再次组合各分割子图像以获得疑似图像，将所述疑似图像与判断所述待检图像与所述预设标准图像之间的偏差，在所述偏差大于第二阈值的情况下，判断该子区域存在水灾隐患。
12.在一些实施例中，基于所述时间轴从该路视频流的多个位置选取相应的目标图像之后，所述矿井水灾监测方法还包括：对选取的目标图像进行缩放，并调节选取的目标图像至预设亮度值。
13.在一些实施例中，判断不存在水灾隐患之后，删除存储时间超过设定阈值的历史视频数据。
14.本技术实施例还提出一种多路图像采集的矿井水灾监测装置，包括视频采集装置和上位机，所述视频采集装置具有多路摄像头和第一处理单元，所述上位机具有第二处理单元；预先在多个目标监测区域设置位置标记，其中各目标监测区域设置的位置标记相同，且该位置标记将该目标监测区域分为多个子区域；利用多路摄像头采集各目标监测区域的视频数据；所述第一处理单元被配置为：为采集的多路视频数据，按照时间轴组合成一路视频流，发送给上位机；上位机接收该路视频流，所述第二处理单元被配置为：基于所述时间轴从该路视频流的多个位置选取相应的目标图像；根据所述位置标记将该目标图像进行分割，以获得该子区域的分割子图像；
按照设定的顺序依次从各目标图像的不同位置选取至少一张分割图像，组合各分割子图像以获得待检图像；利用所述待检图像与预设标准图像进行对比，以判定各待检区域是否存在水灾隐患。
15.本发明实施例将多路采集的视频，并将多路视频整合为一个视频流，从而降低了上位机的运算负荷，并且不需要多处布置摄影机以及补光灯，将多路摄像头进行整合，从而极大降低设备成本和系统复杂度，提高系统监测效率。
16.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
17.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1为本实施例的基本流程图。
具体实施方式
18.下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
19.本技术实施例提出一种多路图像采集的矿井水灾监测方法，如图1所示，包括：在步骤s101中，预先在多个目标监测区域设置位置标记，其中各目标监测区域设置的位置标记相同，且该位置标记将该目标监测区域分为多个子区域。具体的本示例中，多个目标监测区域可以包括矿井的巷道、采煤工作面和掘进工作面等区域，具体位置可以根据实际需要设置。本示例中进一步在多个目标监测区域分别布置位置标记，具体的位置标记可以是例如喷涂或者张贴具有规则形状的标识，例如可以是宫格，圆形等。若为宫格标识，则可以在宫格的不同区域设置与该宫格对应的标签。若为圆形标识，可以按照预设角度将表示划分出多个扇形区域，也可以在该扇形区域设置标签。各宫格或者扇形区域的大小可以是不同的，而各区域设置的位置标记是相同的，从而便于后去采集和图像处理。
20.在步骤s102中，利用多路摄像头采集各目标监测区域的视频数据。例如对于同一片区域内的多个目标监测区域，可以将多路摄像头布置到一个集中的装置中。也可以在多个检测区域分别安装一路摄像头，并将多路摄像头引入下位机，通过下位机可以对多路摄像头采集的视频数据进行预处理。
21.在步骤s103中，为采集的多路视频数据，按照时间轴组合成一路视频流，发送给上位机。具体的，本示例中可以通过下位机将采集的多路视频数据按照时间轴组合成一路视频流，例如可以对各路采集的视频数据按照指定的规则剪裁，并按照时间轴进行组合，从而获得一路视频流。本示例中通过设计相同的位置标记的方式，在为出现水灾的情况下，多路
摄像头采集到的画面是非常相近的，由此也极大降低了下位机视频流处理的复杂程度，提高数据处理的实时性，并且通过本技术的方法能够仅让上位机仅处理一条视频流，还降低上位机的运算负荷。
22.在步骤s104中，上位机接收该路视频流，并基于所述时间轴从该路视频流的多个位置选取相应的目标图像。具体的可以根据历史监测情况来执行选取，例如可以据地理勘测的地下水的流向标记重点区域，并在重点区域的视频分段选取多张图像，然后将重点区域的多张图像进行融合后获得目标图像。对于其他目标监测区域，则选取至少一张图像作为目标图像。通过这样的方式能够在同时对多个目标监测区域进行监测的情况下，重点关注重点区域，从而提高水灾的监测预警效果。
23.在步骤s105中，根据所述位置标记将该目标图像进行分割，以获得该子区域的分割子图像。本示例中为了同时实现矿井多区域的水灾监测，对于一张目标图像，本示例中根据预先设置的位置标记或者标签将目标图像进行分割，从而获得分割的子图像。
24.在步骤s106中，按照设定的顺序依次从各目标图像的不同位置选取至少一张分割图像，组合各分割子图像以获得待检图像。本示例中在不同的位置选取一张分割图像，组合后形成一张完整的待检图像。
25.在步骤s107中，利用所述待检图像与预设标准图像进行对比，以判定各待检区域是否存在水灾隐患。本示例中仅需要将一张待检图像与预设标准图像进行比对，其中预设标准图像可以是在无水灾的情况下采集的各目标监测区域的组合图像。通过这样的方式能够极大降低多区域监测的算力需求，通过本技术设计的分割图像的选取方式，能够对多个目标监测区域实现完整监控，极大降低设备成本和系统复杂度，尤其适用于矿井中数量较大的监测区域的监测场景。
26.本发明实施例将多路采集的视频，并将多路视频整合为一个视频流，从而降低了上位机的运算负荷，并且不需要多处布置摄影机以及补光灯，可以将多路摄像头进行整合，从而极大降低设备成本和系统复杂度，并且降低上位机的图像运算负荷。
27.在一些实施例中，为采集的多路视频数据，按照时间轴组合成一路视频流包括：按照相同的时间间隔，将多路视频数据进行剪裁，并按照时间轴进行组合，以获得一路视频流。本示例中，对于常规场景下的监测，对于多路摄像头采集的视频数据，可以按照相同的时间间隔进行裁剪，例如具体的时间间隔可以设置为10s、15s或者30s，也可以是用户自定义的时长。还可以通过在每个裁剪地视频段上添加指示标记，用于指示该段视频来自对应的目标监测区域。在剪裁之后，按序组合多路视频数据的视频段形成一路视频流，组合后的一路视频流极大降低了视频传输所需要的带宽，例如在需要传输8路视频的情况下所需的带宽仅为同时传输8路视频的1/8。并且在大型矿井中存在多个分区域的场景下，本技术的方法也能很好适用。
28.在一些实施例中，上位机接收该路视频流，并基于所述时间轴从该路视频流的多个位置选取相应的目标图像包括：首先，基于在各时间间隔内的指定位置选取一张图像作为基础图像。具体的指定位置可以是该视频段的起始位置，中间位置或者其他任意位置，选择指定位置的一张图像作为基准图像。
29.接着，利用该时间间隔内的至少部分视频数据对所述基础图像进行图像增强，以
获得所述目标图像。本示例中所指的图像增强可以是按照指定的规则基于基准图像进行融合或者叠加，通过这样的方式，能够使得所获得的目标图像中包含有更多的监控时段内的时间维度的图像细节，从而在后续比对中能够更加准确地确定出矿井水灾隐患。
30.在一些实施例中，基于所述时间轴从该路视频流的多个位置选取相应的目标图像之后，所述矿井水灾监测方法还包括：对选取的目标图像进行缩放，并调节选取的目标图像至预设亮度值。具体的，还可以对选取的目标图像进行缩放以及透视剪裁，通过这样的方式还能适用各类监测场景。将调节选取的目标图像至预设亮度值可以保证合成的待检图像的亮度基本一致，不会因为亮度条件不一致引起误判。
31.在一些实施例中，按照设定的顺序依次从各目标图像选取至少一张分割图像，组合各分割子图像以获得待检图像包括：为本轮检测，在该目标图像的第一位置选取至少一张分割图像，以及，在与该目标图像时间轴相邻的目标图像中的第二位置选取至少一张分割图像，其中所述第二位置与所述第一位置的次序相邻。
32.为下一轮检测，在该目标图像的第二位置选取至少一张分割图像，以及，在与该目标图像时间轴相邻的目标图像中的第三位置选取至少一张分割图像，其中所述第三位置与所述第二位置的次序相邻。
33.基于前述实施例，本技术中位置标记是具有特定分区的，本示例中基于此进一步介绍上位机接收该路视频流，并基于所述时间轴从该路视频流的多个位置选取相应的目标图像。本示例中的矿井水灾监测可以分为多轮，具体的轮次数量可以根据采集的视频流路数以及位置标记的分区数量来确定，例如在具有8路视频以及位置标记具有8个分区的情况下，可以设置8个轮次。对于第一轮次，可以在第一路视频流对应的目标图像中确定第一位置分区的分割图像，然后在第二路视频的对应的目标图像中，选取一个与上述第一位置分区具有关联性的第二位置的分割图像，接着在第三路视频的对应的目标图像中，选取一个与上述第二位置分区具有关联性第三位置的分割图像，以此类推，执行完成各目标图像的分割图像的选取并合成。
34.对于下一轮次，则可以在第一路视频流对应的目标图像中确定第二位置分区的分割图像，然后在第二路视频的对应的目标图像中，在第三位置选取分割图像，接着在第三路视频的对应的目标图像中，在第四位置选取的分割图像，以此类推，执行完成各目标图像的分割图像的选取并合成。通过这样的设计能够在一定的时间内遍历完成各目标监测区域的完整监测，并且上位机也仅利用合成的待检图像与预设标准图像执行对比，降低了图像处理的运算负荷。
35.在一些实施例中，利用所述待检图像与预设标准图像进行对比，以判定各待检区域是否存在水灾隐患包括：判断所述待检图像与所述预设标准图像之间的偏差，在所述偏差大于第一阈值的情况下，确定存在偏差所在的子区域，并将该子区域确定为疑似水灾区域。具体的本示例中所指的待检图像与预设标准图像之间的偏差，可以通过直接将待检图像与预设标准图像进行叠加对比确定。在不存在水灾的情况下，待检图像与预设标准图像之间的偏差应当在预设范围内。本示例中经过前述的图像增强，可能引入噪声，因此可以适当设置第一阈值，从而有效过滤噪声。而对于在偏差超过第一阈值的情况下，确定存在偏差所在的子区域，并将该子区域确定为疑似水灾区域。本示例中确定疑似水灾区域，可以通过
后续的方法对疑似水灾区域进行进一步检测，从而提高检测的准确性。
36.在一些实施例中，将该子区域确定为疑似水灾区域之后，所述矿井水灾监测方法还包括：增大对该子区域对应的视频数据进行剪裁的时间间隔；和/或，增加对该子区域选取的分割图像的数量，其中，在该子区域增加选取的分割图像满足，与当前分割图像邻近。例如在时间间隔为10s的情况下，可以将对该目标监测区域采集到的视频数据剪裁的时间间隔增加至15s或者20s，由此可以增加对该目标监测区域的关注度。独立地或附加地，在通过图像增强获得该疑似水灾区域的目标图像之后，可以增加对该子区域选取的分割图像的数量，例如从该分割图像中选取临近的3个分割图像。在位置标识为圆形的情况下，可以基于当前分割图像所在的扇区按照一定的间隔角度选取其他的分割图像。通过这样的方式，可以保证不丢失同时对多区域跟踪监测，并重点关注于疑似水灾区域的分割图像。还可以在前述同时识别出多个疑似水灾区域的情况下，可以仅针对该几个疑似水灾区域来进行监测，此时分割图像仅包含疑似水灾区域。
37.在一些实施例中，利用所述待检图像与预设标准图像进行对比，以判定各待检区域是否存在水灾隐患还包括：再次组合各分割子图像以获得疑似图像，将所述疑似图像与判断所述待检图像与所述预设标准图像之间的偏差，在所述偏差大于第二阈值的情况下，本示例中第二阈值大于前述的第一阈值，判断该子区域存在水灾隐患。
38.作为另外一种水灾隐患的判断方式，还可以在增大对该子区域对应的视频数据进行剪裁的时间间隔之后，通过上位机分别输出仅包含出该疑似水灾区域在增加剪裁的时间间隔后的疑似视频段，以及历史数据中该目标监测区域在前的多个历史视频段，然后将疑似视频段与在前的多个历史视频段进行合并，接着检测合成的视频信息中前后的亮度变化。在合成的视频信息中前后的亮度变化超过预设亮度阈值变化的情况下，判断存在水灾隐患。作为具体的示例还可以结合前述两种判断方式，例如在所述偏差大于第二阈值的情况下，以及，合成的视频信息中前后的亮度变化超过预设亮度阈值变化的情况下，判断存在水灾隐患，从而进一步提高监测的准确性。
39.在一些实施例中，判断不存在水灾隐患之后，删除存储时间超过设定阈值的历史视频数据。具体的存储时间可以根据实际需要设定，在正常的监测过程中，在产生的存储数据超过预设存储上限的情况下，可以删除超过设定阈值的历史视频数据，从而有效释放存储空间，而本技术中仅传输一路视频流的方式还有效延了长本地存储的历史数据的上限，再出现水灾隐患后，方便后续监控人员调取时间更长的历史数据来进行分析。
40.综上，本发明提出一种多路图像采集的矿井水灾监测方法，能够极大降低整个监控系统的复杂程度，同时降低系统的图像处理负荷，并且本发明方法能够有效覆盖所有的目标监控区域，相比现有的监控方式，大大降低了设备成本的投入，尤其适用于大量的分区域监控的矿井场景。
41.本技术实施例还提出一种多路图像采集的矿井水灾监测装置，包括视频采集装置和上位机，所述视频采集装置具有多路摄像头和第一处理单元，所述上位机具有第二处理单元，其中视频采集装置和第一处理单元可以组成下位机。
42.预先在多个目标监测区域设置位置标记，其中各目标监测区域设置的位置标记相同，且该位置标记将该目标监测区域分为多个子区域；
利用多路摄像头采集各目标监测区域的视频数据；所述第一处理单元被配置为：为采集的多路视频数据，按照时间轴组合成一路视频流，发送给上位机；上位机接收该路视频流，所述第二处理单元被配置为：基于所述时间轴从该路视频流的多个位置选取相应的目标图像；根据所述位置标记将该目标图像进行分割，以获得该子区域的分割子图像；按照设定的顺序依次从各目标图像的不同位置选取至少一张分割图像，组合各分割子图像以获得待检图像；利用所述待检图像与预设标准图像进行对比，以判定各待检区域是否存在水灾隐患。
43.本技术实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本公开各实施例所述的多路图像采集的矿井水灾监测方法的步骤。
44.此外，尽管已经在本文中描述了示例性实施例，其范围包括任何和所有基于本公开的具有等同元件、修改、省略、组合（例如，各种实施例交叉的方案）、改编或改变的实施例。权利要求书中的元件将被基于权利要求中采用的语言宽泛地解释，并不限于在本说明书中或本技术的实施期间所描述的示例，其示例将被解释为非排他性的。因此，本说明书和示例旨在仅被认为是示例，真正的范围和精神由以下权利要求以及其等同物的全部范围所指示。
45.以上描述旨在是说明性的而不是限制性的。例如，上述示例（或其一个或更多方案）可以彼此组合使用。例如本领域普通技术人员在阅读上述描述时可以使用其它实施例。另外，在上述具体实施方式中，各种特征可以被分组在一起以简单化本公开。这不应解释为一种不要求保护的公开的特征对于任一权利要求是必要的意图。相反，本公开的主题可以少于特定的公开的实施例的全部特征。从而，以下权利要求书作为示例或实施例在此并入具体实施方式中，其中每个权利要求独立地作为单独的实施例，并且考虑这些实施例可以以各种组合或排列彼此组合。本发明的范围应参照所附权利要求以及这些权利要求赋权的等同形式的全部范围来确定。
46.以上实施例仅为本公开的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本公开的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。