一种用于消防物联网的监控图像校准处理方法、装置和系统与流程

本发明涉及消防图像处理领域，尤其涉及一种用于消防物联网的监控图像校准处理方法、装置和系统。

背景技术

消防物联网是指通过物联网信息传感与通讯等技术，将传统消防系统中的设备设施通过社会化消防监督管理和应急管理机关消防机构灭火救援涉及的各位要素所需的消防信息链接起来，构建高感度的消防基础环境，实现实时、动态、互动、融合的消防信息采集，传递和处理，能全面促进与提高政府及相关机构实施社会消防监督与管理水平，显著增强应急管理机关消防机构灭火救援的指挥、调度、决策和处置能力。搭配云台的网络摄像机作为消防物联网的核心基础设备，是火情监测最直接的图像信息来源。为了保障摄像机所监控的点位图像稳定性和准确性，目前的技术主要是采用在云台中预置点位信息的方式，将各点位的云台水平及垂直转向角度、摄像机焦距等信息储存在本地，其中水平与垂直转向角度通过步进电机控制，将给定步进电机的脉冲换算为转向角度，摄像机焦距则由镜头内部机构进行调整。

现有消防物联网对图像获取的技术本身不做任何校准动作，一旦云台步进电机出现丢步、云台转向机构磨损老化或者受外部风力干扰等影响，摄像机将会偏离原来的点位，采集到的图像并非真实点位信息，会致使消防系统局部甚至全局失效，引起重大事故。

技术实现要素：

针对上述问题，本发明提供一种用于消防物联网的监控图像校准处理方法、装置和系统，用于解决上述问题。

本发明通过以下技术方案实现：

一种用于消防物联网的监控图像校准处理方法，包括以下步骤：

S1. 通过多个摄像机，对对准点位时的图像数据依次进行记录，并记录云台的初始转动角度；

S2. 系统依次对摄像机采集的图像数据与预设点位的图像数据进行对比，判断摄像机所监控的点位位置是否发生了偏移，当发生偏移时，执行步骤S3；当没有发生偏移时，重复步骤S2；

S3. 对于发生偏移的摄像机，实时记录云台实时转动角度d1；并通过消防信息处理主机控制发生偏移的摄像机云台旋转一圈，形成全景图像；

S4. 在全景图像中，通过深度学习方法确定预设点位的图像的中心对应到全景图像中的位置，记录偏转角度数据δd；

S5. 将d1 δd的点位预置数据更新覆盖对应摄像机的点位数据；

S6. 通过消防信息处理主机控制，根据点位预置数据对对应摄像机进行偏转校正，并记录校准后的图像数据。

进一步的，所述云台实时记录当前转动角度数据，根据初始转动角度和当前转动角度计算实时转动角度d1，具体计算过程如下：

实时转动角度d1=当前转动角度-初始转动角度。

进一步的，所述深度学习方法的具体步骤包括：

S401. 通过多头注意力机制编码器分别对高斯激活之后的预设点位的图像和全景图像重要特征以及这些特征之间的关系进行学习和编码；

S402. 将编码之后的特征结果通过具有非线性GELU的前馈多层感知机MLP进行特征融合；

S403. 通过深度卷积神经网络对融合后的特征及其特征间的关系进行学习，并进一步抽取特征，编码得到相应的图像坐标参数（x，y，v），其中，所述x表示x轴坐标值，y表示y轴坐标值，v表示置信度；

S405. 通过图像坐标参数，在全景图像中进行结果可视化。

进一步的，还包括步骤S7，所述步骤S7具体为：将校准后的图像数据与预设点位的图像数据进行比对，两者中心偏移误差若处于所设阈值内，则表示校准完成；若误差超出所设阈值，则重复步骤S3。

一种用于消防物联网的监控图像校准处理装置，包括多个摄像机、多个云台、多个监控处理终端和智慧消防信息处理主机，其中，所述摄像机分别架设于多个云台上，所述监控处理终端分别连接一个摄像机和云台，所述智慧消防信息处理主机分别连接多个监控处理终端。

进一步的，所述摄像机用于对预设的对准点位进行拍摄。

一种用于消防物联网的监控图像校准处理系统，包括：

图像采集模块，用于对图像采集设备采集的图像信息进行提取；

数据处理模块，用于对图像信息进行分析、判断、计算，得到相应的偏转角度信息，并将偏转角度信息进行数据覆盖；

数据存储模块，用于对采集的图像信息、处理的偏转角度信息、预设的图像信息、预设的偏转角度信息和误差阈值进行存储；

设备控制模块，用于根据覆盖的数据，控制图像采集设备进行偏转校准；

其中，所述数据处理模块还包括：

第一数据对比单元，用于将采集的图像信息和预设的图像信息进行比对，得到偏转信息；

角度计算单元，用于通过偏转信息，对具有偏转信息的图像采集设备进行偏转角度计算，得到偏转角度信息；

数据覆盖单元，用于将偏转角度信息对预设的偏转角度信息进行数据覆盖。

进一步的，还包括二次校准模块，用于对校准完成后的图像进行校准，其中，所述二次校准模块包括：

第二数据对比单元，用于将校准完成后的图像信息与预设的图像信息进行比对，得到比对信息；

阈值判断单元，用于根据比对信息和误差阈值进行判断，是否存在误差。

本发明的有益效果：

（1）本发明能够快速验证消防物联网摄像头是否存在精度降低、外力干扰等问题；

（2）当出现摄像头偏离点位现象，本发明在摄像头原来控制参数的基础上叠加校准偏移量，快速对摄像机云台进行控制参数校准；

（3）本发明通过采用智能化校准方法，校准后的摄像头若再次发生偏离点位现象，可自动再进行校准。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提出的一种用于消防物联网的监控图像校准处理方法的方法流程图；

图2为本发明实施例提出的一种用于消防物联网的监控图像校准处理装置的装置结构图；

图3为本发明实施例提出的一种用于消防物联网的监控图像校准处理的一种终端设备的结构示意图；

图4为本发明实施例提出的一种用于实现一种用于消防物联网的监控图像校准处理方法的计算机可读存储介质的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例1

如图1，本实施例提出一种用于消防物联网的监控图像校准处理方法，包括以下步骤：

S1. 通过多个摄像机，对对准点位时的图像数据依次进行记录，并记录云台的初始转动角度；

S2. 系统依次对摄像机采集的图像数据与预设点位的图像数据进行对比，判断摄像机所监控的点位位置是否发生了偏移，当发生偏移时，执行步骤S3；当没有发生偏移时，重复步骤S2；

S3. 对于发生偏移的摄像机，实时记录云台实时转动角度d1；并通过消防信息处理主机控制发生偏移的摄像机云台旋转一圈，形成全景图像；

S4. 在全景图像中，通过深度学习方法确定预设点位的图像的中心对应到全景图像中的位置，记录偏转角度数据δd；

S5. 将d1 δd的点位预置数据更新覆盖对应摄像机的点位数据；

S6. 通过消防信息处理主机控制，根据点位预置数据对对应摄像机进行偏转校正，并记录校准后的图像数据。

进一步的，所述云台实时记录当前转动角度数据，根据初始转动角度和当前转动角度计算实时转动角度d1，具体计算过程如下：

实时转动角度d1=当前转动角度-初始转动角度。

进一步的，所述深度学习方法的具体步骤包括：

S401. 通过多头注意力机制编码器分别对高斯激活之后的预设点位的图像和全景图像重要特征以及这些特征之间的关系进行学习和编码；

S402. 将编码之后的特征结果通过具有非线性GELU的前馈多层感知机MLP进行特征融合；

S403. 通过深度卷积神经网络对融合后的特征及其特征间的关系进行学习，并进一步抽取特征，编码得到相应的图像坐标参数（x，y，v），其中，所述x表示x轴坐标值，y表示y轴坐标值，v表示置信度；

S405. 通过图像坐标参数，在全景图像中进行结果可视化。

进一步的，还包括步骤S7，所述步骤S7具体为：将校准后的图像数据与预设点位的图像数据进行比对，两者中心偏移误差若处于所设阈值内，则表示校准完成；若误差超出所设阈值，则重复步骤S3。

实施例2

在实施例1的基础上，本实施例进一步提出一种用于消防物联网的监控图像校准处理装置，包括多个摄像机、多个云台、多个监控处理终端和智慧消防信息处理主机，其中，所述摄像机分别架设于多个云台上，所述监控处理终端分别连接一个摄像机和云台，所述智慧消防信息处理主机分别连接多个监控处理终端。

进一步的，所述摄像机用于对预设的对准点位进行拍摄。

实施例3

在实施例1的基础上，本实施例进一步提出一种具体实施方式，如图2，本实施例具体包括以下步骤：

（1）针对摄像机1到n，依次记录对准点位时的图像信息，通过人工确认方式，记录此时的初始云台转动角度。

（2）通过定时采集摄像机图像数据与预设点位的图像对比，确认摄像机所监控的点位位置是否发生了偏移；

（3）对于发生偏移的摄像机i，记录云台当时的转动角度数据为d1；

（3）通过消防信息处理主机控制发生偏移的摄像机i云台旋转一圈，形成全景照片；

（4）在全景照片中，通过深度学习的方法确定预设点位图像中心对应到全景照片中的位置，记录偏转角度数据δd；

（5）将d1 δd的点位预置数据更新覆盖摄像机i的点位数据；

（6）通过消防信息处理主机控制摄像机i按照新的点位数据进行偏转校正，记录图像信息；

（7）将图像信息与初始图像信息进行比对，两者中心偏移误差若处于一定范围内，则表示校正完成，若误差超过一定范围，则从第（3）步重复校正，直至新采集的图像信息与初始图像信息中心偏差控制在一定范围。

实施例4

在实施例1的基础上，本实施例进一步提出一种用于消防物联网的监控图像校准处理系统，包括：

图像采集模块，用于对图像采集设备采集的图像信息进行提取；

数据处理模块，用于对图像信息进行分析、判断、计算，得到相应的偏转角度信息，并将偏转角度信息进行数据覆盖；

数据存储模块，用于对采集的图像信息、处理的偏转角度信息、预设的图像信息、预设的偏转角度信息和误差阈值进行存储；

设备控制模块，用于根据覆盖的数据，控制图像采集设备进行偏转校准；

其中，所述数据处理模块还包括：

第一数据对比单元，用于将采集的图像信息和预设的图像信息进行比对，得到偏转信息；

角度计算单元，用于通过偏转信息，对具有偏转信息的图像采集设备进行偏转角度计算，得到偏转角度信息；

数据覆盖单元，用于将偏转角度信息对预设的偏转角度信息进行数据覆盖。

进一步的，还包括二次校准模块，用于对校准完成后的图像进行校准，其中，所述二次校准模块包括：

第二数据对比单元，用于将校准完成后的图像信息与预设的图像信息进行比对，得到比对信息；

阈值判断单元，用于根据比对信息和误差阈值进行判断，是否存在误差。

实施例5

如图3，在实施例1的基础上，本实施例提出一种用于消防物联网的监控图像校准处理的终端设备，终端设备200包括至少一个存储器210、至少一个处理器220以及连接不同平台系统的总线230。

存储器210可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)211和/或高速缓存存储器212，还可以进一步包括只读存储器(ROM)213。

其中，存储器210还存储有计算机程序，计算机程序可以被处理器220执行，使得处理器220执行本申请实施例中上述任一项一种用于消防物联网的监控图像校准处理方法，其具体实现方式与上述方法的实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。存储器210还可以包括具有一组(至少一个)程序模块215的程序/实用工具214，这样的程序模块包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

相应的，处理器220可以执行上述计算机程序，以及可以执行程序/实用工具214。

总线230可以为表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。

终端设备200也可以与一个或多个外部设备240例如键盘、指向设备、蓝牙设备等通信，还可与一个或者多个能够与该终端设备200交互的设备通信，和/或与使得该终端设备200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口250进行。并且，终端设备200还可以通过网络适配器260与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器260可以通过总线230与终端设备200的其它模块通信。应当明白，尽管图中未示出，可以结合终端设备200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。

实施例6

在实施例1的基础上，本实施例提出一种用于消防物联网的监控图像校准处理的计算机可读存储介质，所述计算机可读存储介质上存储有指令，该指令被处理器执行时实现上述任一的一种用于消防物联网的监控图像校准处理方法。其具体实现方式与上述方法的实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。

图4示出了本实施例提供的用于实现上述方法的程序产品300，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品300不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。程序产品300可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言诸如Java、C 等，还包括常规的过程式程序设计语言诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。