一种基于机器视觉的人防门形变检测系统和方法与流程

1.本发明涉及一种基于机器视觉的人防门形变检测系统和方法，属于物联网技术领域。


背景技术：

2.人防工程是一种特殊的地下建筑,其防护设备是重要的组成部分,对人防工程发挥防护作用起着关键的作用。人防门作为人防工程的重要防护设备，其是否存在形变是确保能否发挥防护作用的关键因素之一。因此如何及时发现人防门的形变是人防工程日常管理的重要工作。
3.目前，人防门的形变检测是只能由专业人员定期对一定范围内的人防门进行抽查，且采用完全人工的方式来进行检测，但是，手段比较单一，并且工作量大，效率低等不足之处。这样的完全人工检测方法已经不能适应人防工作的管理要求，已经遇到了人防工程管理的重大瓶颈。


技术实现要素：

4.本发明目的在于解决了上述现有技术的不足，提出了一种基于机器视觉的人防门形变检测系统，该系统能够解决人工检测的手段单一、工作量大、成本高、效率低和及时性差的问题。该系统进行人防门形变检测具有高效、低成本、及时性好、自动化程度高的优点，能够完全满足各种类型人防门的形变检测要求，由于这种检测及测量是非人工操作，因此本发明可以节省大量劳动力资源，提高了人防工程管理的工作效率，所以其应用将越来越广泛。本发明主要解决了如下问题：
5.1)人工抽检，成本高、效率低；
6.由于人防门的数量庞大，但具有检测能力的专业人员很少，因此，现在只能采用抽检的方式来执行定期检测的工作。同时，因人力成本的快速提升，加上人防工程建设的快速增长，专业人员短缺和成本高等问题越来越突出。目前这种方式已经无法满足人防工程的日常管理要求。
7.2)检测手段单一，工作量大、维护周期长；
8.人工检测是目前采用的方式。这种方式由于检测手段单一，平均每个人防门的检测工作量很大。这种方法因工作量大，使得维护周期加长，远远超过国家制定的相关标准。因此，这种检测方式与技术根本没有办法做到人防工程管理的要求。
9.3)信息化程度低，及时性差、定性能力弱；
10.人工检测的方法，只能采集到少量人防门的数据，而且因及时性差，采集周期长，无法及时发现问题、及时维护。因此，目前针对人防门的信息化程度非常低，在大部分地区几乎没有。
11.4)计划性差，执行力度无法保障；
12.人工检测因专业度高、工作量大，所以无法按国家相关标准来制定相对应的工作
计划，只能根据本地人员、人防门数量，而采用这不定期的抽检方式。同时，由于人工的操作方式，也无法保障执行力度和成效。
13.5)缺乏预测性，维护及时性和针对性差；
14.人工检测只能做到抽检且间隔周期长，因此，采集的数据少，无法通过这类数据来进行预测性分析。同时，由于检测的及时性差，使得维护的及时性、针对性也差。目前采用的方式和方法，无法及时发现问题，也无法预测问题的发生，因此无法做到及时维护，这就大大降低了人防门的实际有效使用寿命，从而提高了整体成本。
15.本发明解决其技术问题所采取的技术方案是：一种基于机器视觉的人防门形变检测系统，该系统包括检测色带、智能摄像机、检测分析服务器、存储服务器和查询终端，具体包括如下：
16.检测色带：在人防门制作过程中、制作完成或安装完成后，需要在人防门的边缘，用工具生成一个宽约为5厘米的四边检测色带，检测色带所采用的色度值需要与人防门本体的色度值要形成明显的色差。
17.智能摄像机：用于获取被测产品的图像，并上传至图像分析服务器。智能摄像机内置sd卡，支持本地存储，在断电或断网等突发状况下，保存产品图片及录像信息；运用高性能率失真压缩技术，高画质低码流节省带宽；采用了超高分辨率逐行扫描图像传感器，为检测分析服务器提供高质高清图片，提高检测成功率；支持web方式的浏览和管理，便于管理人员随时查询待测产品实时状态；提供了外部传感器触发报警联动方式，可以集成各种外部传感器，根据现场实际需求，提供报警；智能摄像机必须具备如下功能：(1)强光抑制；(2)自动白平衡；(3)自动红外切换；(4)自动增益；(5)自动降噪；(6)自动曝光。
18.检测分析服务器：检测分析服务器中运行一个特定的机器视觉检测分析软件，并提供该软件与系统中其他设备的数据接口。检测分析服务器接收智能摄像机采集的图像数据，通过软件的检测、分析、对比，自主判断待测人防门是否形变。检测分析软件是检测分析服务器的核心，其主要功能包括：
19.a.自动图像几何变换：由于实际操作存在误差，无法保证目标物体总是处于同样的位置和方向，先检测图像中目标物体的位置和方向信息，即目标物体的位姿，然后进行相应的几何变换。变换分为四种，分别为平移、缩放、旋转、倾斜。
20.b.自动图像增强：图像增强是图像必须的预处理过程，目的是将智能摄像机采集的图像的某些特征增强，以便于后续的图像处理。通常包括：灰度值变换、锐化、降噪。
21.c.边缘检测：对图像进行边缘检测，得到人防门上检测色带边缘的过程。
22.d.连通区域：通过图像边缘检测得到的区域在算法中只是一个或多个图像的子集，为了得到后面需要的检测标线，必须要将这些分割得到的子集标记成一个个连通的区域，通过对相临区域的连通就能得到整个图像中的检测色带边缘连线。
23.e.平滑处理：得到的检测色带连线可能是不平滑的，为了得到平滑的检测色带边线，需要对上述得到的检测色带边缘连线进行平滑处理，从而得到整个人防门检测色带的二条连续边缘线。
24.f.形变计算：将通过处理的目标图像和本人防门的初始模版进行对比，主要是依据二条检测色带边线的差距、四个对角的度差，并从存储服务器提取本人防门的前期相关数据，从而计算出变化速率等数值，同步计算出该人防门相关部位的形变度与形变速率等，
进而自动判断当前检测的人防门是否存在形变或存在形变的概率。
25.g.产品信息传递：当本次人防门的判断完毕后，软件会将该人防门的检测信息，通过数据接口，发至存储服务器储存或系统外的相关应用。
26.存储服务器：用于存储检测结果的数据服务器；
27.查询终端：支持手机、平板和普通pc从存储服务器中查询特定时间的分析数据以及统计报表等。
28.本发明还提供了一种基于机器视觉的人防门形变检测系统的实现方法，包括：首先检查人防门是否有检测色带，如果没有，就采用人工的方式按要求进行添加；智能摄像机根据检测计划要求，定时准确地采集当前人防门的图像，并通过自动曝光、自动白平衡、自动增益、自动降噪技术对图像进行预处理，将处理后的图像同步上传到检测分析服务器；检测分析服务器中运行一个特定的机器视觉应用软件，该应用软件会分析图像上的特定区域，通过自动图像几何变换来校正因拍摄角度的图像形变，然后通过自动图像增强、边缘检测、连通区域、平滑处理，得到用于后续计算的特征图像；最后通过形变计算得出人防门的形变数据，从而检出当前人防门的质量结果；计算结束后，如果检测结果达到预警条件，则向系统外发布相关预警信息；如果检测结果达到报警条件，则向系统外发布相关报警信息；同时，检测分析服务器会将人防门的检测结果存储到存储服务器中。存储服务器是一个数据库服务器，可以保存长达一年甚至更高的数据内容，同时系统配有查询软件，支持不同终端查询特定时间的质量结果以及相关的统计报表。
29.本发明检测分析算法是安装在检测分析服务器上的一个应用软件，是一个机器视觉检测分析软件。它的核心是检测分析算法，主要包括：自动图像几何变换、自动图像增强、边缘检测、连通区域、平滑处理、形变计算等几个子算法组成。
30.自动图像几何变换：通过本发明子算法，可以将摄像机采集并处理后的图像转变为与该人防门样本图像相同角度的图像，确保图像的几何特征一致；特别是要确保图像中的色带区域与样本图像保持一致。
31.自动图像增强：通过本发明子算法，将图像中色带区域与人防门底色区域的色差进行加大，从而突现出色带区域。
32.边缘检测：通过本发明子算法，将色带区域的周边进行标注，形成包括内四边与外四边的二个近四边形的标注点。
33.连通区域：通过本发明子算法，将相近特征的区域进行连通处理，形成二个连通的近四边形连线。
34.平滑处理：通过本发明子算法，将不平平滑的连线，形成二个平整的内外四边形。
35.形变计算：通过本发明子算法，可以计算出内外二个四边形各边的形变率和形变速率；根据这8个数值，可以得出该人防门是否存在形变或有形变的可能。
36.有益效果：
37.1、本发明成本一次性投入，年平均成本低：一个人防工程体，其人防门的数量较多，但经分类后，可以选择典型点位安装相应的智能摄像机，且该摄像机还同时应用于违规占用等检测，因此，总体成本低，社会效益更大。
38.2、本发明检测手段先进，实现了完全自动化：由于本系统的检测方式是通过软件算法实现的，且系统具有很强的自适应性，具有较高的智能化水平，因此，本系统实现了完
全自动化，大大提升了整体效率。
39.3、本发明信息化水平高，及时性、可靠性强：完整、及时、可靠的检测数据，可以为人防主管理部门的智慧人防系统提供基础数据支撑。
40.4、本发明检测方法计划性强，执行结果可靠：检测结果通过自动巡检功能可以实现按计划自动提取；检测结果还可以通过设置手动巡检来实现计划外的自动提取。
41.5、预测能力强，维护及时：本发明具有很强的预测能力，及时发现潜在的风险，并给预警和告警，并给出相关的处理建议。从而，提升了维护的及时性和计划性，进而大大延长了人防门的使用寿命，降低了整体建设成本和维护费用。
附图说明
42.图1为本发明的系统架构图。
43.图2为本发明检测分析算法处理流程图。
44.图3为本发明基于机器视觉的人防门形变检测系统工作流程图。
45.图4为本发明系统的具体实施示意图。
具体实施方式
46.以下将以图式揭露本发明的实施方式，为明确说明起见，许多实务上的细节将在以下叙述中一并说明。然而，应了解到，这些实务上的细节不应用以限制本发明。也就是说，在本发明的部分实施方式中，这些实务上的细节是非必要的。
47.如图1所示，本发明提供了一种基于机器视觉的人防门形变检测系统，该系统包括检测色带、智能摄像机、检测分析服务器、存储服务器和查询终端，具体包括如下：
48.检测色带：在人防门制作过程中、制作完成或安装完成后，需要在人防门的边缘，用工具生成一个宽约为5厘米的四边检测色带，检测色带所采用的色度值需要与人防门本体的色度值要形成明显的色差。
49.智能摄像机：用于获取被测产品的图像，并上传至图像分析服务器。智能摄像机内置sd卡，支持本地存储，在断电或断网等突发状况下，保存产品图片及录像信息；运用高性能率失真压缩技术，高画质低码流节省带宽；采用了超高分辨率逐行扫描图像传感器，为检测分析服务器提供高质高清图片，提高检测成功率；支持web方式的浏览和管理，便于管理人员随时查询待测产品实时状态；提供了外部传感器触发报警联动方式，可以集成各种外部传感器，根据现场实际需求，提供报警；智能摄像机必须具备如下功能：(1)强光抑制；(2)自动白平衡；(3)自动红外切换；(4)自动增益；(5)自动降噪；(6)自动曝光。
50.检测分析服务器：检测分析服务器中运行一个特定的机器视觉检测分析软件，并提供该软件与系统中其他设备的数据接口。检测分析服务器接收智能摄像机采集的图像数据，通过软件的检测、分析、对比，自主判断待测人防门是否形变。检测分析软件是检测分析服务器的核心，其主要功能有：
51.a.自动图像几何变换：由于实际操作存在误差，无法保证目标物体总是处于同样的位置和方向，先检测图像中目标物体的位置和方向信息，即目标物体的位姿，然后进行相应的几何变换。变换分为四种，分别为平移、缩放、旋转、倾斜。
52.b.自动图像增强：图像增强是图像必须的预处理过程，目的是将智能摄像机采集
的图像的某些特征增强，以便于后续的图像处理。通常包括：灰度值变换、锐化、降噪。
53.c.边缘检测：对图像进行边缘检测，得到人防门上检测色带边缘的过程。
54.d.连通区域：通过图像边缘检测得到的区域在算法中只是一个或多个图像的子集，为了得到后面需要的检测标线，必须要将这些分割得到的子集标记成一个个连通的区域，通过对相临区域的连通就能得到整个图像中的检测色带边缘连线。
55.e.平滑处理：得到的检测色带连线可能是不平滑的，为了得到平滑的检测色带边线，需要对上述得到的检测色带边缘连线进行平滑处理，从而得到整个人防门检测色带的二条连续边缘线。
56.f.形变计算：将通过处理的目标图像和本人防门的初始模版进行对比，主要是依据二条检测色带边线的差距、四个对角的度差，并从存储服务器提取本人防门的前期相关数据，从而计算出变化速率等数值，同步计算出该人防门相关部位的形变度与形变速率等，进而自动判断当前检测的人防门是否存在形变或存在形变的概率。
57.g.产品信息传递：当本次人防门的判断完毕后，软件会将该人防门的检测信息，通过数据接口，发至存储服务器储存或系统外的相关应用。
58.存储服务器：用于存储检测结果的数据服务器；
59.查询终端：支持手机、平板和普通pc从存储服务器中查询特定时间的分析数据以及统计报表等。
60.如图2和图3所示，本发明提供了一种基于机器视觉的人防门形变检测系统的实现方法，包括：首先检查人防门是否有检测色带，如果没有，就采用人工的方式按要求进行添加；智能摄像机根据检测计划要求，定时准确地采集当前人防门的图像，并通过自动曝光、自动白平衡、自动增益、自动降噪技术对图像进行预处理，将处理后的图像同步上传到检测分析服务器；检测分析服务器中运行一个特定的机器视觉应用软件，该应用软件会分析图像上的特定区域，通过自动图像几何变换来校正因拍摄角度的图像形变，然后通过自动图像增强、边缘检测、连通区域、平滑处理，得到用于后续计算的特征图像；最后通过形变计算得出人防门的形变数据，从而检出当前人防门的质量结果；计算结束后，如果检测结果达到预警条件，则向系统外发布相关预警信息；如果检测结果达到报警条件，则向系统外发布相关报警信息；同时，检测分析服务器会将人防门的检测结果存储到存储服务器中。存储服务器是一个数据库服务器，可以保存长达一年甚至更高的数据内容，同时系统配有查询软件，支持不同终端查询特定时间的质量结果以及相关的统计报表。
61.本发明检测分析算法是安装在检测分析服务器上的一个应用软件，是一个机器视觉检测分析软件。它的核心是检测分析算法，主要包括：自动图像几何变换、自动图像增强、边缘检测、连通区域、平滑处理、形变计算等几个子算法组成。
62.自动图像几何变换：通过本发明子算法，可以将摄像机采集并处理后的图像转变为与该人防门样本图像相同角度的图像，确保图像的几何特征一致；特别是要确保图像中的色带区域与样本图像保持一致。
63.自动图像增强：通过本发明子算法，将图像中色带区域与人防门底色区域的色差进行加大，从而突现出色带区域。
64.边缘检测：通过本发明子算法，将色带区域的周边进行标注，形成包括内四边与外四边的二个近四边形的标注点。
65.连通区域：通过本发明子算法，将相近特征的区域进行连通处理，形成二个连通的近四边形连线。
66.平滑处理：通过本发明子算法，将不平平滑的连线，形成二个平整的内外四边形。
67.形变计算：通过本发明子算法，可以计算出内外二个四边形各边的形变率和形变速率；根据这8个数值，可以得出该人防门是否存在形变或有形变的可能。
68.图4为本发明系统的具体实施示意图，本发明智慧人防工作站主要包括三个层级，分别为：智能感知设备、前端智能网关和智慧人防工作站。
69.智能感知设备：通过引入现有或自主研发的人防工程设备相关的智能感知设备，实现人防工程设备信息的数据自动采集，提高系统的实时性、数据准确性等效果。智能感知设备主要包括：环境检测设备、墙体检测设备、火焰监测设备，用于人防门形变检测和人防通道/空间违规占用检测的智能摄像机、防核生化检测设备等。
70.前端智能网关：实现对前端感知设备输出的数据进行分析识别，为后端系统提供所需的信息数据。该前端智能网关包含了本发明的检测分析服务器的所有功能，它主要由下面几部分构成：
71.1)基于专属的arm微处理器阵列架构，实现多维多源异构数据负载均衡处理。
72.2)多核阵列实现视频分析、图像识别、特征检测、ocr、声纹识别与处理等专用算法应用。
73.3)提供边缘计算分析能力支撑及业务应用，提供丰富的物理接口和数据接口，接入各类前端智能感知信息数据，是前端感知体系的中枢。
74.智慧人防工作站：包含了本发明的存储服务器和查询终端等设备及功能，主要实现如下功能：
75.1)基于前端多维感知、前端智能网关，全面立体地掌握人防工程、设备设施、空间环境、违规行为的基础数据及实时数据，异常情况及时预警、告警介入及处置，在工作站层面形成完整工作流闭环，实现预警联动一体化。
76.2)通过系统数据工具及业务，实现人防、安防和消防综合巡检计划，做到80％的自动巡检 20％的人工巡检，大大降低基层人员的工作量，提高工作效率。
77.3)通过大数据汇聚与建模，构建智能人防管理专家人机耦合系统，实现自动生成人防设施的日常维护计划，让计划更加科学和高效，减少维护成本，延长设备设施的使用年限。
78.4)通过与上级主管部门管理平台的对接，为上级平台在防汛预警、应急疏散、战时管理等方面提供数据支撑、辅助决策、执行反馈、信息汇集，极大提升智慧人防体系在最后一公里的落实效率。
79.5)利用存储服务器存储相关数据，如视频数据、图像数据、检测数据、计算结果数据、基础数据等，并根据相关标准对保密数据进行加密处理，还需要根据相关规定保证数据的生命周期；同时为各类查询终端提供查询服务。
80.以上所述仅为本发明的实施方式而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理的内所作的任何修改、等同替换、改进等，均应包括在本发明的权利要求范围之内。