一种基于视频AI的井盖联动监测系统及方法与流程

一种基于视频ai的井盖联动监测系统及方法
技术领域
1.本发明涉及井盖监测技术领域，特别涉及一种基于视频ai的井盖联动监测系统及方法。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术，并不必然构成现有技术。
3.如今城市建设规模越来越大，城市道路中建设了大量的各种类型的井盖，而井盖异常打开，井盖破损，井盖丢失容易导致交通事故、人员坠落伤亡、井下资产损失被盗等生命财产损失问题，井盖管理部门急需对道路井盖进行自动化监测、实时事件上报、及时安全预警和异常事件快速处置的方法，以提高井盖管理效率，保障了公众生命财产安全。
4.现有的井盖异常打开、破损和丢失的管理方法，包括：
5.(1)行程开关传感器监测法
6.行程开关监测法，在井壁上安装一个限位开关设备，井盖正常闭合的情况下，限位开关是压着的，井盖一旦被打开或者移位，限位开关就会弹开，通过限位行程开关状态的改变，能够触发一个电位信号，从而检测到井盖被打开、关闭或移位，进行井盖状态上报，但是无法监测井盖是否发生破损。而且由于井壁的倾斜角度不同，井壁材料硬度不一，还存在行程开关设备安装困难、易脱落和施工成本高的问题。
7.(2)重力加速度传感器监测法
8.重力加速度传感器监测法，在井盖背面安装具有重力加速度传感器的监测装置，可以通过加速度传感器来计算井盖的角度，当井盖角度倾斜超过一定角度时，识别为井盖被打开；当井盖倾斜角度恢复时，识别为井盖闭合。然后进行井盖状态上报。只能监测井盖打开和移位，当井盖被打开或移动到道路上类似井盖闭合的平行与路面放置时，虽然井盖倾斜角度为零或接近零，但是传感器仍然识别为井盖闭合，实际上井盖未盖在井口，故设备无法监测井盖是否井口正常闭合而且井盖管理部门人员也无法通过设备上报数据远程判断井盖是否正确盖在井口上，存在大量误报，管理人员必须去现场确认，管理成本高，效率低。
9.(3)图像分析巡测法
10.图像分析巡测法，一般利用城市道路灯杆上安装的摄像头，间隔一定的时间，摄像头自动旋转一周，对道路路面进行录像或拍照，然后将图像或视频通过联网上传到视频图像分析服务器，服务器自动利用图像识别技术进行井盖和井口识别，识别井盖是否丢失或大面积破损。这种方法存在的显著缺点是，摄像头必须联网，如果发生掉线，即时井盖发生了异常事件，无法上报，无法本地进行安全预警。而且路灯杆上的摄像头距离井盖较远，未结合井盖位置对应的预置位，远距离对道路上井盖进行拍照，图片或图像不够清晰，井盖图像区域像素点太少，导致井盖识别效果不理想，井盖是否破损识别率更差，基本无法判断井盖是否正确的盖在了井口上，容易产生较多漏报和误报，所以识别率教低，匹配度较差，实际应用效果很不理想。
11.上述方法都是孤立的对井盖进行监测，异常状态发生时，无法对现场进行安全预警，仍存在一定安全风险。


技术实现要素：

12.为了解决现有技术的不足，本发明提供了一种基于视频ai的井盖联动监测系统及方法，提高了井盖异常事件的识别准确度。
13.为了实现上述目的，本发明采用如下技术方案：
14.本发明第一方面提供了一种基于视频ai的井盖联动监测系统。
15.一种基于视频ai的井盖联动监测系统，包括：安装在井盖背面的井盖监控器、安装在杆件上的第一摄像装置以及安装在杆件上的ai边缘计算终端；
16.井盖监控器包括处理器以及与处理器连接的无线通信模块、加速度传感元件和第二摄像装置，处理器能够根据加速度传感数据进行第二摄像装置的拍摄控制；
17.杆件上还设有无线通信网关，处理器通过无线通信模块与无线通信网关连接，无线通信网关和第一摄像设备均与ai边缘计算终端连接；
18.ai边缘计算终端能够根据接收到的第一摄像装置拍摄的数据和/或根据第二摄像装置拍摄的数据，得到井盖联动监测结果。
19.进一步的，第二摄像装置为红外广角摄像装置，能够在处理器的控制下，进行井盖背面和井壁的拍摄。
20.进一步的，井盖未发生异动时，处理器处于超低功耗的睡眠状态，当井盖打开或关闭时，加速度传感元件唤醒处理器，进行状态监测和数据上报；
21.仅当井盖有关闭动作时或井盖振动频率大于预设值时，处理器控制第二摄像装置进行拍照，并将井盖的状态数据和摄像数据通过无线通信网关传输给ai边缘计算终端。
22.更进一步的，处理器按照一定时间周期进行唤醒自检，自检时，处理器控制第二摄像装置进行拍照，并将井盖的状态数据和摄像数据上报给远程控制终端。
23.进一步的，ai边缘计算终端使用井盖背面图片识别判断井盖是否破损，使用井壁图片判断井盖是否正常盖在井口；
24.当井盖打开、未正常关闭、破损或周期性检查时，离线联动杆件上的第一摄像装置旋转到对应井盖的预置位进行拍照或录像并进行二次视频ai分析，进一步识别井盖是否丢失；
25.井盖异常时，联动杆件上的音视频模块进行报警音频广播，同时将报警数据上传到远程控制终端。
26.本发明第二方面提供了一种基于视频ai的井盖联动监测方法。
27.一种基于视频ai的井盖联动监测方法，包括以下过程：
28.杆件上的无线通信网关接收井盖监控器上报井盖状态数据和井盖背面摄像数据，并发送至ai边缘计算终端；
29.ai边缘计算终端接收到井盖监控器的数据后，联动杆件上的第一摄像装置转到井盖预置位并拍照；
30.ai边缘计算终端根据井盖监控器发送的数据和第一摄像装置的拍摄数据综合进行ai分析，对图像进行识别处理，识别井盖和井壁区域，判断井盖是否正确盖在井口，是否
已经移位脱离井口，是否井盖发生破损以及是否井盖已经丢失；
31.ai边缘计算终端基于上报的井盖状态数据和ai分析结果，判断井盖打开或未正确关闭或井盖破损或井盖丢失异常时，ai边缘计算终端联动杆件上的显示模块插播安全预警视频节目，联动音频模块插播安全预警音频节目。
32.进一步的，ai边缘计算终端将井盖监控器识别的井盖状态、井盖监控器的摄像数据、杆件上的第一摄像装置的摄像数据、ai识别结果以及联动结果发送到远程控制终端；
33.当远程控制终端根据ai识别结果判断发生井盖异常事件时，且异常事件ai识别匹配度小于设定的阈值时，发起人工审核指令；
34.当人工审核的结果为异常事件时，生成井盖告警指令，进一步的生成检修工单。
35.进一步的，当远程控制终端根据ai识别结果判断没有发生井盖异常事件时，标记井盖为正常状态，联动ai边缘计算终端取消播放安全预警视频节目和安全预警音频节目。
36.进一步的，当异常事件ai识别匹配度大于或等于设定的阈值时，生成井盖告警指令，进一步的生成检修工单。
37.进一步的，当人工审核的结果不为异常事件时，标记井盖为正常状态，联动ai边缘计算终端取消播放安全预警视频节目和安全预警音频节目。
38.与现有技术相比，本发明的有益效果是：
39.1、本发明采用井盖监控器，基于加速度传感器和红外广角摄像头结合的技术，只有加速度传感器监测到井盖关闭后才进行拍照，相对只有摄像头的监控器设备(只能定时拍照)，提高了监测效率，实现了设备低功耗工作，监控器工作寿命更长；相对只有加速度传感器或使用行程开关传感器的监控器，监测项目更多，支持井盖打开、关闭、是否正确盖在井口以及破损监测。红外广角摄像头确保在井下光线较暗下可以清晰拍照，广角镜头确保了摄像头可以更大角度拍照，可以对井盖背面、井盖支架、井壁进行拍照。
40.2、本发明将智慧(灯)杆上的具有云台的第一摄像装置和ai边缘计算终端结合，ai边缘计算终端可以离线运行，可以对井盖异常事件上报照片进行ai分析，并自动联动云台摄像头转到井盖对应预置位(含方向、调焦、调距、调光)进行拍照，拍照更准确清晰，可对报警进行二次ai判断，此处可以判断井盖是否丢失，结合两次ai分析，提高报警准确率；判断井盖异常(打开、未盖好、破损、丢失)时，可以主动进行离线安全预警，联动智慧(灯)杆上的音柱播放安全预警音频，联动智慧(灯)杆上的led大屏播放安全预警节目，多设备联动响应，提高了异常事件得响应效率，达到了安全预警的效果。
41.3、本发明通过设置远程控制终端，管理人员可以对少量可疑的井盖报警、ai分析结果结合监控器和杆上摄像机上传照片进行二次人工审核确认，减少没有必要的派单、现场确认、维护工作，提高了工作效率，降低了井盖管理维护成本。
附图说明
42.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
43.图1为本发明实施例1提供的井盖监控器安装示意图。
44.图2为本发明实施例1提供的多功能智慧(灯)杆示意图。
45.图3为本发明实施例2提供的基于视频ai的井盖联动监测方法示意图。
46.图4为本发明实施例2提供的视频ai分析流程图。
具体实施方式
47.下面结合附图与实施例对本发明作进一步说明。
48.应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
49.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
50.在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
51.实施例1：
52.本发明实施例1提供了一种基于视频ai的井盖联动监测系统，包括：具有加速度传感器和摄像头的井盖监控器、挂载在智慧(灯)杆上无线通信网关和云台摄像机球机(即第一摄像装置)、杆底部仓体中的ai边缘计算终端、业务管理系统(即远程控制终端)。井盖监控器在井盖上的安装示意图见图1，智慧(灯)杆及杆上挂载设备见图2。
53.可以理解的，智慧(灯)杆可以是单独设置的杆件，也可以是灯杆，本领域技术人员可以根据具体工况进行设置，这里不再赘述。
54.井盖监控器包括低功耗的处理器、加速度传感器、红外广角摄像头(即第二摄像装置)、无线通信模组、电池和集成电路。井盖监控器安装于井盖背面，摄像头在监控器内部，摄像头调整角度可以拍到井盖背面和井壁。井盖未发生异动时，设备处于超低功耗的睡眠状态，当井盖打开或关闭时，由加速度传感器唤醒设备，进行状态监测和数据上报；仅当井盖有关闭动作时或井盖高频率震动(一般由于井盖破损导致车辆碾压一定时间内反复震动)，设备使用摄像头进行拍照，状态数据和照片上报。设备按照一定时间周期进行唤醒自检，监测当前井盖状态和拍照，然后数据和照片上报。
55.无线通信网关，挂载在智慧(灯)杆上，使用无线通信技术与井盖监控器进行通信，无线通信技术包括不限于lora/lorawan/nb-iot/elte/wifi。无线通信网关使用有线通信技术与ai边缘计算终端进行通信。无线通信网关使用无线(wifi/3g/4g/5g/cat1/nb-iot/gprs)或有线(网线/光纤)技术与远程的业务管理系统通信。
56.ai边缘计算终端是一种边缘计算设备，具有通用运算能力，还运行定制的井盖视频ai分析算法，可以对井盖监控器上报的图片或智慧(灯)杆上摄像机拍摄图片或视频进行ai分析，发现井盖异常时，可以对事件本地离线联动预警，可以对数据和图片及分析结果进行联网上报。井盖ai分析算法使用井盖背面图片识别判断井盖是否破损，使用井壁图片判断井盖是否正常盖在井口。当井盖打开、未正常关闭、破损时或周期性检查时，可以离线联动本杆上的摄像机进行云台控制旋转到对应井盖的预置位(可自动调焦、调距等)进行拍照或录像进行二次视频ai分析，进一步识别井盖是否丢失。井盖异常时，联动杆上的音柱进行报警音频广播提示路人或车辆注意安全预警，同时也可以联网上报数据至远程的业务管理系统。
57.业务管理系统(即远程控制终端)，可以对井盖、井盖监控器、智慧(灯)杆、杆上摄像机、无线通信网关、ai边缘计算终端、led屏、广播音柱进行综合业务管理，具有移动端app应用。前端设备上报数据、拍照图片、视频ai分析结果上传至本系统，管理人员通过系统对视频ai分析结果形成的事件进行确认，也可以联动前端智慧(灯)杆上的摄像机进行远程查看确认，确认后进行事件处理分发派遣，处理进度跟踪，处理结果反馈。
58.实施例2：
59.如图3所示，本发明实施例2提供了一种基于视频ai的井盖联动监测方法，包括以下过程：
60.s1：在业务管理系统中对井盖、井盖监控器智慧(灯)杆、杆上摄像机、无线通信网关、led屏幕、音柱、ai边缘计算终端的设备编号、型号、ip、经纬度坐标等基础信息建立档案，对井盖与井盖监控器建立监控关联关系，对井盖监控器与无线通信网关建立通信关联关系，对ai边缘计算终端与杆上摄像机、led屏幕、广播音柱建立控制关联关系。
61.s2：井盖安装井盖监控器并正确闭合，监控器初始拍照上传至业务管理系统存档，后续人工审核井盖异常事件时图像对比使用。
62.s3：在业务管理系统中，设置杆上摄像机对周边井盖分别建立预置位，预置位同步下发至ai边缘计算终端；设置ai分析匹配度阈值，井盖异常事件上报图片ai分析结果的匹配度与此阈值比较，低于次阈值的异常事件会安排人工进行审核确认。至此，系统初始化工作完成；后面进入井盖的日常常规监测工作。
63.s4：井盖监控器按照一定的周期进行自检，自检时监控器上传井盖监测状态和监控器摄像。监控器可以监测井盖打开、闭合状态，井盖照片可以拍下井盖是否破损，可以拍下井壁及井盖是否正确盖在井口。
64.s5：井盖监控器实时监测井盖事件，井盖打开时、闭合时、高频震动时，加速度传感器设备唤醒设备，设备上传井盖打开、闭合、震动状态；井盖关闭或井盖高频震动时同时上传拍照，照片用于视频ai分析判断井盖是否正常闭合，是否破损。井盖状态和井盖照片上传至无线通信网关。
65.s6：无线通信网关接收井盖监控器上报井盖状态和照片，发送至ai边缘计算终端。
66.s7：ai边缘计算终端接收到后联动杆上摄像机转到井盖预置位并拍照。ai边缘计算终端也会主动周期性运行联动摄像机对井盖预置位拍照任务以监测井盖是否丢失。
67.s8：ai边缘计算终端根据监控器上传拍照和杆摄像机拍照综合进行ai分析。利用视频ai分析井盖定制算法，对图像进行识别处理，识别井盖、井壁区域，判断井盖是否正确盖在井口，是否已经移位脱离井口，是否井盖发生破损，是否井盖已经丢失。
68.s8：ai边缘计算终端基于上报的井盖状态数据和视频ai分析结果判断为井盖打开或未正确关闭或井盖破损或井盖丢失异常，当结果为是时，进入s10。当不满足条件时，进入s11。
69.s9：ai边缘计算终端联动led屏幕插播安全预警节目；联动音柱插播安全预警音频节目。
70.s10：ai边缘计算终端联网上报监控器识别的井盖状态、监控器拍摄照片、杆上摄像机拍摄照片、ai识别是否发生异常事件、异常事件类型、识别匹配度、联动结果到业务管理系统。
71.s11：业务管理系统中，系统根据上报的ai识别结果是否发生井盖异常事件进行判断？当为是时，进入s13；当为否时，进入s16。
72.s12：业务管理系统中，系统进一步判断，判断异常事件ai识别匹配度是否小于设定的阈值，当为是时，进入s14；当为否时，进入s17。
73.s13：管理人员在业务管理系统中人工审核事件，结合存档中初始照片、监控器摄像、杆摄像机拍照综合判断。
74.s14：业务管理系统中人工审核确定是否为异常事件，当为是时，进入s17；当为否时，进入s16。
75.s15：业务管理系统中标识井盖为正常状态，联动ai边缘计算终端取消播放led屏和音柱的安全预警节目，流程结束。
76.s16：业务管理系统井盖报警，系统自动或手动派单到现场巡检人员。
77.s17：巡检人员通过业务管理系统移动端app接单，现场处置异常事件，处置完毕后，流程结束；井盖再次进入日常实时监测(s5)和自检流程(s4)。
78.ai边缘计算终端执行的视频ai分析算法，包括：
79.算法支持视频录像文件输入也支持图像文件输入，如果输入是图像，将视频抽帧形成图像，后续对图像进行处理。
80.算法利用灰度变换后通过亮度、对比度调整使图像直方图均衡化，并使用平滑、去噪的数学形态学方法对图像进行增强处理；
81.利用边缘检测算法对图像进行边缘提取；
82.基于井盖的椭圆形状的几何特征，进行轮廓搜索并过滤掉不符合条件的轮廓，进行hough变换并去掉无效形状；
83.根据图像来源进行确定识别目标(监控器摄像主要用于识别井盖和井臂，用于判断井盖是否破损，是否盖在井口，是否打开，是否闭合；智慧杆摄像头拍照主要用于识别井口和井盖，用于判断井盖是否打开，是否丢失)。
84.利用hough变换、井盖颜色识别和基于特征匹配的图像比对算法，进行目标识别定位，并计算面积变化率，判断井盖的打开、破损、丢失事件。监控器摄像头拍摄照片和智慧(灯)杆上摄像机对井盖和周边区域拍照，都进入视频ai分析算法进行处理。
85.具体步骤，如图4所示，包括：
86.步骤1：输入源判断，输入文件是否为图像吗，如果否(输入文件为视频文件)，进入步骤2；如果为是，进入步骤3；
87.步骤2：对视频文件进行抽帧，获取图像文件，并标识图像来源为智慧(等)杆摄像机拍照。
88.步骤3：对图像进行亮度、对比度调整；图像平滑、去噪加工处理；使图像直方图均衡化，并使用平滑、去噪的数学形态学方法对图像进行增强处理。
89.步骤4：边缘检测，使用canny边缘检测算法对增强后图像进行边缘检测，提取边缘二值图。
90.步骤5：轮廓搜索，对边缘二值图进行跟踪搜索轮廓；这些轮廓中有很多是无用的并且非椭圆的，使用过滤条件(轮廓弧弯曲度与阈值比较，轮廓像素点数与阈值比较，轮廓宽高面积与阈值比较等)对轮廓进行一定过滤，删除无效轮廓。
91.步骤6：hough变换，对剩余轮廓区域进行hough变换，判断是否满足椭圆方程，删除不满足的形状，保留满足条件的形状。
92.步骤7：判断图片来源，是否监控器摄像？如果为是，转入步骤8；如果为否，转入步骤10。
93.步骤8：利用基于模板匹配、特征匹配的图像比对算法，识别井盖、井壁，与井盖安装时的初始图像进行比较，计算面积变化率。
94.步骤9：根据上步结果，判断井盖是否被打开，是否发生破损，给出匹配度数值。
95.步骤10：基于颜色识别和特征匹配算法进行图像比对，识别井盖和井口。
96.步骤11：根据上步识别结果，判断井盖与井口是否分离，是否存在井盖，得出井盖是否打开，是否丢失的事件，输出结果。
97.步骤12：视频ai分析处理完成，后续根据事件进入预警联动和事件上报流程。
98.本实施例中，在井盖异常时间发生后，本地的视频ai边缘计算终端基于井盖的多次拍照进行视频ai分析确认方法，识别响应快，可以相互确认，显著减少误报，大大提高了事件识别准确率，提高了管理人员工作效率。
99.本实施例中，井盖异常事件发生后联动智慧(灯)杆上视频ai边缘计算网关、摄像机、led屏幕、广播音柱等协同工作进行离线安全预警的机制方法，减少了因智慧(灯)杆上设备无法联网导致无法联动预警的现象发生，有效避免了事故发生。
100.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。