适用于水利行业智能分析系统中的图像智能处理方法与流程

1.本发明属于水利行业场景分析技术领域，具体涉及一种适用于水利行业智能分析系统中的图像智能处理方法。


背景技术：

2.近年来，气候变化加剧，我国江南、华南大部、西南南部等地降水量较常年同期明显偏少，部分地区降水较常年同期偏少六成以上，部分区域中小型水库水位接近或低于死水位，部分市县城镇出现供水紧张状况，与此同时，中部地区、北部地区的降水量较常年同期明显增多，甚至引发洪涝等自然灾害。
3.对于一些大城市区域，面对降雨量变化剧烈、水资源供给不足的情况，精准分析当前河道的水位情势，可有效支撑城市联网供水调配及跨区域引水调度，以保障供水安全。同时，水利行业中还需要涉及到河道监控、水库监控、供水管网监控、排污监控等，这些工作一般由人工巡查进行，但人工巡查的工作量大，且对于一些危险区域，也容易发生意外情况。
4.现有技术中，也有一些简单的用于水利行业中的基于摄像头图像的分析装置，但大多结构简单，功能落后，分析精度差，已经难以满足越来越高的水利场景分析需求。
5.因此，针对以上现有技术中还存在的一些问题，本发明对用于水利行业的智能场景分析系统，具体是对其中的图像智能处理方法进行进一步的改进。


技术实现要素：

6.针对以上现有技术中的不足，本技术提供了一种适用于水利行业智能分析系统中的图像智能处理方法，配合具体场景中的摄像头、无人机、无人车数据采集，能够对图片图像进行高效专业的分析处理，进行实时动态的监管和预警分析，实现水利工程智能巡查和监督，并能够第一时间发现违规事件、报告并处理，维护各水域的健康生命，实现经济社会可持续发展。
7.本技术中的技术方案通过以下技术方案实现。
8.适用于水利行业智能分析系统中的图像智能处理方法，包括以下步骤：（1）对输入的图片、图像进行分类管理；（2）ai智能视频分析管理模块生成经过训练的识别子算法；（3）选择合适的识别子算对图像进行分析处理；所述识别子算法包括：漂浮物识别算法、违规涉水活动识别算法、违章排水识别算法、周界识别算法、水尺识别算法、水体水域识别算法、安全帽佩戴识别算法中的至少一种。
9.本技术中，数据端可以为具体水利场景中的摄像头，用于定点拍摄图像、视频，也可以为装载有摄像装置和通讯装置的无人机或无人车，可以按照指令程序进行自动化巡逻拍摄，也可以为巡逻人员带着的摄像装置，这些拍摄的图片、图像数据通过数据端传入到智能算法管理单元中。
10.获取数据之后，智能算法管理单元对影像数据进行分类和管理，如按照区域分类，分为水库场景影像数据、河道场景影像数据、人员工作区域影像数据、闸坝区域影像数据
等，然后根据需要从智能算法训练单元中选择合适的识别子算法，对影像数据进行分析处理，并将处理结果反馈至连接用户端。
11.智能算法训练单元为定制化可升级模块，该单元用于算法模型的创建、校验、训练、发布，发布后生产对应功能的识别子算法，供智能算法管理单元选择使用。
12.一种优选的实施方式中，所述漂浮物识别算法用于执行以下操作：s11：分析数据端采集到的图像或图片，对其中的图像或图片进行漂浮物的检测定位；s12：对图像、图片进行水体的像素级分割，结合漂浮物与水体的碰撞检测，判断漂浮物的检测结果；s13：将检测结果反馈至智能算法管理单元。
13.一种优选的实施方式中，所述违规涉水活动识别算法用于执行以下操作：s21: 分析数据端采集到的图像或图片，对其中的图像或图片进行人体和/或钓鱼竿的检测定位；s22：对图像、图片进行像素级的水体分割，通过水体分割与人体区域的碰撞判断是否游泳；和/或：对图像、图片进行像素级的水体分割，通过钓鱼竿区域与人体区域的碰撞判断是否钓鱼；s23：将检测结果反馈至智能算法管理单元。
14.一种优选的实施方式中，所述违章排水识别算法用于执行以下操作：s31：分析数据端采集到的图像或图片，对其中的图像或图片进行排污口的检测定位；s32：对图像、图片进行像素级的水体分割，通过水体分割与排污口的区域碰撞检测来判断是否有污水排出；s33：将检测结果反馈至智能算法管理单元。
15.一种优选的实施方式中，所述周界识别算法用于执行以下操作：s41：分析数据端采集到的图像或图片，对其中的图像或图片进行人体的检测定位；s42：对图像、图片进行禁区边界的划定，通过禁区边界与人体的区域碰撞检测来判断是否人体与禁区相交叠；s43：将检测结果反馈至智能算法管理单元。
16.一种优选的实施方式中，所述水尺识别算法用于执行以下操作：s51：分析数据端采集到的图像或图片，对其中的图像或图片进行水尺的智能识别；s52：对图像、图片中的水尺进行水位线分析，并与原有标定图像进行对比，计算出水位值；s53：将检测结果反馈至智能算法管理单元。
17.一种优选的实施方式中，所述水体水域识别算法用于执行以下操作：s61：分析数据端采集到的图像或图片，对其中的图像或图片进行水体的像素级分割；s62：将图像、图片与原有标定的图像进行对比，判断出水体水域的边界；s63：将检测结果反馈至智能算法管理单元。
18.一种优选的实施方式中，所述安全帽佩戴识别算法用于执行以下操作：s71：分析数据端采集到的图像或图片，对其中的图像或图片进行人体的检测定位，对人体头部的安全帽佩戴情况进行检测；s72：将图像、图片与原有标定的图像进行对比，判断出安全帽佩戴区域边界；s73：将安全帽佩戴情况与安全帽佩戴区域进行碰撞检测，判断出安全帽佩戴区域中的人体是否佩戴了安全帽；s74：将检测结果反馈至智能算法管理单元。
19.一种优选的实施方式中，本技术中，其中的识别子算法中，对图片、图像的处理可采用多层级分辨率像素级场景分割算法、二级精细定位的少样本目标检测算法、大数据驱动难/易样本自适应人体检测算法中的一种或多种。
20.与现有技术相比，本技术具有以下有益效果：提供了一种适用于水利行业智能分析系统中的图像智能处理方法，配合具体场景中的摄像头、无人机、无人车数据采集，采用
模块化统筹式的智能单元，能够对水库、堤防、海塘、河道、水闸、泵站等水利工程进行实时动态的监管和预警分析，实现水利工程智能巡查和监督；可以根据需要具体的识别子算法进行分析，分析效率高，分析结果准确性高。
附图说明
21.图1为本技术中的智能场景分析系统的设计流程图。
22.图2为本技术中的智能场景分析系统的单元关系图。
23.图3为本技术中的漂浮物检测处理流程图。
24.图4为本技术中的违规涉水活动检测处理流程。
25.图5为本技术中的违章排水检测处理流程图。
26.图6为本技术中的周界入侵检测处理流程图。
27.图7为本技术中的水尺水位检测处理流程图。
28.图8为本技术中的水体水域检测处理流程图。
29.图9为本技术中的安全帽佩戴检测处理流程图。
30.图10为本技术中的多层级分辨率像素级分割算法的示意图。
31.图11为本技术中的一种多层级像素级水体分割深度算法的示意图。
32.图12为本技术中的一种目标初略定位检测算法的示意图。
33.图13为本技术中的一种目标精细定位检测算法的示意图。
34.图14为本技术中的一种自适应的难/易样本检测算法的示意图。
35.图15为本技术中的一种训练优化闭环算法的示意图。
具体实施方式
36.下面结合附图与具体实施方式对本发明做进一步详细描述。
37.本技术中的一种用于水利行业的智能场景分析系统，包括：智能算法管理单元，所述智能算法管理单元用于对接数据端，并对数据端传入的影像数据进行分类和管理；所述智能算法管理单元还用于连接用户端，用于输出数据；所述智能算法管理单元还连接至智能算法训练单元，并从智能算法训练单元中获取识别子算法，所述识别子算法对影像数据进行处理和分析；智能算法推理单元，所述智能算法推理单元包括本地化中心计算模块，所述本地化中心计算模块用于进行计算资源分配并执行智能任务调度服务和智能分析基础服务；还用于调用存储资源进行数据比对、算法管理服务；智能算法训练单元，所述智能算法训练单元中设有ai智能视频分析管理模块，所述ai智能视频分析管理模块用于生成经过训练的识别子算法，所述识别子算法包括：漂浮物识别算法、违规涉水活动识别算法、违章排水识别算法、周界识别算法、水尺识别算法、水体水域识别算法、安全帽佩戴识别算法中的至少一种。
38.本技术中，数据端可以为具体水利场景中的摄像头，用于定点拍摄图像、视频，也可以为装载有摄像装置和通讯装置的无人机或无人车，可以按照指令程序进行自动化巡逻拍摄，也可以为巡逻人员带着的摄像装置，这些拍摄的图片、图像数据通过数据端传入到智能算法管理单元中。
39.获取数据之后，智能算法管理单元对影像数据进行分类和管理，如按照区域分类，
分为水库场景影像数据、河道场景影像数据、人员工作区域影像数据、闸坝区域影像数据等，然后根据需要从智能算法训练单元中选择合适的识别子算法，对影像数据进行分析处理，并将处理结果反馈至连接用户端。
40.用户端可以为终端的用户电脑、智能手机等设备，可以查看影像数据和分析结果等，也可定制需要的分析服务由智能算法管理单元来执行。
41.本地化中心计算模块可以为本地的服务器，用于提供硬件和算力支撑，同时也用于存储数据。优选的方案中，本地化中心计算模块可以配合前端节点结算模块来使用，采用中心 边缘计算模式，提高数据分析效率，节省算力。前端节点结算模块可以为具有初步分析、分类、计算功能的ai摄像机，可以对拍摄到的影像进行初步数据处理。
42.智能算法训练单元为定制化可升级模块，该单元用于算法模型的创建、校验、训练、发布，发布后生产对应功能的识别子算法，供智能算法管理单元选择使用。
43.结合附图1中可以看出，本技术中的用于水利行业的智能场景分析系统，其核心为基于客户需求的定制化智能图像分析技术。具体的，其中的ai智能视频分析管理模块（也即图1中的ai智能视觉分析管理平台），该模块针对水利业务场景应用需求，完成需求的收集及数据处理，通过ai智能视频分析管理平台，训练生成智能视频分析算法，实现在本地部署应用及统计评价，并根据统计情况，对准确率过低的算法进行针对性的优化提升，达标的算法可进一步推广应用，上系统供用户选择使用该功能。
44.结合附图2可以看出，本技术中，本技术中的智能算法管理单元可对接至各级水利网络视频监控平台，用于获取行业内的视频数据，同时还将分析后的预警数据反馈至平台；同时还可对接至各级水利业务平台，用于交互和收集需求。
45.以下具体来看本技术中的识别子算法。
46.（1）漂浮物识别算法：所述漂浮物识别算法用于执行以下操作：s11：分析数据端采集到的图像或图片，对其中的图像或图片进行漂浮物的检测定位；s12：对图像、图片进行水体的像素级分割，结合漂浮物与水体的碰撞检测，判断漂浮物的检测结果；s13：将检测结果反馈至智能算法管理单元。
47.具体的，结合附图3可以看出，系统接收用户端发来的服务请求，智能算法管理单元调用漂浮物识别算法，对图像进行解码：通过算法对图像中的漂浮物进行定位，同时进行水体分割，通过漂浮物与水体的碰撞检测，过滤掉不在水上的物体，剩下的为在水上的漂浮物，输出该结果。
48.（2）违规涉水活动识别算法：所述违规涉水活动识别算法用于执行以下操作：s21: 分析数据端采集到的图像或图片，对其中的图像或图片进行人体和/或钓鱼竿的检测定位；s22：对图像、图片进行像素级的水体分割，通过水体分割与人体区域的碰撞判断是否游泳；和/或：对图像、图片进行像素级的水体分割，通过钓鱼竿区域与人体区域的碰撞判断是否钓鱼；s23：将检测结果反馈至智能算法管理单元。
49.具体的，结合附图4可以看出，系统接收用户端发来的服务请求，分析前端采集到的图像，对图片逐个进行主要的人体检测，同时进行水体分割、鱼竿检测定位，通过水体分割与人体区域的碰撞判断是否游泳，通过鱼竿区域与人体区域的碰撞判断是否钓鱼，并将检测结果反馈至智能算法管理单元。
50.（3）违章排水识别算法：所述违章排水识别算法用于执行以下操作：s31：分析数据
端采集到的图像或图片，对其中的图像或图片进行排污口的检测定位；s32：对图像、图片进行像素级的水体分割，通过水体分割与排污口的区域碰撞检测来判断是否有污水排出；s33：将检测结果反馈至智能算法管理单元。
51.具体的，结合附图5可以看出，系统接收用户端发来的服务请求，分析前端采集到的图像，对图片逐个进行检测排污口的位置，同时识别是否有水排出，判断排水检测结果，并将检测结果反馈至智能算法管理单元。
52.（4）周界识别算法：所述周界识别算法用于执行以下操作：s41：分析数据端采集到的图像或图片，对其中的图像或图片进行人体的检测定位；s42：对图像、图片进行禁区边界的划定，通过禁区边界与人体的区域碰撞检测来判断是否人体与禁区相交叠；s43：将检测结果反馈至智能算法管理单元。
53.具体的，结合附图6可以看出，系统接收用户端发来的服务请求，分析前端采集到的图像，对图片逐个进行检测人体的出现情况，并根据划定的禁区边界来判断人体出现的位置是否与禁区相交叠，进行区域碰撞检测，由此判断人体是否闯入禁区，并将检测结果反馈至智能算法管理单元。
54.（5）水尺识别算法：所述水尺识别算法用于执行以下操作：s51：分析数据端采集到的图像或图片，对其中的图像或图片进行水尺的智能识别；s52：对图像、图片中的水尺进行水位线分析，并与原有标定图像进行对比，计算出水位值；s53：将检测结果反馈至智能算法管理单元。
55.具体的，结合附图7可以看出，系统接收用户端发来的服务请求，调用前端水尺摄像机，对水尺进行智能识别，分析前端采集到的图像，对图片逐个进行水位线分析，并与原有标定图像进行对比，由此计算出水位数值，并多次平均测算后将最终检测结果反馈至智能算法管理单元。
56.（6）水体水域识别算法：所述水体水域识别算法用于执行以下操作：s61：分析数据端采集到的图像或图片，对其中的图像或图片进行水体的像素级分割；s62：将图像、图片与原有标定的图像进行对比，判断出水体水域的边界；s63：将检测结果反馈至智能算法管理单元。
57.具体的，结合附图8可以看出，系统接收用户端发来的服务请求，分析前端采集到的图像，对图片逐个进行水体的像素级分割，并与原有标定的图像进行对比，判断出水体水域的边界，并将检测结果反馈至智能算法管理单元。
58.（9）安全帽佩戴识别算法：所述安全帽佩戴识别算法用于执行以下操作：s71：分析数据端采集到的图像或图片，对其中的图像或图片进行人体的检测定位，对人体头部的安全帽佩戴情况进行检测；s72：将图像、图片与原有标定的图像进行对比，判断出安全帽佩戴区域边界；s73：将安全帽佩戴情况与安全帽佩戴区域进行碰撞检测，判断出安全帽佩戴区域中的人体是否佩戴了安全帽；s74：将检测结果反馈至智能算法管理单元。
59.具体的，结合附图9可以看出，系统接收用户端发来的服务请求，分析前端采集到的图像，对单个图片进行检测人体的出现情况，同时对进入检测区域人体的头部进行定位、安全帽检测，通过人体头部区域与安全帽检测的碰撞判断人体是否佩戴安全帽，并将检测结果反馈至智能算法管理单元。
60.本技术中，以上的识别子算法中，对图片、图像的处理可采用多层级分辨率像素级
场景分割算法、二级精细定位的少样本目标检测算法、大数据驱动难/易样本自适应人体检测算法中的一种或多种。
61.具体的，所述的多层级分辨率像素级场景分割算法，结合附图10和附图11进行说明。本系统的识别子算法涉及广泛的水体上目标检测，需要精确的像素级水体分割算法使得能在多种复杂场景下的水体精确分割。像素级水体分割算法在各种层级分辨（如：4层级分辨率）下分析分割的信息，同时获取丰富的像素和区域信息，同时采用多分辨率信息汇集模块（如图10所示），交换各个层级分辨率的信息分析路径下分析信息，大大地增强不同路径下的像素和区域信息表达，达到精确的像素分割。另一方面，如图11所示，通过76层的深层网络结构，提取更丰富的分割信息。完成精确的水体像素分割，有效用于漂浮物检测、水体水域检测、违规涉水活动检测等。
62.具体的，所述二级精细定位的少样本目标检测算法，结合附图12和附图13进行说明。
63.漂浮物检测、违规涉水活动检测、违章排水检测以及安全佩戴检测等涉及到精细的目标检测算法（远距离下目标有可能较小），而且存在样本少的特点。根据这些特点，设计二级逐步精细的定位检测深度模型结构，适应少样本下的更精确的目标检测，以下为一种实施方式。
64.1、第一级深度模型结构，采用50层的深层主干深度模型结构提取图像特征，并通过逐层上采样模块构造多尺度特征，每个尺度特征负责不同尺度的检测目标，高分辨（大尺度）的特征检测小的目标，低分辨（小尺度）的特征检测大的目标。不同的检测目标通过第一级深度模型结构，粗略估计目标区域。
65.2、第二级深度模型结构根据第一级结构估计粗略目标区域，在该区域上进一步提取目标特征，通过5层线性回归层的深度模型，进行精细的目标区域估计和置信度估计。另一方面，正样本较少的情况下，通过增加大量样本来优化第二级深度模型，优化少样本下的检测精度。
66.具体的，大数据驱动难/易样本自适应人体检测算法，结合附图14进行说明。
67.水利视频监控摄像机分布在各种水利场景下，存在很多复杂的因素影响检测，例如摄像机的角度、高度、距离，环境的光照明暗变化，复杂的背景（各种植物、船只、水体等背景）等等因素。因此采用以下两方面进行解决：（1）海量的人体标注数据。（2）自适应的难/易样本检测算法。
68.水利数据分布可能存在大量的难检测的场景，而一部分容易检测的场景，设计自适应的难/易样本检测算法，可以达到（1）容易检测的场景直接通过小网络来推理检测，节省时间；（2）难检测的场景通过大网络来推理检测，保证难检测场景的精度。
69.自适应的难/易样本检测算法的核心在于难/易样本决策模块，通过难/易样本决策模块的决策，把复杂因素下的图像经过超深层的检测网络，从而保证在复杂因素下的难样本检测精度。另一方面，通过海量的人体图像数据训练网络，如50万图像数据，包括夜间、白天、河道、水库、在建水利工程等多种场景下图像数据，通过数据驱动的训练方式，使得自适应人体检测深度模型在各种场景下具有更高的检测精度。
70.此外，本技术中，智能算法推理单元对其中运行的识别子算法的质量进行统计，并反馈至智能算法训练单元进行优化训练，形成有效闭环，具体的，结合附图15来看：通过对
智能算法的实际应用，总结出不同算法在多个场景上的应用效果，并对识别结果进行准确率统计，将统计结果反馈给算法模型，进行算法分析提升与优化工作，使算法模型针对性地进行算法优化，并进一步“深度学习”，再将优化后的算法进行集成运用，从而不断提升智能算法的分析能力，形成智能算法应用和优化的互补循环，实现训练计算优化的有效闭环。
71.此外，本技术中，本技术的系统中，还设有智能视频分析支撑与评价单元，具体的：所述的智能视频分析支撑与评价单元，集成接入、生成、训练、优化及评价智能分析算法，使系统更符合水库、堤防、海塘、河道、水闸、泵站等水利工程对环境实时动态监管的需求，进一步提升水利自动化和智能化管理水平。
72.本技术中的系统，实现了多算法的统一管理，使各系统可按需求对特定目标和特定行为进行智能分析算法的调用。同时对集成的智能分析算法进行分析基础服务和统计评价处理，并统一管理这些分析服务，开放各类服务的接口，提供具有水利智能视频分析特色的服务接口，能够使用户灵活地依据水利行业需求编排服务，很好的监视、控制服务的运行状态和质量。同时为了改善智能视频分析过程中误报、漏报现象，将进行算法优化工作，从确认算法优化方向到针对性搜集样本训练，系统通过循环的训练方式，来实现算法分析精度的提升。
73.以上所述，本技术提供了一种用于水利行业的智能场景分析系统及其中的分析方法，配合具体场景中的摄像头、无人机、无人车数据采集，采用模块化统筹式的智能单元，能够对水库、堤防、海塘、河道、水闸、泵站等水利工程进行实时动态的监管和预警分析，实现水利工程智能巡查和监督；可以根据需要具体的识别子算法进行分析，分析效率高，分析结果准确性高。
74.本发明的保护范围包括但不限于以上实施方式，本发明的保护范围以权利要求书为准，任何对本技术做出的本领域的技术人员容易想到的替换、变形、改进均落入本发明的保护范围。