一种河道区域入侵检测方法、系统及存储介质与流程

1.本发明涉及视频监控技术领域，尤其涉及一种河道区域入侵检测方法。


背景技术：

2.随着城市规划建设生态保护以及宜居生态居住环境，城市中可供人们休闲娱乐的公园人工湖、水库和湖泊数量越来越多，但在实际生活中，由于安全措施不到位、巡查不力、监控未能有效利用等，导致安全事故频发。因此如何能够及时发现可能存在的危险状况，进行及时预警，减少险情发生，对于保障人民生命安全有着至关重要的意义。
3.目前针对河道区域的异常情况监测，还停留在园区工作人员的人工巡逻，主动提醒阶段，因此始终存在巡查效率低下，无法及时发现险情的问题，也存在市政投入大，人员管理繁杂等问题。


技术实现要素：

4.本发明的目的是为了解决现有技术中存在的缺点，而提出的一种河道区域入侵检测方法。
5.为了实现上述目的，本发明采用了如下技术方案：
6.一种河道区域入侵检测方法，包括以下步骤：
7.实时采集待测河道关联区域内的视频图像，基于视频图像获取待测图像帧，输入河道入侵检测模型，基于输出结果判断是否存在河道入侵，并在判定存在河道入侵时，确定入侵类型并进行预警；
8.其中，河道入侵检测模型通过如下方式构建：
9.采集河道关联区域内的图像，基于采集图像进行图像扩展得到噪声图像，基于所采集图像与扩展的噪声图像形成河道图像数据集；
10.标注所述河道图像数据集中各图像的河道入侵类型；其中入侵类型包括行人散步、河边钓鱼、河中游泳、落水以及河边嬉戏中的一种或多种；
11.将标注后的河道图像作为训练样本，利用有监督机器学习算法以训练得到所述河道入侵检测模型。
12.进一步的，所述关联区域包括河道本身以及河边边缘两侧设定范围的区域。
13.进一步的，所述采集河道关联区域内的图像包括：通过在不同时间、河道不同区域、不同角度、不同光照背景下采集河道关联区域内的图像。
14.进一步的，所述基于采集图像进行图像扩展得到噪声图像包括：
15.采用水平翻转、随意剪裁、几何变换、马赛克中的至少一种扩展方式，对每一帧所述采集图像扩展处理，以得到若干所述噪声图像。
16.进一步的，所述利用有监督机器学习算法以训练得到所述河道入侵检测模型包括：将所述训练样本按照6:2:2分为训练集、测试集、和验证集，以进行训练输出得到所述河道入侵检测模型。
17.进一步的，所述训练得到所述河道入侵检测模型包括：
18.设置模型训练参数和损失函数，其中模型训练参数至少包括模型迭代次数，所述损失函数设置为hard-swish函数；利用所述训练集与所述测试集进行迭代训练，并计算损失值，当模型收敛且瞬时值不再下降，或者达到设定的迭代次数时，停止训练，得到所述河道入侵检测模型。
19.进一步的，其中训练所述河道入侵检测模型还包括：
20.去除模型网络结构中cspdarknet53最大预测分支，保留cspdarknet53较小预测分支。
21.本发明还提供一种河道区域入侵检测系统，包括：
22.图像采集模块，用于实时采集待测河道关联区域内的视频图像；
23.在线监测模块，与所述图像采集模块通信连接，并基于所述图像采集模块所采集的视频图像获取待测图像帧，输入河道入侵检测模型，基于输出结果判断是否存在河道入侵，并在判定存在河道入侵时，确定入侵类型，基于入侵类型，生成对应的控制信号，并发送给预警模块；
24.所述预警模块，与所述在线监测模块通信连接，用于接收所述在线监测模块发送的控制信号，并基于所述控制信号进行预警。
25.其中，河道入侵检测模型通过如下方式构建：
26.采集河道关联区域内的图像，基于采集图像进行图像扩展得到噪声图像，基于所采集图像与扩展的噪声图像形成河道图像数据集；标注所述河道图像数据集中各图像的河道入侵类型；其中入侵类型包括行人散步、河边钓鱼、河中游泳、落水以及河边嬉戏中的一种或多种；将标注后的河道图像作为训练样本，利用有监督机器学习算法以训练得到所述河道入侵检测模型。
27.进一步的，所述预警模块包括声光报警器，所述声光报警器基于所述控制信号获取对应的音频播报预警信息和/或对应的灯光颜色预警信息，以实现声光预警。
28.本发明还提供一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一项所述的河道区域入侵检测方法的步骤。
29.本发明的有益效果为：
30.1.该河道区域入侵检测方法，河道入侵数据集精确分类，可使得模型类别之间误检概率大大降低，保证模型可以输出精确的入侵分类目标。
31.2.该河道区域入侵检测方法采用新的hard-switch损失函数，可以解决了深层网络过拟合问题，理论上使得整个函数图像表现得更加平滑，允许特征深入神经网络，使得模型最终泛化和准确性更强。
32.3.基于采集图像进行图像扩展得到噪声图像，可有效增加样本量，可以解决深层网络过拟合问题。
附图说明
33.图1为本发明提供的一种河道区域入侵检测方法流程示意图；
34.图2为本发明图像检测算法设计流程示意图；
35.图3为本发明河道区域入侵检测算法流程示意图；
36.图4为本发明摄像头状态监控流程示意图；
37.图5为本发明提供的一种河道区域入侵检测方法流程示意图；
38.图6为本发明提供的一种河道区域入侵检测系统结构示意图。
具体实施方式
39.下面结合具体实施方式对本专利的技术方案作进一步详细地说明。
40.下面详细描述本专利的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利，而不能理解为对本专利的限制。
41.在本专利的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利的限制。
42.在本专利的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“设置”应做广义理解，例如，可以是固定相连、设置，也可以是可拆卸连接、设置，或一体地连接、设置。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本专利中的具体含义。
43.实施例一：
44.一种河道区域入侵检测方法，如图1-4所示包括以下步骤：
45.s1：数据集整理，采集众多河道监控区域、角度、光照背景的河道图像，增加多尺寸裁剪、不同增益倍数、马赛克遮挡等噪声图像；并对数据集进行分类；使得模型泛化能力更强，这样会有效减少目标类别置信度会在高低区间震荡可能性；
46.s2：训练2d目标检测模型，构建检测模型的函数，然后改变传统yolov5网络结构、增加去除锚框操作方式以及增加网络测试图像，使目标检测模型稳定，最后输出模型文件；
47.s3：输入图像进行2d目标检测模型实时推理，通过网络相机输出rtsp视频流，图像传入现场算法服务器，经过服务器cpu解码后，送入了加载了模型的gpu开始推理计算，输出检测结果；
48.s4：系统实际应用，将模型加载至河道入侵监测系统，进行系统初始化处理，并对系统使用的河道摄像头进行实时监测。
49.河道监控服务器，河道监控服务器用于处理图像信息，并运行图像检测算法模型，对图像信息进行推理计算，判断是否出现河道入侵以及河道入侵的种类，输出检测结果；
50.河道摄像头，河道摄像头用于采集河道图像信息，并将图像信息导入河道监控服务器；
51.显示器，显示器用于显示河道监控服务器的输出结果，根据输出结果进行入侵报警，以及显示河道监控服务器对河道摄像头的监控结果，根据监控结果，进行反馈，便于维修人员对河道摄像头进行故障恢复。
52.s11：获取河道不同时间区域、角度、光照背景下的监控视频；获取监控视频的方法是主要是采用商用网络相机拍摄视频，然后再间隔抽帧，保证每张图像数据无重复标注对
象，使得模型可以学习到更多的特征；
53.s12：数据集标注，预先定义标注类别精确划分为行人散步a类、钓鱼者b类、河中野泳c类，按照上述分类对图像进行边框标注，标注结果为图像上每个类别信息及位置信息即矩形左上角顶点二维坐标(x0，y0)，右下角顶点二维坐标(x1，y1)；
54.s13：按照6：2：2比例将数据集划分训练、测试集、验证集。
55.s21：修改leakyrelu激活函数为hard-swish函数：
[0056][0057]
该方法提高了激活函数的非线性能力，在更深的网络层中提取特征能力更强。
[0058]
s22：改变传统yolov5网络结构，去除cspdarknet53中输出最大的预测分支，保留较小预测分支，能够足够检测河道区域上较小的入侵目标。
[0059]
s23：增加去除锚框操作方式，网络最后输出8400
×
85＝(20
×
20 40
×
40 3
×
3)
×
(3 4 1)的特征向量，相对于yolov3的基于锚框方式少了2/3的参数。
[0060]
s24：网络训练阶段，在网络训练阶段增加图像水平翻转、随意剪裁、几何变换、马赛克等数据增强操作。
[0061]
s25：训练网络之前设置sgd的动量值、权重衰减初始参数、模型迭代次数、锚框坐标等超参数，导入步骤s1设置的训练、测试集开始训练模型，模型在训练和测试集上逐渐收敛，一旦模型在测试集损失值不再下降时，停止训练，输出最终模型文件。
[0062]
s31：河道监控相机即时采集rgb图像，并将图像输入算法服务器，对图像进行解码；
[0063]
s32：将解码后的图像信息导入加载最终模型文件的gpu内部，加载最终模型文件的gpu对图像进行推理计算，输出河道入侵目标数量、类别，并进行入侵报警，通过显示器进行显示。
[0064]
s41：系统初始化，将经过检验的最终模型文件加载至河道监控服务器内，进行系统初始化，并对河道摄像头采集的图像信息进行推理计算，并输出检测结果；
[0065]
s42：监控摄像头状态，对河道摄像头进行实时监控，判断河道摄像头是否故障，并对河道摄像头进行故障修复。
[0066]
本发明图像检测算法流程如下：系统初始化，检测河道摄像头是否开启；
[0067]
若是，河道摄像头采集的图片导入河道监控服务器的系统内，并对图片进行推理计算，输出检测结果；
[0068]
若否，显示器显示错误码，并根据错误码对河道摄像头进行故障恢复。
[0069]
本发明摄像头状态监控算法包括：监控摄像头状态，判断河道摄像头是否故障；
[0070]
若是，显示器显示错误代码，并根据错误码对河道摄像头进行故障恢复；
[0071]
若否，开启摄像头，河道摄像头对监控范围内的河道进行图像采集。
[0072]
实施例二：
[0073]
本实施例提供一种河道区域入侵检测方法，请参见图5，包括以下步骤：
[0074]
s501、实时采集待测河道关联区域内的视频图像。
[0075]
s502、基于视频图像获取待测图像帧，输入河道入侵检测模型。
[0076]
s503、基于输出结果判断是否存在河道入侵，如是，转至步骤s504；如否，结束。
[0077]
s504、确定入侵类型并进行预警。
[0078]
其中，河道入侵检测模型通过如下方式构建：
[0079]
采集河道关联区域内的图像，基于采集图像进行图像扩展得到噪声图像，基于所采集图像与扩展的噪声图像形成河道图像数据集；
[0080]
标注所述河道图像数据集中各图像的河道入侵类型；其中入侵类型包括行人散步、河边钓鱼、河中游泳、落水以及河边嬉戏中的一种或多种；
[0081]
将标注后的河道图像作为训练样本，利用有监督机器学习算法以训练得到所述河道入侵检测模型。
[0082]
进一步的，关联区域包括河道本身以及河边边缘两侧设定范围的区域。
[0083]
进一步的，采集河道关联区域内的图像包括：通过在不同时间、河道不同区域、不同角度、不同光照背景下采集河道关联区域内的图像。
[0084]
进一步的，基于采集图像进行图像扩展得到噪声图像包括：
[0085]
采用水平翻转、随意剪裁、几何变换、马赛克中的至少一种扩展方式，对每一帧采集图像扩展处理，以得到若干噪声图像。
[0086]
进一步的，利用有监督机器学习算法以训练得到河道入侵检测模型包括：将训练样本按照6:2:2分为训练集、测试集、和验证集，以进行训练输出得到河道入侵检测模型。
[0087]
进一步的，训练得到河道入侵检测模型包括：
[0088]
设置模型训练参数和损失函数，其中模型训练参数至少包括模型迭代次数，损失函数设置为hard-swish函数；利用训练集与测试集进行迭代训练，并计算损失值，当模型收敛且瞬时值不再下降，或者达到设定的迭代次数时，停止训练，得到河道入侵检测模型。
[0089]
进一步的，其中训练河道入侵检测模型还包括：
[0090]
去除模型网络结构中cspdarknet53最大预测分支，保留cspdarknet53较小预测分支。
[0091]
实施例三：
[0092]
本实施例提供一种河道区域入侵检测系统，请参见图6，该河道区域入侵检测系统包括：
[0093]
图像采集模块61，用于实时采集待测河道关联区域内的视频图像；
[0094]
在线监测模块62，与图像采集模块通信连接，并基于图像采集模块所采集的视频图像获取待测图像帧，输入河道入侵检测模型，基于输出结果判断是否存在河道入侵，并在判定存在河道入侵时，确定入侵类型，基于入侵类型，生成对应的控制信号，并发送给预警模块；
[0095]
预警模块63，与在线监测模块通信连接，用于接收在线监测模块发送的控制信号，并基于控制信号进行预警。
[0096]
其中，河道入侵检测模型通过如下方式构建：
[0097]
采集河道关联区域内的图像，基于采集图像进行图像扩展得到噪声图像，基于所采集图像与扩展的噪声图像形成河道图像数据集；标注所述河道图像数据集中各图像的河道入侵类型；其中入侵类型包括行人散步、河边钓鱼、河中游泳、落水以及河边嬉戏中的一种或多种；将标注后的河道图像作为训练样本，利用有监督机器学习算法以训练得到所述河道入侵检测模型。
[0098]
进一步的，预警模块63包括声光报警器，声光报警器基于控制信号获取对应的音频播报预警信息和/或对应的灯光颜色预警信息，以实现声光预警。
[0099]
本发明还提供一种计算机可读存储介质，该计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上实施例一或实施例二中所述的河道区域入侵检测方法的步骤。具体请参见上述实施例中的描述，在此不再赘述。以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。