一种水上水下计算机视觉综合溺水判断系统的制作方法

1.本发明涉及计算机视觉技术领域，具体而言涉及一种水上水下计算机视觉综合溺水判断系统。


背景技术：

2.随着信息化、网络化的快速发展，视频监控系统逐渐应用在泳池领域，辅助工作人员对泳池内的游泳者的安全进行实时监控。专利号为cn112489371a的发明中公开了一种基于计算机视觉的泳池防溺水预警系统，采用在游泳池周围放置摄像头，通过计算机视觉分析人的位置和关节点判断是否溺水。但是游泳池在水面静止状态下水下清晰度较好，摄像头可以拍摄到水下和水上的画面，但当有人开始游泳，水面存在较多波浪时，只依靠水上的摄像头将无法提供完整清晰的人体图像提供溺水检测。
3.因此，有部分技术人员提出了同时在水上和水下安装摄像头。例如，专利号为cn102693606a的发明中公开了一种基于摄像网络的泳池防溺水预警方法及系统，在泳池水面上方安装固定水上摄像头，在泳池水面下安装可旋转的水下摄像头，多角度对泳池进行预警覆盖。专利号为cn110210323a的发明中公开了一种基于机器视觉的溺水行为在线识别方法，基于轻量级加速openpose，离线训练适用于提取水中人体关键点的模型；离线训练分类器：提取的人体关键点后，再训练基于神经网络的二分类器，用于判断人员是否溺水。专利号为cn113158962a的发明中公开了一种基于yolov4的泳池溺水检测方法，通过对yolov4检测模型加入泳池判定线进一步约束检测目标类别，提高检测精度。也有部分专利考虑到游泳动作的连续性，提出了对视频图像序列进行处理的策略，例如专利号为cn111547209a的发明中公开了一种防溺水安全保障方法、装置和系统，所述方法包括：实时采集人体生命参数数据、现场视频图像序列；实时处理生命参数数据和现场视频图像序列；判断人体是否处于溺水紧急情况。
4.然而，目前的技术方案都是集中在对人体关节点或者关节点序列进行处理，通过判断人体是否超出某警戒线或者人体动作序列是否明显对应溺水动作，比如持续一段时间的异常动作等等，识别得到溺水信息。对于前者，在人体没有超出警戒线时很难识别到溺水动作，甚至会出现漏判；对于后者，异常动作未必是由溺水带来，只是针对人体动作进行判断，很容易造成误判。这都导致目前的溺水判断方法只能起到简单的辅助作用，难以普及。因此，目前需要提出一种新的溺水判断系统，能够实现更高精度的溺水判断。


技术实现要素：

5.本发明针对现有技术中的不足，提供一种水上水下计算机视觉综合溺水判断系统，首先结合游泳者的动作序列和移动轨迹筛选出所有的游泳异常状态，再综合水波纹特征和动作特征，实现更高精度的溺水判断，有效减轻工作人员的监察负担。
6.为实现上述目的，本发明采用以下技术方案：
7.一种水上水下计算机视觉综合溺水判断系统，所述判断系统包括分布在泳池周围
用于拍摄泳池水上图像的多个水上摄像机、分布在泳池内用于拍摄泳池水下图像的多个水下摄像机，以及采用视觉算法对泳池水下图像和泳池水下图像进行综合处理以识别溺水目标的溺水判别装置；
8.所述溺水判别装置包括预处理单元、位置计算单元、图像分割单元、序列化单元、异常筛选单元、图像再处理单元和溺水识别单元；
9.所述预处理单元用于对一段时间内拍摄的泳池水上图像u(t)和泳池水下图像d(t)进行增强处理，并通过目标检测算法输出每个游泳者的目标人员边界框；所述位置计算单元用于结合各个水上摄像机和水下摄像机的位置信息，计算得到泳池水上图像和泳池水下图像中每个目标人员边界框的中心位置坐标(xi(t)，yi(t)，zi(t))，xi(t)，yi(t)，zi(t)分别是直角坐标系下第i个游泳者在x轴、y轴和z轴上的坐标值；所述图像分割单元用于按照人员对泳池水上图像u(t)和泳池水下图像d(t)进行分割，得到每个游泳者的人员水上图像ui(t)和人员水下图像di(t)；其中，游泳者集合θ＝{1，2，...，i，...，i}，i是游泳者数量，i是游泳者编号；
10.所述序列化单元接收分割后的图像，将每个游泳者对应的人员水上图像和人员水下图像按照拍摄时间顺序排列，并构成对应关系，生成待处理图像序列{(ui(t1)，di(t1))，(ui(t2)，di(t2))，...，(ui(tk)，di(tk))，...，(ui(tk)，di(tk))}，k＝1，2，...，k，k是图像序列数量；
11.所述异常筛选单元包括关节点检测模块、动作序列生成模块、轨迹生成模块和异常识别模块；所述关节点检测模块用于对导入的每个游泳者的水上序列图像和水下序列图像进行处理，获取得到每个游泳者的人头和身体各关节点的序列信息{xi(tk)}；所述动作序列生成模块用于根据获取到的每个游泳者的人头和身体各关节点的序列信息{xi(tk)}生成相应的动作序列{ai(tk)}；所述轨迹生成模块用于根据每个游泳者的位置坐标序列，生成相应的运动轨迹{gi(tk)}；所述异常识别模块用于结合每个游泳者的动作序列和运动轨迹，筛选出异常人员集合y，y∈i；
12.所述图像再处理单元用于对异常人员j所在区域的泳池水上图像集合{uj(tk)}进行处理，提取以异常人员j为中心的水波纹图像序列集合{wj(tk)}；
13.所述溺水识别单元同时对异常人员j的人头和身体各关节点的序列信息{xi(tk)}以及波纹图像序列集合{wj(tk)}进行特征提取，得到异常人员j的动作特征值序列φj(t)和由异常人员j的动作造成的异常水波纹特征值序列ξj(t)，融合动作特征值序列φj(t)和异常水波纹特征值序列ξj(t)，根据融合结果对溺水动作进行识别。
14.为优化上述技术方案，采取的具体措施还包括：
15.进一步地，所述图像分割单元包括水上坐标获取模块、水下坐标获取模块、坐标匹配模块和分割模块；
16.所述水上坐标获取模块调用位置计算单元对泳池水上图像进行处理，计算得到泳池水上图像中每个游泳者的水上位置坐标(x
αu
(t)，y
αu
(t))；
17.所述水下坐标获取模块调用位置计算单元对泳池水下图像进行处理，计算得到泳池水下图像中每个游泳者的水下位置坐标(x
βu
(t)，y
βu
(t)，z
βu
(t))；
18.所述坐标匹配模块将重合度小于预设重合度阈值的水上位置坐标(x
αu
(t)，y
αu
(t))和水下位置坐标(x
βu
(t)，y
βu
(t))视为同一个坐标位置，得到该位置的游泳者的坐标信
息(x
iu
(t)，y
iu
(t)，z
iu
(t))；其中，(x
iu
(t)，y
iu
(t))＝f1[(x
αu
(t)，y
αu
(t))，(x
βu
(t)，y
βu
(t))]，z
iu
(t)＝z
βu
(t)；
[0019]
所述分割模块根据游泳者的坐标信息对泳池水上图像和泳池水下图像进行分割，得到每个人员的人员水上图像ui(t)和人员水下图像di(t)。
[0020]
进一步地，所述预设重合度阈值为0.5m。
[0021]
进一步地，所述溺水判别装置还包括推送单元和警报单元；
[0022]
所述推送单元将识别到的溺水动作对应的人员坐标信息标注在相应的泳池水上图像u(tk)和泳池水下图像d(tk)上，将标注后的泳池水上图像u
*
(tk)和泳池水下图像d
*
(tk)推送至指定客户端进行显示；所述警报单元根据溺水识别单元的识别结果生成警报信号。
[0023]
进一步地，所述关节点检测模块基于yolo v5网络构建，采用一定量标注有人头和关节点信息的人员水上图像和人员水下图像构成的训练集训练得到；
[0024]
所述动作序列生成模块采用openpose算法对识别到的每个人员的人头和身体各关节点的序列信息{xi(tk)}进行处理，生成相应的动作序列{ai(tk)}。
[0025]
进一步地，所述异常识别模块将动作序列{ai(tk)}与运动轨迹{gi(tk)}进行匹配，根据匹配结果对游泳者的姿态类型进行识别，将姿态类型属于正常泳姿的人员从游泳人员中剔除，获得异常人员集合y。
[0026]
进一步地，所述溺水识别单元包括水波纹特征提取模块、动作特征提取模块和溺水识别模块；所述水波纹特征提取模块将水波纹图像{wj(tk)}划分成外圈图像{w
jf
(tk)}和内圈图像{w
jn
(tk)}，再结合外圈图像{w
jf
(tk)}和内圈图像{w
jn
(tk)}获取得到由异常人员j的动作造成的异常水波纹特征值ξj(t)，j∈y；所述动作特征提取模块用于根据关节点序列信息{xj(tk)}和异常水波纹特征值ξj(t)，获取异常人员j的动作特征值φj(t)，所述溺水识别模块用于结合异常水波纹特征值ξj(t)对异常人员j的动作特征值φj(t)进行分类，对溺水动作进行识别。
[0027]
进一步地，所述水波纹图像{wj(tk)}是指以异常人员j为中心，半径为rj的范围内的水面波纹图像；所述内圈图像{w
jn
(tk)}是指以异常人员j为中心，半径为rj的范围内的水面波纹图像；w
jn
(tk)＝wj(tk)-w
jf
(tk)；其中：
[0028][0029][0030]
式中，d
j，min
是异常人员j与最近的其他游泳者之间的距离，d0是最大允许距离，d1是最小允许距离；r
max
是最大内圈半径，r
min
是最小内圈半径；γ(
·
)是内圈半径计算函数，与d
j，min
相关；r
max
是最大波纹半径。
[0031]
进一步地，当rj＞r
min
时，水波纹特征提取模块分别提取出外圈图像{w
jf
(tk)}和内圈图像{w
jn
(tk)}的水波纹特征值ξ
jf
(t)和ξ
jn
(t)，根据下述公式计算得到由异常人员j的动作造成的水波纹特征值ξj(t)＝ξ
jn
(t)-ξ
jf
(t)；
[0032]
当rj＝r
min
时，水波纹特征提取模块选取与异常人员j最接近且其内圈半径rm大于r
min
的游泳者m的外圈图像{w
mf
(tk)}的水波纹特征值ξ
mf
(t)，根据下述公式计算得到由异常
人员j的动作造成的水波纹特征值ξj(t)＝ξ
jn
(t)-ξ
mf
(t)。
[0033]
进一步地，所述溺水识别单元包括图像融合模块和异常动作识别模块；
[0034]
所述图像融合模块将异常人员的水下图像和包含水面波纹的水上图像拼接成新的待识别图像；
[0035]
所述异常动作识别模块基于yolo v5网络构建，采用一定量的标准有异常类型的拼接图像样本训练得到；拼接图像样本针对室内泳池设置，同时包含异常人员身体动作的水下图像和包含异常人员动作导致的水面波纹的水上图像；
[0036]
所述异常动作识别模块包括依次连接的5个卷积层、第一融合层、第二融合层和分类器；所述5个卷积层依次对待识别图像进行特征提取；第一融合层的两个输入端分别与第三个卷积层和第四个卷积层的输出端连接，从第3个卷积层和第4个卷积层提取得到异常人员动作特征信息进行融合，得到异常动作特征信息；第二融合层的两个输入端分别与第5个卷积层的输出端和第一融合层的输出端连接，将从第5个卷积层中提取得到待识别图像中包含的水波纹特征信息与异常动作特征信息进行融合；分类器的输入端与第二融合层的输出端连接，根据第二融合层输出的融合结果对异常动作进行分类，识别其中包含的溺水动作。
[0037]
本发明的有益效果是：
[0038]
第一，结合游泳者的动作序列和移动轨迹筛选出所有异常状态的游泳者，一方面，减少后续溺水判断工作量，另一方面，可以同步对其他异常状态游泳者进行重点监控。
[0039]
第二，对于所有异常状态的游泳者，综合水波纹特征和动作特征，实现更高精度的溺水判断，有效减轻工作人员的监察负担。
[0040]
第三，针对不同泳池，提出了两种综合水波纹特征和动作特征的溺水判断方法，适用性更广。
附图说明
[0041]
图1是本发明的水上水下计算机视觉综合溺水判断系统的结构示意图。
[0042]
图2是本发明的异常筛选单元的优选例示意图。
[0043]
图3是本发明的溺水识别单元的优选例示意图。
具体实施方式
[0044]
现在结合附图对本发明作进一步详细的说明。
[0045]
需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
[0046]
图1是本发明实施例的水上水下计算机视觉综合溺水判断系统的结构示意图。参见图1，该判断系统包括分布在泳池周围用于拍摄泳池水上图像的多个水上摄像机、分布在泳池内用于拍摄泳池水下图像的多个水下摄像机，以及采用视觉算法对泳池水下图像和泳池水下图像进行综合处理以识别溺水目标的溺水判别装置。
[0047]
溺水判别装置包括预处理单元、位置计算单元、图像分割单元、序列化单元、异常筛选单元、图像再处理单元和溺水识别单元。
[0048]
下面结合附图对本实施例的溺水判别装置的各个模块的优选例进行说明。
[0049]
(一)预处理单元
[0050]
预处理单元用于对一段时间内拍摄的泳池水上图像u(t)和泳池水下图像d(t)进行增强处理，并通过目标检测算法输出每个游泳者的目标人员边界框。t是拍摄时序集合，t＝{t1，t2，...，tk，...，tk}。
[0051]
示例性地，预处理单元可以内置yolo v3等轻量级目标检测网络，目的只是检测出图像中是否存在游泳者，若存在，框选出游泳者，无需对图像做进一步的处理。
[0052]
(二)位置计算单元
[0053]
位置计算单元用于结合各个水上摄像机和水下摄像机的位置信息，通过坐标转换的方式，计算得到泳池水上图像或者泳池水下图像中每个目标人员边界框的中心位置坐标(xi(t)，yi(t)，zi(t))，xi(t)，yi(t)，zi(t)分别是直角坐标系下第i个游泳者在x轴、y轴和z轴上的坐标值。
[0054]
(二)图像分割单元
[0055]
图像分割单元用于按照人员对泳池水上图像u(t)和泳池水下图像d(t)进行分割，得到每个游泳者的人员水上图像ui(t)和人员水下图像di(t)；其中，游泳者集合θ＝{1，2，...，i，...，i}，i是游泳者数量，i是游泳者编号。
[0056]
具体的，图像分割单元包括水上坐标获取模块、水下坐标获取模块、坐标匹配模块和分割模块。
[0057]
水上坐标获取模块调用位置计算单元对泳池水上图像进行处理，计算得到泳池水上图像中每个游泳者的水上位置坐标(x
αu
(t)，y
αu
(t))。水下坐标获取模块调用位置计算单元对泳池水下图像进行处理，计算得到泳池水下图像中每个游泳者的水下位置坐标(x
βu
(t)，y
βu
(t)，z
βu
(t))。坐标匹配模块将重合度小于预设重合度阈值(如0.5m等)的水上位置坐标(x
αu
(t)，y
αu
(t))和水下位置坐标(x
βu
(t)，y
βu
(t))视为同一个坐标位置，得到该位置的游泳者的坐标信息(x
iu
(t)，y
iu
(t)，z
iu
(t))；其中，(x
iu
(t)，y
iu
(t))＝f1[(x
αu
(t)，y
αu
(t))，(x
βu
(t)，y
βu
(t))]，z
iu
(t)＝z
βu
(t)。
[0058]
在建立泳池水上图像和泳池水下图像中每个人员对应关系的基础上，分割模块根据游泳者的坐标信息对泳池水上图像和泳池水下图像进行分割，得到每个人员的人员水上图像ui(t)和人员水下图像di(t)。
[0059]
(四)序列化单元
[0060]
序列化单元接收分割后的图像，将每个游泳者对应的人员水上图像和人员水下图像按照拍摄时间顺序排列，并构成对应关系，生成待处理图像序列{(ui(t1)，di(t1))，(ui(t2)，di(t2))，...，(ui(tk)，di(tk))，...，(ui(tk)，di(tk))}，k＝1，2，...，k，k是图像序列数量。
[0061]
(五)异常筛选单元
[0062]
异常筛选单元包括关节点检测模块、动作序列生成模块、轨迹生成模块和异常识别模块；所述关节点检测模块用于对导入的每个游泳者的水上序列图像和水下序列图像进行处理，获取得到每个游泳者的人头和身体各关节点的序列信息{xi(tk)}；所述动作序列生成模块用于根据获取到的每个游泳者的人头和身体各关节点的序列信息{xi(tk)}生成相应的动作序列{ai(tk)}；所述轨迹生成模块用于根据每个游泳者的位置坐标序列{x
iu
(tk)，y
iu
(ktk)，z
iu
(tk)}，生成相应的运动轨迹{gi(tk)}；所述异常识别模块用于结合每个游泳者的动作序列和运动轨迹，筛选出异常人员集合y，y∈i。
[0063]
示例性地，关节点检测模块基于yolo v5网络构建，采用一定量标注有人头和关节点信息的人员水上图像和人员水下图像构成的训练集训练得到。动作序列生成模块采用openpose算法对识别到的每个人员的人头和身体各关节点的序列信息{xi(tk)}进行处理，生成相应的动作序列{ai(tk)}。在本实施例中，由于采用了分别从水上和水下两个角度对游泳者进行同步拍摄，因此可以综合同一时刻水上和水下两部分关节点的信息，对游泳者的游泳动作进行识别。
[0064]
异常识别模块将动作序列{ai(tk)}与运动轨迹{gi(tk)}进行匹配，根据匹配结果对游泳者的姿态类型进行识别，将姿态类型属于正常泳姿的人员从游泳人员中剔除，获得异常人员集合y。异常识别模块可以剔除泳池中大部分正常游泳的游泳者，减小溺水判断步骤的工作量，同时还能有效提高溺水判断准确度。正常泳姿包括蛙泳、蝶泳、仰泳、自由泳和踩水等，可以根据泳池的实际情况做调整。异常识别模块的工作原理是基于动作序列决定运动轨迹这一客观规律，例如，当游泳者连续几个时序都是有规律的蛙泳姿势，且朝向固定，那么其运动轨迹必然是一条有明显长度的直线；当该游泳者泳姿不变，但是身体呈现转向趋势时，运动轨迹就会变成弧线。对于容易和溺水混淆的原地踩水或者小范围踩水的游泳者，其动作序列所对应的踩水动作应当是有规律的，即使中间出现部分不规律的情况，甚至出现了潜水或者半潜水动作，只要能与其运动轨迹相适配，仍然可以判定该游泳者具有掌控自己身体的能力。也就是说，异常识别模块最终是通过游泳者的行为序列和运动轨迹是否属于常见泳姿，剔除掉那些明显具备掌控自己身体能力的游泳者，筛选出包括溺水人员在内的对自己身体掌控能力不足的异常人员(例如容易发生溺水意外的新手游泳者等)。
[0065]
在一些特殊情况下，有部分溺水人员会因为气管呛水等原因，虽然维持在原地，但实际上已经陷入险地，对于这类人员，异常识别模块也会因为其动作与常见踩水动作不相匹配而判定其动作序列与行为轨迹不符，将该游泳者定义为异常人员。
[0066]
(六)图像再处理单元
[0067]
图像再处理单元用于对异常人员j所在区域的泳池水上图像集合{uj(tk)}进行处理，提取以异常人员j为中心的水波纹图像序列集合{wj(tk)}。
[0068]
示例性地，水波纹图像{wj(tk)}是指以异常人员j为中心，半径为rj的范围内的水面波纹图像；所述内圈图像{w
jn
(tk)}是指以异常人员j为中心，半径为rj的范围内的水面波纹图像；w
jn
(tk)＝wj(tk)-w
jf
(tk)；其中：
[0069][0070][0071]
式中，d
j，min
是异常人员j与最近的其他游泳者之间的距离，d0是最大允许距离，d1是最小允许距离；r
max
是最大内圈半径，r
min
是最小内圈半径；γ(
·
)是内圈半径计算函数，与d
j，min
相关；r
max
是最大波纹半径。
[0072]
具体的，当rj＞r
min
时，水波纹特征提取模块分别提取出外圈图像{w
jf
(tk)}和内圈
图像{w
jn
(tk)}的水波纹特征值ξ
jf
(t)和ξ
jn
(t)，根据下述公式计算得到由异常人员j的动作造成的水波纹特征值ξj(t)＝ξ
jn
(t)-ξ
jf
(t)；当rj＝r
min
时，水波纹特征提取模块选取与异常人员j最接近且其内圈半径rm大于r
min
的游泳者m的外圈图像{w
mf
(tk)}的水波纹特征值ξ
mf
(t)，根据下述公式计算得到由异常人员j的动作造成的异常水波纹特征值ξj(t)＝ξ
jn
(t)-ξ
mf
(t)。
[0073]
对于室内泳池，由于有多个游泳者在其中游动，即使当前待分析的异常人员维持不动，也会在其周围形成水波纹，而异常人员的挣扎会使得水波纹发生变化，因此，可以通过对比异常人员周围的水波纹和稍远处干扰相对较少处的水波纹，得到因异常人员的挣扎动作或者非常规的游泳动作导致的水波纹差值特征。
[0074]
(七)溺水识别单元
[0075]
溺水识别单元同时对异常人员j的人头和身体各关节点的序列信息{xi(tk)}以及波纹图像序列集合{wj(tk)}进行特征提取，得到异常人员j的动作特征值序列φj(t)和由异常人员j的动作造成的异常水波纹特征值序列ξj(t)，融合动作特征值序列φj(t)和异常水波纹特征值序列ξj(t)，根据融合结果对溺水动作进行识别。
[0076]
溺水识别单元包括水波纹特征提取模块、动作特征提取模块和溺水识别模块；所述水波纹特征提取模块将水波纹图像{wj(tk)}划分成外圈图像{w
jf
(tk)}和内圈图像{w
jn
(tk)}，再结合外圈图像{w
jf
(tk)}和内圈图像{w
jn
(tk)}获取得到由异常人员j的动作造成的异常水波纹特征值ξj(t)，j∈y；所述动作特征提取模块用于根据关节点序列信息{xj(tk)}和异常水波纹特征值ξj(t)，获取异常人员j的动作特征值φj(t)，所述溺水识别模块用于结合异常水波纹特征值ξj(t)对异常人员j的动作特征值φj(t)进行分类，对溺水动作进行识别。
[0077]
溺水识别模块基于神经网络构建得到，通过对大量溺水人员和有溺水风险的异常人员的图像序列进行处理，以生成一定量的包含关节点序列信息{xj(tk)}和水波纹特征值ξj(t)的样本图像，利用生成的样本图像对神经网络进行训练得到。
[0078]
由于已经剔除掉所有的正常泳姿，因此，溺水识别单元可以根据动作特征值序列φj(t)和水波纹特征值序列ξj(t)，根据融合结果对多种类型的溺水动作进行识别。例如，对于带有挣扎动作的异常人员，动作序列和水波纹均呈现不规律的特性，对于已溺水人员和对自己身体失去部分控制的新手游泳者，其头部还有可能在水面上下频繁浮动。对于挣扎动作不明显的异常人员，一旦发现其对应的水波纹特征值可忽略，则立刻将关节点序列信息{xj(tk)}与相关的溺水动作进行匹配，从而实现对该类溺水动作的识别。
[0079]
而如果当前泳池为室外泳池，水波纹的影响因素既包括游泳者也包括户外环境，如风向风力等，但是仍然可以通过前述方法得到只与游泳者动作相关的水波纹特征值。
[0080]
作为其中的一种优选例，对于水波纹较为规律的泳池，本实施例还提出了一种新的溺水识别方法。
[0081]
具体的，溺水识别单元包括图像融合模块和异常动作识别模块；所述图像融合模块将异常人员的水下图像和包含水面波纹的水上图像拼接成新的待识别图像；所述异常动作识别模块基于yolo v5网络构建，采用一定量的标准有异常类型的拼接图像样本训练得到；拼接图像样本针对室内泳池设置，同时包含异常人员身体动作的水下图像和包含异常人员动作导致的水面波纹的水上图像；所述异常动作识别模块包括依次连接的5个卷积层、
第一融合层、第二融合层和分类器；所述5个卷积层依次对待识别图像进行特征提取；第一融合层的两个输入端分别与第三个卷积层和第四个卷积层的输出端连接，从第3个卷积层和第4个卷积层提取得到异常人员动作特征信息进行融合，得到异常动作特征信息；第二融合层的两个输入端分别与第5个卷积层的输出端和第一融合层的输出端连接，将从第5个卷积层中提取得到待识别图像中包含的水波纹特征信息与异常动作特征信息进行融合；分类器的输入端与第二融合层的输出端连接，根据第二融合层输出的融合结果对异常动作进行分类，识别其中包含的溺水动作。
[0082]
对于水波纹较为规律的泳池，可以通过拼接水上图像和水下图像，生成大量拼接图像样本集，对基于yolo v5网络构建的异常动作识别模块进行训练，从整体上对新导入的异常人员的拼接图像进行识别判断。随着卷积层的深入，深层特征的细节信息越多，而浅层特征的轮廓信息越多，因此，我们提出，从第3个卷积层和第4个卷积层提取得到异常人员动作特征信息进行融合，得到异常动作特征信息，再从第5个卷积层中提取得到待识别图像中包含的水波纹特征信息，通过两次融合过程实现对有效信息的强化处理，从而使最终融合形成的多维特征更有利于对溺水动作进行识别。
[0083]
(八)推送单元和警报单元
[0084]
所述溺水判别装置还包括推送单元和警报单元；
[0085]
所述推送单元将识别到的溺水动作对应的人员坐标信息标注在相应的泳池水上图像u(tk)和泳池水下图像d(tk)上，将标注后的泳池水上图像u
*
(tk)和泳池水下图像d
*
(tk)推送至指定客户端进行显示；所述警报单元根据溺水识别单元的识别结果生成警报信号。
[0086]
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。