水下救生机器人及救援方法

1.本发明属于水上救生领域，具体涉及一种水下救生机器人及救援方法。


背景技术：

2.水上救援对时效性、稳定性要求非常高，涉及到计算机、自动控制、传感器等广泛学科领域中的许多前沿技术。
3.从水上救援的国内外研究现状来看，无人机及水下救生机器人机动救援的研究成果相对较少，大部分仍处于初级研究和试验阶段，综合技术水平和服务水平偏低。针对人员密集和人员稀疏的不同水域游泳场景，现有技术的水上救援策略只实现了如何检测与定位方法，其中如何实现快速机动救援，快速提供救援服务并没有很好的实现，存在知晓有人溺水而无法及时提供救援服务的现象；同时，缺乏开放水域和室内游泳场馆兼容救援的技术的应用，以及救援的实用性。智能手环和救援无人机技术的不融合，导致了目前国内外水上救生系统始终不完善，在实际应用上还存在很大的空缺，救援方案综合技术水平和服务水平偏低。


技术实现要素：

4.本发明的目的是针对上述问题，提供一种水下救生机器人以及溺水人员救援方法，设计提供对溺水人员实施水下自主救援的水下救生机器人，将水下救生机器人、无人机、智能手环和服务器集成，水下救生机器人、智能手环利用地磁定位技术与gps定位技术互补进行室内外准确定位；服务器一方面根据水下救生机器人或水下摄像头实时拍摄采集的图像，利用神经网络模型识别图像中的人体的姿态，根据人体姿态判断是否有溺水现象，另一方面根据智能手环实时采集的水中人员的心率、水下深度以及x、y、z轴加速度，通过机器学习算法实时判断是否出现人员溺水现象，通过两种方式实时检测溺水现象，尽早发现溺水人员，避免救援不及时导致人员伤亡。
5.本发明的技术方案是水下救生机器人，包括主体、人体支撑座、救生带和救生鱼，救生带的前端与救生鱼连接；主体内设有控制器以及与控制器连接的第一无线通讯模块、gps模块，主体的头部设有摄像头，摄像头经数据线与控制器连接；主体上设有用于提供水中上升下降动力的第一涡轮机，主体的尾部设有用于提供水中前进、后退以及转向动力的第二涡轮机，第一涡轮机、第二涡轮机的控制端分别与控制器连接；
6.救生带的末端与人体支撑座的一侧连接；人体支撑座的另一侧设有用于抓持固定救生带前端的机械爪，机械爪控制单元与控制器连接。
7.救生鱼包括仿鱼体、和设置在仿鱼体尾部的螺旋桨推进器，救生鱼尾部设有用于连接并拖曳救生带的牵引部。仿鱼体内设有微处理器以及与其连接的第二无线通讯模块，螺旋桨推进器的驱动电机的控制端与微处理器的控制信号输出端连接。螺旋桨推进器的纵向旋转轴与舵机的输出轴连接，舵机的控制端与微处理器的控制信号输出端连接。在舵机的驱动下，通过调节螺旋桨推进器的螺旋桨的轴线与仿鱼体中心线的角度以控制救生鱼的
行进方向。救生鱼经第二无线通讯模块与水下救生机器人的第一无线通讯模块通讯连接。
8.优选地，水下救生机器人还包括第一地磁传感器，第一地磁传感器经数据线与控制器连接。
9.优选地，水下救生机器人的人体支撑座与救生带连接侧设有用于收纳救生带和救生鱼的收纳室。
10.进一步地，救生带为中空的气密性带状结构，救生带的充气端经电磁阀与高压气罐连接，电磁阀的控制端与控制器的控制信号输出端连接。
11.优选地，救生鱼还包括与微处理器电性连接的第二地磁传感器。
12.优选地，水下救生机器人与服务器通讯连接，服务器根据水下救生机器人或水下摄像头提供的图像，检测图像中的人体发否发生溺水现象，检测到溺水现象，将溺水人员的图像和位置发送到水下救生机器人。
13.基于水中人体图像的人体溺水检测方法，包括以下步骤：
14.步骤1：拍摄得到水中人体的图像；
15.步骤2：利用yolov5s模型对图像进行人体目标检测，得到人体定位框；
16.步骤3：采用alphapose模型识别人体定位框中的人体姿态，得到骨骼关键点并确定其坐标；
17.步骤4：根据人体骨骼关键点坐标，计算得到人体体态特征；
18.步骤5：根据人体体态特征判断是否溺水，若出现溺水，判断溺水时间长短，并发出警报。
19.溺水人员救援方法，包括以下步骤：
20.1)对水中人体进行溺水检测，检测到人体溺水现象时，确定溺水人员的位置，执行步骤2)，否则重复执行步骤1)；
21.2)根据溺水人员的位置，在救援地点投放水下救生机器人；
22.3)控制水下救生机器人在水中行驶到溺水人员位置，采集所在位置人员的图像，并判断确认是否为救援目标；
23.4)控制水下救生机器人，使水下救生机器人的人体支撑座对准溺水人员的背部；
24.5)控制救生鱼牵引救生带对溺水人员躯体进行环绕；救生鱼牵引救生带环绕溺水人体后，控制机械爪将救生带牵引端固定住，并对救生带充气；
25.6)控制水下救生机器人驶向水面，使溺水人员头部露出水面。
26.相比现有技术，本发明的有益效果包括：
27.1)本发明提供了对溺水人员实施水下救援的水下救生机器人，水下救生机器人带有人体支撑座和救生带，可在水中自主升降、转向，救援溺水人员时利用救生带将溺水人员缠绕在人体支撑座上将人体头部向上抬出水面，相比人工救援，救援效率高，实用性好，可避免救援时对溺水人体造成不必要的伤害；
28.2)本发明的水下救生机器人包含救生鱼，救援溺水人员时，救生鱼牵引救生带完成对溺水人员躯体的环绕，救生鱼自主性好，便于快速将溺水人员躯体缠绕在水下救生机器人的人体支撑座后将溺水人员头部抬离水面，实现对溺水人员的及时救援；
29.3)本发明利用地磁定位技术弥补室内gps定位信号弱的缺陷，实现对室内水中溺水人员的准确定位，便于实施及时的救援；
30.4)本发明利用yolov5s模型对图像进行人体目标检测，得到人体定位框后，利用改进的alphapose模型识别人体定位框中的人体姿态，得到骨骼关键点并确定其坐标后，计算得到人体体态特征，实现人员溺水现象的实时判断，溺水检测准确率高；
31.5)本发明的救援方法救援成功率高，救援过程中对溺水人员保护性好。
附图说明
32.下面结合附图和实施例对本发明作进一步说明。
33.图1为本发明实施例的水下救生机器人的示意图。
34.图2为本发明实施例的水下救生机器人的人体支撑座的示意图。
35.图3为本发明实施例的救生鱼的结构示意图。
36.图4为本发明实施例的水下救生机器人的电路结构框图。
37.图5为用于投运水下救生机器人的无人机的示意图。
38.图6为yolov5s模型的结构示意图。
39.图7为本发明实施例改进yolov5s模型的示意图。
40.图8为本发明实施例的alphapose模型的示意图。
41.图9a为本发明实施例的人体骨骼关键点的示意图。
42.图9b为本发明实施例的水下人体骨骼关键点的示意图。
43.图10为本发明实施例的人体溺水检测方法的流程示意图。
具体实施方式
44.如图1-4所示，水下救生机器人100包括主体101、人体支撑座105、救生带103和救生鱼102，救生带103的前端与救生鱼102连接；主体101内设有控制器以及与控制器连接的第一无线通讯模块、gps模块、第一地磁传感器，主体的头部设有摄像头104，摄像头104经数据线与控制器连接；主体101上设有用于提供水中上升下降动力的第一涡轮机106，主体101的尾部设有用于提供水中前进、后退以及转向动力的第二涡轮机107，第一涡轮机106、第二涡轮机107的控制端分别与控制器连接。救生带103的末端与人体支撑座105的一侧连接；人体支撑座105的另一侧设有用于抓持固定救生带前端的机械爪111，机械爪控制单元与控制器连接。
45.实施例的机械爪111采用现有技术的的机械爪，利用伺服电机控制机械爪的抓合。
46.水下救生机器人的人体支撑座105与救生带连接侧设有用于收纳救生带和救生鱼的收纳室109。救生带103为中空的气密性带状结构，救生带103的充气端经电磁阀与高压气罐108连接，电磁阀的控制端与控制器的控制信号输出端连接。实施例中，高压气罐108中储存液态氮气体。
47.如图3所示，救生鱼102包括仿鱼体1021、和设置在仿鱼体尾部的螺旋桨推进器1022，救生鱼尾部设有用于连接并拖曳救生带的牵引部1023。仿鱼体1021内设有微处理器以及与其连接的第二无线通讯模块、第二地磁传感器，螺旋桨推进器1022的驱动电机的控制端与微处理器的控制信号输出端连接。螺旋桨推进器1022的纵向旋转轴与舵机1024的输出轴连接，舵机1024的控制端与微处理器的控制信号输出端连接。在舵机的驱动下，通过调节螺旋桨推进器的螺旋桨的轴线与仿鱼体中心线的角度以控制救生鱼的行进方向。
48.实施例中，水下救生机器人与服务器通讯连接，服务器根据水下救生机器人或水下摄像头、无人机200提供的图像，检测图像中的人体发否发生溺水现象，检测到溺水现象，将溺水人员的图像和位置发送到水下救生机器人。实施例的无人机、水下救生机器人均采用地磁感应定位和gps定位相结合的方式，在室内游泳池等gps信号弱的环境中利用地磁传感器进行精确定位。
49.如图5所示，无人机200的悬臂下方设有用于与水下救生机器人连接的连接杆201，连接杆201与水下救生机器人的连接端设有电动液压钳202，电动液压钳202的咬合头与水下救生机器人顶部的连接孔位111配合，电动液压钳202的控制端与无人机的控制单元连接；无人机200还包括第二gps模块、第三无线通讯模块，第二gps模块、第三无线通讯模块分别与无人机的控制单元连接。
50.实施例中，无人机200空中运输水下救生机器人100时，通过控制单元分别控制无人机4个悬臂下方的连接杆底端的电动液压钳202的咬合头在水下救生机器人顶部的连接孔位111处咬合，使得水下救生机器人100与无人机200连接，无人机200携带水下救生机器人100飞行。无人机200空中投放水下救生机器人100时，通过控制单元分别控制无人机4个悬臂下方的连接杆底端的电动液压钳202的咬合头张开，水下救生机器人100在重力作用下与无人机200分离，完成投运。
51.救生鱼102的第二无线通讯模块与水下救生机器人100的第一无线通讯模块通讯连接；水下救生机器人100的第一无线通讯模块、无人机200的第三无线通讯模块以及智能手环300的第四无线通讯模块分别经无线路由器与服务器通讯连接。
52.人在水中的姿态可大致分为两类：一类为与水面平行，一类为与水面垂直，其他类别可归结为与水面垂直类。一般人溺水可归为第二类，姿态与水面垂直，此时人们意识尚存，可能仍持续更长时间，其溺水特征更容易获取。因此水中人员刚刚呈现出溺水时，溺水状态的可靠快速检测更具有实际意义。如图9a所示，提取人体的18个骨骼关键点，通过18个骨骼关键点的相对位置判断人体的姿态。
53.溺水时，人体的体态特征包括：
54.1)水下溺水特征：双脚不停摆动，并且身体上下浮动，脚部位的位置坐标随时间变化；
55.2)最终溺水特征：人体平行于水面，并且漂浮在水面之上，可判断随时间推移关键骨骼点是否有相对变化，以得出结论是否出现最终溺水特征。
56.人在刚刚溺水时，人的身体往往会头朝上，水下的双腿上下浮动，从水面下拍摄的图像中不太容易识别出人的整个身体，以图9b所示的人下半身的骨骼关键点为核心，可检测骨骼关键点的相对位置随时间的变化，从而检测水下溺水的状态。
57.如图10所示，基于水中人体图像的人体溺水检测方法，包括以下步骤：
58.步骤1：拍摄得到水中人体的图像；
59.步骤2：利用改进的yolov5s模型对图像进行人体目标检测，得到人体定位框；
60.如图6所示，yolov5s的网络模型包括骨干网络backbone、多尺度特征融合模块neck、预测端prediction。
61.实施例的yolov5s在backbone网络的第一层focus中，对高分辨率图像进行重构，对每个像素点周围的四个点进行堆叠，得到低分辨率图像，提高每个点的视野，减少原始信
pose estimation”公开的rmpe模型。
70.实施例中，利用alphapose模型对图像中的人体目标进行检测，得到图9a所示的人体骨骼的18个关键点，并得到这些关键点在图像中的坐标。
71.步骤4：根据人体骨骼关键点坐标，计算得到人体体态特征，根据人体体态特征判断是否溺水，若出现溺水，判断溺水时间长短，并发出警报；
72.步骤4.1：分别计算对应人体脚部的骨骼关键点(10)、(13)的线速度v
10
、v
13
，并利用骨骼关键点(11)、(13)的线速度计算得到人体单腿速度v
11-13
；计算人体胸部重心o的线速度vo；
73.实施例中，上述线速度根据连续的m帧图像中具有时间间隔的图像帧计算得到。人体胸部重心o的位置根据骨骼关键点(1)、(8)和(11)的坐标计算得到。
74.步骤4.2：计算人体脚部的线速度v
10
、v
13
与人体重心o线速度vo的比例，初步判断是否出现溺水现象；
75.溺水判断的计算式如下：
[0076][0077]
式中λ表示设定的阈值，α、β分别表示人体单腿速度的上限、下限值；
[0078]
如果v
10
、v
13
、vo、v
11-13
满足式(i)，则初步判定为水下溺水，结束；如果v
10
、v
13
、vo、v
11-13
不满足式(i)，则执行步骤4.3；
[0079]
步骤4.3：计算人体上半身中垂线与水平面夹角θa，若θ0＜θa＜θ1，夹角θa在时间t内持续保持在此范围内，且a＜vo＜b，则判定为最终溺水，结束。
[0080]
式中θ0表示溺水人体上半身中垂线与水平面夹角的最小值，θ1表示溺水人体上半身中垂线与水平面夹角的最大值，a表示人体重心线速度下限值，b表示人体重心线速度上限值；否则，执行步骤4.4；
[0081]
步骤4.4：计算人体中垂线与水平线夹角θb，若θ2＜θb＜θ3，夹角θb在时间t内持续保持在此范围内，且c＜vo＜d，并且人体头部的骨骼关键点也能被检测到，则判断为最终溺水，否则判定为未溺水，式中θ2表示溺水人体中垂线与水平面夹角的最小值，θ3表示溺水人体中垂线与水平面夹角的最大值，c表示人体重心线速度的最小值，d表示人体重心线速度的最大值。
[0082]
对溺水人员的救援方法，包括以下步骤：
[0083]
1)服务器根据无人机、水下摄像头或水下救生机器人等采集的水中人体的图像进行溺水检测，检测到人体溺水现象时，确定溺水人员的位置，将溺水人员的定位坐标以及溺水人员的图像发送到水下救生机器人，将溺水人员的定位坐标发送到无人机，执行步骤2)，否则重复执行步骤1)；
[0084]
2)无人机根据溺水人员的定位坐标，在救援地点投放水下救生机器人；
[0085]
3)控制水下救生机器人在水中行驶到溺水人员位置，采集所在位置人员的图像，并判断确认是否为救援目标；
[0086]
4)控制水下救生机器人，使水下救生机器人的人体支撑座对准溺水人员的背部；
[0087]
5)控制救生鱼牵引救生带对溺水人员躯体进行环绕；救生鱼牵引救生带环绕溺水
人体后，控制机械爪抓住救生鱼或救生带牵引端使救生带牵引端固定；缠绕、固定救生带后，对救生带充气；
[0088]
6)控制水下救生机器人驶向水面，使溺水人员头部露出水面。
[0089]
实施例的改进的yolov5s模型为轻量化模型，在检测精度与速度之间达到平衡，提高了人员溺水现象检测的时效性。
[0090]
水下救生机器人100对救生带充气时，通过控制器开启救生带103充气端的电磁阀，高压气罐108内的液氮流经电磁阀后气化，将救生带103充满。
[0091]
实施例中，水下救生机器人1还包括在控制器的处理器上运行的目标识别模块，目标识别模块根据摄像头104拍摄的图像，识别水中人体，根据人体的图像特征，与服务器提供的溺水人员的图像特征进行对比，进而判断其是否为救援目标。