泳池防溺水人体目标跟踪方法、装置、计算机设备及存储介质与流程

1.本发明涉及目标跟踪方法，更具体地说是指泳池防溺水人体目标跟踪方法、装置、计算机设备及存储介质。


背景技术：

2.随着体育事业的发展，人们参加体育活动的热情也越来越高涨，而作为热门运动项目之一的游泳却成为安全事故最高发的运动。根据卫生部公布的不完全统计数据，我国大约每年有5.7万人死于溺水事故，其中青少年占比达到56.04％，成为了青少年死亡的第一致因，且中国的溺水死亡率为全球最高。
3.在泳池的防溺水监控过程中，需要对泳池人体目标进行跟踪，以确保泳池人体目标的安全，现有的技术大多采用救生员位于高处采用俯瞰的方式进行人工跟踪，但是，这种方式由于泳池岸边会出现多种设施与杂物比如看台、救生设备、训练设以及游泳者个人物品等，泳池内也会出现多种漂浮物比如泳道线与训练设备等，易影响救生员的判断和跟踪，存在泳池防溺水人体目标跟踪不准确，进而影响溺水监管的准确率。
4.因此，有必要设计一种新的方法，实现提高对泳池防溺水人体目标跟踪的准确性，进而提高溺水监管的准确率。


技术实现要素：

5.本发明的目的在于克服现有技术的缺陷，提供泳池防溺水人体目标跟踪方法、装置、计算机设备及存储介质。
6.为实现上述目的，本发明采用以下技术方案：泳池防溺水人体目标跟踪方法，包括：
7.获取泳池人体目标检测框；
8.对所述泳池人体目标检测框采用deepsort算法进行目标跟踪，以得到泳池人体目标游动轨迹；
9.输出所述泳池人体目标游动轨迹。
10.其进一步技术方案为：所述对所述泳池人体目标检测框采用deepsort算法进行目标跟踪，以得到泳池人体目标游动轨迹，包括：
11.根据所述泳池人体目标检测框建立跟踪器；
12.构建运动估计模型，并对所述运动估计模型进行估计，以得到下一帧泳池人体目标的位置；
13.将所述泳池人体目标检测框以及下一帧泳池人体目标的位置进行数据关联，以得到泳池人体目标游动轨迹。
14.其进一步技术方案为：所述运动估计模型为卡尔曼滤波模型。
15.其进一步技术方案为：所述将所述泳池人体目标检测框以及下一帧泳池人体目标的位置进行数据关联，以得到泳池人体目标游动轨迹，包括：
16.将所述泳池人体目标检测框以及下一帧泳池人体目标的位置的运动信息以及特征信息进行融合，以得到泳池人体目标游动轨迹。
17.其进一步技术方案为：所述将所述泳池人体目标检测框以及下一帧泳池人体目标的位置的运动信息以及特征信息进行融合，以得到泳池人体目标游动轨迹，包括：
18.计算所述泳池人体目标检测框以及下一帧泳池人体目标的位置的相似度距离分；
19.通过cosine距离度量所述泳池人体目标检测框以及下一帧泳池人体目标的位置的外观特征之间的距离，以得到外观特征距离；
20.对所述相似度距离分以及所述外观特征距离进行加权处理，以得到相似度矩阵；
21.设定匹配的度量准则；
22.使用门控矩阵限制所述相似度矩阵中不符合要求的数值，在一个默认迭代次数的循环匹配过程中，将泳池人体目标检测框与泳池人体目标的轨迹进行级联匹配，以得到泳池人体目标游动轨迹。
23.其进一步技术方案为：所述泳池人体目标的轨迹是由运动估计模型估计所得的所有泳池人体目标的位置组成的轨迹。
24.本发明还提供了泳池防溺水人体目标跟踪装置，包括：
25.检测框获取单元，用于获取泳池人体目标检测框；
26.跟踪单元，用于对所述泳池人体目标检测框采用deepsort算法进行目标跟踪，以得到泳池人体目标游动轨迹；
27.输出单元，用于输出所述泳池人体目标游动轨迹。
28.其进一步技术方案为：所述跟踪单元包括：
29.跟踪器建立子单元，用于根据所述泳池人体目标检测框建立跟踪器；
30.模型构建子单元，用于构建运动估计模型，并对所述运动估计模型进行估计，以得到下一帧泳池人体目标的位置；
31.数据关联子单元，用于将所述泳池人体目标检测框以及下一帧泳池人体目标的位置进行数据关联，以得到泳池人体目标游动轨迹。
32.本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
33.本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
34.本发明与现有技术相比的有益效果是：本发明通过获取泳池人体目标检测框，采用deepsort算法进行目标跟踪，以得到泳池人体目标游动轨迹，对泳池人体目标检测框的运动进行自动跟踪，实现提高对泳池防溺水人体目标跟踪的准确性，进而提高溺水监管的准确率。
35.下面结合附图和具体实施例对本发明作进一步描述。
附图说明
36.为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
37.图1为本发明实施例提供的泳池防溺水人体目标跟踪方法的应用场景示意图；
38.图2为本发明实施例提供的泳池防溺水人体目标跟踪方法的流程示意图；
39.图3为本发明实施例提供的泳池防溺水人体目标跟踪方法的子流程示意图；
40.图4为本发明实施例提供的泳池防溺水人体目标跟踪方法的子流程示意图；
41.图5为本发明实施例提供的级联匹配的示意图；
42.图6为本发明实施例提供的目标跟踪的示意图；
43.图7为本发明实施例提供的泳池防溺水人体目标跟踪装置的示意性框图；
44.图8为本发明实施例提供的泳池防溺水人体目标跟踪装置的跟踪单元的示意性框图；
45.图9为本发明实施例提供的泳池防溺水人体目标跟踪装置的数据关联子单元的示意性框图；
46.图10为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
47.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
48.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
49.还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
50.还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
51.请参阅图1和图2，图1为本发明实施例提供的泳池防溺水人体目标跟踪方法的应用场景示意图。图2为本发明实施例提供的泳池防溺水人体目标跟踪方法的示意性流程图。该泳池防溺水人体目标跟踪方法应用于服务器中。该被服务器与多台相机以及终端进行数据交互，通过多台相机获取的图像，进行目标检测，并采用deepsort算法进行目标跟踪，以确定泳池人体目标游动轨迹后，输出至终端。
52.图2是本发明实施例提供的泳池防溺水人体目标跟踪方法的流程示意图。如图2所示，该方法包括以下步骤s110至s130。
53.s110、获取泳池人体目标检测框。
54.在本实施例中，泳池人体目标检测框是指泳池人体目标所在的边界框，带有坐标信息的边界框。
55.可采用目标检测网络比如卷积神经网络等结合布置于泳池上的多台相机进行目标检测，以得到该检测框。
56.s120、对所述泳池人体目标检测框采用deepsort算法进行目标跟踪，以得到泳池
人体目标游动轨迹。
57.在本实施例中，泳池人体目标游动轨迹是指泳池人体目标的运动轨迹。
58.请参阅图6，融合目标表观特征、运动轨迹、空间位置关系实现跨摄像头的目标匹配跟踪。对画面中人的检测、跟踪，再结合人体姿态估计和行为识别。算法识别软件可以确定游泳者何种情况下为溺水状态，这会触发预警倒计时状态。在短暂的倒计时之后，溺水警报会直接发送给泳池救生员，与没有这项技术的游泳池相比，如果发生潜在的溺水事件，可以更早地警告救生员。
59.在一实施例中，请参阅图3，上述的步骤s120可包括步骤s121～s123。
60.s121、根据所述泳池人体目标检测框建立跟踪器。
61.在本实施例中，跟踪器是指deepsort该目标跟踪算法。deepsort是一个基于tracking-by-detection策略的多目标跟踪算法。
62.s122、构建运动估计模型，并对所述运动估计模型进行估计，以得到下一帧泳池人体目标的位置。
63.在本实施例中，下一帧泳池人体目标的位置是指相对于当前帧的泳池人体目标检测框而言的下一帧泳池人体目标检测框。
64.具体地，所述运动估计模型为卡尔曼滤波模型。采取卡尔曼滤波作为运动估计模型，根据估计下一帧中目标的位置与目标检测网络检测到的目标位置即泳池人体目标检测框进行数据关联。
65.s123、将所述泳池人体目标检测框以及下一帧泳池人体目标的位置进行数据关联，以得到泳池人体目标游动轨迹。
66.在本实施例中，将泳池人体目标检测框以及下一帧泳池人体目标的位置进行数据关联，一般融合目标的运动信息以及目标的特征信息。
67.具体地，将所述泳池人体目标检测框以及下一帧泳池人体目标的位置的运动信息以及特征信息进行融合，以得到泳池人体目标游动轨迹。
68.在一实施例中，请参阅图4，上述的步骤s123可包括步骤s1231～s1235。
69.s1231、计算所述泳池人体目标检测框以及下一帧泳池人体目标的位置的相似度距离分。
70.在本实施例中，相似度距离分是指所述泳池人体目标检测框以及下一帧泳池人体目标的位置的马氏距离，计算该分值后可用于计算相似度矩阵。
71.具体地，描述运动关联程度使用了马氏距离作为距离函数。其中dj表示的是第j个检测结果，即提及的泳池人体目标检测框，yi表示第i个跟踪结果，即提及的目标跟踪得到的下一帧泳池人体目标的位置，表示dj和yi所计算的协方差矩阵，其意义是计算检测目标dj和跟踪目标yi的相关性。最终的d
(1)
就是检测结果与跟踪结果通过匈牙利算法匹配计算的到的马氏距离，计算公式如下：
72.s1232、通过cosine距离度量所述泳池人体目标检测框以及下一帧泳池人体目标的位置的外观特征之间的距离，以得到外观特征距离。
73.在本实施例中，外观特征距离是泳池人体目标检测框以及下一帧泳池人体目标的位置指外观特征之间的距离。
74.使用cosine距离即余弦距离d
(2)
来度量外观特征之间的距离，表示的是对于每个检测框dj所计算的外观特征，表示的是每个跟踪轨迹k所计算的外观特征，其中ri为所有具有互相关的一组集合，则计算的是两个外观特征的余弦相似度。通过cosine距离来度量跟踪目标的外观特征和检测目标的外观特征，可以更准确地预测id，计算公式如下：
75.s1233、对所述相似度距离分以及所述外观特征距离进行加权处理，以得到相似度矩阵。
76.在本实施例中，相似度矩阵是指泳池人体目标检测框以及下一帧泳池人体目标的位置从相似度距离分以及外观特征距离的相似程度。
77.具体地，相似度矩阵(cost matrix)：ci，j就可以通过相似度距离分以及所述外观特征距离的加权得到：c
i,j
＝λd
(1)
(i,j) (1-λ)d
(2)
(i,j)。λ为相似度距离分的加权系数。
78.s1234、设定匹配的度量准则。
79.在本实施例中，匹配的度量准则是指决定怎么样的轨迹属于当前泳池人体目标匹配的轨迹的规则。
80.具体地，对相似度距离分设立一定的阈值作为匹配的度量准则，最终同时考虑了目标运动信息的关联以及目标图像特征信息的关联，匹配问题可等效为二分图的最优匹配问题，二分图的最优匹配问题采用匈牙利匹配方法解决。
81.s1235、使用门控矩阵限制所述相似度矩阵中不符合要求的数值，在一个默认迭代次数的循环匹配过程中，将泳池人体目标检测框与泳池人体目标的轨迹进行级联匹配，以得到泳池人体目标游动轨迹。
82.具体地，请参阅图5，首先使用两个参数：门控阈值(gating_threshold)和最大特征余弦距离(max_distance)转换为门控矩阵(gate matrix)，用于限制相似度矩阵中过大的值。随后，在一个默认迭代次数为70(max_age＝70)的循环匹配过程中，将目标的轨迹与目标的检测结果进行匹配。没有丢失过的轨迹优先匹配，丢失较为久远的就靠后匹配。
83.在本实施例中，所述泳池人体目标的轨迹是由运动估计模型估计所得的所有泳池人体目标的位置组成的轨迹。目标的检测结果是指泳池人体目标检测框。
84.s130、输出所述泳池人体目标游动轨迹。
85.在终端上的目标跟踪管理模块中，可查看目标跟踪的信息列表页面，列表内容包括：防溺水目标的设备名称、设备的编号、设备的品牌、设备的经度和纬度、设备的状态(是离线还是在线)、设备的ip、设备的区域。可通过输入设备的名称、设备的编号或者选择设备的状态对防溺水的目标跟踪信息进行筛选快速查找。在列表的最右侧操作栏当中，可对防溺水的目标跟踪信息进行编辑、详情的查看、信息的删除等。在列表左上角，可点击“设备添加”按钮进行设备添加的操作。在可在防溺水管理的目标跟踪详情查看页面查看设备的信息，包括：设备名称、设备的编号、设备的区域、设备的添加时间等。同时可以查看实时监控，可对实时监控进行回放、抓拍、警报、喊话的操作等。可在防溺水管理的目标跟踪添加设备页面，进行设备的添加操作，设备的添加内容包括：设备编号、设备名称、设备ip、设备区域、
设备品牌、经度、纬度等，添加内容填写完成，点击“保存”即可完成添加，点击“取消”则返回上一级页面。
86.上述的泳池防溺水人体目标跟踪方法，通过获取泳池人体目标检测框，采用deepsort算法进行目标跟踪，以得到泳池人体目标游动轨迹，对泳池人体目标检测框的运动进行自动跟踪，实现提高对泳池防溺水人体目标跟踪的准确性，进而提高溺水监管的准确率。
87.图7是本发明实施例提供的一种泳池防溺水人体目标跟踪装置300的示意性框图。如图7所示，对应于以上泳池防溺水人体目标跟踪方法，本发明还提供一种泳池防溺水人体目标跟踪装置300。该泳池防溺水人体目标跟踪装置300包括用于执行上述泳池防溺水人体目标跟踪方法的单元，该装置可以被配置于服务器中。具体地，请参阅图7，该泳池防溺水人体目标跟踪装置300包括检测框获取单元301、跟踪单元302以及输出单元303。
88.检测框获取单元301，用于获取泳池人体目标检测框；跟踪单元302，用于对所述泳池人体目标检测框采用deepsort算法进行目标跟踪，以得到泳池人体目标游动轨迹；输出单元303，用于输出所述泳池人体目标游动轨迹。
89.在一实施例中，如图8所示，所述跟踪单元302包括跟踪器建立子单元3021、模型构建子单元3022以及数据关联子单元3023。
90.跟踪器建立子单元3021，用于根据所述泳池人体目标检测框建立跟踪器；模型构建子单元3022，用于构建运动估计模型，并对所述运动估计模型进行估计，以得到下一帧泳池人体目标的位置；数据关联子单元3023，用于将所述泳池人体目标检测框以及下一帧泳池人体目标的位置进行数据关联，以得到泳池人体目标游动轨迹。
91.在一实施例中，如图9所示，所述数据关联子单元3023包括距离分计算模块30231、距离计算模块30232、矩阵生成模块30233、准则设定模块30234以及匹配模块30235。
92.距离分计算模块30231，用于计算所述泳池人体目标检测框以及下一帧泳池人体目标的位置的相似度距离分；距离计算模块30232，用于通过cosine距离度量所述泳池人体目标检测框以及下一帧泳池人体目标的位置的外观特征之间的距离，以得到外观特征距离；矩阵生成模块30233，用于对所述相似度距离分以及所述外观特征距离进行加权处理，以得到相似度矩阵；准则设定模块30234，用于设定匹配的度量准则；匹配模块30235，用于使用门控矩阵限制所述相似度矩阵中不符合要求的数值，在一个默认迭代次数的循环匹配过程中，将泳池人体目标检测框与泳池人体目标的轨迹进行级联匹配，以得到泳池人体目标游动轨迹。
93.需要说明的是，所属领域的技术人员可以清楚地了解到，上述泳池防溺水人体目标跟踪装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
94.上述泳池防溺水人体目标跟踪装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图10所示的计算机设备上运行。
95.请参阅图10，图10是本技术实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
96.参阅图10，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网
processing unit，cpu)，该处理器502还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
112.本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
113.因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：
114.获取泳池人体目标检测框；对所述泳池人体目标检测框采用deepsort算法进行目标跟踪，以得到泳池人体目标游动轨迹；输出所述泳池人体目标游动轨迹。
115.在一实施例中，所述处理器在执行所述计算机程序而实现所述对所述泳池人体目标检测框采用deepsort算法进行目标跟踪，以得到泳池人体目标游动轨迹步骤时，具体实现如下步骤：
116.根据所述泳池人体目标检测框建立跟踪器；构建运动估计模型，并对所述运动估计模型进行估计，以得到下一帧泳池人体目标的位置；将所述泳池人体目标检测框以及下一帧泳池人体目标的位置进行数据关联，以得到泳池人体目标游动轨迹。
117.其中，所述运动估计模型为卡尔曼滤波模型。
118.在一实施例中，所述处理器在执行所述计算机程序而实现所述将所述泳池人体目标检测框以及下一帧泳池人体目标的位置进行数据关联，以得到泳池人体目标游动轨迹步骤时，具体实现如下步骤：
119.将所述泳池人体目标检测框以及下一帧泳池人体目标的位置的运动信息以及特征信息进行融合，以得到泳池人体目标游动轨迹。
120.在一实施例中，所述处理器在执行所述计算机程序而实现所述将所述泳池人体目标检测框以及下一帧泳池人体目标的位置的运动信息以及特征信息进行融合，以得到泳池人体目标游动轨迹步骤时，具体实现如下步骤：
121.计算所述泳池人体目标检测框以及下一帧泳池人体目标的位置的相似度距离分；通过cosine距离度量所述泳池人体目标检测框以及下一帧泳池人体目标的位置的外观特征之间的距离，以得到外观特征距离；对所述相似度距离分以及所述外观特征距离进行加权处理，以得到相似度矩阵；设定匹配的度量准则；使用门控矩阵限制所述相似度矩阵中不符合要求的数值，在一个默认迭代次数的循环匹配过程中，将泳池人体目标检测框与泳池人体目标的轨迹进行级联匹配，以得到泳池人体目标游动轨迹。
122.其中，所述泳池人体目标的轨迹是由运动估计模型估计所得的所有泳池人体目标的位置组成的轨迹。
123.所述存储介质可以是u盘、移动硬盘、只读存储器(read-only memory，rom)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
124.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单
元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
125.在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
126.本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
127.该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
128.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。