一种多目标情况下的对于单个人员跟踪感知与识别方法

1.本发明涉及跟踪识别的技术领域，尤其是涉及一种多目标情况下的对于单个人员跟踪感知与识别方法。


背景技术：

2.随着科技进步与经济发展,国民对于生活品质的需求日益增加,作为前沿研究的热点之一,智能机器人的发展也慢慢从用于提升生产力的工厂中的工业机器人慢慢转向了用于提升生活品质的服务机器人中。人民生活水平和社会生产力水平的提升,让越来越多的机器人成为了人们日常生活中的好帮手,无论是针对个人家庭场景的扫地机器人、陪伴机器人还是针对专业场景的快递机器人、酒店机器人等等,越来越多的服务机器人帮助人们提高了生活质量。在服务机器人中,自动跟随功能是一种非常通用的机器人功能,其在很多场景中都有很大的需求,目前,也有很多公司做出了在超市购物车、旅行箱等场景上的应用。作为目标监测的一种感知识别技术，无论是在工业环境下，还是日常生活中都有很多应用场景。移动机器人在军事、交通、服务等领域中拥有广阔的应用前景，随着应用需求的不断发展，越来越需要移动机器人具备执行更高级任务的能力。
3.在众多移动机器人技术中，目标识别与定位技术为移动机器人执行高级任务提供了有力的支撑。目标识别是指通过计算机视觉、图像处理、模式识别、机器学习和深度学习等方法将目标进行分类与检测，其主要是通过提取图像特征作为关键信息，把进入系统的信息与存储的关键信息进行匹配或者分类，最后得出识别结果。计算机视觉是一门集成了计算机科学、生物学、物理学甚至心理学知识与一体的交叉学科，是计算机视觉技术的一个分支领域。视觉识别定位技术的基本思路是利用摄像头获取室内环境视觉信息，有可能包括被定位对象的人脸信息等，然后根据一定算法从图像中识别出待定位对象，进一步求得待定位对象的位置信息。
4.现有的人员跟踪感知方法多使用视觉与激光雷达的配合，本技术只采用视觉与uwb的配合即可实现目标跟踪，可大大降低成本；此外现有的人员跟踪方法对于拥挤且多变的环境没有很好的兼容性，本技术可以在拥挤、多转角等复杂环境下实现人员跟踪与重识别，鲁棒性强、可移植性强。


技术实现要素：

5.本发明要解决的技术问题是针对上述现有技术的不足，而提供一种多目标情况下的对于单个人员跟踪感知与识别方法，主要应用于存在多个目标物体的情况下，特定跟踪一个指定目标，并不断获取其世界坐标点。
6.为实现上述目的，本发明的多目标情况下的对于单个人员跟踪感知与识别方法的具体技术方案如下：
7.一种多目标情况下的对于单个人员跟踪感知与识别方法，包括如下步骤：
8.s1、数据获取：
9.通过zed相机获取目标图像，通过uwb传感器获取uwb信标与基站的距离与角度信息；
10.s2、数据预处理：
11.将zed相机获取的图像通过fairmot多目标识别跟踪算法处理，得到各个目标在图像中的位置，并且框选出来，同时每个目标会获得一个id；然后，取追踪目标的id的框，从zed相机的点云数据中获取框内点云；对点云数据中的一些置信度低的数据进行剔除，同时对超出测量范围的数据也进行删除操作；再经过直通滤波、统计学滤波后获得目标点的稠密点云信息以及背景点的稀疏点云信息；对点云进行聚类操作，将属于稀疏点的背景点从点云集中剔除，得到目标点云的稠密点云集；最后，对目标点云数据计算质心点，得到zed相机的跟踪目标对象的世界坐标点；
12.将uwb传感器得到的数据信息通过低通滤波和滑窗滤波进行预处理，得到基站与信标之间的距离与角度数据，再将距离和角度数据转换成二维的世界坐标点；
13.s3、数据融合：
14.在得到zed相机与uwb传感器处理得到的数据后，将zed相机得到的位置数据和uwb传感器的位置数据进行基于多重卡尔曼滤波的多传感器数据融合，得到最后的人员目标位置；
15.s4、目标跟踪：
16.得到目标点数据后，需要对追踪目标进行确定以及对其后续的跟踪，故需要进行初始化操作。
17.进一步，步骤s1中的zed相机得到当前图像的rgbd信息以及点云数据，配有c 、python及ros接口；uwb传感器以100hz的频率实时返回信标距离基站距离及角度信息，uwb传感器的有效测量范围为-75
°
到75
°
。
18.进一步，步骤s2中应用fairmot算法时，zed相机获取当前目标图像，利用dcnv2模型对人员进行识别，得到所有目标人员的图像位置坐标，并框选出来，对各目标进行id编号，并对后续图像中的人员目标进行id匹配。
19.进一步，步骤s3中进行基于多重卡尔曼滤波的多传感器数据融合，具体为：将zed相机得到的世界坐标点与uwb得到的世界坐标点融合，在x维度上，将zed相机与uwb传感器的数据多重卡尔曼滤波处理；而在y维度上，只取zed相机的数据，采用卡尔曼滤波处理，从而得到一个可靠的目标世界坐标点。
20.进一步，步骤s4中对于人员跟踪技术的初始化操作，具体为：
21.s4-1、对跟踪目标id初始化，在第一幅图像数据接收后，有多个目标的情况下，会将与uwb数据点最近的目标id设定为初始跟踪目标；
22.s4-2、考虑到目标丢失与重识别的特殊情况，跟踪id有可能会发生改变，需要创建一个跟踪目标id的容器，以一定的优先级，跟踪此容器中的所有目标，而此容器中的id更新将会由丢失找回、重识别时，再添加新的目标id信息；其中，一定的优先级指最先放到跟踪目标id容器中的目标优先级最高，最新的目标id优先级最低，跟踪永远先选择与优先级最高的目标进行匹配；
23.s4-3、将追踪的目标id告知目标数据处理部分。
24.进一步，在步骤s4的目标跟踪过程中，当出现fairmot丢帧或目标暂时丢失的情况
时，这时需要对目标进行预测处理，通过历史的图像点云信息，推测出丢帧情况下的目标图像位置。
25.与现有技术相比，本发明的有益效果是：
26.现有的人员跟踪感知方法多使用视觉与激光雷达的配合，本技术只采用视觉与uwb的配合即可实现目标跟踪，可大大降低成本；此外现有的人员跟踪方法对于拥挤且多变的环境没有很好的兼容性，本技术可以在拥挤、多转角等复杂环境下实现人员跟踪与重识别，鲁棒性强、可移植性强。本发明主要基于计算机视觉，将信息从图像坐标系中转换到期望坐标系，再利用多传感器融合技术，输出世界坐标系下的位置，再利用目标跟踪策略，对目标进行持续的动态运动轨迹预测。本发明的人员跟踪算法可以通过少许的传感器达到更好的跟踪效果，在目标跟踪领域能够得到较好的应用。本发明所采用的多重卡尔曼滤波数据融合的方式也可为多传感器数据融合提供案例借鉴。
附图说明
27.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
28.图1为本发明的架构框图；
29.图2为本发明中zed相机与uwb传感器的有效识别范围示意图；
30.图3为本发明中多传感器数据融合的效果图；
31.图4为本发明的流程图。
具体实施方式
32.为了更好地了解本发明的目的、结构及功能，下面结合附图和具体较佳实施方式，对本发明一种多目标情况下的对于单个人员跟踪感知与识别方法做进一步详细的描述。
33.实施例1：
34.请参阅图1-4，本发明提供一种技术方案：一种多目标情况下的对于单个人员跟踪感知与识别方法，包括如下步骤：
35.s1、数据获取：
36.通过zed相机获取目标图像，通过uwb传感器获取uwb信标与基站的距离与角度信息，这里的zed相机与uwb传感器是本技术使用的仅有的两个传感器装置，分别获取的是当前目标的rgbd图像以及uwb信标与基站的距离和角度，其中uwb获取的数据精度中，距离精度处于厘米级，较高，而角度信息精度较低，在使用中需要进行相应的滤波处理；
37.s2、数据预处理：
38.将zed相机获取的图像通过fairmot多目标识别跟踪算法处理，得到各个目标在图像中的位置，并且框选出来，同时每个目标会获得一个id；然后，取追踪目标的id的框，从zed相机的点云数据中获取框内点云；对点云数据中的一些置信度低的数据进行剔除，点云数据由相机的双目图片信息计算得到，此时图像信息会被一些影响因素如光照影响、距离过远导致数据量少计算困难等，故计算得到的点云数据信息也会有相应的不确定性，而这
些不确定性通过点云数据的置信度表现出来，此处指的置信度低其实就是将计算准确度过低或者无法测得的点云数据(通常表示为inf或者nan)剔除，以达到数据清晰的目的；同时对超出测量范围的数据也进行删除操作；再经过直通滤波、统计学滤波后获得目标点的稠密点云信息以及背景点的稀疏点云信息；对点云进行聚类操作，将属于稀疏点的背景点从点云集中剔除，得到目标点云的稠密点云集；最后，对目标点云数据计算质心点，得到zed相机的跟踪目标对象的世界坐标点；简单来说，就是将fairmot算法应用于单目标动态跟踪上，从获取的图像中得到各目标框选的点云数据、目标跟踪id以及目标在图像中的位置信息与识别置信度，使用点云滤波、聚类算法对框选点云数据进行处理，得到一幅图像的多个目标点的位置，通过坐标变换转换到期望坐标系下；
39.将uwb传感器得到的数据信息通过低通滤波和滑窗滤波进行预处理，得到基站与信标之间的距离与角度数据，再将距离和角度数据转换成二维的世界坐标点；
40.s3、数据融合：
41.在得到zed相机与uwb传感器处理得到的数据后，将zed相机得到的位置数据和uwb传感器的位置数据进行基于多重卡尔曼滤波的多传感器数据融合，得到最后的人员目标位置；这里采用的是多重卡尔曼滤波技术，对两个目标点，对第一个维度上的数据进行多重卡尔曼滤波，对第二个维度上的数据进行多重卡尔曼滤波融合，这样做的目的是：对于uwb数据中，尽管经过滤波操作，但在第二维度上的数据仍然有较大波动范围，故在多传感器数据融合时，需要对uwb数据单独选取可信数据，以提高精度；
42.s4、目标跟踪：
43.得到目标点数据后，需要对追踪目标进行确定以及对其后续的跟踪，故需要进行初始化操作。
44.进一步，步骤s1中的zed相机可得到当前图像的rgbd信息以及点云数据，配有c 、python及ros接口；uwb传感器包括uwb信标和基站两部分，uwb传感器能够以100hz的频率实时返回信标距离基站距离及角度信息，uwb传感器的有效测量范围为-75
°
到75
°
。
45.进一步，步骤s2中应用fairmot算法时，zed相机获取当前目标图像，利用dcnv2模型对人员进行识别，得到所有目标人员的图像位置坐标，并框选出来，对各目标进行id编号，并对后续图像中的人员目标进行id匹配。
46.进一步，步骤s3中进行基于多重卡尔曼滤波的多传感器数据融合，具体为：
47.zed相机的图像数据进行处理后，获取得到的目标点在距离5m内误差非常小，在
±
10cm以内；而uwb传感器处理后得到的数据在x方向的误差很小，而在y方向的误差非常大，不太可信；
48.由两个传感器的数据精度可知，zed相机的目标点在x维度和y维度的数据精度都较高，但x维度需要在5m内测量；而uwb传感器的目标点在x维度上具有稳定的数据，精度较高且不和测量距离相关，但在y维度上精度较低，不适合拿来使用；
49.故采用以zed相机为主，uwb传感器为辅的形式，融合两者数据；将zed相机得到的世界坐标点与uwb得到的世界坐标点融合，在x维度上，将zed相机与uwb传感器的数据多重卡尔曼滤波处理；而在y维度上，只取zed相机的数据，采用卡尔曼滤波处理，从而得到一个可靠的目标世界坐标点。融合效果如图3所示，图3中：线条a为zed相机获取的图像通过fairmot多目标识别跟踪算法处理得到的数据，线条b为uwb传感器得到的数据，线条c为zed
相机与uwb传感器的数据多重卡尔曼滤波处理后的数据。
50.进一步，步骤s4中对于人员跟踪技术的初始化操作，具体为：
51.s4-1、对跟踪目标id初始化，在第一幅图像数据接收后，有多个目标的情况下，会将与uwb数据点最近的目标id设定为初始跟踪目标；
52.s4-2、考虑到目标丢失与重识别的特殊情况，跟踪id有可能会发生改变，需要创建一个跟踪目标id的容器，以一定的优先级，跟踪此容器中的所有目标，而此容器中的id更新将会由丢失找回、重识别时，再添加新的目标id信息；其中，一定的优先级指最先放到跟踪目标id容器中的目标优先级最高，最新的目标id优先级最低，跟踪永远先选择与优先级最高的目标进行匹配；
53.s4-3、将追踪的目标id告知目标数据处理部分。
54.进一步，在步骤s4的目标跟踪过程中，当出现fairmot丢帧或目标暂时丢失的情况时，这时需要对目标进行预测处理，通过历史的图像点云信息，推测出丢帧情况下的目标图像位置；即运用跟踪策略跟踪目标，同时考虑跟踪的特殊情况，对目标丢失、重新出现、换选目标的情况进行处理；
55.确定初始跟踪目标，需要从图像中的多个事物中识别拿着uwb信标的跟踪目标，故根据uwb传感器的位置数据，选取离其最近的一个目标开始跟踪；
56.在跟踪过程中，当遇到fairmot丢帧或目标暂时丢失时，对目标行进轨迹预测，同时记录丢失时间；当丢失时间达到阈值时，则判断目标丢失，重新捕捉到目标时，fairmot将会把其当作新事物，赋予新的id，故需要重新寻找新的可能目标；将与uwb传感器坐标点的周边一定范围内的目标点中离uwb点最近的那个点当作新的跟踪目标，同时将新跟踪目标id放入跟踪id容器中；在之后的过程中，跟踪目标始终为跟踪容器中的所有目标id。
57.工作原理：
58.本专利包括：fairmot多目标跟踪算法在人员跟踪方面的应用；通过zed相机获取目标对象的点云滤波技术，进而得到相机系的三维坐标点；由相机得到的位置数据和uwb传感器的位置数据进行基于多重卡尔曼滤波的多传感器数据融合，得到最后的人员目标位置；基于zed相机与uwb传感器，运用原创跟踪策略对目标id进行跟踪，其中也包括目标丢失情况下的目标预测、找回与重识别算法。
59.具体的，如图1所示，本技术框架可分为三大模块：数据接收及预处理模块、信息融合模块和目标追踪模块。
60.一、数据接收及预处理模块
61.本模块的作用：通过zed相机与uwb传感器获取外界信息，并对收取到的信息进行数据预处理。
62.zed相机获取的是图片信息，uwb传感器获取的是目标的距离与角度信息。zed相机获取的图片通过fairmot多目标识别跟踪算法处理后，得到各个目标在图像中的位置，并且框选出来，同时每个目标会获得一个id，并在后续的图片中会对目标id进行匹配，对每个目标视觉跟踪。得到各个目标的方框与id后，取追踪目标的id的框，从zed相机的点云中获取框内点云。先对点云数据中的一些置信度较低的数据进行剔除，同时对某些超出测量范围的数据也进行删除操作。再对处理得到的点云进行一系列的点云滤波处理。点云数据经过直通滤波、统计学滤波后可获得目标点的稠密点云信息以及背景点的稀疏点云信息。最后
对点云进行聚类操作，将属于稀疏点的背景点从点云集中剔除，得到目标点云的稠密点云集。对目标点云数据计算质心点，得到通过zed相机得到的追踪目标的世界坐标点。
63.uwb传感器通过低通滤波和滑窗滤波对数据进行预处理，得到基站与信标之间的稳定的距离与角度数据，再利用距离和角度数据将其转换成二维的世界坐标点。
64.本模块会得到通过两个不同的传感器得出的世界目标点。
65.二、信息融合模块
66.本模块的作用是将fairmot得到的世界坐标点与uwb得到的世界坐标点融合，得到一个可靠的目标世界坐标点。
67.将数据接收及预处理模块输出的两个坐标点融合，得到的目标点作为信息融合模块的输出。在数据融合前需要把两个不同坐标系的坐标点转化到同一个坐标系，再对目标点进行融合处理。将两个世界坐标点使用卡尔曼滤波技术融合，得到稳定可信的目标位置点。
68.三、目标追踪模块
69.本模块根据图像流中使用fairmot输出的多个目标的id、识别状态等推测目标此时的状态，并对目标进行跟踪。
70.初始化过程：在第一幅图像数据接收后，有多个目标的情况下，会将与uwb数据点最近的目标id设定为初始跟踪目标。
71.创建一个跟踪目标id的容器，以一定的优先级，跟踪此容器中的所有目标，而此容器中的id更新将会由丢失找回、重识别时，再添加新的目标id信息。
72.fairmot丢帧时实施的策略：在识别过程中，出现目标丢帧等情况时，对目标进行预测处理，通过历史的图像点云信息，推测出丢帧情况下的目标图像位置；在目标丢失的情况下，也运用了这种预测算法。
73.目标丢失的判定方式：在当前算法中，当追踪目标id容器中的所有目标id都不在当前图像帧中出现，这种情况称之为丢帧或短暂丢失视野。当连续几帧出现这样的情况时，则判断目标丢失。
74.目标丢失时的策略：当目标丢失后，需要对目标位置预测的同时，等待目标重新回到视野中对其进行识别找回目标。
75.目标丢失后，跟踪id的更新：当目标再次回到视野中时，其id可能不再是之前的id号了；若是目标重识别失败，id变为了新的id，则需要先判断位置点是否与另一个传感器得到的数据匹配，若匹配则将目标新id加入跟踪目标容器中，否则将继续寻找目标。
76.可以理解，本发明是通过一些实施例进行描述的，本领域技术人员知悉的，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本技术的权利要求范围内的实施例都属于本发明所保护的范围内。