一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种轨迹融合方法、装置及设备与流程

2022-03-02 03:11:21 来源:中国专利 TAG:


1.本技术涉及数据处理技术领域,尤其涉及一种轨迹融合方法、装置及设备。


背景技术:

2.为了便于园区(如社区、工业园区等)内目标对象(如园区内用户)的管理,园区内通常部署多种类型的传感器,如摄像机、蓝牙、rfid(radio frequency identification,射频识别)等,由这些传感器采集目标对象的轨迹,并将目标对象的轨迹发送给管理设备,管理设备基于目标对象的轨迹对目标对象进行管理。
3.目标对象在园区内移动时,多个传感器均可以采集到这个目标对象的轨迹,即存在目标对象的多个轨迹。但是,管理设备无法识别出目标对象在多个传感器下的多个轨迹,导致无法基于目标对象的完整运动轨迹对目标对象进行管理,无法还原目标对象在园区内的运动情况,缺少对目标对象的长时间管理能力。


技术实现要素:

4.本技术提供一种轨迹融合方法,所述方法包括:
5.获取目标时间段内的多个原始轨迹,所述多个原始轨迹由目标场景的多个传感器采集,不同原始轨迹由同一传感器采集或者由不同传感器采集;
6.将所述目标时间段划分为多个子时间段;针对每个子时间段,基于该子时间段内的所有原始轨迹生成多个轨迹对,每个轨迹对均包括两个原始轨迹;
7.基于每个轨迹对内两个原始轨迹的轨迹相似度,将该子时间段内的所有原始轨迹融合为该子时间段内的至少一个候选轨迹,候选轨迹包括至少两个原始轨迹,且该候选轨迹包括的两个原始轨迹的轨迹相似度大于第一阈值;
8.基于所述多个子时间段内的候选轨迹之间的融合相似度,将所有子时间段内的候选轨迹融合为所述目标时间段内的至少一个目标轨迹,每个目标轨迹均包括至少一个候选轨迹;其中,若目标轨迹包括至少两个候选轨迹,则该目标轨迹包括的两个候选轨迹之间的融合相似度大于第二阈值;
9.确定所述目标时间段内的每个目标轨迹的身份信息。
10.本技术提供一种轨迹融合装置,所述装置包括:
11.获取模块,用于获取目标时间段内的多个原始轨迹,所述多个原始轨迹由目标场景的多个传感器采集,不同原始轨迹由同一传感器或不同传感器采集;
12.融合模块,用于将所述目标时间段划分为多个子时间段;针对每个子时间段,基于该子时间段内的所有原始轨迹生成多个轨迹对,每个轨迹对均包括两个原始轨迹;基于每个轨迹对内两个原始轨迹的轨迹相似度,将该子时间段内的所有原始轨迹融合为该子时间段内的至少一个候选轨迹,候选轨迹包括至少两个原始轨迹,且该候选轨迹包括的两个原始轨迹的轨迹相似度大于第一阈值;
13.基于所述多个子时间段内的候选轨迹之间的融合相似度,将所有子时间段内的候
选轨迹融合为所述目标时间段内的至少一个目标轨迹,每个目标轨迹均包括至少一个候选轨迹;其中,若目标轨迹包括至少两个候选轨迹,则该目标轨迹包括的两个候选轨迹之间的融合相似度大于第二阈值;
14.确定模块,用于确定所述目标时间段内的每个目标轨迹的身份信息。
15.本技术提供一种轨迹融合设备,包括:处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;所述处理器用于执行机器可执行指令,以实现上述的轨迹融合方法。
16.由以上技术方案可见,本技术实施例中,针对每个目标对象,可以将目标对象在多个传感器下的轨迹(即多个原始轨迹)融合为目标轨迹(即目标对象的完整运动轨迹),从而能够识别出目标对象在多个传感器下的多个轨迹,基于目标对象的完整运动轨迹对目标对象进行管理,能够还原目标对象在目标场景内的运动情况,提供对目标对象的长时间管理能力(即目标对象在目标场景的整个过程均可以进行管理)。通过将目标时间段划分为多个子时间段,并对每个子时间段内的轨迹对进行融合,而不是直接对目标时间段内的所有轨迹对进行融合,从而能够减少轨迹对数量,避免对大量轨迹对进行融合,提高轨迹对融合的处理效率,减少轨迹对融合的处理时间。通过对不同子时间段内的候选轨迹进行融合,从而能够得到目标对象的完整运动轨迹,基于目标对象的完整运动轨迹对目标对象进行管理。能够确定目标轨迹对应的身份信息和档案信息,即构建目标对象的全场景档案,即使目标对象在不同时间段进入园区也可保证身份唯一,不同时间段内生成的轨迹更加准确。可以应用于大规模的园区场景,对数据源的要求比较低,目标轨迹的融合结果更加准确,具有更强的普适性。通过构建目标对象的档案信息,可以对目标对象进行更加完善的管理。
附图说明
17.为了更加清楚地说明本技术实施例或者现有技术中的技术方案,下面将对本技术实施例或者现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据本技术实施例的这些附图获得其他的附图。
18.图1是本技术一种实施方式中的轨迹融合方法的流程示意图;
19.图2是本技术一种实施方式中的分布式系统的结构示意图;
20.图3是本技术一种实施方式中的轨迹融合方法的流程示意图;
21.图4是本技术一种实施方式中的轨迹融合装置的结构示意图;
22.图5是本技术一种实施方式中的轨迹融合设备的硬件结构图。
具体实施方式
23.在本技术实施例使用的术语仅仅是出于描述特定实施例的目的,而非限制本技术。本技术和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其它含义。还应当理解,本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
24.应当理解,尽管在本技术实施例可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,
在不脱离本技术范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,此外,所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
25.本技术实施例中提出一种轨迹融合方法,用于将目标对象的多个轨迹融合为同一轨迹,参见图1所示,为轨迹融合方法的流程示意图,该方法包括:
26.步骤101、获取目标时间段内的多个原始轨迹,多个原始轨迹由目标场景的多个传感器采集,不同原始轨迹由同一传感器采集或者由不同传感器采集。
27.示例性的,获取目标时间段内的多个原始轨迹,可以包括但不限于:获取目标场景的传感器采集的初始轨迹。针对每个初始轨迹,对该初始轨迹进行数据预处理,得到与该初始轨迹对应的原始轨迹。其中,数据预处理可以包括但不限于以下至少一种:数据插值处理、数据时空对齐处理、数据格式转换处理。
28.示例性的,数据插值处理用于在初始轨迹中添加轨迹点;数据时空对齐处理用于将初始轨迹转换到目标坐标系;数据格式转换处理用于将初始轨迹转换为目标数据格式。比如说,可以先对初始轨迹进行数据插值处理,然后,对数据插值处理后的初始轨迹进行数据时空对齐处理,然后,对数据时空对齐处理后的初始轨迹进行数据格式转换处理。或者,可以先对初始轨迹进行数据插值处理,然后,对数据插值处理后的初始轨迹进行数据格式转换处理,然后,对数据格式转换处理后的初始轨迹进行数据时空对齐处理,对此不做限制。
29.步骤102、将目标时间段划分为多个子时间段;针对每个子时间段,基于该子时间段内的所有原始轨迹生成多个轨迹对,每个轨迹对均包括两个原始轨迹。
30.步骤103、基于每个轨迹对内两个原始轨迹的轨迹相似度,将该子时间段内的所有原始轨迹融合为该子时间段内的至少一个候选轨迹,候选轨迹包括至少两个原始轨迹,且该候选轨迹包括的两个原始轨迹的轨迹相似度大于第一阈值。
31.步骤104、基于多个子时间段(即所有子时间段)内的候选轨迹之间的融合相似度,将所有子时间段内的候选轨迹融合为目标时间段内的至少一个目标轨迹,每个目标轨迹均包括至少一个候选轨迹;其中,若目标轨迹包括至少两个候选轨迹,则该目标轨迹包括的两个候选轨迹之间的融合相似度大于第二阈值。
32.示例性的,基于多个子时间段内的候选轨迹之间的融合相似度,将所有子时间段内的候选轨迹融合为目标时间段内的至少一个目标轨迹,可以包括但不限于:针对第一子时间段内的每个第一候选轨迹,从第二子时间段内的候选轨迹中遍历出一个候选轨迹作为第二候选轨迹,计算第二候选轨迹与第一候选轨迹之间的融合相似度;其中,第一子时间段可以是多个子时间段中任一子时间段,第二子时间段可以是除第一子时间段之外的子时间段。
33.若该融合相似度大于第二阈值,则将该第二候选轨迹与该第一候选轨迹融合为同一个目标轨迹。若该融合相似度不大于第二阈值,则可以从第二子时间段内的候选轨迹中遍历出另一个候选轨迹作为第二候选轨迹,返回执行计算第二候选轨迹与第一候选轨迹之间的融合相似度的操作,一直到遍历出的第二候选轨迹与第一候选轨迹之间的融合相似度大于第二阈值,或第二子时间段内所有候选轨迹与第一候选轨迹之间的融合相似度均不大于第二阈值。
34.示例性的,计算第二候选轨迹与第一候选轨迹之间的融合相似度,可以包括但不限于:基于第一候选轨迹包括的部分原始轨迹与第二候选轨迹包括的部分原始轨迹生成至少一个轨迹对,每个轨迹对均包括第一候选轨迹内的一个原始轨迹和第二候选轨迹内的一个原始轨迹。基于每个轨迹对内两个原始轨迹的轨迹相似度,将轨迹相似度的最大值确定为该融合相似度,或,基于每个轨迹对内两个原始轨迹的轨迹相似度,将轨迹相似度的平均值确定为该融合相似度。
35.示例性的,轨迹对内两个原始轨迹的轨迹相似度的确定方式,可以包括但不限于:确定该轨迹对内两个原始轨迹对应的特征参数,该特征参数可以包括但不限于以下至少一种:最大距离、最小距离、时间距离、最大人脸模型相似度、最小人脸模型相似度、平均人脸模型相似度、最大人体模型相似度、最小人体模型相似度、平均人体模型相似度、传感器拓扑、原始轨迹内目标对象与传感器的距离、轨迹值相似度、传感器类型信息、重叠时间、轨迹所处区域。
36.然后,可以基于该特征参数生成该轨迹对内两个原始轨迹对应的特征向量,并基于该特征向量确定该轨迹对内两个原始轨迹的轨迹相似度。
37.示例性的,轨迹对内两个原始轨迹的轨迹相似度的确定方式,可以包括但不限于:将目标时间段内的所有原始轨迹划分为多个轨迹对。基于计算节点的数量k将多个轨迹对划分为k个轨迹对集合,即一个计算节点对应一个轨迹对集合,计算节点与轨迹对集合一一对应,不同轨迹对集合内的轨迹对数量之间的差值小于预设数量阈值,即不同轨迹对集合内的轨迹对数量相同或接近。将k个轨迹对集合下发给k个计算节点,每个计算节点对应一个轨迹对集合,由该计算节点确定该轨迹对集合内的每个轨迹对内两个原始轨迹的轨迹相似度。
38.步骤105、确定目标时间段内的每个目标轨迹的身份信息。
39.示例性的,步骤104之后,步骤105之前,可以基于目标轨迹所在区域的地图信息,对该目标轨迹进行质量提升操作,得到质量提升后的目标轨迹,质量提升操作可以包括但不限于:纠偏操作和/或补全操作;纠偏操作用于将目标轨迹中的错误轨迹点纠正到正确位置;补全操作用于在目标轨迹中添加轨迹点。在此基础上,在步骤105中,可以确定质量提升后的目标轨迹的身份信息。
40.由以上技术方案可见,本技术实施例中,针对每个目标对象,可以将目标对象在多个传感器下的轨迹(即多个原始轨迹)融合为目标轨迹(即目标对象的完整运动轨迹),从而能够识别出目标对象在多个传感器下的多个轨迹,基于目标对象的完整运动轨迹对目标对象进行管理,能够还原目标对象在目标场景内的运动情况,提供对目标对象的长时间管理能力(即目标对象在目标场景的整个过程均可以进行管理)。通过将目标时间段划分为多个子时间段,并对每个子时间段内的轨迹对进行融合,而不是直接对目标时间段内的所有轨迹对进行融合,从而能够减少轨迹对数量,避免对大量轨迹对进行融合,提高轨迹对融合的处理效率,减少轨迹对融合的处理时间。通过对不同子时间段内的候选轨迹进行融合,从而能够得到目标对象的完整运动轨迹,基于目标对象的完整运动轨迹对目标对象进行管理。能够确定目标轨迹对应的身份信息和档案信息,即构建目标对象的全场景档案,即使目标对象在不同时间段进入园区也可保证身份唯一,不同时间段内生成的轨迹更加准确。可以应用于大规模的园区场景,对数据源的要求比较低,目标轨迹的融合结果更加准确,具有更
强的普适性。通过构建目标对象的档案信息,可以对目标对象进行更加完善的管理。
41.以下结合具体应用场景,对本技术实施例的技术方案进行说明。
42.本技术实施例中提出一种离线分布式的轨迹关联和档案构建方法,可以应用于管理设备,由管理设备采集多源传感器的数据后进行分布式融合,并构建全场景的档案,普适性高且生成的轨迹更加准确,可应用于大规模的园区场景,对数据源的要求比较低,且融合后的轨迹更加准确,具有更强的普适性。
43.比如说,在目标场景(如园区场景)可以部署多源传感器,如部署一个或多个摄像机传感器(如模拟摄像机或者网络摄像机等)、部署一个或多个蓝牙传感器、部署一个或多个rfid传感器,这些传感器可以采集目标对象(如园区内移动的用户)的轨迹数据,并将目标对象的轨迹数据发送给管理设备。
44.针对摄像机传感器来说,轨迹数据可以包括目标对象的图像、目标对象的人脸模型(即图像中的目标对象的人脸特征)、目标对象的人体模型(即图像中的目标对象的人体特征)、目标对象在该摄像机传感器下的多个轨迹点,针对每个轨迹点来说,该轨迹点可以包括时间点和位置点,表示目标对象在该时间点处于该位置点,该位置点可以是经纬度坐标等。显然,轨迹数据中的多个轨迹点就组成一条轨迹,为了区分方便,将该轨迹称为初始轨迹。
45.针对蓝牙传感器来说,轨迹数据可以包括目标对象的设备信息(即目标对象携带的终端设备的设备信息)、目标对象在该蓝牙传感器下的多个轨迹点,针对每个轨迹点来说,该轨迹点可以包括时间点和位置点。显然,轨迹数据中的多个轨迹点就组成一条轨迹,为了区分方便,将该轨迹称为初始轨迹。
46.针对rfid传感器来说,轨迹数据可以包括目标对象的设备信息(即目标对象携带的终端设备的设备信息)、目标对象在该rfid传感器下的多个轨迹点,针对每个轨迹点来说,该轨迹点可以包括时间点和位置点。显然,轨迹数据中的多个轨迹点就组成一条轨迹,为了区分方便,将该轨迹称为初始轨迹。
47.综上所述,目标场景的每个传感器均可以将目标对象的轨迹数据发送给管理设备,且该轨迹数据包括初始轨迹。为了关联同一目标对象在不同传感器下的多个轨迹,本技术实施例中,由管理设备对轨迹进行分布式融合,从而将目标对象在多个传感器下的轨迹融合为目标对象的完整运动轨迹,能够识别出目标对象在多个传感器下的多个轨迹,定时对目标对象的轨迹进行关联。
48.本技术实施例中,管理设备可以采用分布式系统实现,即由分布式系统实现离线分布式的轨迹关联和档案构建方法,分布式系统可以包括多个节点(即节点设备),这些节点采用分布式方式部署,即管理设备包括多个节点。
49.参见图2所示,分布式系统可以包括数据整理层、数据存储层、数据处理层和数据接口层。数据整理层、数据存储层、数据处理层和数据接口层可以部署在相同节点,也可以部署在不同节点,对此不做限制。比如说,数据整理层与数据存储层可以部署在同一节点,也可以部署在不同节点,数据存储层与数据处理层可以部署在同一节点,也可以部署在不同节点,数据存储层与数据接口层可以部署在同一节点,也可以部署在不同节点,对此部署方式不做限制。
50.参见图2所示,数据整理层用于从多源传感器获取轨迹数据,对轨迹数据进行数据
插值处理、数据时空对齐处理、数据格式转换处理等操作,得到处理后的轨迹数据,将处理后的轨迹数据存储到数据存储层。数据存储层用于存储各类数据信息,如轨迹数据、档案信息、轨迹关联结果、地图信息等。数据处理层用于将各类传感器的轨迹数据进行融合,生成每一个目标对象的轨迹,并确定目标对象的身份(即赋予一个唯一的身份标识),并生成目标对象的档案信息,将融合后的轨迹数据、轨迹关联结果、档案信息等内容存储到数据存储层。数据接口层用于提供查询能力,如提供轨迹、档案、地图等基本查询能力。
51.第一、数据整理层,数据整理层用于从多源传感器获取轨迹数据,可以采用分布式组件实现,如采用kafka组件实现数据整理层,kafka组件是一个大数据消息订阅发布组件,提供消息订阅功能,且采用分布式进行安装,用于分布式的实时获取各类传感器数据。当然,也可以采用其它消息中间件或者数据库代替kafka组件,对此不做限制,只要能够从多源传感器获取轨迹数据即可。
52.示例性的,数据整理层在从多源传感器获取轨迹数据(对此获取方式不做限制)之后,数据整理层可以对轨迹数据进行如下操作的至少一种:
53.数据过滤:用于对不符合要求的轨迹数据进行过滤。比如说,针对摄像机传感器采集的轨迹数据,若该轨迹数据中的人脸模型的评分低于预设阈值,则过滤该轨迹数据,若该轨迹数据中的人体模型的评分低于预设阈值,则过滤该轨迹数据。又例如,针对蓝牙传感器采集的轨迹数据,若该轨迹数据不存在轨迹点,则过滤该轨迹数据。又例如,针对rfid传感器采集的轨迹数据,若该轨迹数据不存在轨迹点,则过滤该轨迹数据。又例如,若轨迹数据是延迟过久到达的数据,则过滤该轨迹数据,延迟过久到达是指,该轨迹数据与上一条轨迹数据的时间差值大于阈值。当然,上述只是数据过滤的示例,对此不做限制。
54.数据插值处理:用于在初始轨迹中添加轨迹点。比如说,针对传感器采集的轨迹数据,该轨迹数据可以包括初始轨迹,可以对该轨迹数据中的初始轨迹进行数据插值处理,即添加轨迹点,得到数据插值处理后的初始轨迹。
55.比如说,针对轨迹数据中的初始轨迹来说,该初始轨迹中的轨迹点数量可能比较少,相邻两个轨迹点之间的时间点间隔比较长,若需要对初始轨迹进行精细化处理,则可以对初始轨迹进行固频和插值,固频和插值是指将轨迹点的频率进行固化,减小抖动误差带来的影响。在此基础上,针对轨迹数据中的初始轨迹来说,可以将轨迹点的频率进行固化,基于该频率在两个轨迹点之间添加新轨迹点,即进行数据插值处理,对此数据插值处理的实现方式不做限制。
56.数据时空对齐处理:用于将初始轨迹转换到目标坐标系,即将初始轨迹中的位置点转换到目标坐标系。比如说,可以对各类传感器的轨迹数据进行时空对齐,时空对齐是指将各类传感器采集的轨迹数据固定到统一的坐标系下,将该坐标系称为目标坐标系,因此,可以将每个初始轨迹均转换到目标坐标系。
57.数据格式转换处理:用于将初始轨迹转换为目标数据格式,即,将轨迹数据(轨迹数据包括该初始轨迹)转换为目标数据格式的轨迹数据,从而将各类传感器的轨迹数据转换成一致数据格式(即目标数据格式)的轨迹数据。
58.数据整理层可以接收到摄像机传感器采集的轨迹数据、蓝牙传感器采集的轨迹数据、rfid传感器采集的轨迹数据等,可以设计统一的数据格式(即目标数据格式),将摄像机传感器采集的轨迹数据转换为目标数据格式,将蓝牙传感器采集的轨迹数据转换为目标数
据格式,将rfid传感器采集的轨迹数据转换为目标数据格式,从而将各类传感器采集的轨迹数据转换为目标数据格式。
59.通过将各类传感器采集的轨迹数据转换为目标数据格式,可以得到统一数据格式的轨迹数据,继而基于统一数据格式的轨迹数据进行分析和处理。本实施例中,对此目标数据格式不做限制,例如,目标数据格式包括采集源字段(用于记录每类传感器的唯一标识)、人体模型字段(用于记录人体模型、人体朝向、模型评分等)、人脸模型字段(用于记录人脸模型、模型评分等)、轨迹点字段(用于记录时间点和位置点等内容)。当然,上述只是目标数据格式的示例,对此目标数据格式不做限制,轨迹数据可以按照目标数据格式进行存储。
60.综上所述,数据整理层在得到传感器采集的轨迹数据后,可以对轨迹数据进行数据过滤,针对数据过滤后剩余的轨迹数据,数据整理层对轨迹数据中的初始轨迹进行数据插值处理,得到数据插值处理后的初始轨迹,对数据插值处理后的初始轨迹进行数据时空对齐处理,得到数据时空对齐处理后的初始轨迹,对数据时空对齐处理后的初始轨迹进行数据格式转换处理,得到数据格式转换处理后的初始轨迹,将数据格式转换处理后的初始轨迹记为原始轨迹。
61.在得到原始轨迹之后,数据整理层可以将轨迹数据发送至数据存储层进行存储,也就是说,存储到数据存储层的轨迹数据包括的是原始轨迹。
62.第二、数据存储层,数据存储层用于存储各类数据信息,如轨迹数据、档案信息、轨迹关联结果、地图信息等。比如说,数据整理层可以将轨迹数据发送给数据存储层,由数据存储层存储轨迹数据,且轨迹数据包括原始轨迹。
63.数据存储层可以采用分布式组件实现,如采用星迹组件和/或pg组件实现数据存储层,星迹组件是时空轨迹数据库,采用分布式安装,用于存储原始时空数据(即轨迹数据)和融合后的时空数据,可以提高对时空数据的存储效率和查询效率。pg(postgresql)是一种关系型数据库,用于存储一些关系型数据,如地图信息、布建信息等。当然,数据存储层也可以采用其它数据库代替星迹组件和pg组件,对此不做限制,只要能够存储轨迹数据即可。
64.第三、数据处理层,数据处理层用于从数据存储层获取各类传感器的轨迹数据,并将各类传感器的轨迹数据进行融合,生成每一个目标对象的轨迹,并确定目标对象的身份(即赋予一个唯一的身份标识),并生成目标对象的档案信息,将融合后的轨迹数据、轨迹关联结果、档案信息等存储到数据存储层。
65.数据处理层可以采用分布式组件实现,如采用hadoop组件、spark组件和zookeeper组件实现数据处理层。hadoop组件是分布式系统的基础架构,采用分布式安装,用于为spark组件提供集群资源的管理能力。spark组件是用于为大规模数据处理而设计的快速通用的计算引擎,即spark组件可以采用多个计算节点实现轨迹融合,且计算节点的数量可以扩展,数据处理层的主要逻辑都基于spark组件实现。zookeeper组件是分布式应用程序协调服务,采集分布式安装,用于spark组件的高可用。当然,数据处理层也可以采用其它组件代替hadoop组件、spark组件和zookeeper组件,对此不做限制,只要能够将各类传感器的轨迹数据进行融合即可。比如说,可以使用flink组件代替spark组件作为计算引擎,可以使用其它可提供高可用能力的组件代替zookeeper组件。
66.数据处理层采用离线处理方式对轨迹数据进行融合,且数据处理层是定时任务触发运行方式,即数据处理层每隔预设时长(可以根据经验配置,如3小时等)运行一次,在每
次运行时,数据处理层就从数据存储层获取当前周期(即3小时)的所有轨迹数据,并当前周期的所有轨迹数据进行融合,得到每一个目标对象的轨迹,并确定目标对象的身份(即赋予一个唯一的身份标识),生成目标对象的档案信息。为了保证前后多个周期(每个周期对应3小时)内身份的一致性,可以利用档案对前后多个周期的目标对象的身份进行关联。
67.示例性的,可以将轨迹数据进行分区处理,利用分布式系统的优势提高处理效率,针对不同轨迹数据情况和不同处理阶段,可以采用不同策略对轨迹数据进行分区。比如说,在构建轨迹对,计算特征向量的过程中,可以对轨迹进行均匀分区,计算出所有轨迹对的特征向量。在对轨迹进行关联融合时,考虑到轨迹时间连续的特性(即时间相近的轨迹可能是同一目标对象),则可以对轨迹按时间分区,各个时间分区并行处理,在分区内进行轨迹关联和轨迹身份的确认。在确认身份时,利用历史的档案信息,将当前批次(即当前3小时)的轨迹数据和历史处理结果,根据身份进行关联,保证数据处理的连续性。
68.在各分区关联完成后,可以将所有分区信息进行合并,进行整体数据融合,考虑到数据量过大直接融合效率较低,还可以对所有分区融合结果进行抽样,对抽样后的关联结果进行互相比对,若有相似度高的目标则合并,身份融合。
69.在分区轨迹融合完成后,还可以对融合轨迹进行质量提升,保证输出的轨迹具有较高的质量。而轨迹的质量提升与轨迹所处区域有关,因此,将融合轨迹按区域分区,在各个分区内获取该分区所在区域的地图信息,以及用户配置的对区域轨迹精细化还是打点式的要求(精细化轨迹密度高,轨迹的还原度高,同时也要求传感器密集,打点式轨迹密度低,更多的是还原轨迹运动趋势,传感器数量可大大降低),对轨迹进行质量提升操作,如纠偏(将在障碍物中的轨迹处理至可通行区域)、补全(缺失轨迹段,根据地图进行合理的插值,使轨迹完整),最终再将处理结果以及更新后的档案存储到数据存储层中。
70.在上述处理过程中,需要确定出特征向量,并基于特征向量确定轨迹相似度,为了确定轨迹相似度,可以先采集目标场景的各类传感器采集的轨迹数据,对轨迹数据进行标定(即将属于同一目标对象的轨迹分类),利用机器学习算法进行训练得到轨迹关联模型,继而利用轨迹关联模型获取轨迹相似度。比如说,将特征向量输入给轨迹关联模型,由轨迹关联模型输出轨迹相似度。
71.特征向量是用于表征两条轨迹之间的轨迹相似度的特征,可以包括但不限于以下至少一种:轨迹间最大距离、轨迹间最小距离、轨迹间时间距离、最大人体模型相似度、最小人体模型相似度、平均人体模型相似度、最大人脸模型相似度、最小人脸模型相似度、平均人脸模型相似度、传感器拓扑、传感器距离、轨迹值相似度、传感器类型是否一致、重叠时间、轨迹所处区域。
72.以下结合具体应用场景,对数据处理层的处理过程进行说明。参见图3所示,为数据处理层的处理流程示意图,数据处理层的处理过程可以包括:
73.步骤301、获取目标时间段内的多个原始轨迹,多个原始轨迹由目标场景的多个传感器采集,不同原始轨迹由同一传感器采集或者由不同传感器采集。
74.比如说,假设数据处理层每隔预设时长(如3小时)运行一次,在每次运行时,数据处理层就从数据存储层获取目标时间段(即当前周期的3小时)内的所有轨迹数据,每个轨迹数据均包括原始轨迹,即得到大量原始轨迹。
75.针对这些原始轨迹来说,可能由多个传感器采集(如一个或者多个摄像机传感器、
一个或者多个蓝牙传感器、一个或者多个rfid传感器),即,不同原始轨迹可以由同一传感器采集,不同原始轨迹也可以由不同传感器采集。
76.针对这些原始轨迹来说,可能是多个目标对象的原始轨迹,即,不同原始轨迹可能是同一目标对象的原始轨迹,也可能是不同目标对象的原始轨迹。
77.步骤302、将目标时间段内的所有原始轨迹划分为多个轨迹对,每个轨迹对均包括两个原始轨迹,也就是说,任意两个原始轨迹组成一个轨迹对。
78.比如说,假设目标时间段内存在原始轨迹a1、原始轨迹a2、原始轨迹a3和原始轨迹a4,在实际应用中,原始轨迹的数量远远大于4个,那么,可以将所有原始轨迹划分为如下轨迹对:(a1,a2)、(a1,a3)、(a1,a4)、(a2,a3)、(a2,a3)、(a3,a4),也就是说,每两个原始轨迹就组成一个轨迹对。
79.步骤303、基于计算节点的数量k将多个轨迹对划分为k个轨迹对集合,每个轨迹对集合均包括轨迹对,且k个轨迹对集合包括所有轨迹对。
80.示例性的,一个计算节点对应一个轨迹对集合,计算节点与轨迹对集合一一对应,不同轨迹对集合内的轨迹对数量之间的差值小于预设数量阈值(根据经验配置,如2等),即不同轨迹对集合内的轨迹对数量相同或接近。
81.比如说,假设数据处理层通过3个计算节点来计算轨迹相似度,那么,可以将所有轨迹对划分到3个轨迹对集合,记为轨迹对集合1、轨迹对集合2和轨迹对集合3。若轨迹对的总数量为300,则轨迹对集合1包括100个轨迹对,轨迹对集合2包括100个轨迹对,轨迹对集合3包括100个轨迹对。
82.步骤304、将k个轨迹对集合下发给k个计算节点,每个计算节点对应一个轨迹对集合(即计算节点与轨迹对集合可以一一对应),由该计算节点确定该轨迹对集合内的每个轨迹对内两个原始轨迹的轨迹相似度。
83.比如说,可以将轨迹对集合1下发给计算节点1,将轨迹对集合2下发给计算节点2,将轨迹对集合3下发给计算节点3。计算节点1在接收到轨迹对集合1后,由于轨迹对集合1包括100个轨迹对,则可以计算每个轨迹对内两个原始轨迹的轨迹相似度,即得到100个轨迹对的轨迹相似度。同理,计算节点2可以得到100个轨迹对的轨迹相似度,计算节点3可以得到100个轨迹对的轨迹相似度。计算节点1、计算节点2和计算节点3可以并行计算轨迹相似度。
84.由于每个轨迹对的轨迹相似度的确定方式相同,因此,为了方便描述,在后续实施例中,以计算节点1确定一个轨迹对(a1,a2)的轨迹相似度为例进行说明,关于其它轨迹对的轨迹相似度的确定方式,本实施例中不再赘述。
85.其中,为了确定轨迹对(a1,a2)的轨迹相似度,可以采用如下步骤:
86.步骤s11、确定轨迹对(a1,a2)内两个原始轨迹对应的特征参数,即确定原始轨迹a1和原始轨迹a2对应的特征参数。示例性的,该特征参数可以包括但不限于以下至少一种:最大距离、最小距离、时间距离、最大人脸模型相似度、最小人脸模型相似度、平均人脸模型相似度、最大人体模型相似度、最小人体模型相似度、平均人体模型相似度、传感器拓扑、原始轨迹内目标对象与传感器的距离、轨迹值相似度、传感器类型信息、重叠时间、轨迹所处区域。
87.最大距离表示轨迹间最大距离,最小距离表示轨迹间最小距离,例如,确定原始轨
迹a1的第一个轨迹点与原始轨迹a2的第一个轨迹点之间的距离值,确定原始轨迹a1的第二个轨迹点与原始轨迹a2的第二个轨迹点之间的距离值,以此类推,在得到上述距离值之后,可以将所有距离值中的最大值作为轨迹间最大距离,可以将所有距离值中的最小值作为轨迹间最小距离。
88.时间距离表示轨迹间时间距离,如原始轨迹a1位于原始轨迹a2的前面,将原始轨迹a2的第一个时间点(即原始轨迹a2的起始时间点)与原始轨迹a1的最后一个时间点(即原始轨迹a1的结束时间点)的差值,作为轨迹间时间距离。
89.原始轨迹a1对应的轨迹数据包括人脸模型(可以是多个人脸模型,如每个轨迹点对应一个人脸模型),原始轨迹a2对应的轨迹数据包括人脸模型(可以是多个人脸模型,如每个轨迹点对应一个人脸模型),可以计算原始轨迹a1对应的人脸模型与原始轨迹a2对应的人脸模型的相似度,即得到多个相似度。将所有相似度中的最大值作为最大人脸模型相似度,将所有相似度中的最小值作为最小人脸模型相似度,将所有相似度的平均值作为平均人脸模型相似度。
90.原始轨迹a1对应的轨迹数据包括人体模型(可以是多个人体模型,如每个轨迹点对应一个人体模型),原始轨迹a2对应的轨迹数据包括人体模型(可以是多个人体模型,如每个轨迹点对应一个人体模型),可以计算原始轨迹a1对应的人体模型与原始轨迹a2对应的人体模型的相似度,即得到多个相似度。将所有相似度中的最大值作为最大人体模型相似度,将所有相似度中的最小值作为最小人体模型相似度,将所有相似度的平均值作为平均人体模型相似度。
91.传感器拓扑可以是目标场景内部署的所有传感器的网络拓扑,如传感器之间的连接关系,对此传感器拓扑不做限制,可以是根据实际情况配置。
92.原始轨迹内目标对象与传感器的距离可以简称为传感器距离,比如说,原始轨迹a1由传感器1采集,则可以确定原始轨迹a1内目标对象与传感器1的距离,例如,原始轨迹a1包括多个轨迹点,可以确定每个轨迹点与传感器1的距离,并将这些距离中的最大值作为原始轨迹a1内目标对象与传感器1的距离。
93.同理,可以确定原始轨迹a2内目标对象与传感器的距离。
94.轨迹值相似度是原始轨迹a1内轨迹点与原始轨迹a2内轨迹点之间的相似度,对此轨迹值相似度的确定方式不做限制,比如说,基于原始轨迹a1内轨迹点与原始轨迹a2内轨迹点之间的距离,确定出该轨迹值相似度。
95.传感器类型信息可以是传感器类型是否一致的信息,比如说,采集原始轨迹a1的传感器是摄像机传感器,采集原始轨迹a2的传感器是摄像机传感器,则传感器类型一致。又例如,采集原始轨迹a1的传感器是摄像机传感器,采集原始轨迹a2的传感器是蓝牙传感器,则传感器类型不一致。
96.重叠时间表示原始轨迹a1与原始轨迹a2之间的重叠时间。
97.轨迹所处区域表示传感器的经纬度信息,比如说,采集原始轨迹a1的传感器的经纬度信息、采集原始轨迹a2的传感器的经纬度信息。
98.综上所述,可以确定原始轨迹a1和原始轨迹a2对应的特征参数。
99.步骤s12、基于该特征参数生成轨迹对内两个原始轨迹对应的特征向量。
100.示例性的,在得到原始轨迹a1和原始轨迹a2对应的特征参数之后,就可以基于该
特征参数生成原始轨迹a1和原始轨迹a2对应的特征向量,对此特征向量不做限制。比如说,假设特征参数包括最大距离、最小距离、时间距离、最大人脸模型相似度、最小人脸模型相似度、平均人脸模型相似度、最大人体模型相似度、最小人体模型相似度、平均人体模型相似度、传感器拓扑、原始轨迹内目标对象与传感器的距离、轨迹值相似度、传感器类型信息、重叠时间、轨迹所处区域,则特征向量可以是1*15维的特征向量,或3*5维的特征向量,或5*3维的特征向量,或15*1维的特征向量,即特征向量包括15个特征值。
101.第1个特征值对应最大距离,可以是对最大距离进行归一化处理后的数值,第2个特征值对应最小距离,第3个特征值对应时间距离,以此类推。
102.步骤s13、基于该特征向量确定轨迹对内两个原始轨迹的轨迹相似度。
103.示例性的,在得到原始轨迹a1和原始轨迹a2对应的特征向量之后,就可以基于该特征向量确定原始轨迹a1和原始轨迹a2之间的轨迹相似度。
104.比如说,可以预先训练一个轨迹关联模型,可以将该特征向量输入给轨迹关联模型,由轨迹关联模型输出该特征向量对应的轨迹相似度,这个轨迹相似度就是原始轨迹a1和原始轨迹a2之间的轨迹相似度。当然,也可以采用其它算法确定原始轨迹a1和原始轨迹a2之间的轨迹相似度,对此不做限制。
105.示例性的,为了训练轨迹关联模型,可以采用如下方式:获取目标场景的各类传感器采集的样本轨迹,并确定任意两个样本轨迹之间的特征向量(与步骤s11和s12类似),并对该特征向量进行标定(即标定是同一个对象的两个样本轨迹,即正样本,还是不同对象的两个样本轨迹,即负样本),然后,将特征向量和标定信息输入给待训练模型(如基于机器学习算法的模型),从而对待训练模型进行训练,得到已训练的轨迹关联模型,对此训练过程不做限制。
106.综上所述,针对每个计算节点来说,就可以得到轨迹对集合内的每个轨迹对的轨迹相似度,从而得到目标时间段内的所有轨迹对的轨迹相似度。在计算特征向量的过程中,是对所有轨迹对进行均匀分区,将不同分区的轨迹对(即轨迹对集合)下发给不同计算节点,由不同计算节点并行计算轨迹相似度。
107.步骤305、将目标时间段划分为多个子时间段;针对每个子时间段,将该子时间段内的所有原始轨迹划分为多个轨迹对,每个轨迹对均包括两个原始轨迹,也就是说,该子时间段内的任意两个原始轨迹组成一个轨迹对。
108.示例性的,假设目标时间段为3小时,将目标时间段划分为m个子时间段,m可以任意配置,如2、3、4等,对此不做限制,以3个子时间段为例,子时间段1是目标时间段的第1小时,如(0,1]小时,子时间段2是目标时间段的第2小时,如(1,2]小时,子时间段3是目标时间段的第3小时,如(2,3]小时。
109.针对目标时间段内的每个原始轨迹来说,若该原始轨迹的起始时间(即第一个时间点)位于某子时间段,则该原始轨迹是该子时间段内的原始轨迹。或者,针对目标时间段内的每个原始轨迹来说,若该原始轨迹的结束时间(即最后一个时间点)位于某子时间段,则该原始轨迹是该子时间段内的原始轨迹。
110.综上所述,可以将目标时间段内的所有原始轨迹划分到多个子时间段,即得到每个子时间段内的所有原始轨迹,比如说,可以得到子时间段1内的原始轨迹、子时间段2内的原始轨迹、子时间段2内的原始轨迹。
111.针对每个子时间段,以子时间段1为例,假设子时间段1内存在原始轨迹a1、原始轨迹a2、原始轨迹a3和原始轨迹a4,在实际应用中,原始轨迹的数量远远大于4个,那么,可以将子时间段1内的所有原始轨迹划分为如下轨迹对:(a1,a2)、(a1,a3)、(a1,a4)、(a2,a3)、(a2,a3)、(a3,a4),也就是说,子时间段1内的每两个原始轨迹就组成一个轨迹对。
112.综上所述,在需要对轨迹进行关联融合时,考虑到轨迹时间连续的特性(即时间相近的轨迹可能是同一目标对象),则可以对轨迹按时间分区,各个时间分区并行处理,也就是说,将目标时间段划分为多个子时间段,可以对每个子时间段分别进行轨迹的关联融合,不同子时间段的轨迹关联融合过程可以并行。
113.步骤306、基于每个轨迹对内两个原始轨迹的轨迹相似度,将该子时间段内的所有原始轨迹融合为该子时间段内的至少一个候选轨迹,候选轨迹包括至少两个原始轨迹,且该候选轨迹包括的两个原始轨迹的轨迹相似度大于第一阈值。
114.比如说,假设子时间段1对应如下轨迹对:(a1,a2)、(a1,a3)、(a1,a4)、(a2,a3)、(a2,a3)、(a3,a4),若原始轨迹a1和原始轨迹a2的轨迹相似度大于第一阈值(可以根据经验配置),则将原始轨迹a1和原始轨迹a2融合为一个候选轨迹,若原始轨迹a1和原始轨迹a2的轨迹相似度不大于第一阈值,则不将原始轨迹a1和原始轨迹a2融合为一个候选轨迹。
115.若原始轨迹a1和原始轨迹a3的轨迹相似度大于第一阈值,则将原始轨迹a1和原始轨迹a3融合为一个候选轨迹,若原始轨迹a1和原始轨迹a3的轨迹相似度不大于第一阈值,则不将原始轨迹a1和原始轨迹a3融合为一个候选轨迹。
116.以此类推,基于每个轨迹对内两个原始轨迹的轨迹相似度,就可以将子时间段1内的所有原始轨迹融合为至少一个候选轨迹,每个候选轨迹均包括至少两个原始轨迹,且该候选轨迹包括的两个原始轨迹的轨迹相似度大于第一阈值。
117.比如说,将子时间段1内的所有原始轨迹融合为候选轨迹b1和候选轨迹b2,候选轨迹b1包括原始轨迹a1、原始轨迹a2和原始轨迹a4,候选轨迹b2包括原始轨迹a3、原始轨迹a5和原始轨迹a6。针对候选轨迹b1来说,原始轨迹a1和原始轨迹a2的轨迹相似度大于第一阈值,原始轨迹a1和原始轨迹a4的轨迹相似度大于第一阈值,原始轨迹a2和原始轨迹a4的轨迹相似度大于第一阈值。
118.综上所述,可以得到每个子时间段内的候选轨迹,例如,得到子时间段1内的候选轨迹、子时间段2内的候选轨迹、子时间段3内的候选轨迹。
119.步骤307、基于所有子时间段内的候选轨迹之间的融合相似度,将所有子时间段内的候选轨迹融合为目标时间段内的至少一个目标轨迹,每个目标轨迹均包括至少一个候选轨迹。其中,若目标轨迹包括至少两个候选轨迹,则该目标轨迹包括的两个候选轨迹之间的融合相似度可以大于第二阈值。
120.比如说,假设子时间段1内的候选轨迹包括候选轨迹b1和候选轨迹b2,子时间段2内的候选轨迹包括候选轨迹c1和候选轨迹c2,子时间段3内的候选轨迹包括候选轨迹d1、候选轨迹d2和候选轨迹d3,若候选轨迹b1与候选轨迹c1(如子时间段2和子时间段3内的每个候选轨迹)之间的融合相似度大于第二阈值(可以根据经验配置),则将候选轨迹b1与候选轨迹c1融合为一个目标轨迹,若候选轨迹b1与候选轨迹c1之间的融合相似度不大于第二阈值,则不将候选轨迹b1与候选轨迹c1融合为一个目标轨迹。若候选轨迹b2与候选轨迹c1(如子时间段2和子时间段3内的每个候选轨迹)之间的融合相似度大于第二阈值,则将候选轨
迹b2与候选轨迹c1融合为一个目标轨迹,若候选轨迹b2与候选轨迹c1之间的融合相似度不大于第二阈值,则不将候选轨迹b2与候选轨迹c1融合为一个目标轨迹。以此类推,基于所有子时间段内的候选轨迹之间的融合相似度,就可以将所有子时间段内的候选轨迹融合为至少一个目标轨迹。
121.在一种可能的实施方式中,针对步骤307,基于所有子时间段内的候选轨迹之间的融合相似度,可以采用如下步骤将所有候选轨迹融合为目标轨迹:
122.步骤s21、针对第一子时间段内的每个第一候选轨迹,从第二子时间段内的候选轨迹中遍历出一个候选轨迹作为第二候选轨迹,第一子时间段是多个子时间段中任一子时间段,第二子时间段是除第一子时间段之外的子时间段。
123.步骤s22、计算第二候选轨迹与第一候选轨迹之间的融合相似度。
124.步骤s23、判断该融合相似度是否大于第二阈值。
125.若是,则可以执行步骤s24,若否,则可以执行步骤s25。
126.步骤s24、将该第二候选轨迹与该第一候选轨迹融合为同一个目标轨迹,至此,完成第一候选轨迹与第二子时间段内的候选轨迹的融合操作。
127.步骤s25、判断是否已遍历出第二子时间段内的所有候选轨迹。
128.若否,则从第二子时间段内的候选轨迹中遍历出另一个候选轨迹作为第二候选轨迹,返回执行步骤s22,即基于新第二候选轨迹重新执行步骤s22。
129.若是,则完成第一候选轨迹与第二子时间段内的候选轨迹的融合操作。
130.比如说,将子时间段1作为第一子时间段,将子时间段2作为第二子时间段,将候选轨迹b1作为第一候选轨迹时,从子时间段2的所有候选轨迹中遍历出候选轨迹c1作为第二候选轨迹。若候选轨迹b1与候选轨迹c1之间的融合相似度大于第二阈值,则将候选轨迹b1与候选轨迹c1融合为同一个目标轨迹,至此,完成候选轨迹b1与子时间段2内的候选轨迹的融合操作。需要注意的是,由于候选轨迹c1与候选轨迹c2不是同一个目标对象的候选轨迹,因此,在该情况下,不需要比较候选轨迹b1与候选轨迹c2之间的融合相似度。
131.若候选轨迹b1与候选轨迹c1之间的融合相似度不大于第二阈值,则从子时间段2的所有候选轨迹中遍历出候选轨迹c2作为第二候选轨迹。若候选轨迹b1与候选轨迹c2之间的融合相似度大于第二阈值,则将候选轨迹b1与候选轨迹c2融合为同一个目标轨迹。若候选轨迹b1与候选轨迹c2之间的融合相似度不大于第二阈值,则候选轨迹c1与子时间段2的所有候选轨迹均无法融合。
132.又例如,将子时间段1作为第一子时间段,将子时间段3作为第二子时间段,将候选轨迹b1作为第一候选轨迹,从子时间段3的所有候选轨迹中遍历出候选轨迹(如候选轨迹d1、候选轨迹d2、候选轨迹d3)作为第二候选轨迹,完成候选轨迹b1与子时间段3内的候选轨迹的融合操作,在此不再赘述。
133.在候选轨迹b1的融合操作完成后,将子时间段1作为第一子时间段,将子时间段2作为第二子时间段,将候选轨迹b2作为第一候选轨迹,从子时间段2的所有候选轨迹中遍历出候选轨迹作为第二候选轨迹,完成候选轨迹b2与子时间段2内的候选轨迹的融合操作,在此不再赘述。然后,将子时间段1作为第一子时间段,将子时间段3作为第二子时间段,将候选轨迹b2作为第一候选轨迹,从子时间段3的所有候选轨迹中遍历出候选轨迹作为第二候选轨迹,完成候选轨迹b2与子时间段3内的候选轨迹的融合操作,在此不再赘述。
134.在候选轨迹b2的融合操作完成后,将子时间段2作为第一子时间段,将子时间段3作为第二子时间段,将候选轨迹c1作为第一候选轨迹,从子时间段3的所有候选轨迹中遍历出候选轨迹作为第二候选轨迹,完成候选轨迹c1与子时间段3内的候选轨迹的融合操作,在此不再赘述。然后,将子时间段2作为第一子时间段,将子时间段3作为第二子时间段,将候选轨迹c2作为第一候选轨迹,从子时间段3的所有候选轨迹中遍历出候选轨迹作为第二候选轨迹,完成候选轨迹c2与子时间段3内的候选轨迹的融合操作,在此不再赘述。
135.比如说,将目标时间段内的所有候选轨迹融合为目标轨迹e1、目标轨迹e2和目标轨迹e3,目标轨迹e1可以包括候选轨迹b1、候选轨迹c1和候选轨迹d1,目标轨迹e2可以包括候选轨迹b2、候选轨迹c2和候选轨迹d2,目标轨迹e3可以包括候选轨迹d3。针对每个候选轨迹来说,该候选轨迹还可以包括多个原始轨迹。针对目标轨迹e1来说,候选轨迹b1与候选轨迹c1之间的融合相似度大于第二阈值,候选轨迹b1与候选轨迹d1之间的融合相似度大于第二阈值,候选轨迹c1与候选轨迹d1之间的融合相似度大于第二阈值。
136.综上所述,可以得到目标时间段内的目标轨迹,即将多个候选轨迹融合为目标轨迹,也就是将多个候选轨迹对应的多个原始轨迹融合为目标轨迹。
137.在一种可能的实施方式中,针对步骤s22,可以采用如下方式计算第二候选轨迹与第一候选轨迹之间的融合相似度:基于第一候选轨迹包括的部分原始轨迹与第二候选轨迹包括的部分原始轨迹生成至少一个轨迹对,每个轨迹对均可以包括第一候选轨迹内的一个原始轨迹和第二候选轨迹内的一个原始轨迹。基于每个轨迹对内两个原始轨迹的轨迹相似度,将轨迹相似度的最大值确定为该融合相似度,或者,将轨迹相似度的平均值确定为该融合相似度。
138.比如说,假设第一候选轨迹包括10个原始轨迹,从10个原始轨迹中选取2个原始轨迹,记为原始轨迹f11和原始轨迹f12,假设第二候选轨迹包括15个原始轨迹,从15个原始轨迹中选取3个原始轨迹,记为原始轨迹f21、原始轨迹f22和原始轨迹f23,在此基础上,可以得到如下6个轨迹对:(f11,f21)、(f11,f22)、(f11,f23)、(f12,f21)、(f12,f22)、(f12,f23),基于上述6个轨迹对的轨迹相似度,可以将轨迹相似度的最大值确定为该融合相似度,或者,也可以将轨迹相似度的平均值确定为该融合相似度。
139.步骤308、可以基于目标轨迹所在区域的地图信息,对该目标轨迹进行质量提升操作,得到质量提升后的目标轨迹。示例性的,质量提升操作可以包括但不限于:纠偏操作和/或补全操作;纠偏操作用于将目标轨迹中的错误轨迹点纠正到正确位置;补全操作用于在目标轨迹中添加轨迹点。当然,上述只是质量提升操作的示例,对此不做限制,能够提高目标轨迹的质量即可。可以对部分目标轨迹进行质量提升操作,也可以对全部目标轨迹进行质量提升操作。
140.示例性的,为了保证目标轨迹具有较高的质量,还可以对目标轨迹进行质量提升,而质量提升与目标轨迹所处区域有关,因此,可以获取目标轨迹所在区域的地图信息,基于该地图信息对目标轨迹进行质量提升操作,比如说,可以对目标轨迹进行纠偏(将在障碍物中的轨迹处理至可通行区域)、补全(缺失轨迹段,根据地图信息进行合理的插值,使目标轨迹完整)等操作。
141.步骤309、确定目标时间段内的每个目标轨迹的身份信息,并生成该身份信息对应的档案信息,该档案信息可以包括该身份信息和该目标轨迹。
142.示例性的,针对目标时间段内的每个目标轨迹,判断数据存储层是否已存储该目标轨迹对应的档案信息。如果否,则为该目标轨迹分配身份信息(即该目标轨迹的唯一身份标识),并生成该身份信息对应的档案信息,该档案信息可以包括该身份信息和该目标轨迹。除了身份信息和目标轨迹,该档案信息还可以包括该目标轨迹对应的人脸模型和人体模型等,对此档案信息不做限制。
143.如果数据存储层已存储该目标轨迹对应的档案信息,则可以将该档案信息中的身份信息确定为该目标轨迹的身份信息,即该档案信息作为该目标轨迹的档案信息,并将该目标轨迹更新到该档案信息中,且该档案信息可以包括该身份信息和该目标轨迹。当然,除了身份信息和目标轨迹,该档案信息还可以包括该目标轨迹对应的人脸模型和人体模型等,对此档案信息不做限制。
144.档案信息是指对每个目标对象构建单独的档案,档案信息包括该目标对象的身份信息(如身份标识)、人脸模型、人体模型、目标对象的所有轨迹。
145.综上所述,在确认目标轨迹的身份信息时,可以利用历史的档案信息(即数据存储层已存储的档案信息),将当前目标时间段(即当前3小时)内的轨迹数据和历史处理结果,根据身份进行关联,保证数据处理的连续性。
146.第四、数据存储层,数据存储层用于存储各类数据信息。比如说,数据整理层可以将轨迹数据发送给数据存储层,由数据存储层存储轨迹数据,且轨迹数据包括原始轨迹。又例如,数据处理层可以将目标轨迹和档案信息等内容发送给数据存储层,由数据存储层存储目标轨迹和档案信息等内容。示例性的,数据存储层用于存储原始数据信息(由数据整理层存储至数据存储层)、档案信息(由数据处理层存储至数据存储层)、轨迹关联结果信息(即融合后的目标轨迹,由数据处理层存储至数据存储层)、地图信息、设备信息等。
147.档案信息是指对每个目标对象构建单独的档案,档案信息可以包括该目标对象的身份信息(如身份标识)、人脸模型、人体模型、目标对象的所有轨迹等。轨迹关联结果信息可以包括关联后的目标轨迹及身份信息。地图信息可以包括目标场景(如园区)的地图,对整个园区、每个楼层内部以及楼层间的通行方式构建地图,如楼梯、电梯等,此类地图信息是获取到园区的地图后,通过指定算法建模得到。设备信息包括所有传感器的位置、ip地址等相关信息。
148.第五、数据接口层,数据接口层用于提供查询能力,如提供轨迹、档案、地图等查询能力,包括以图搜图、按时间、按身份信息等查询方式,以提供外层的能力扩展。数据接口层是可扩展层,所需的查询能力可不断扩展。通过档案查询,提供展示界面可查看任意目标对象在园区内的运动情况,并联动视频。
149.由以上技术方案可见,本技术实施例中,能够识别出目标对象在多个传感器下的多个轨迹,基于目标对象的完整运动轨迹对目标对象进行管理,能够还原目标对象在目标场景内的运动情况,提供对目标对象的长时间管理能力。通过将目标时间段划分为多个子时间段,并对每个子时间段内的轨迹对进行融合,而不是直接对目标时间段内的所有轨迹对进行融合,从而能够减少轨迹对数量,避免对大量轨迹对进行融合,提高轨迹对融合的处理效率,减少轨迹对融合的处理时间。通过对不同子时间段内的候选轨迹进行融合,从而能够得到目标对象的完整运动轨迹,基于目标对象的完整运动轨迹对目标对象进行管理。能够确定目标轨迹对应的身份信息和档案信息,即构建目标对象的全场景档案,即使目标对
象在不同时间段进入园区也可保证身份唯一,不同时间段内生成的轨迹更加准确。可以应用于大规模的园区场景,对数据源的要求比较低,目标轨迹的融合结果更加准确,具有更强的普适性。通过构建目标对象的档案信息,可以对目标对象进行更加完善的管理。可接入各种传感器的数据源,合并策略依据需要分布计算的特性,在不同处理阶段按时间和空间进行分区,对分区的内容和形式不断调整,可使最终的结果更加准确。提出分布式园区的轨迹关联和档案构建系统,给出相应的布建方案,该部署架构可不断扩展,当集群资源不够时,可通过增加机器或者为每个机器增加资源的方式完成系统处理能力的提升。对园区内每个目标对象进行档案构建和更新等操作,可使数据管理更合理,样本更加丰富,目标对象即使在不同的时间段进入园区也可以保证身份唯一。根据设备部署情况,既可以生成稀疏轨迹也可以生成精细化轨迹。
150.基于与上述方法同样的申请构思,本技术实施例中提出一种轨迹融合装置,参见图4所示,为所述轨迹融合装置的结构示意图,所述装置可以包括:
151.获取模块41,用于获取目标时间段内的多个原始轨迹,所述多个原始轨迹由目标场景的多个传感器采集,不同原始轨迹由同一传感器或不同传感器采集;
152.融合模块42,用于将所述目标时间段划分为多个子时间段;针对每个子时间段,基于该子时间段内的所有原始轨迹生成多个轨迹对,每个轨迹对均包括两个原始轨迹;基于每个轨迹对内两个原始轨迹的轨迹相似度,将该子时间段内的所有原始轨迹融合为该子时间段内的至少一个候选轨迹,候选轨迹包括至少两个原始轨迹,且该候选轨迹包括的两个原始轨迹的轨迹相似度大于第一阈值;基于所述多个子时间段内的候选轨迹之间的融合相似度,将所有子时间段内的候选轨迹融合为所述目标时间段内的至少一个目标轨迹,每个目标轨迹均包括至少一个候选轨迹;其中,若目标轨迹包括至少两个候选轨迹,则该目标轨迹包括的两个候选轨迹之间的融合相似度大于第二阈值;
153.确定模块43,用于确定所述目标时间段内的每个目标轨迹的身份信息。
154.示例性的,所述融合模块42基于所述多个子时间段内的候选轨迹之间的融合相似度,将所有子时间段内的候选轨迹融合为所述目标时间段内的至少一个目标轨迹时具体用于:针对第一子时间段内的每个第一候选轨迹,从第二子时间段内的候选轨迹中遍历出一个候选轨迹作为第二候选轨迹,计算第二候选轨迹与第一候选轨迹之间的融合相似度;其中,所述第一子时间段是所述多个子时间段中任一子时间段,所述第二子时间段是除所述第一子时间段之外的子时间段;若所述融合相似度大于第二阈值,则将该第二候选轨迹与该第一候选轨迹融合为同一个目标轨迹;若所述融合相似度不大于第二阈值,则从第二子时间段内的候选轨迹中遍历出另一个候选轨迹作为第二候选轨迹,返回执行计算第二候选轨迹与第一候选轨迹之间的融合相似度的操作,直到遍历出的第二候选轨迹与第一候选轨迹之间的融合相似度大于第二阈值,或第二子时间段内所有候选轨迹与第一候选轨迹之间的融合相似度均不大于第二阈值。
155.示例性的,所述融合模块42计算第二候选轨迹与第一候选轨迹之间的融合相似度时具体用于:基于所述第一候选轨迹包括的部分原始轨迹与所述第二候选轨迹包括的部分原始轨迹生成至少一个轨迹对;其中,每个轨迹对均包括所述第一候选轨迹内的一个原始轨迹和所述第二候选轨迹内的一个原始轨迹;基于每个轨迹对内两个原始轨迹的轨迹相似度,将轨迹相似度的最大值确定为所述融合相似度,或将轨迹相似度的平均值确定为所述
融合相似度。
156.示例性的,所述融合模块42确定轨迹对内两个原始轨迹的轨迹相似度时具体用于:确定所述轨迹对内两个原始轨迹对应的特征参数;其中,所述特征参数包括以下至少一种:最大距离、最小距离、时间距离、最大人脸模型相似度、最小人脸模型相似度、平均人脸模型相似度、最大人体模型相似度、最小人体模型相似度、平均人体模型相似度、传感器拓扑、原始轨迹内目标对象与传感器的距离、轨迹值相似度、传感器类型信息、重叠时间、轨迹所处区域;以及,基于所述特征参数生成所述轨迹对内两个原始轨迹对应的特征向量,并基于所述特征向量确定所述轨迹对内两个原始轨迹的轨迹相似度。
157.示例性的,所述融合模块42确定轨迹对内两个原始轨迹的轨迹相似度时具体用于:将所述目标时间段内的所有原始轨迹划分为多个轨迹对;基于计算节点的数量k将所述多个轨迹对划分为k个轨迹对集合;其中,不同轨迹对集合内的轨迹对数量之间的差值小于预设数量阈值;将所述k个轨迹对集合下发给k个计算节点,每个计算节点对应一个轨迹对集合,由所述计算节点确定所述轨迹对集合内的每个轨迹对内两个原始轨迹的轨迹相似度。
158.示例性的,所述获取模块41获取目标时间段内的多个原始轨迹时具体用于:获取目标场景的传感器采集的初始轨迹,对所述初始轨迹进行数据预处理,得到与所述初始轨迹对应的原始轨迹;数据预处理包括以下至少一种:数据插值处理、数据时空对齐处理、数据格式转换处理;所述数据插值处理用于在所述初始轨迹中添加轨迹点;所述数据时空对齐处理用于将所述初始轨迹转换到目标坐标系;所述数据格式转换处理用于将所述初始轨迹转换为目标数据格式。
159.示例性的,所述融合模块42基于所述多个子时间段内的候选轨迹之间的融合相似度,将所有子时间段内的候选轨迹融合为所述目标时间段内的至少一个目标轨迹之后还用于:基于目标轨迹所在区域的地图信息,对所述目标轨迹进行质量提升操作,得到质量提升后的目标轨迹,所述质量提升操作包括纠偏操作和/或补全操作;其中,所述纠偏操作用于将目标轨迹中的错误轨迹点纠正到正确位置;所述补全操作用于在所述目标轨迹中添加轨迹点。
160.基于与上述方法同样的申请构思,本技术实施例提出一种轨迹融合设备(即管理设备),参见图5所示,轨迹融合设备包括处理器51和机器可读存储介质52,机器可读存储介质52存储有能够被处理器51执行的机器可执行指令;处理器51用于执行机器可执行指令,以实现本技术上述公开的轨迹融合方法。
161.基于与上述方法同样的申请构思,本技术实施例还提供一种机器可读存储介质,所述机器可读存储介质上存储有若干计算机指令,所述计算机指令被处理器执行时,能够实现本技术上述示例公开的轨迹融合方法。
162.其中,上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:ram(radom access memory,随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。
163.上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,
或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
164.为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本技术时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
165.本领域内的技术人员应明白,本技术的实施例可提供为方法、系统、或计算机程序产品。因此,本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本技术实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
166.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
167.而且,这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
168.这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上,使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
169.以上所述仅为本技术的实施例而已,并不用于限制本技术。对于本领域技术人员来说,本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本技术的权利要求范围之内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献