一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

轨迹生成方法、系统、装置及电子设备与流程

2022-02-20 01:19:31 来源:中国专利 TAG:


1.本发明涉及智能视觉技术领域,特别是涉及轨迹生成方法、系统、装置及电子设备。


背景技术:

2.对象的轨迹的分析是商铺促销、目标场景规划、广告竞价等具有重要商业价值的应用基础,在公共安全、应急方案中也是必不可少的部分,近年来越来越受到研究者的重视。
3.相关技术中,为了生成对象在室内的轨迹,多采用基于rfid(radio frequency identification,射频识别技术)手环的方式实现。简单而言,预先需要对象佩戴rfid手环,在对象在室内移动的过程中,跟踪rfid手环的位置,从而确定对象在室内的轨迹轨迹。
4.由于相关技术需要对象配合佩戴rfid手环,无法实现无感生成对象的轨迹。


技术实现要素:

5.本发明实施例的目的在于提供轨迹生成方法、系统、装置及电子设备,实现无感生成对象的轨迹。具体技术方案如下:
6.第一方面,本发明实施例提供一种轨迹生成方法,应用于轨迹生成系统中的管理设备,所述轨迹生成系统还包括:在目标场景部署的多个相机,所述方法包括:
7.接收每一相机发送的针对所拍摄到的对象所生成的对象信息,每一相机的对象信息包括:该相机的视野范围内对象的轨迹和特征信息;
8.针对每一相机视野范围内对象的轨迹,基于该轨迹对应的特征信息,识别该轨迹所属对象的身份信息,作为该轨迹对应的身份信息;其中每一轨迹对应的特征信息为:该轨迹所属对象的特征信息;
9.基于每一轨迹,以及每一轨迹对应的特征信息与身份信息,从各相机视野范围内的轨迹中,确定属于同一对象的各条轨迹;针对每一对象,对属于该对象的各条轨迹进行轨迹融合,得到该对象在所述目标场景中的轨迹。
10.可选的,所述基于每一轨迹,以及每一轨迹对应的特征信息与身份信息,从各相机视野范围内的轨迹中,确定属于同一对象的各条轨迹,包括:
11.将每一相机视野范围内的轨迹,以及每一轨迹对应的特征信息与身份信息输入至预先训练的轨迹关联模型,以利用所述轨迹关联模型,从各相机视野范围内的轨迹中,确定属于同一对象的各条轨迹;
12.其中,所述轨迹关联模型为利用多条样本轨迹、每一样本轨迹对应的特征信息与身份信息,以及每一样本轨迹的标定信息训练得到的,每一样本轨迹的样本标定信息指示与该样本轨迹属于同一对象的样本轨迹。
13.可选的,在所述对属于该对象的各条轨迹进行轨迹融合,得到该对象在所述目标场景中的轨迹之后,所述方法还包括:
14.针对每一对象,基于属于该对象的每一相机视野范围内的轨迹对应的身份信息,确定该对象的身份信息,作为与该对象在所述目标场景中的轨迹关联的身份信息。
15.可选的,所述基于属于该对象的每一相机视野范围内的轨迹对应的身份信息,确定该对象的身份信息,包括:
16.从属于该对象的每一相机视野范围内的轨迹对应的身份信息中,选择占比最多的身份信息,作为该对象的身份信息。
17.第二方面,本发明实施例提供一种轨迹生成系统,所述轨迹生成系统包括管理设备以及在目标场景部署的多个相机,其中:
18.目标相机,用于生成所拍摄到的对象的对象信息;其中,所述拍摄到的对象的对象信息包括:所述目标相机的视野范围内所述拍摄到的对象的轨迹和特征信息;所述目标相机为所述轨迹生成系统中的任一相机;
19.所述管理设备,用于在接收到所述轨迹生成系统内各相机发送的对象信息之后,针对每一相机视野范围内对象的轨迹,基于该轨迹对应的特征信息,识别该轨迹所属对象的身份信息,作为该轨迹对应的身份信息;基于每一轨迹,以及每一轨迹对应的特征信息与身份信息,从各相机视野范围内的轨迹中,确定属于同一对象的各条轨迹;针对每一对象,对属于该对象的各条轨迹进行轨迹融合,得到该对象在所述目标场景中的轨迹;其中每一轨迹对应的特征信息为:该轨迹所属对象的特征信息。
20.可选的,所述目标相机采用如下方式生成该相机视野范围内对象的轨迹:
21.按照指定的位置采样周期,记录视野范围内对象的位置信息;
22.针对视野范围内的每一对象,基于每一位置采样时刻所记录的该对象的位置信息,生成该对象在所述相机视野范围内的轨迹。
23.可选的,所述目标相机,具体用于对所采集的图像进行对象检测;当在所述图像中的检测到对象时,则按照指定的位置采样周期,在每一位置采样时刻记录所检测到对象的位置信息。
24.可选的,所述目标相机,具体用于对所采集的图像进行人脸检测、头肩检测以及人体检测;当检测到人脸、头肩以及人体时,则对所检测到的人脸、头肩以及人体进行关联;若存在关联的人脸、头肩以及人体,则将关联后的人脸、头肩以及人体作为检测到的对象。
25.可选的,所述位置信息为:对象在相机坐标系下的第一坐标;
26.所述目标相机,具体用于按照位置采样时刻的先后顺序,基于每一位置采样时刻所记录的该对象的第一坐标,生成该对象的第一坐标链表;基于所述相机坐标系与所述目标场景的场景坐标系的映射关系,将所述位置信息链表中的每一第一坐标转换为在所述场景坐标系下的第二坐标,得到第二坐标链表,作为该对象在该相机视野范围内的轨迹。
27.可选的,所述目标相机,具体采用如下方式生成视野范围内对象的特征信息:
28.在每一位置采样时刻获取在该相机视野范围内对象的对象画面;针对该相机视野范围内的每一对象,提取该对象的每一对象画面中的属性信息,并基于该对象的每一对象画面中的属性信息,从该对象的各对象画面中,筛选出属性信息符合预设的属性筛选规则的对象画面;将所筛选出的每一对象画面以及该对象画面的属性信息,作为该对象画面所属对象的特征信息。
29.可选的,所述对象画面包括:人脸画面和/或人体画面;
30.所述目标相机,具体用于针对该对象的每一人脸画面,提取该人脸画面的人脸属性信息;和/或,针对该对象的每一人体画面,提取该人体画面的人体属性信息;从该对象的各人脸画面中,筛选出人脸属性信息符合预设的人脸属性筛选规则的人脸画面;和/或,从该对象的各人体画面中,筛选出人体属性信息符合预设的人体属性筛选规则的人体画面。
31.可选的,所述管理设备,具体用于将每一相机视野范围内的轨迹,以及每一轨迹对应的特征信息与身份信息输入至预先训练的轨迹关联模型,以利用所述轨迹关联模型,从各相机视野范围内的轨迹中,确定属于同一对象的各条轨迹;其中,所述轨迹关联模型为利用多条样本轨迹、每一样本轨迹对应的特征信息与身份信息,以及每一样本轨迹的标定信息训练得到的,每一样本轨迹的样本标定信息指示与该样本轨迹属于同一对象的样本轨迹。
32.可选的,所述管理设备,还用于在所述对属于该对象的各条轨迹进行轨迹融合,得到该对象在所述目标场景中的轨迹之后,针对每一对象,基于属于该对象的每一相机视野范围内的轨迹对应的身份信息,确定该对象的身份信息,作为与该对象在所述目标场景中的轨迹关联的身份信息。
33.可选的,所述管理设备,具体用于从属于该对象的每一相机视野范围内的轨迹对应的身份信息中,选择占比最多的身份信息,作为该对象的身份信息。
34.第三方面,本发明实施例提供一种轨迹生成装置,应用于轨迹生成系统中的管理设备,所述轨迹生成系统还包括:在目标场景部署的多个相机,所述装置包括:
35.信息接收模块,用于接收每一相机发送的针对所拍摄到的对象所生成的对象信息,每一相机的对象信息包括:该相机的视野范围内对象的轨迹和特征信息;
36.信息识别模块,用于针对每一相机视野范围内对象的轨迹,基于该轨迹对应的特征信息,识别该轨迹所属对象的身份信息,作为该轨迹对应的身份信息;其中每一轨迹对应的特征信息为:该轨迹所属对象的特征信息;
37.轨迹确定模块,用于基于每一轨迹,以及每一轨迹对应的特征信息与身份信息,从各相机视野范围内的轨迹中,确定属于同一对象的各条轨迹;
38.轨迹融合模块,用于针对每一对象,对属于该对象的各条轨迹进行轨迹融合,得到该对象在所述目标场景中的轨迹。
39.可选的,所述轨迹确定模块,具体用于将每一相机视野范围内的轨迹,以及每一轨迹对应的特征信息与身份信息输入至预先训练的轨迹关联模型,以利用所述轨迹关联模型,从各相机视野范围内的轨迹中,确定属于同一对象的各条轨迹;其中,所述轨迹关联模型为利用多条样本轨迹、每一样本轨迹对应的特征信息与身份信息,以及每一样本轨迹的标定信息训练得到的,每一样本轨迹的样本标定信息指示与该样本轨迹属于同一对象的样本轨迹。
40.可选的,所述装置还包括:
41.身份确定模块,用于在所述轨迹融合模块执行对属于该对象的各条轨迹进行轨迹融合,得到该对象在所述目标场景中的轨迹之后,针对每一对象,基于属于该对象的每一相机视野范围内的轨迹对应的身份信息,确定该对象的身份信息,作为与该对象在所述目标场景中的轨迹关联的身份信息。
42.可选的,所述身份确定模块,具体用于从属于该对象的每一相机视野范围内的轨
迹对应的身份信息中,选择占比最多的身份信息,作为该对象的身份信息。
43.第四方面,本发明实施例提供一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
44.存储器,用于存放计算机程序;
45.处理器,用于执行存储器上所存放的程序时,实现第一方面任一所述的方法步骤。
46.第五方面,本发明实施例提供一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现第一方面任一项所述的方法步骤。
47.本发明实施例有益效果:
48.本发明实施例所提供的轨迹生成方法中,由于可以接收每一相机发生的针对所拍摄到的对象所生成的轨迹和特征信息,进而基于每一对象的轨迹和特征信息,从各相机视野范围内的轨迹中,确定属于同一对象的各条轨迹,并通过轨迹融合,得到每一对象在目标场景中的轨迹,从而仅通过相机即可实现对象的轨迹生成,实现了无感生成对象的轨迹。
49.当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
50.为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的实施例。
51.图1为本发明实施例所提供的轨迹生成系统的示意图;
52.图2为本发明实施例从管理设备的角度所提供的轨迹生成方法的流程图;
53.图3为本发明实施例从管理设备的角度所提供的轨迹生成方法的另一流程图;
54.图4为本发明实施例所提供的轨迹生成系统的结构示意图;
55.图5为本发明实施例中目标相机采生成对象轨迹的流程图
56.图6为本发明实施例中目标相机采生成对象的特征信息的流程图。
57.图7为本发明实施例从管理设备的角度所提供的轨迹生成装置的结构示意图;
58.图8为本发明实施例所提供的电子设备的结构示意图。
具体实施方式
59.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
60.为了实现无感生成对象的轨迹,本发明实施例提供了轨迹生成方法、系统、装置及电子设备。
61.如图1所示,为本发明实施例提供的轨迹生成系统的结构示意图。轨迹生成系统包括管理设备以及多个相机(如图1中的相机1-相机n),其中,多个相机部署在目标场景中,而
管理设备可以根据需求部署在目标场景内也可以部署在目标场景外,这都是可以的,本发明实施例对管理设备的部署位置不做具体限定,只需确保管理设备可以与目标场景内每一相机相通信即可。
62.示例性的,目标场景为包含多个办公室的办公区域,在每个办公室内均安装有至少一个相机,从而通过安装在多个办公室内的相机,使得整个办公区域都覆盖相机的视野范围内,进一步的,每一相机通过有线或无线的方式与管理设备连接,该管理设备可以按照在办公区域内任意一个办公室,也可以安装在办公区域之外的监控室,或者,还可以部署在远程后台,
63.目标场景内的每一相机可以实时采集所监控区域的视频数据,当任意一相机的监控区域内出现指定类型的对象时,可以监控该对象,并在该对象离开监控区域后,可以基于该对象在该相机的视野范围内的活动信息生成该对象的对象信息,进而实时或者周期性地将该对象的对象信息发送至管理设备。
64.管理设备可以实时或者周期性地接收各相机发送的对象信息,进而可以结合各相机发送的对象信息,确定该对象在目标区域内完整的移动轨迹,并确定该对象的身份信息。具体过程将结合后续实施例进行详细介绍,在此不再赘述。
65.需要说明的是,上述目标场景可以酒店、商场、超市、办公区域等。上述管理设备可以各类电子设备,例如,个人电脑、服务器、手机以及其他具有数据处理能力的设备,上述相机可以为具有数据处理能力的智能相机,或者为具有数据采集能力的相机与具有数据处理能力的设备的组合设备,这都是可以的。本发明实施例提供的轨迹生成方法可以通过软件、硬件或软硬件结合的方式实现。
66.下面以轨迹生成系统中管理设备的角度,对本发明实施例提供的一种轨迹生成方法进行介绍。
67.其中,本发明实施例提供的轨迹生成方法,可以包括步骤:
68.获取每一相机针对所拍摄到的对象所生成的对象信息,对象信息包括:相机的视野范围内对象的轨迹和特征信息;
69.针对每一相机视野范围内对象的轨迹,基于该轨迹对应的特征信息,识别该轨迹所属对象的身份信息,作为该轨迹对应的身份信息;其中每一轨迹对应的特征信息为:该轨迹所属对象的特征信息;
70.基于每一轨迹,以及每一轨迹对应的特征信息与身份信息,从各相机视野范围内的轨迹中,确定属于同一对象的各条轨迹;针对每一对象,对属于该对象的各条轨迹进行轨迹融合,得到该对象在目标场景中的轨迹。
71.本发明实施例提供的上述方案中,由于可以获取每一相机针对所拍摄到的对象所生成的轨迹和特征信息,进而基于每一对象的轨迹和特征信息,从各相机视野范围内的轨迹中,确定属于同一对象的各条轨迹,并通过轨迹融合,得到每一对象在目标场景中的轨迹,从而仅通过相机即可实现对象的轨迹生成,实现了无感生成对象的轨迹。
72.下面结合说明书附图,对本发明实施例提供的轨迹生成方法进行详细介绍。
73.如图2所示,本发明实施例提供一种轨迹生成方法,应用于轨迹生成系统中的管理设备,轨迹生成系统还包括:在目标场景部署的多个相机,可以包括以下步骤:
74.s201,接收每一相机发生的针对所拍摄到的对象所生成的对象信息,对象信息包
括:相机的视野范围内对象的轨迹和特征信息;
75.由图1所示轨迹生成系统的示意图可知,管理设备与目标场景内的每一相机均建立通信。因此,当任意一相机在生成一对象的对象信息之后,可以将该对象信息发送给管理设备,管理设备可以接收每一相机所发送的对象信息。需要强调的是,本发明实施例对相机与管理设备之间的通信方式不做具体限定,例如有线通信、无线通信、实时通信、周期性通信等都是可以的。
76.在本发明实施例中,针对任意一相机而言,当该相距拍摄到对象时,可以在其视野范围内对该对象进行跟踪,进而生成该对象在其视野范围内的轨迹,并可以根据所采集的该对象的画面,识别出该对象的特征信息,从而在该对象离开其视野范围之后,可以生成该对象的对象信息,并将该对象信息发送给管理设备。需要说明的是,任意一相机具体生成对象信息的方式,将在后续实施例进行详细介绍,在此不再赘述。
77.其中,每一相机所拍摄对象的对象信息中轨迹为:该对象在该相机的视野范围内的移动路径,例如,可以为该对象在该相机视野范围内时,每一时刻的位置信息,在一示例中,t1时刻,对象a1在相机c1的位置信息为(xt1,yt1),则相机c1所生成的对象a1的轨迹中包含{t1,(xt1,yt1)}。
78.其中,每一相机所拍摄对象的对象信息中特征信息包括:表征该对象生成信息的信息,如该对象的图像信息,和/或基于该对象的图像信息所提取的身份特征。在一示例中,对象为人物,则该对象的对象信息可以包括:人脸图片、头型、发型、头发颜色、是否戴口罩、是否戴眼镜、性别、人脸朝向、人体图片、服装颜色、服装类别、人体是否遮挡或人体朝向等中的至少一种。上述对象信息还可以包括特征信息的评价信息,该特征信息的评价信息可以为根据预设的评价规则,对特征信息进行评价所得到的信息。评价信息用于区分特征信息的特征质量。例如,特征信息为人脸图片,则评价信息可以根据人脸是否被遮挡、被遮挡面积的占比、人脸朝向、清晰度等对人脸图片进行评分,得到人脸图片的评分。
79.s202,针对每一相机视野范围内对象的轨迹,基于该轨迹对应的特征信息,识别该轨迹所属对象的身份信息,作为该轨迹对应的身份信息;其中每一轨迹对应的特征信息为:该轨迹所属对象的特征信息;
80.为了识别每一轨迹所属对象的身份信息,可以预先构建特征信息与身份信息之间的对应关系,进而针对每一相机视野范围内对象的轨迹,可以基于预先构建的特征信息与身份信息之间的对应关系,确定与该轨迹对应的特征信息相对应的身份信息,作为该轨迹所属对象的身份信息。
81.示例性的,预先构建的特征信息与身份信息之间的对应关系包括:特征信息d1-身份信息s1、特征信息d2-身份信息s2以及特征信息d3-身份信息s3。相机c2视野范围内的对象a2的对象信息包括轨迹g1以及特征信息d1,基于特征信息与身份信息之间的对应关系,可以确定与特征信息d1与身份信息s1相对应,轨迹g1的身份信息为身份信息s1。
82.以下以对象为人物、特征信息包含人脸图片为例,进一步阐述本步骤。
83.为了识别每一轨迹所属人物的身份信息,可以针对进入目标场景内的人物构建人脸底库,以使人脸底库中包含每一进入目标场景内人物的人脸图片和其对应的身份信息,进而管理设备可以基于第一相机视野范围内人物的第一人脸图片,确定人脸底库与该第一人脸图片相匹配的第二人脸图片,并进一步确定第二人脸图片对应的身份信息,作为该第
一人脸图片的身份信息,从而作为第一人脸图片所属人物在第一相机视野范围内移动的轨迹的身份信息。
84.上述身份信息可以为身份id(identity document,身份证标识号)等可以唯一标识对象的信息。
85.s203,基于每一轨迹,以及每一轨迹对应的特征信息与身份信息,从各相机视野范围内的轨迹中,确定属于同一对象的各条轨迹;
86.由于每一相机的视野范围可能仅覆盖目标场景的部分区域,从而当对象在目标场景内移动时,该对象在多台相机的视野范围内移动,从而该多台相机内的每一相机均可生成该对象的轨迹。例如,目标场景内部署有相机c1、相机c2以及相机c3,目标对象最先在相机c1的视野范围内移动,再移动至相机c2的视野范围内,最后移动至相机c3的视野范围。管理设备所接收到的对象信息中,相机c1的对象信息中包含目标对象的轨迹g1、相机c2的对象信息中包含目标对象的轨迹g2、相机c3的对象信息中包含目标对象的轨迹g3。
87.为了确定对象在目标场所内的完整移动轨迹,需要从各相机视野范围内的轨迹中,确定属于同一对象的轨迹。由于同一个对象在目标场所移动时,其在各相机的视野范围的移动轨迹存在时间与空间上的连续性,并且同一对象在各相机的视野范围内的特征信息和身份信息也应当相同,从而可以基于每一轨迹,以及每一轨迹对应的特征信息与身份信息,从各相机视野范围内的轨迹中,确定属于同一对象的各条轨迹。
88.在一实现方式中,可以预先利用多条样本轨迹、每一样本轨迹对应的特征信息与身份信息,以及每一样本轨迹的标定信息训练得到轨迹关联模型,使得该轨迹关联模型可以从各相机视野范围内的轨迹中,确定属于同一对象的各条轨迹。其中,每一样本轨迹的样本标定信息指示与该样本轨迹属于同一对象的样本轨迹。
89.在得到训练好的轨迹关联模型之后,可以将每一相机视野范围内的轨迹,以及每一轨迹对应的特征信息与身份信息输入至预先训练的轨迹关联模型,以利用轨迹关联模型,从各相机视野范围内的轨迹中,确定属于同一对象的各条轨迹。
90.其中,上述轨迹关联模型可以为通过对机器学习分类算法进行训练所得到的模型,通过多条样本轨迹、每一样本轨迹对应的特征信息与身份信息,以及每一样本轨迹的标定信息,对不同维度信息的权重占比进行训练,从而在完成训练后,将利用训练后的参数的算法作为轨迹关联模型进行使用。
91.训练好的轨迹关联模型可以为判断任意两条轨迹是否属于同一对象的判别模型,从而在将各轨迹输入至轨迹关联模型后,轨迹关联模型可以输出任意两条轨迹属于同一对象的概率。
92.需要强调的是,为了较少噪音等对轨迹关联模型输出结果的影响,在将各轨迹输入至轨迹关联模型之前,可以对每一轨迹进行质量提升处理,如针对任意轨迹,可以对该轨迹进行轨迹噪声点、轨迹中断去燥或轨迹固频处理等处理。
93.s204,针对每一对象,对属于该对象的各条轨迹进行轨迹融合,得到该对象在目标场景中的轨迹。
94.可选的,在对属于一个对象的轨迹进行轨迹融合之前,可以先将属于同一对象的各轨迹集合为轨迹组,每一轨迹组内的各轨迹属于同一对象。在得到轨迹组后,可以针对每一轨迹组内的各轨迹进行轨迹融合。
95.进一步的,可以结合目标场景内各实物的位置信息,对所得到的融合轨迹进行障碍物纠偏及路径插值,解决可能出现的轨迹定位漂移至不可同行区域或部分轨迹因关联效果不理想导致的轨迹断裂的问题。
96.由于融合的过程可能存在多相机覆盖区域重叠或融合过程中出现轨迹融合失败的情况,导致所生成的轨迹存在帧率不统一问题,或由于融合过程可能出现融合错误的情况,从而引起融合轨迹的偏移,因此,可以进一步的对轨迹进行固频、平滑操作。
97.本发明实施例提供的上述方案中,由于可以接收每一相机发生的针对所拍摄到的对象所生成的轨迹和特征信息,进而基于每一对象的轨迹和特征信息,从各相机视野范围内的轨迹中,确定属于同一对象的各条轨迹,并通过轨迹融合,得到每一对象在目标场景中的轨迹,从而仅通过相机即可实现对象的轨迹生成,实现了无感生成对象的轨迹。
98.基于图2所示实施例,本发明实施例提供的还一种应用于轨迹生成系统中的管理设备的轨迹生成方法,如图3所示,在上述s204之后,方法还包括步骤s205:
99.s205,针对每一对象,基于属于该对象的每一相机视野范围内的轨迹对应的身份信息,确定该对象的身份信息,作为与该对象在目标场景中的轨迹关联的身份信息。
100.由于在前述过程中,轨迹对应的身份信息存在身份信息确认错误、但融合轨迹正确的情况,使得融合轨迹包含的多个轨迹中存在多种身份信息,因此,需要对融合轨迹的身份进行统一,即选择一个唯一的身份信息作为最终融合轨迹的信息。
101.本步骤中,针对每一对象,可以基于属于该对象的每一相机视野范围内的轨迹对应的身份信息,确定该对象的身份信息,作为与该对象在目标场景中的轨迹关联的身份信息。
102.一种实现方式中,针对每一对象,可以从属于该对象的每一相机视野范围内的轨迹对应的身份信息中,选择占比最多的身份信息,作为该对象的身份信息。
103.示例性的,融合轨迹g由轨迹g1、轨迹g2以及轨迹g3融合所得,轨迹g1的身份信息为humanid-a、轨迹g2的身份信息为humanid-a、轨迹g3的身份信息为humanid-b,由于humanid-a占比最多,因此,融合轨迹g的身份信息为humanid-a,即该对象的身份信息为humanid-a。
104.本发明实施例提供的上述方案中,由于可以接收每一相机发生的针对所拍摄到的对象所生成的轨迹和特征信息,进而基于每一对象的轨迹和特征信息,从各相机视野范围内的轨迹中,确定属于同一对象的各条轨迹,并通过轨迹融合,得到每一对象在目标场景中的轨迹,从而仅通过相机即可实现对象的轨迹生成,实现了无感生成对象的轨迹。进一步的,可以确定融合轨迹所属对应的对象的身份信息,完成身份信息与轨迹的统一。
105.基于上述的方法,本发明实施例还提供了一种轨迹生成系统。如图4所示,本发明实施例所提供的一种轨迹生成系统,轨迹生成系统包括管理设备402以及在目标场景部署的多个相机401,其中:
106.目标相机401,用于生成所拍摄到的对象的对象信息;其中,拍摄到的对象的对象信息包括:目标相机的视野范围内拍摄到的对象的轨迹和特征信息;目标相机为轨迹生成系统中的任一相机;
107.管理设备402,用于在接收到轨迹生成系统内各相机发送的对象信息之后,针对每一相机视野范围内对象的轨迹,基于该轨迹对应的特征信息,识别该轨迹所属对象的身份
信息,作为该轨迹对应的身份信息;基于每一轨迹,以及每一轨迹对应的特征信息与身份信息,从各相机视野范围内的轨迹中,确定属于同一对象的各条轨迹;针对每一对象,对属于该对象的各条轨迹进行轨迹融合,得到该对象在目标场景中的轨迹;其中每一轨迹对应的特征信息为:该轨迹所属对象的特征信息。
108.本发明实施例提供的上述方案中,由于可以接收每一相机发生的针对所拍摄到的对象所生成的轨迹和特征信息,进而基于每一对象的轨迹和特征信息,从各相机视野范围内的轨迹中,确定属于同一对象的各条轨迹,并通过轨迹融合,得到每一对象在目标场景中的轨迹,从而仅通过相机即可实现对象的轨迹生成,实现了无感生成对象的轨迹。进一步的,可以确定融合轨迹所属对应的对象的身份信息,完成身份信息与轨迹的统一。
109.关于本发明实施例还提供了一种轨迹生成系统,由于与上述的从管理设备角度所提供的方法是相对应的,所以描述的比较简单,相关之处参见从管理设备角度所提供的方法的说明即可。
110.可选的,在一种实施例中,如图5所示,上述目标相机采用如下方式生成目标相机的视野范围内对象的轨迹:
111.s501,按照指定的位置采样周期,记录在目标相机的视野范围内对象的位置信息;
112.上述指定的位置采样周期可以为相机的图像采样周期,即每采集一张图像,即记录一次图像内对象的位置信息。或者,为了减小计算量,上述指定的位置采样周期可以为n倍相机的图像采样周期,n为大于1的整数,从而可以每隔n张图像,记录一次对象的位置信息。
113.在一种实现方式中,上述记录在目标相机视野范围内对象的位置信息,可以包括步骤1-步骤2:
114.步骤1:对所采集的图像进行对象检测;
115.其中,对采集的图像进行对象检测,可以包括针对对象指代部位的检测。如对象为人物时,对人进行检测可以包括对对所采集的图像进行人脸检测、头肩检测和/或人体检测。
116.在对象为人物的情况下,为了提高对象识别的准确类别,可以同时进行人脸检测、头肩检测以及人体检测。
117.此时当检测到人脸、头肩以及人体时,则对所检测到的人脸、头肩以及人体进行关联;若存在关联的人脸、头肩以及人体,则将关联后的人脸、头肩以及人体作为检测到的对象。
118.也就是说,在对图像进行为人脸检测、头肩检测以及人体检测之后,可以得到图像中的人脸、头肩以及人体,进而可以所检测到的人脸、头肩以及人体的在图像中的位置信息,对人脸、头肩以及人体进行关联,具体的,可以将相距最近的人脸、头肩以及人体进行关联,进而将关联后的人脸、头肩以及人体作为检测到的对象。
119.步骤2:当在所采集的图像中检测到对象时,则按照指定的位置采样周期,在每一位置采样周期记录所检测到对象的位置信息。
120.在检测到对象后,可以跟踪所检测到对象,进而每经过一个指定的位置采样周期的时长,就记录一次该对象的位置信息。
121.例如,在位置采样时刻1,记录的位置信息为(x1,y1),在位置采样时刻2,记录的位
置信息为(x2,y2)。
122.s502,针对目标相机的视野范围内的每一对象,基于每一位置采样时刻所记录的该对象的位置信息,生成该对象在目标相机的视野范围内的轨迹。
123.其中,该对象的位置信息可以为该对象在相机的相机坐标系下的第一坐标,例如上述示例中的(x1,y1)、(x2,y2)。
124.进而基于每一位置采样时刻所记录的该对象的位置信息,生成该对象在目标相机视野范围内的轨迹,可以包括步骤a-步骤b:
125.步骤a:按照位置采样时刻的先后顺序,基于各位置采样时刻所记录的该对象的第一坐标,生成该对象的第一坐标链表;
126.示例性的,采用时刻t1,对象的位置信息为(x1,y1),记为《x1,y1,t1》,采用时刻t2,对象的位置信息为(x2,y2),记为《x2,y2,t2》,采用时刻t3,对象的位置信息为(x3,y3),记为《x3,y3,t3》,采用时刻t4,对象的位置信息为(x4,y4),记为《x4,y4,t4》。其中,t1《t2《t3《t4,则生成的第一坐标链表为{《x1,y1,t1》、《x2,y2,t2》、《x3,y3,t3》、《x4,y4,t4》}。
127.步骤b:基于预设的相机坐标系与目标场景的场景坐标系的映射关系,将第一坐标链表中的第一坐标映射为场景坐标系下的第二坐标,以得到第二坐标链表,作为该对象在目标相机的视野范围内的轨迹。
128.其中,相机坐标系与目标场景的场景坐标的映射关系可以为在轨迹生成系统部署完成之后,基于每一相机在目标场景中部署的位置,以及每一相机的视野范围,确定每一相机的坐标系与目标场景的场景坐标系之间的关系。
129.当确定出第一坐标链表之后,可以基于相机坐标系与目标场景的场景坐标系的映射关系,将第一坐标链表中每一第一坐标映射到目标场景的场景坐标系中,得到映射的第二坐标,从而得到第二坐标链。
130.示例性的,第一坐标链为:{《x1,y1,t1》、《x2,y2,t2》、《x3,y3,t3》、《x4,y4,t4》},映射后得到第二坐标链为:{《x1’,y1’,t1’》、《x2’,y2’,t2’》、《x3’,y3’,t3’》、《x4’,y4’,t4’》}。
131.本发明实施例提供的上述方案中,仅通过相机即可实现对象的轨迹生成,实现了无感生成对象的轨迹。进一步的,每一相机可以按照指定位置采用周期记录视野范围内对象的位置信息,进而可以生成目标相机视野范围内对象的轨迹,从而为无感生成对象的轨迹提供了实现基础。
132.可选的,在一实施例中,图4所示的轨迹生成系统中目标相机,如图6所示,采用如下步骤生成目标相机视野范围内对象的特征信息,包括:
133.s601,在每一位置采样时刻,获取目标相机的视野范围内对象的对象画面;
134.上述对象画面画面,可以为对象的整体画面,也可以为对象的句局部画面,这都是可以的。可选的,若对象为人物,则对象画面可以包括人脸画面和/或人体画面,
135.s602,针对目标相机的视野范围内的每一对象,提取该对象的每一对象画面的属性信息,并基于每一对象画面的属性信息,从该对象的各对象画面中,筛选出属性信息符合预设的属性筛选规则的对象画面;
136.在对象画面包括人脸画面和/或人体画面的情况下,针对目标相机的视野范围内的每一对象,可以针对该对象的每一人脸画面,提取该人脸画面的人脸属性信息,和/或,针
对该对象的每一人体画面,提取该人体画面的人体属性信息。
137.上述人脸属性包括人脸朝向、人脸是否被遮挡、发型类型以及人脸评分等属性信息,上述人体属性可以包括人体朝向、人体是否被遮挡、衣服类型、衣服颜色等。
138.在提取该对象的每一对象画面的属性信息之后,可以进一步的基于每一对象画面的属性信息,从该对象的各对象画面中,筛选出属性信息符合预设的属性筛选规则的对象画面。
139.其中,预设的属性筛选规则可以为根据需求与经验所确定的,例如,对象画面为人脸画面,人脸属性信息为人脸的遮挡占比,则筛选规则可以为筛选出人脸的遮挡占比小于预设阈值的人脸画面。
140.在对象画面包括人脸画面和/或人体画面的情况下,可以从该对象的各人脸画面中,筛选出人脸属性信息符合预设的人脸属性筛选规则的人脸画面;和/或,从该对象的各人体画面中,筛选出人体属性信息符合预设的人体属性筛选规则的人体画面。
141.其中,人脸属性筛选规则以及人体属性筛选规则均可以为根据需求与经验所确定的。在一种实现方式中,上述人脸属性筛选规则可以为筛选出人脸评分最高的人脸画面,而上述人体属性筛选规则可以为筛选出人体评分最高的人脸画面。
142.s603,将所筛选出的每一对象画面以及该对象画面的属性信息,作为该对象画面所属对象的特征信息;
143.在所筛选出对象画面,可以将所筛选出的每一对象画面以及该对象画面的属性信息,作为该对象画面所属对象的特征信息。可选的,可以将筛选的对象画面以及对象画面的属性信息按照事先约定的格式组合,得到所筛选对象的特征信息。
144.本发明实施例提供的上述方案中,由于仅通过相机即可实现对象的轨迹生成,实现了无感生成对象的轨迹。进一步的,每一相机可以通过获取对象画面,并提取每一对象画面的属性信息,进而确定出对象的特征信息,从而为无感生成对象的轨迹提供了实现基础。
145.可选的,在一实施例中,上述管理设备,具体用于将每一相机视野范围内的轨迹,以及每一轨迹对应的特征信息与身份信息输入至预先训练的轨迹关联模型,以利用轨迹关联模型,从各相机视野范围内的轨迹中,确定属于同一对象的各条轨迹;其中,轨迹关联模型为利用多条样本轨迹、每一样本轨迹对应的特征信息与身份信息,以及每一样本轨迹的标定信息训练得到的,每一样本轨迹的样本标定信息指示与该样本轨迹属于同一对象的样本轨迹。
146.可选的,管理设备,还用于在对属于该对象的各条轨迹进行轨迹融合,得到该对象在目标场景中的轨迹之后,针对每一对象,基于属于该对象的每一相机视野范围内的轨迹对应的身份信息,确定该对象的身份信息,作为与该对象在目标场景中的轨迹关联的身份信息。
147.可选的,管理设备,具体用于从属于该对象的每一相机视野范围内的轨迹对应的身份信息中,选择占比最多的身份信息,作为该对象的身份信息。
148.由于本发明实施例所提供的轨迹生成系统中管理设备,与上述的从管理设备角度所提供的方法是相对应的,所以描述的比较简单,相关之处参见从管理设备角度所提供的方法的说明即可。
149.相应于上述从管理设备角度所提供的方法,如图7所示,本发明实施例还提供了一
种轨迹生成装置,应用于轨迹生成系统中的管理设备,所述轨迹生成系统还包括:在目标场景部署的多个相机,所述装置包括:
150.信息接收模块701,用于接收每一相机发送的针对所拍摄到的对象所生成的对象信息,每一相机的对象信息包括:该相机的视野范围内对象的轨迹和特征信息;
151.信息识别模块702,用于针对每一相机视野范围内对象的轨迹,基于该轨迹对应的特征信息,识别该轨迹所属对象的身份信息,作为该轨迹对应的身份信息;其中每一轨迹对应的特征信息为:该轨迹所属对象的特征信息;
152.轨迹确定模块703,用于基于每一轨迹,以及每一轨迹对应的特征信息与身份信息,从各相机视野范围内的轨迹中,确定属于同一对象的各条轨迹;
153.轨迹融合模块704,用于针对每一对象,对属于该对象的各条轨迹进行轨迹融合,得到该对象在所述目标场景中的轨迹。
154.可选的,所述轨迹确定模块,具体用于将每一相机视野范围内的轨迹,以及每一轨迹对应的特征信息与身份信息输入至预先训练的轨迹关联模型,以利用所述轨迹关联模型,从各相机视野范围内的轨迹中,确定属于同一对象的各条轨迹;其中,所述轨迹关联模型为利用多条样本轨迹、每一样本轨迹对应的特征信息与身份信息,以及每一样本轨迹的标定信息训练得到的,每一样本轨迹的样本标定信息指示与该样本轨迹属于同一对象的样本轨迹。
155.可选的,所述装置还包括:
156.身份确定模块,用于在所述轨迹融合模块执行对属于该对象的各条轨迹进行轨迹融合,得到该对象在所述目标场景中的轨迹之后,针对每一对象,基于属于该对象的每一相机视野范围内的轨迹对应的身份信息,确定该对象的身份信息,作为与该对象在所述目标场景中的轨迹关联的身份信息。
157.可选的,所述身份确定模块,具体用于从属于该对象的每一相机视野范围内的轨迹对应的身份信息中,选择占比最多的身份信息,作为该对象的身份信息。
158.本发明实施例所提供的装置中,由于可以接收每一相机发生的针对所拍摄到的对象所生成的轨迹和特征信息,进而基于每一对象的轨迹和特征信息,从各相机视野范围内的轨迹中,确定属于同一对象的各条轨迹,并通过轨迹融合,得到每一对象在目标场景中的轨迹,从而仅通过相机即可实现对象的轨迹生成,实现了无感生成对象的轨迹。
159.本发明实施例还提供了一种电子设备,如图8所示,包括处理器801、通信接口802、存储器803和通信总线804,其中,处理器801,通信接口802,存储器803通过通信总线804完成相互间的通信,
160.存储器803,用于存放计算机程序;
161.处理器801,用于执行存储器803上所存放的程序时,实现本发明实施例从管理设备角度所提供的方法步骤。
162.上述电子设备提到的通信总线可以是外设部件互连标准(peripheral component interconnect,pci)总线或扩展工业标准结构(extended industry standard architecture,eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
163.通信接口用于上述电子设备与其他设备之间的通信。
164.存储器可以包括随机存取存储器(random access memory,ram),也可以包括非易失性存储器(non-volatile memory,nvm),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
165.上述的处理器可以是通用处理器,包括中央处理器(central processing unit,cpu)、网络处理器(network processor,np)等;还可以是数字信号处理器(digital signal processing,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
166.在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一轨迹生成方法的步骤。
167.在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一轨迹生成方法。
168.在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
169.需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
170.本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、设备、系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
171.以上所述仅为本发明的较佳实施例,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献