一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

视频档案生成方法、装置及存储介质与流程

2022-02-19 04:15:10 来源:中国专利 TAG:


1.本技术涉及计算机视觉领域,特别涉及一种视频档案生成方法、装置及存储介质。


背景技术:

2.目前,一些活动场所需要对进入该场所内的人员进行录像,以生成视频档案,从而方便追溯某人员在该场所内任意时刻的位置信息和行为信息。
3.相关技术中,采用多个监控设备对该场所进行视频采集,将多个监控设备采集到的视频作为场所内所有人员的视频档案。
4.然而,通过上述方法得到的视频档案存在存储冗余、占用存储空间大,而且当需要从中查询特定人员的轨迹时,只能通过人工手动回放视频档案的方式来查找,耗时费力。


技术实现要素:

5.本技术实施例提供了一种视频档案生成方法、装置及存储介质,可以改善现有视频档案存在存储冗余、占用存储空间大,查询过程耗时费力的问题,所述技术方案如下:
6.一方面,提供一种视频档案生成方法,所述方法包括:
7.获取多个监控设备采集的多个包含目标人员的视频图像和每个视频图像中包含的目标人员的轨迹信息,所述目标人员是指位于该多个监控设备的部署场所内的人员;
8.根据每个视频图像中包含的目标人员和相应目标人员的轨迹信息,确定每个目标人员对应的视频集,所述视频集包括不同监控设备采集的相应目标人员的视频图像;
9.根据每个目标人员对应的视频集中的视频图像和相应视频图像中包含的相应目标人员的轨迹信息,生成相应目标人员的视频档案。
10.可选的,轨迹信息包括轨迹点和轨迹点对应的时间点,根据每个目标人员对应的视频集中的视频图像和相应视频图像中包含的相应目标人员的轨迹信息,生成相应目标人员的视频档案,包括:
11.如果根据第一目标人员的多个轨迹点以及每个轨迹点对应的时间点确定所述第一目标人员的运动轨迹完整,则将所述第一目标人员对应的视频集中的视频图像按照时间先后顺序进行拼接,得到所述第一目标人员的视频档案,所述第一目标人员为任一目标人员。
12.可选的,根据每个目标人员对应的视频集中的视频图像和相应视频图像中包含的相应目标人员的轨迹信息,生成相应目标人员的视频档案,包括:
13.如果根据第一目标人员的多个轨迹点以及每个轨迹点对应的时间点确定第一目标人员的运动轨迹不完整,则根据所述第一目标人员的多个轨迹点,生成估计轨迹点,所述第一目标人员为任一目标人员;
14.根据所述第一目标人员的多个轨迹点、所述估计轨迹点和所述第一目标人员对应的视频集,生成所述第一目标人员的视频档案。
15.可选的,根据所述第一目标人员的多个轨迹点、所述估计轨迹点和所述第一目标
人员对应的视频集,生成所述第一目标人员的视频档案,包括:
16.确定覆盖范围包含所述估计轨迹点的目标监控设备的标识;
17.确定所述多个轨迹点中所述估计轨迹点的上一个轨迹点对应的第一时间点以及所述估计轨迹点的下一个轨迹点对应的第二时间点;
18.根据所述目标监控设备的标识,从所述目标监控设备采集的视频中截取位于所述第一时间点和所述第二时间点之间的目标视频图像;
19.将所述第一目标人员对应的视频集中的视频图像和所述目标视频图像按照时间先后顺序进行拼接,得到所述第一目标人员的视频档案。
20.可选的,所述方法还包括:
21.如果所述第一目标人员的多个轨迹点中任意两个相邻的轨迹点对应的时间点之间的差值均不大于第一阈值,则确定所述第一目标人员的运动轨迹完整;
22.如果所述第一目标人员的多个轨迹点中存在任意两个相邻的轨迹点对应的时间点之间的差值大于所述第一阈值,则确定所述第一目标人员的运动轨迹不完整。
23.可选的所述根据每个视频图像中包含的目标人员和相应目标人员的轨迹信息,确定每个目标人员对应的视频集,包括:
24.通过混合关联模型对第一视频图像中包含的目标人员的特征数据和轨迹信息、第二视频图像中包含的目标人员的特征数据和轨迹信息进行处理,得到所述第一视频图像中包含的目标人员和所述第二视频图像中包含的目标人员的相似度,所述第一视频图像和所述第二视频图像为所述多个监控设备采集的多个包含目标人员的视频图像中的任意两个视频图像;
25.如果所述相似度大于第二阈值,则确定所述第一视频图像中包含的目标人员和所述第二视频图像中包含的目标人员为同一目标人员,将所述第一视频图像和所述第二视频图像添加至相应目标人员对应的视频集中。
26.可选的,所述方法还包括:
27.获取每个目标人员的登记信息,所述登记信息包括相应目标人员的人脸图像;
28.根据每个目标人员的登记信息中人脸图像,对每个目标人员的登记信息和视频档案进行匹配;
29.将匹配得到的每个目标人员的登记信息和视频档案对应存储。
30.另一方面,提供了一种视频档案生成装置,所述装置包括:
31.第一获取模块,用于获取多个监控设备采集的多个包含目标人员的视频图像和每个视频图像中包含的目标人员的轨迹信息,所述目标人员是指位于该多个监控设备的部署场所内的人员;
32.确定模块,用于根据每个视频图像中包含的目标人员和相应目标人员的轨迹信息,确定每个目标人员对应的视频集,所述视频集包括不同监控设备采集的相应目标人员的视频图像;
33.生成模块,用于根据每个目标人员对应的视频集中的视频图像和相应视频图像中包含的相应目标人员的轨迹信息,生成相应目标人员的视频档案。
34.可选的,所述轨迹信息包括轨迹点和轨迹点对应的时间点,所述生成模块用于:
35.如果根据第一目标人员的多个轨迹点以及每个轨迹点对应的时间点确定所述第
一目标人员的运动轨迹完整,则将所述第一目标人员对应的视频集中的视频图像按照时间先后顺序进行拼接,得到所述第一目标人员的视频档案,所述第一目标人员为任一目标人员。
36.可选的,所述轨迹信息包括轨迹点和轨迹点对应的时间点,所述生成模块,还用于:
37.如果根据第一目标人员的多个轨迹点以及每个轨迹点对应的时间点确定所述第一目标人员的运动轨迹不完整,则根据所述第一目标人员的多个轨迹点,生成估计轨迹点,所述第一目标人员为任一目标人员;
38.根据所述第一目标人员的多个轨迹点、所述估计轨迹点和所述第一目标人员对应的视频集,生成所述第一目标人员的视频档案。
39.可选的,所述生成模块主要用于:
40.确定覆盖范围包含所述估计轨迹点的目标监控设备的标识;
41.确定所述多个轨迹点中所述估计轨迹点的上一个轨迹点对应的第一时间点以及所述估计轨迹点的下一个轨迹点对应的第二时间点;
42.根据所述目标监控设备的标识,从所述目标监控设备采集的视频中截取位于所述第一时间点和所述第二时间点之间的目标视频图像;
43.将所述第一目标人员对应的视频集中的视频图像和所述目标视频图像按照时间先后顺序进行拼接,得到所述第一目标人员的视频档案。
44.可选的,所述装置还用于:
45.如果所述第一目标人员的多个轨迹点中任意两个相邻的轨迹点对应的时间点之间的差值均不大于第一阈值,则确定所述第一目标人员的运动轨迹完整;
46.如果所述第一目标人员的多个轨迹点中存在任意两个相邻的轨迹点对应的时间点之间的差值大于所述第一阈值,则确定所述第一目标人员的运动轨迹不完整。
47.可选的,所述确定模块主要用于:
48.通过混合关联模型对第一视频图像中包含的目标人员的特征数据和轨迹信息、第二视频图像中包含的目标人员的特征数据和轨迹信息进行处理,得到所述第一视频图像中包含的目标人员和所述第二视频图像中包含的目标人员的相似度,所述第一视频图像和所述第二视频图像为所述多个监控设备采集的多个包含目标人员的视频图像中的任意两个视频图像;
49.如果所述相似度大于第二阈值,则确定所述第一视频图像中包含的目标人员和所述第二视频图像中包含的目标人员为同一目标人员,将所述第一视频图像和所述第二视频图像添加至相应目标人员对应的视频集中。
50.可选的,所述装置还包括:
51.第二获取模块,用于获取每个目标人员的登记信息,所述登记信息包括相应目标人员的人脸图像;
52.匹配模块,用于根据每个目标人员的登记信息中人脸图像,对每个目标人员的登记信息和视频档案进行匹配;
53.存储模块,用于将匹配得到的每个目标人员的登记信息和视频档案对应存储。
54.另一方面,提供了一种视频档案生成装置,所述装置包括:
55.处理器;
56.用于存储处理器可执行指令的存储器;
57.其中,所述处理器执行所述存储器中的可执行指令来执行上述视频档案生成方法。
58.另一方面,提供了一种计算机可读存储介质,所述存储介质内存储有计算机程序,所述计算机程序被计算机执行时实现上述所述视频档案生成方法的步骤。
59.另一方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述的视频档案生成方法的步骤。
60.本技术实施例提供的技术方案带来的有益效果至少包括:
61.在本技术实施例中,通过场所内多个监控设备采集到的每个目标人员的视频图像确定每个目标人员的视频集,并根据每个目标人员的视频集中的视频图像及视频图像中包含的轨迹信息生成每个目标人员的视频档案进行存储,这样不仅可以节约存储空间,而且在追溯某个目标人员在该场所内任意时刻的位置信息和行为信息时仅需查看该目标人员的视频档案即可,大幅度缩短了查询时间,提高了查询效率。
附图说明
62.为了更清楚地说明本技术实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
63.图1是本技术实施例提供的一种视频档案生成方法所涉及的系统架构图;
64.图2是本技术实施例提供的一种视频档案生成方法的流程图;
65.图3是本技术实施例提供的一种根据第一目标人员对应的视频集中的视频图像和视频图像中包含的第一目标人员的轨迹信息,生成第一目标人员的视频档案的流程图;
66.图4是本技术实施例提供的一种视频档案生成装置的结构示意图;
67.图5是本技术实施例提供的一种服务器的结构示意图。
具体实施方式
68.为使本技术的目的、技术方案和优点更加清楚,下面将结合附图对本技术实施方式作进一步地详细描述。
69.在对本技术实施例进行详细的解释说明之前,先对本技术实施例涉及的系统架构进行介绍。
70.图1是本技术实施例提供的一种视频档案生成方法所涉及的系统架构图。如图1所示,该系统包括多个监控设备101、服务器102和登记设备103。其中,该多个监控设备101是指部署在同一场所内的监控设备,例如,该多个监控设备101可以为部署在办公室、超市或者是其他活动场所中的设备。并且,该多个监控设备101可以和服务器102通过有线网络或无线网络连接。
71.需要说明的是,多个监控设备101中的每个监控设备101可以采集其对应覆盖范围内每个目标人员的视频图像,之后,将每个目标人员的视频图像发送至服务器102。
72.服务器102接收各个监控设备发送的各个目标人员的视频图像,并根据各个目标人员的视频图像和视频图像中包含的相应目标人员的轨迹信息,通过本技术实施例提供的方法来生成各个目标人员的视频档案。
73.登记设备103可以设置在多个监控设备101所部署的场所的入口处,并且该登记设备103可以和服务器102连接,其中,登记设备103用于在目标人员进入部署场所时获取目标人员的登记信息,并将获取的目标人员的登记信息发送给服务器102,相应的,服务器102接收登记设备103发送的目标人员的登记信息,并在后续确定出目标人员的视频档案之后,将该登记信息与视频档案进行匹配存储。其中,该登记信息包括目标人员的人脸图像,除此之外,还可以包括目标人员的姓名、身份标识等信息。需要说明的是,上述的人脸图像可以可以为包含人脸的人体图像,或者也可以是单纯包含人脸的图像。
74.其中,监控设备101可以为人脸摄像机、智能摄像机和普通摄像机等具有图像采集功能的设备,并且,监控设备101还可以具备数据处理功能,服务器102可以为一台服务器,也可以由若干台服务器组成的服务器集群,或者是一个云计算服务中心。登记设备103可以为一个用户终端设备,例如,该登记设备可以为一个能够进行图像采集的智能手机、平板电脑或者是其他终端设备,本技术实施例对此不做限定。
75.可选地,在一些可能的实现方式中,该系统还可以包括一个或多个存储设备,用于对各个目标人员的视频档案进行存储。
76.接下来对本技术实施例提供的视频档案生成方法进行介绍。
77.图2是本技术实施例提供的一种视频档案生成方法的流程图,该方法可以应用于前述系统架构的服务器中,参见图2,该方法包括以下步骤:
78.步骤201:获取多个监控设备采集的多个包含目标人员的视频图像和每个视频图像中包含的目标人员的轨迹信息。
79.在一种实现方式中,该多个监控设备中的每个监控设备可以针对自身覆盖范围进行视频图像的采集,并提取自身采集到的各帧视频图像中的人脸图像、该人脸图像对应的目标人员的轨迹信息。之后,将自身采集到的视频图像、提取到的人脸图像、人脸图像对应的轨迹信息发送给服务器。相应的,服务器接收每个监控设备发送的包含有目标人员的视频图像、目标人员的人脸图像、人脸图像对应的轨迹信息。其中,目标人员是指位于该多个监控设备的部署场所内的任意一个人员。
80.其中,每个监控设备在采集到视频图像之后,可以对采集到的视频图像进行人脸识别,并根据人脸识别结果从相应的视频图像中提取人脸图像。在提取到人脸图像之后,该监控设备还可以确定该人脸图像在视频图像中的位置坐标以及该视频图像的时间戳。之后,将人脸图像在该视频图像中的位置坐标作为该人脸图像所表征的目标人员的轨迹点,将该视频图像的时间戳作为该轨迹点对应的时间点。之后,将确定得到的该人脸图像所表征的目标人员的轨迹点和对应的时间点作为该人脸图像对应的轨迹信息。
81.可选地,上述从每帧视频图像中提取到的人脸图像也可以替换为人体图像,或者是,同时包含人脸图像和人体图像,或者,也可以是从每帧视频图像中提取的其他能够表征人员特征的特征数据,本技术实施例对此不做限定。
82.可选地,在另一种实现方式中,该多个监控设备中的每个监控设备可以针对自身覆盖范围进行视频的采集,并将采集到的视频图像直接发送给服务器。其中,各个监控设备
采集到的视频图像中将包含有进入至相应监控设备的覆盖范围内的目标人员的视频图像。相应的,服务器在接收到每个监控设备发送的视频图像之后,可以从每个监控设备发送的视频图像中提取相应监控设备采集到的不同目标人员的视频图像,并从每个监控设备采集到的不同目标人员的视频图像中提取相应目标人员的轨迹信息。
83.在该种实现方式中,服务器可以接收登记设备发送的进入该多个监控设备的部署场所的人员的登记信息。之后,针对每个监控设备发送的视频图像,服务器可以根据该登记信息中包含的人脸图像,从相应监控设备采集的视频图像中提取包含有同样的人脸图像的视频图像,从而得到多帧目标人员的视频图像。或者,服务器也可以对每个监控设备发送的视频图像进行人脸识别,从而从接收到的视频图像中提取出包含有人脸的多帧图像,将提取出的多帧图像作为多个监控设备采集到的目标人员的视频图像。之后,服务器可以参考前述方法确定每个包含有目标人员的视频图像中的目标人员的轨迹信息。
84.可选的,在另一种实现方式中,该多个监控设备中的每个监控设备可以对进入自身覆盖范围内的目标人员进行跟踪,从而得到每个目标人员的视频段,进而从每个目标人员的视频段中提取相应目标人员的轨迹信息。其中,每个目标人员的视频段中包含有相应目标人员的多帧视频图像。之后,各个监控设备可以将自身得到的每个目标人员的视频段和从该视频段中提取到的相应目标人员的轨迹信息发送至服务器。相应地,服务器接收每个监控设备发送的每个目标人员的视频段和轨迹信息。
85.示例性地,在本技术实施例中,当任一目标人员在进入该多个监控设备的部署场所时,位于该部署场所的入口处的登记设备可以获取该目标人员的登记信息。其中,该登记信息可以包括该人员的人脸图像。除此之外,该登记信息中还可以包括该人员的姓名、身份标识等信息。例如,该人员可以通过在该登记设备上刷身份证进入该场所,在这种情况下,登记设备可以采集身份证图像,并获取身份证图像中包含的人脸图像和身份证号码,从而将提取到的人脸图像和身份证号码作为该人员的登记信息。之后,该登记设备可以将采集到的进入该部署场所的人员的人脸图像发送至各个监控设备。此时,进入该部署场所的人员即为目标人员。
86.监控设备在接收到进入该场所内的各个目标人员的人脸图像之后,可以根据接收到的各个目标人员的人脸图像来识别每个进入到该监控设备的覆盖范围内的目标人员,并对进入到该其覆盖范围内的目标人员进行跟踪拍摄,以得到相应目标人员的视频段。
87.可选地,登记设备也可以不向监控设备发送进入该场所内的各个目标人员的人脸图像,在这种情况下,各个监控设备也可以基于进入该场所内的目标人员的其他特征来对目标人员进行跟踪拍摄,以得到各个目标人员的视频段。其中,其他特征可以为诸如人体特征、步态特征等特征,本技术实施例在此不做限定。
88.每个监控设备在得到自身采集到的目标人员的视频段之后,可以参考前述介绍的方法从每个视频段中的各帧视频图像中提取相应目标人员的轨迹信息。
89.步骤202:根据每个视频图像包含的目标人员和相应目标人员的轨迹信息,确定每个目标人员对应的视频集,每个目标人员对应的视频集包括不同监控设备采集的相应目标人员的视频图像。
90.在一种实现方式中,服务器可以通过混合关联模型来对多个监控设备采集的视频图像进行分析,从而得到每个目标人员对应的视频集。
91.示例性地,服务器可以通过混合关联模型对第一视频图像中包含的目标人员的特征数据和轨迹信息、第二视频图像中包含的目标人员的特征数据和轨迹信息进行处理,得到第一视频图像中包含的目标人员和第二视频图像中包含的目标人员的相似度;如果该相似度大于第二阈值,则确定第一视频图像中包含的目标人员和第二视频图像中包含的目标人员为同一目标人员,将第一视频图像和第二视频图像添加至相应目标人员对应的视频集中。其中,第一视频图像和第二视频图像为多个监控设备采集的多个包含目标人员的视频图像中的任意两个视频图像。
92.其中,当监控设备向服务器发送的是采集到的视频图像以及从视频图像中提取到的人脸图像、人脸图像对应的轨迹信息时,服务器首先可以从多个视频图像中随机获取两个视频图像,分别作为第一视频图像和第二视频图像。将从第一视频图像中提取到的第一人脸图像作为第一视频图像中提取到的某个目标人员的特征数据,将从第二视频图像中提取到的第二人脸图像作为第二视频图像中提取到的某个目标人员的特征数据。之后,服务器将第一人脸图像、第一人脸图像对应的目标人员的轨迹信息、第二人脸图像以及第二人脸图像对应的目标人员的轨迹信息输入至混合关联模型中,该混合关联模型对上述输入信息进行处理,从而输出第一人脸图像对应的目标人员和第二人脸图像对应的目标人员的相似度。之后,服务器将混合关联模型输出的相似度与预先设定的第二阈值进行对比,当混合关联模型输出的相似度大于预先设定的第二阈值时,则确定第一视频图像中包含的目标人员和第二视频图像中包含的目标人员为同一目标人员,此时,可以将第一视频图像、第二视频图像均添加到该目标人员的视频集中。之后,服务器可以继续通过上述方法将其他视频图像与该视频集中的视频图像进行比较,以确定其他视频图像中包含的目标人员与该视频集中的视频图像中包含的目标人员是否为同一目标人员,如果是,则将相应视频图像添加至该视频集,直至遍历完所有其他视频图像为止。之后,服务器可以再从剩余的视频图像中选择两个视频图像,重复上述过程。
93.可选地,如果第一人脸图像对应的目标人员和第二人脸图像对应的目标人员的相似度小于或等于第二阈值,则认为第一视频图像中包含的目标人员和第二视频图像中包含的目标人员不是同一目标人员,此时,则可以通过上述方法重新确定第一视频图像中的目标人员与其他视频图像中的目标人员之间的相似度,或者,重新确定第二视频图像中的目标人员与其他视频图像中的目标人员之间的相似度,直至找到与该第一视频图像或第二视频图像包含的目标人员相同的其他视频图像,然后重复前述介绍的步骤,以得到目标人员的视频集,本技术实施例在此不再赘述。
94.需要说明的是。预设的第二阈值可以为80%、90%等数值,本技术实施例对此不做限定。
95.可选地,在一些可能的情况中,第一视频图像和第二视频图像中包含的目标人员的特征数据也可以为目标人员的人体图像或者是其他能够表征人员特征的数据。在这种情况下,可以参考前述特征数据为人脸图像的方式进行分析处理,本技术实施例在此不再赘述。
96.可选地,在通过上述方法利用混合关联模型来对视频图像进行分析时,对于某些视频图像,可能会由于视频图像中的目标人员的人脸图像比较模糊或者是其他原因导致无法将该视频图像归类到某个视频集中。在这种情况下,还可以利用前述登记设备获取到的
登记信息中包含的目标人员的人脸图像来关联各个视频图像。
97.例如,在将两个视频图像以及视频图像包含的轨迹信息输入至上述混合关联模型的同时,还可以将登记设备获取到的进入该场所的目标人员的人脸图像输入至该混合关联模型,之后,混合关联模型可以输出两个视频图像的相似度以及每个视频图像分别与输入的人脸图像的相似度。如果两个视频图像的相似度大于第二阈值,则可以将这两个视频图像加入到相应目标人员的视频集中,如果两个视频图像的相似度不大于第二阈值,但两个视频图像分别与输入的某个人脸图像的相似度均大于一定阈值,则也可以将这两个视频图像作为同一个目标人员的视频图像,并将其加入到该目标人员的视频图像中。
98.可选地,如果监控设备未对采集到的视频图像进行特征数据提取,而是直接向服务器发送采集的视频图像,则服务器首先可以从接收到的各个监控设备的视频图像中提取视频图像中包含的目标人员的特征数据和轨迹信息,之后,参考上述方法生成每个目标人员的视频集。
99.可选的,如果监控设备通过目标跟踪的方式得到了目标人员的视频段,则服务器可以通过混合关联模型对多个监控设备采集的各个目标人员的视频段进行分析,从而确定每个目标人员对应的视频集。对于通过视频段确定目标人员视频集的方法,服务器可以参照上述确定两个视频图像相似度的方法来确定两个视频段的相似度,然后根据目标人员视频段的相似度确定每个目标人员的视频集,在此不再赘述。
100.在另一种实现方式中,服务器在获取到多个监控设备采集的多个包含有目标人员的视频图像和相应视频图像中包含的目标人员的轨迹信息之后,还可以通过特征聚类的方法生成每个目标人员的视频集。
101.示例性地,服务器对各个视频图像中包含的特征进行分析,然后将其中的一个或多个特征作为确定视频图像中的目标人员是否为同一个目标人员的依据,进而将具有相同一个或多个特征的视频图像作为同一个目标人员的视频图像,之后,由同一个目标人员的视频图像组成该目标人员的视频集。
102.例如,如果监控设备向服务器发送的是采集到的视频图像以及从视频图像中提取到的人脸图像、人脸图像对应的轨迹信息时,则服务器可以对接收到的人脸图像进行特征分析,进而将具有相同的人脸特征的视频图像作为同一个人的视频图像。或者,服务器也可以对人脸图像和人脸图像对应的轨迹信息进行特征分析,进而将具有相同的人脸特征和空间上存在关联关系的轨迹信息的视频图像作为同一个目标人员的视频图像。
103.当然,如果监控设备还从视频图像中提取了其他特征数据,例如人体图像、步态特征等,还可以基于这些特征进行聚类分析,本技术实施例在此不再赘述。
104.可选地,如果监控设备未对采集到的视频图像进行特征数据提取,而是直接向服务器发送的采集的视频图像,则服务器首先可以从接收到的各个监控设备的视频图像中提取视频图像中包含的目标人员的特征数据和轨迹信息,之后,参考上述特征聚类的方式生成每个目标人员的视频集。
105.可选的,如果监控设备通过目标跟踪的方式得到了目标人员的视频段,则服务器同样可以通过特征聚类的方式对各个监控设备采集到的各个目标人员的视频段进行聚类分析,从而得到同一个目标人员对应的一个或多个视频段,由同一个目标人员的一个或多个视频段组成该目标人员的视频集。
106.在另一种实现方式中,服务器也可以直接根据前述登记设备获取到的每个目标人员的人脸图像,从多个视频图像中获取包含的目标人员与该人脸图像相似的视频图像,将这些视频图像作为该人脸图像对应的目标人员的视频图像,从而组成该目标人员的视频集。
107.步骤203:根据每个目标人员对应的视频集中的视频图像和相应视频图像中包含的相应目标人员的轨迹信息,生成相应目标人员的视频档案。
108.在得到每个目标人员对应的视频集之后,服务器可以根据每个目标人员对应的视频集以及从视频集包含的视频图像中提取到的轨迹信息,来生成相应目标人员的视频档案。
109.接下来以场所中任意一个目标人员为例来对本步骤进行说明,为了方便描述,将该目标人员称为第一目标人员。对于该第一目标人员,服务器可以通过图3所示的步骤2031

2034来得到该第一目标人员的视频档案。
110.2031:根据第一目标人员的多个轨迹点以及每个轨迹点对应的时间点判断第一目标人员的运动轨迹是否完整。
111.其中,服务器首先将目标人员的多个轨迹点按照对应的时间点的先后顺序进行排列。之后,计算第一目标人员的多个轨迹点中每两个相邻的轨迹点对应的时间点之间的差值。如果该多个轨迹点中任意两个相邻的轨迹点对应的时间点之间的差值均不大于第一阈值,也即,如果计算得到的所有差值均不大于第一阈值,则确定第一目标人员的运动轨迹完整,此时,服务器可以执行步骤2032。
112.可选地,如果第一目标人员的多个轨迹点中存在任意两个相邻的轨迹点对应的时间点之间的差值大于第一阈值,也即,计算得到的多个差值中存在大于第一阈值的差值,则确定第一目标人员的运动轨迹不完整,此时,服务器可以执行步骤2033和2034。
113.例如,在第一目标人员的多个轨迹点中任意的两个相邻轨迹点分别为第一轨迹点和第二轨迹点,如果第一轨迹点对应的时间点与第二轨迹点对应的时间点相差2s,第一阈值为1s,则说明该目标人员的运动轨迹不完整,可以执行步骤2033和2034。可选地,如果所有相邻的轨迹点对应的时间点之间的差值均小于1s,则说明该目标人员的运动轨迹完整。
114.2032:将第一目标人员对应的视频集中的视频图像按照时间点先后顺序进行拼接,得到第一目标人员的视频档案。
115.当通过上述步骤2031确定第一目标人员的轨迹完整之后,服务器可以将第一目标人员对应的视频集中的视频图像按照时间点的先后顺序进行拼接。
116.其中,由于多个监控设备中可能会存在覆盖范围存在部分重叠的两个监控设备,在这种情况下,目标人员在该重叠范围内将会同时被两个监控设备采集到,这样,该目标人员的视频集中这两个监控设备采集到的视频图像将会存在重叠的片段。基于此,在本技术实施例中,在将第一目标人员的视频集中的视频图像进行拼接时,可以将相同时间采集到的多帧视频图像进行去重,之后,再按照时间先后顺序将各个视频图像进行拼接。
117.2033:根据第一目标人员的多个轨迹点,生成估计轨迹点。
118.如果服务器通过步骤2031确定第一目标人员的运动轨迹不完整,则该服务器可以对该第一目标人员的轨迹进行补全。
119.在一种实现方式中,服务器采用轨迹插值法生成估计轨迹点,以此来补全该第一
目标人员的运动轨迹。
120.其中,服务器可以获取前述步骤2031中确定对应的时间点的差值大于第一阈值的两个相邻的轨迹点的坐标值,根据这两个相邻的轨迹点的坐标值进行插值,以得到这两个相邻轨迹点之间的估计轨迹点。其中,得到的这两个相邻轨迹点之间的估计轨迹点的数量可以为一个也可以为多个。
121.在另一种实现方式中,服务器也可以采用轨迹预测法对缺失的轨迹点进行补全,从而获得估计轨迹点。
122.其中,服务器可以根据该第一目标人员当前的多个轨迹点形成的轨迹趋势来预测缺失轨迹点的坐标,以得到估计轨迹点。
123.2034:根据第一目标人员的多个轨迹点、估计轨迹点和第一目标人员对应的视频集,生成第一目标人员的视频档案。
124.在生成估计轨迹点之后,服务器可以确定覆盖范围包含估计轨迹点的目标监控设备的标识;确定多个轨迹点中估计轨迹点的上一个轨迹点对应的第一时间点以及估计轨迹点的下一个轨迹点对应的第二时间点;根据目标监控设备的标识,从目标监控设备采集的视频中截取位于第一时间点和第二时间点之间的目标视频图像;将第一目标人员对应的视频集中的视频图像和目标视频图像按照时间先后顺序进行拼接,得到第一目标人员的视频档案。
125.其中,服务器中存储有该多个监控设备中每个监控设备的标识与覆盖范围之间的映射关系。其中,该覆盖范围可以为一个坐标区域。监控设备的标识可以为能够唯一标识该监控设备的信息。基于此,服务器可以从该映射关系中确定包含有估计轨迹点的坐标的覆盖范围,进而将确定出的覆盖范围对应的标识作为目标监控设备的标识。
126.另外,服务器还可以确定从第一目标人员的视频集中提取到的多个轨迹点中对应的时间点位于该估计轨迹点之前且距离该估计轨迹点最近的轨迹点,将该轨迹点对应的时间点作为第一时间点。确从第一目标人员的视频集中提取到的多个轨迹点中对应的时间点位于该估计轨迹点之后且距离该估计轨迹点最近的轨迹点,将该轨迹点对应的时间点作为第二时间点。
127.之后,服务器可以根据目标监控设备的标识,获取目标监控设备采集的视频中,并从该目标监控设备采集的视频中截取位于该第一时间点和第二时间点之间的目标视频图像,该目标视频图像即为根据估计轨迹点得到的缺失视频图像。
128.在得到目标视频图像之后,服务器可以参考前述步骤2032中介绍的方法,将第一目标人员对应的视频集中的视频图像和该目标视频图像按照时间点先后顺序进行拼接,从而得到第一目标人员的视频档案。
129.对于多个目标人员的视频集,服务器均可以参考上述方法来生成每个目标人员的视频档案,本技术实施例在此不再赘述。
130.由此可见,本技术实施例中通过目标人员视频图像中的轨迹信息对目标人员视频档案中缺失的运动轨迹进行了补全,并通过补全获得的轨迹点去对应的监控设备中截取视频图像,可以改善目标人员的视频图像检出不全致使视频档案不完整的问题,保证了目标人员的视频档案的完整性。
131.在生成视频档案之后,服务器还可以对生成的各个目标人员的视频档案进行存
储。
132.其中,由前述步骤201中的介绍可知,登记设备可以获取每个目标人员的登记信息。在这种情况下,登记设备可以将获取到的每个目标人员的登记信息发送至服务器。其中,该登记信息中包含有相应人员的人脸图像。除此之外,还可以包括人体、指纹、姓名、身份标识等各种信息。基于此,服务器在生成各个目标人员的视频档案之后,可以根据每个目标人员的登记信息中的人脸图像,对每个目标人员的登记信息和视频档案进行匹配,将匹配得到的每个目标人员的登记信息和视频档案对应存储。
133.其中,仍以第一目标人员为例,服务器可以将第一目标人员的人脸图像与生成的视频档案中各帧视频图像中人脸图像进行比对,如果该视频档案中包含有与该第一目标人员的人脸图像相似的图像的视频图像的数量大于一定阈值,则可以将该视频档案作为与第一目标人员的视频档案,进而将第一目标人员的登记信息与该视频档案对应存储。
134.综上所述,本技术实施例通过场所内多个监控设备采集到的每个目标人员的视频图像确定每个目标人员的视频集,并根据每个目标人员的视频集中的视频图像及视频图像中包含的轨迹信息生成每个目标人员的视频档案进行存储,这样不仅可以节约存储空间,而且在追溯某个目标人员在该场所内任意时刻的位置信息和行为信息时仅需查看该目标人员的视频档案即可,大幅度缩短了查询时间,提高了查询效率。
135.另外,本技术实施例中通过目标人员的视频图像中的轨迹信息对目标人员视频档案中缺失的轨迹点进行了补全,并通过补全获得的轨迹点去对应的监控设备中截取视频图像,这样,可以改善目标人员的视频图像检出不全致使视频档案不完整的问题,保证了目标人员的视频档案的完整性。
136.接下来,对本技术实施例提供的视频档案生成装置进行介绍。
137.参见图4,本技术实施例提供了一种视频档案生成装置400,该装置400包括:
138.第一获取模块401,用于获取多个监控设备采集的多个包含目标人员的视频图像和每个视频图像中包含的目标人员的轨迹信息,目标人员是指位于该多个监控设备的部署场所内的人员;
139.确定模块402,用于根据每个视频图像中包含的目标人员和相应目标人员的轨迹信息,确定每个目标人员对应的视频集,视频集包括不同监控设备采集的相应目标人员的视频图像;
140.生成模块403,用于根据每个目标人员对应的视频集中的视频图像和相应视频图像中包含的相应目标人员的轨迹信息,生成相应目标人员的视频档案。
141.可选地,轨迹信息包括轨迹点和轨迹点对应的时间点,生成模块403用于:
142.如果根据第一目标人员的多个轨迹点以及每个轨迹点对应的时间点确定第一目标人员的运动轨迹完整,则将第一目标人员对应的视频集中的视频图像按照时间先后顺序进行拼接,得到第一目标人员的视频档案,第一目标人员为任一目标人员。
143.可选地,轨迹信息包括轨迹点和轨迹点对应的时间点,生成模块403还用于:
144.如果根据第一目标人员的多个轨迹点以及每个轨迹点对应的时间点确定第一目标人员的运动轨迹不完整,则根据第一目标人员的多个轨迹点,生成估计轨迹点,第一目标人员为任一目标人员;
145.根据第一目标人员的多个轨迹点、估计轨迹点和第一目标人员对应的视频集,生
成第一目标人员的视频档案。
146.可选地,生成模块403主要用于:
147.确定覆盖范围包含估计轨迹点的目标监控设备的标识;
148.确定多个轨迹点中估计轨迹点的上一个轨迹点对应的第一时间以及估计轨迹点的下一个轨迹点对应的第二时间;
149.根据目标监控设备的标识,从目标监控设备采集的视频中截取位于第一时间和第二时间之间的目标视频图像;
150.将第一目标人员对应的视频集中的视频图像和目标视频图像按照时间先后顺序进行拼接,得到第一目标人员的视频档案。
151.其中,该装置400还用于:
152.如果第一目标人员的多个轨迹点中任意两个相邻的轨迹点对应的时间之间的差值均不大于第一阈值,则确定第一目标人员的运动轨迹完整;
153.如果第一目标人员的多个轨迹点中存在任意两个相邻的轨迹点对应的时间之间的差值大于第一阈值,则确定第一目标人员的运动轨迹不完整。
154.可选地,确定模块402主要用于:
155.通过混合关联模型对第一视频图像中包含的目标人员的特征数据和轨迹信息、第二视频图像中包含的目标人员的特征数据和轨迹信息进行处理,得到所述第一视频图像中包含的目标人员和所述第二视频图像中包含的目标人员的相似度,所述第一视频图像和所述第二视频图像为所述多个监控设备采集的多个包含目标人员的视频图像中的任意两个视频图像;
156.如果相似度大于第二阈值,则确定第一视频图像中包含的目标人员和第二视频图像中包含的目标人员为同一目标人员,将第一视频图像和第二视频图像添加至相应目标人员对应的视频集中。
157.可选地,该装置400还包括:
158.第二获取模块,用于获取每个目标人员的登记信息,登记信息包括相应目标人员的人脸图像;
159.匹配模块,用于根据每个目标人员的登记信息中人脸图像,对每个目标人员的登记信息和视频档案进行匹配;
160.存储模块,用于将匹配得到的每个目标人员的登记信息和视频档案对应存储。
161.综上所述,在本技术实施例中,通过场所内多个监控设备采集到的每个目标人员的视频图像确定每个目标人员的视频集,并根据每个目标人员的视频集中的视频图像及视频图像中包含的轨迹信息生成每个目标人员的视频档案进行存储,这样不仅可以节约存储空间,而且在追溯某个目标人员在该场所内任意时刻的位置信息和行为信息时仅需查看该目标人员的视频档案即可,大幅度缩短了查询时间,提高了查询效率。
162.需要说明的是,上述实施例提供的视频档案生成装置在生成视频档案时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的视频档案生成装置与视频档案生成方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
163.图5是根据一示例性实施例示出的一种的服务器结构示意图。上述实施例中的服务器的功能即可以通过图5中所示的服务器来实现。该服务器可以是后台服务器集群中的服务器。具体来讲:
164.服务器500包括中央处理单元(central processing unit,cpu)501、包括随机存取存储器(random access memory,ram)502和只读存储器(read

only memory,rom)503的系统存储器504,以及连接系统存储器504和中央处理单元501的系统总线505。服务器500还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(input/output,i/o系统)506,和用于存储操作系统513、应用程序514和其他程序模块515的大容量存储设备507。
165.基本输入/输出系统506包括有用于显示信息的显示器508和用于用户输入信息的诸如鼠标、键盘之类的输入设备509。其中显示器508和输入设备509都通过连接到系统总线505的输入输出控制器510连接到中央处理单元501。基本输入/输出系统506还可以包括输入输出控制器510以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地,输入输出控制器510还提供输出到显示屏、打印机或其他类型的输出设备。
166.大容量存储设备507通过连接到系统总线505的大容量存储控制器(未示出)连接到中央处理单元501。大容量存储设备507及其相关联的计算机可读介质为服务器500提供非易失性存储。也就是说,大容量存储设备507可以包括诸如硬盘或者cd

rom(compact disc read

only memory,紧凑型光盘只读储存器)驱动器之类的计算机可读介质(未示出)。
167.不失一般性,计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括ram、rom、eprom(erasable programmable read only memory,可擦除可编程只读存储器)、eeprom(electrically erasable programmable read only memory,带电可擦可编程只读存储器)、闪存或其他固态存储设备,cd

rom、dvd(digital versatile disc,数字通用光盘)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器504和大容量存储设备507可以统称为存储器。
168.根据本技术的各种实施例,服务器500还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器500可以通过连接在系统总线505上的网络接口单元511连接到网络512,或者说,也可以使用网络接口单元511来连接到其他类型的网络或远程计算机系统(未示出)。
169.上述存储器还包括一个或者一个以上的程序,一个或者一个以上程序存储于存储器中,被配置由cpu执行。所述一个或者一个以上程序包含用于进行本技术实施例提供的视频档案生成方法的指令。
170.本技术实施例还提供了一种计算机可读存储介质,当该存储介质中的指令由服务器的处理器执行时,使得服务器能够执行上述实施例提供的直播视频数据生成方法。例如,该计算机可读存储介质可以是rom、ram、cd

rom、磁带、软盘和光数据存储设备等。值得注意的是,本技术实施例提到的计算机可读存储介质可以为非易失性存储介质,换句话说,可以是非瞬时性存储介质。
171.应当理解的是,实现上述实施例的全部或部分步骤可以通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。所述计算机指令可以存储在上述计算机可读存储介质中。
172.也即是,在一些实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例提供的视频档案生成方法。
173.以上所述并不用以限制本技术实施例,凡在本技术实施例的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本技术实施例的保护范围之内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献