目标对象的追踪方法、系统、存储介质以及程序产品
本公开涉及图像,特别涉及一种目标对象的追踪方法、系统、以及存储介质以及程序产品。
背景技术:
1、在智能监控、自动驾驶、人机交互等应用领域,对运动目标进行连续、精确的跟踪是核心技术需求之一。
2、现有的基于检测的跟踪方法由于过度依赖逐帧检测结果,当目标因遮挡、快速运动、光照突变或视角切换等原因而被短暂丢失时,系统往往将目标标记为“丢失”,待其重新出现后,难以将新的检测结果与历史轨迹正确关联,导致身份切换或轨迹断裂,严重影响了跟踪的连续性和鲁棒性。
3、另一方面,基于外观特征的重识别方法在多相机视角差异、光照变化及目标形变时,其可靠性会显著下降。而且,这类方法通常计算开销大,难以在资源受限的嵌入式平台或实时性要求较高的场景中应用。
4、随着深度学习技术的发展,特别是基于记忆的掩码传播模型的出现,为利用目标的形状和时空连续性进行跟踪提供了新的可能。然而,这些模型尚未被系统地应用于多目标跟踪中的丢失恢复和身份重识别,更缺乏一种能够充分利用其时空推理能力的双向验证机制。
技术实现思路
1、本公开部分实施例的目的是提供一种目标对象的追踪方法、系统、存储介质以及程序产品,其克服现有技术中目标跟踪方法在目标被遮挡、快速运动或视角切换后,依赖逐帧检测导致身份切换或轨迹断裂,以及缺乏高效的身份恢复机制的缺陷。
2、本公开第一方面,提供了一种目标对象的追踪方法,所述方法包括:
3、获得由位于不同角度的至少两个相机同步拍摄得到的至少两个图像序列,其中,所述目标对象包括第一目标对象和新目标对象,所述至少两个图像序列中每个图像序列包括对应所述第一目标对象的所述第一图像帧和对应所述新目标对象的当前图像帧;
4、基于所述至少两个图像序列,获得所述第一目标对象在所述第一图像帧时刻的第一掩码信息和所述新目标对象在所述当前图像帧时刻的第三掩码信息;
5、基于所述第一掩码信息,以所述第一图像帧为起始时间预测所述第一目标对象在所述当前图像帧为结束时刻的第二掩码信息;
6、基于所述第二掩码信息和所述第三掩码信息的相似度,确定至少一个相机角度上所述新目标对象是否与所述第一目标对象匹配。
7、可选地,所述目标对象的追踪方法还包括:
8、基于所述第三掩码信息,将所述当前图像帧作为起始时间预测所述新目标对象在第一图像帧为结束时刻的第四掩码信息;
9、基于所述第一掩码信息和所述第四掩码信息的相似度,确定每个相机角度上所述新目标对象是否与所述第一目标对象匹配。
10、可选地,所述预测步骤采用基于记忆的掩码传播模型,其中,所述掩码传播模型包括xmem和cutie中的至少一种。
11、可选地,所述确定至少一个相机角度上所述新目标对象是否与所述第一目标对象匹配的步骤,包括:
12、获取每个相机角度下所述第二掩码信息与所述第三掩码信息之间的相似度,作为每个相机角度下的第一相似度;
13、响应于所述至少两个相机中存在第一数量的相机角度的所述第一相似度超过单相机匹配判定阈值,且存在第二数量的相机角度的所述第一相似度未超过所述单相机匹配判定阈值,对所述每个相机角度下的第一相似度进行加权融合,得到融合置信度;
14、基于所述融合置信度与全局融合判定阈值的比较结果,确定所述新目标对象是否与所述第一目标对象匹配。
15、可选地,所述对所述每个相机角度下的第一相似度进行加权融合,包括:
16、对于任一相机角度,根据该相机角度下所述第一相似度的大小确定该相机角度的权重,其中所述第一相似度越高则权重越大;
17、基于所述权重,对所述每个相机角度下的第一相似度进行加权求和,得到所述融合置信度。
18、可选地,所述目标对象的追踪方法还包括:
19、基于所述至少两个图像序列,检测所述新目标对象并且获得所述新目标对象的第三类别,第三两维边界框和第三掩码信息;
20、确定每个相机角度上所述新目标对象的第三三维边界框,所述第三三维边界框位于所述至少两个相机的统一世界坐标中;
21、基于所述第一目标对象的第一三维边界框和所述第三三维边界框的交并比以及所述第一目标对象和所述新目标对象的类别,确定所述新目标对象是否与所述第一目标对象匹配。
22、可选地,所述目标对象的追踪方法包括:
23、基于所述至少两个图像序列,检测所述第一目标对象并且获得所述第一目标对象的第一对象类别,第一两维边界框和第一掩码信息;
24、获得所述第一目标对象的深度图;
25、基于所述深度图和所述第一两维边界框,确定所述第一目标对象在每个相机角度上的局部三维边界框,所述局部三维边界框位于相机的本地坐标中;
26、基于所述局部三维边界框,更新使用kalman滤波预测得到的所述第一目标对象在所述第一图像帧时刻的预测速度和预测局部三维边界框。
27、可选地,所述目标对象的追踪方法包括:
28、基于所述局部三维边界框,确定所述第一目标对象在每个相机角度上的第一三维边界框,所述第一三维边界框位于所述至少两个相机的统一世界坐标中;
29、基于所述第一三维边界框的跨相机交并比,确定来自不同相机角度的所述第一目标对象是否匹配。
30、可选地,所述目标对象的追踪方法包括:
31、采用所述跨相机交并比的值作为权重,将所述每个相机角度上所述第一目标对象的第一三维边界框融合形成融合三维边界框。
32、可选地,所述目标对象的追踪方法包括:
33、所述目标对象包括第二目标对象,所述至少两个图像序列中每个图像序列包括对应所述第一目标对象的所述第一图像帧和对应所述第二目标对象的第二图像帧;
34、所述方法包括:
35、基于所述融合三维边界框,使用kalman滤波预测所述第一目标对象的速度和在第二图像帧时刻的所述第一目标对象的预测三维边界框;
36、确定每个相机角度上所述第二目标对象的第二三维边界框,所述第二三维边界框位于所述至少两个相机的统一世界坐标中;
37、基于所述预测三维边界框和所述第二三维边界框的交并比,确定所述第一目标对象是否与所述第二目标对象匹配。
38、可选地,所述确定所述第一目标对象在每个相机角度上的第一三维边界框包括:
39、获取所述第一目标对象的深度图和所述至少两个相机的相机内参;
40、基于所述深度图和所述相机内参,将所述第一掩码信息内的像素反投影至相机坐标系生成三维点集,以构建所述第一目标对象的所述局部三维边界框;
41、获取所述至少两个相机的相机外参;
42、基于所述相机外参,将所述局部三维边界框变换到统一世界坐标系中以得到所述第一三维边界框。
43、可选地,所述获得所述至少两个相机的相机外参包括:
44、通过所述至少两个相机同步采集同一手部姿态的图像;
45、利用基于深度学习的手部关节检测网络,计算每个相机坐标系下各手部关节的三维坐标;
46、匹配不同相机中同一手部关节的三维坐标点对,构建对应点集;
47、根据所述对应点集,通过奇异值分解求解相机对之间的第一旋转矩阵和第一平移向量作为第一相机外参;
48、基于参考相机,将初始相机外参统一到所述统一世界坐标中获得第一统一相机外参。
49、可选地,所述获得所述至少两个相机的相机外参还包括:
50、采用随机抽样一致性算法,剔除所述对应点集中的异常点对,并利用剩余点对重新求解所述第一旋转矩阵和所述第一平移向量获得第二相机外参,所述第二相机外参包括第二旋转矩阵和第二平移向量;
51、基于所述参考相机,将所述第二相机外参统一到所述统一世界坐标中获得第二统一相机外参。
52、可选地,所述获得所述至少两个相机的相机外参还包括:
53、利用多帧不同手部姿态和位置的三维关节坐标,对所述第二旋转矩阵和所述第二平移向量进行迭代优化获得第三相机外参,所述第三相机外参包括第三旋转矩阵和第三平移向量;
54、基于所述参考相机,将所述第三相机外参统一到所述统一世界坐标中获得第三统一相机外参。
55、可选地,所述目标对象的追踪方法包括:
56、基于所述深度图,执行如下至少一种以验证所述至少两个相机实时校准的准确度:
57、确定跨相机体积偏差值是否在预设的第一阈值内,其中,所述跨相机体积偏差值为所述不同角度中某一个角度的所述第一三维边界框的体积与所述不同角度中另一角度的所述第一三维边界框的体积的差值;和,
58、确定跨相机位置偏差值是否在预设的第二阈值内,其中,所述跨相机位置偏差值为所述不同角度中某一个角度的所述第一三维边界框的中心位置与所述不同角度中另一角度的所述第一三维边界框的中心位置的差值;和,
59、确定跨相机投影点的比例值是否超出预设的第三阈值,其中,所述跨相机投影点为将所述不同角度中某一个角度的所述第一三维边界框中点投影到所述不同角度中另一角度的所述第一三维边界框中。
60、本公开第二方面,提供了一种目标对象的追踪系统,所述系统包括:
61、处理器,所述处理器用于执行上述第一方面所述的目标对象的追踪系统。
62、可选地,所述系统还包括:
63、存储器,所述存储器用于存储所述至少两个相机同步拍摄得到的至少两个图像序列;
64、其中,所述处理器包括中央处理器和图像处理器;
65、其中,所述存储器为所述中央处理器和所述图像处理器所共享的内存。
66、可选地,所述系统还包括:
67、至少两个相机,所述至少两个相机用于同步拍摄得到的至少两个图像序列;
68、其中,所述至少两个相机包括单目rgb相机、双目rgb相机和飞行时间相机中的至少一种。
69、本公开第三方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面的方法。
70、本公开第四方面,提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述第一方面的方法。
71、在符合本领域常识的基础上,上述各优选条件,可任意组合,即得本公开各较佳实例。
72、本公开的积极进步效果在于:
73、本公开中,针对现有目标跟踪技术中目标因遮挡、快速运动或视角切换后身份容易丢失、身份切换或轨迹断裂的问题,通过构建多相机协同的视觉感知架构,并引入基于前向与后向掩码传播的双向互补验证机制,实现目标在检测中断后的精确身份恢复,有效避免了id切换与轨迹断裂;进一步对多相机观测进行三维几何融合与全局滤波,提升了目标在三维空间中的定位精度与鲁棒性;同时引入基于深度信息的实时标定验证与自校准机制,维持系统在长期运行中的稳定性和可靠性。该方法显著降低了对逐帧检测的依赖,提升了目标跟踪的连续性与智能化程度,有效降低了因目标丢失或身份错乱导致的跟踪失效及运维成本。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com