一种基于双摄像头的目标自动搜索与连续跟踪方法及系统与流程
本技术涉及计算机视觉,具体涉及一种基于双摄像头的目标自动搜索与连续跟踪方法及系统。
背景技术:
1、随着计算机视觉与人工智能技术的快速发展,视频目标检测与连续跟踪技术已广泛应用于无人机、智能机器人、安防监控以及智能云台等边缘智能设备中。在这些实际应用场景中,如何使边缘设备利用有限的硬件算力,自动地对视频画面中的特定目标进行精准定位、锁定并输出连续稳定的运动轨迹,是当前计算机视觉领域的研究热点。
2、现有的视频目标跟踪方法通常采用检测与跟踪相结合的框架。该框架首先利用深度学习目标检测网络获取当前视频帧中的候选目标边界框,然后利用跟踪算法进行跨帧的目标关联。在关联阶段,常采用卡尔曼滤波对目标的运动状态进行线性估计,并结合匈牙利算法进行全局匹配;或者引入额外的深度外观特征提取网络提取目标的表观特征,通过计算特征余弦距离来辅助目标关联。当目标在当前帧未被检测到时,部分系统会立即判定目标丢失并重新遍历整幅图像进行全局搜索。
3、然而,现有的高精度跟踪算法因计算开销过大而难以在资源受限的边缘设备上部署,而现有的轻量级算法在目标遭遇遮挡或漏检时又极易发生误关联或输出中断,无法满足对连续、平滑轨迹数据的跟踪需求。
技术实现思路
1、本技术提供了一种基于双摄像头的目标自动搜索与连续跟踪方法及系统,该方法有效解决现有技术中高精度算法计算开销过大与轻量级算法鲁棒性不足的问题。
2、第一方面,本技术提供了一种基于双摄像头的目标自动搜索与连续跟踪方法,应用于边缘计算设备中,方法包括:获取双摄像头采集的主视频帧和副视频帧,将主视频帧确定为主画面,将副视频帧确定为副画面;若处于未建立跟踪目标的搜索状态,则获取主画面中的候选目标框,并自动锁定符合预设锁定规则的候选目标框作为初始目标框,进入跟踪状态;若当前处于跟踪状态,则根据上一帧目标框位置及历史运动速度预测当前帧的预测框;在获取到当前帧的候选目标框时,根据预测框与候选目标框的多维匹配特征确定最佳候选框;若最佳候选框满足预设关联条件,则以最佳候选框更新当前目标框位置及历史运动速度,维持跟踪状态,并将连续未关联成功次数清零;若最佳候选框不满足预设关联条件,或当前帧未获取到候选目标框,则使当前目标框按历史运动速度外推以执行惯性保持,并累加连续未关联成功次数;当连续未关联成功次数超出预设丢失阈值时,清除跟踪状态并重新进入搜索状态;在跟踪状态或惯性保持期间,基于当前目标框的位置、主画面以及副画面生成显示画面。
3、通过采用上述技术方案,在搜索状态下,无需人工指定即可根据预设锁定规则自动锁定符合条件的候选目标框作为初始目标框;进入跟踪状态后,根据上一帧目标框位置及历史运动速度预测当前帧的预测框,并结合预测框与候选目标框的多维匹配特征确定最佳候选框,当最佳候选框满足预设关联条件时,以最佳候选框更新当前目标框位置及历史运动速度并将连续未关联成功次数清零,保证了轨迹的平滑性;当最佳候选框不满足预设关联条件时,使当前目标框按历史运动速度外推以执行惯性保持,有效应对了短暂遮挡或漏检情况;只有当连续未关联成功次数超出预设丢失阈值时才清除跟踪状态并重新进入搜索状态,实现了从局部跟踪到全局搜索的平滑过渡;在跟踪状态或惯性保持期间基于当前目标框位置、主画面以及副画面生成显示画面,为用户提供了直观的双视角跟踪效果反馈。
4、可选的,若处于未建立跟踪目标的搜索状态,则获取主画面中的候选目标框,并自动锁定符合预设锁定规则的候选目标框作为初始目标框,进入跟踪状态,具体包括:获取系统当前运行状态,若系统当前运行状态为刚初始化,则确定当前处于未建立跟踪目标的搜索状态;将主画面基于目标检测模型的输入尺寸进行等比例缩放,并在空余区域进行补边填充和颜色空间转换,得到预处理图像;将预处理图像输入目标检测模型进行推理,并对目标检测模型的输出进行类别置信度计算和非极大值抑制处理,得到当前帧的候选目标框集合;在预设倒计时结束后,计算候选目标框集合中各个候选目标框的中心与主画面中心之间的欧式距离;从候选目标框集合中筛选出位于主画面中心预设半径区域内的候选目标框,并将其中欧式距离最小的候选目标框锁定为初始目标框,进入跟踪状态,并将历史运动速度初始化为零。
5、通过采用上述技术方案,保证了目标检测模型的推理精度不受输入图像尺寸变化的影响;将预处理图像输入目标检测模型进行推理并对输出进行类别置信度计算和非极大值抑制处理,有效过滤了低置信度检测框和重复检测框,得到高质量的候选目标框集合;避免了系统启动初期画面不稳定导致的误锁定;从候选目标框集合中筛选出位于主画面中心预设半径区域内的候选目标框并将其中欧式距离最小的候选目标框锁定为初始目标框,实现了对用户关注区域目标的优先锁定,符合实际应用中用户通常将感兴趣目标置于画面中心的操作习惯。
6、可选的,若当前处于跟踪状态,则根据上一帧目标框位置及历史运动速度预测当前帧的预测框,具体包括:获取上一帧目标框的中心点坐标、宽度和高度,并获取历史运动速度在水平方向和垂直方向的分速度;根据上一帧目标框的中心点坐标、分速度以及相邻帧间的时间间隔,计算当前帧的预测中心点坐标;将上一帧目标框的宽度和高度,分别确定为当前帧的预测宽度和预测高度;基于预测中心点坐标、预测宽度以及预测高度,构建得到当前帧的预测框。
7、通过采用上述技术方案,充分利用了目标的运动连续性特征,相比传统方法仅依赖上一帧位置进行预测,通过历史运动速度的水平和垂直分量,能够更准确地反映目标的实际运动趋势,有效应对目标的匀速或近似匀速运动场景;这种将历史运动速度分解为水平和垂直分速度并结合时间间隔进行预测的方式,在保证预测精度的同时显著降低了计算复杂度,使得算法能够在资源受限的边缘设备上实现实时运行,满足了低延迟跟踪的应用需求。
8、可选的,在获取到当前帧的候选目标框时,根据预测框与候选目标框的多维匹配特征确定最佳候选框,具体包括:计算预测框与各个候选目标框之间的交并比,得到交并比匹配特征;计算预测框的中心与各个候选目标框的中心之间的中心距离,得到中心距离匹配特征;计算预测框的面积与各个候选目标框的面积之间的尺寸相似度,得到尺寸相似度匹配特征;从获取到的候选目标框中,筛选出中心距离小于预设最大搜索距离的候选目标框,得到待选目标框;根据交并比匹配特征、中心距离匹配特征以及尺寸相似度匹配特征,计算各个待选目标框的综合关联评分;将综合关联评分最高的待选目标框确定为最佳候选框。
9、通过采用上述技术方案,相比现有技术仅依赖单一交并比进行匹配,通过融合交并比匹配特征、中心距离匹配特征以及尺寸相似度匹配特征三个维度的信息,能够更全面地刻画预测框与候选目标框之间的相似性,有效避免了单一特征在目标部分遮挡或形变情况下的匹配失效问题,提高了复杂场景下的关联准确性,使得边缘设备在无需引入额外深度特征提取网络的情况下即可实现可靠的目标关联。
10、可选的,若最佳候选框满足预设关联条件,则以最佳候选框更新当前目标框位置及历史运动速度,维持跟踪状态,具体包括:若最佳候选框的综合关联评分大于预设关联阈值,则判定最佳候选框满足预设关联条件,并将当前目标框的位置更新为最佳候选框的位置;计算最佳候选框的中心与上一帧目标框的中心之间的位移向量;若位移向量的模长大于预设位移阈值,则对位移向量进行限幅处理;若位移向量的模长达到预设异常阈值,则将历史运动速度清零;若尺寸相似度匹配特征满足预设面积相似度门槛,且位移向量未达到预设异常阈值,则根据当前计算或限幅后的位移向量以及相邻帧间的时间间隔,计算得到当前帧的瞬时速度;基于当前帧的瞬时速度以及上一帧的历史运动速度,通过预设平滑衰减公式更新当前的历史运动速度,并维持跟踪状态。
11、通过采用上述技术方案,有效抑制了目标检测抖动或误匹配导致的轨迹突变,保证了输出轨迹的平滑性;避免了极端异常情况下错误速度信息的累积传播,通过平滑衰减公式能够更灵活地平衡响应速度与抗噪能力,使得跟踪系统既能快速响应目标运动变化又能有效滤除检测噪声,在维持跟踪状态的同时输出稳定连续的运动轨迹。
12、可选的,若最佳候选框不满足预设关联条件,或当前帧未获取到候选目标框,则使当前目标框按历史运动速度外推以执行惯性保持,并累加连续未关联成功次数,具体包括:若最佳候选框的综合关联评分小于或等于预设关联阈值,则判定最佳候选框不满足预设关联条件;当判定最佳候选框不满足预设关联条件,或当前帧未获取到候选目标框时,获取上一帧目标框的中心点坐标以及当前的历史运动速度;根据上一帧目标框的中心点坐标、当前的历史运动速度以及相邻帧间的时间间隔,计算得到当前帧的外推中心点坐标;将上一帧目标框的宽度和高度,分别确定为当前帧的外推宽度和外推高度;基于外推中心点坐标、外推宽度以及外推高度,构建得到惯性保持下的当前目标框位置,并对连续未关联成功次数进行加一;根据预设速度衰减系数对当前的历史运动速度进行衰减更新,以作为下一帧的历史运动速度。
13、通过采用上述技术方案,触发惯性保持而非立即判定目标丢失,有效应对了目标短暂遮挡、漏检或检测质量下降等实际场景中的常见问题,确保了即使在检测失败期间系统仍能输出连续的跟踪结果,避免了轨迹中断;根据预设速度衰减系数对当前的历史运动速度进行衰减更新以作为下一帧的历史运动速度,体现了对运动不确定性的合理建模,相比固定速度外推,逐步降低历史速度的影响权重,防止在长时间检测失败时外推位置偏离过大,提高了惯性保持的可靠性。
14、可选的,基于当前目标框的位置、主画面以及副画面生成显示画面,具体包括:在主画面中,基于当前目标框的位置叠加目标锁定框,并在主画面的中心位置叠加中心准星标识,得到融合主画面;在融合主画面中叠加当前状态标签,其中,若处于跟踪状态,则当前状态标签为跟踪状态标签,若处于惯性保持期间,则当前状态标签为惯性保持状态标签;对副画面进行等比例缩放处理,得到缩放副画面;将缩放副画面作为画中画区域嵌入至融合主画面的预设角落区域,生成显示画面。
15、通过采用上述技术方案,实现了跟踪目标位置与画面中心基准的同步可视化,便于用户直观判断目标相对于画面中心的偏移情况,使用户能够实时了解系统的工作状态,对副画面进行等比例缩放处理得到缩放副画面,并将缩放副画面作为画中画区域嵌入至融合主画面的预设角落区域生成显示画面,充分利用了双摄像头的优势提供多视角信息,使用户在关注主画面跟踪效果的同时能够通过副画面获取更广阔的环境信息或不同角度的目标观察视角。
16、在本技术的第二方面提供了一种基于双摄像头的目标自动搜索与连续跟踪系统,系统位于边缘计算设备中,系统还包括获取单元、第一处理单元、第二处理单元以及输出单元,获取单元,获取双摄像头采集的主视频帧和副视频帧,将主视频帧确定为主画面,将副视频帧确定为副画面;第一处理单元,若处于未建立跟踪目标的搜索状态,则获取主画面中的候选目标框,并自动锁定符合预设锁定规则的候选目标框作为初始目标框,进入跟踪状态;若当前处于跟踪状态,则根据上一帧目标框位置及历史运动速度预测当前帧的预测框;在获取到当前帧的候选目标框时,根据预测框与候选目标框的多维匹配特征确定最佳候选框;第二处理单元,若最佳候选框满足预设关联条件,则以最佳候选框更新当前目标框位置及历史运动速度,维持跟踪状态,并将连续未关联成功次数清零;若最佳候选框不满足预设关联条件,或当前帧未获取到候选目标框,则使当前目标框按历史运动速度外推以执行惯性保持,并累加连续未关联成功次数;当连续未关联成功次数超出预设丢失阈值时,清除跟踪状态并重新进入搜索状态;输出单元,在跟踪状态或惯性保持期间,基于当前目标框的位置、主画面以及副画面生成显示画面。
17、在本技术第三方面提供一种电子设备,电子设备包括处理器、存储器、用户接口及网络接口,存储器用于存储指令,用户接口和网络接口用于与其他设备通信,处理器用于执行存储器中存储的指令,使得一种电子设备执行如本技术上述中任意一项的方法。
18、在本技术第四方面提供一种计算机可读存储介质,计算机可读存储介质存储有指令,当指令被执行时,执行本技术上述中任意一项的方法。
19、综上,本技术实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:
20、1、在搜索状态下,无需人工指定即可根据预设锁定规则自动锁定符合条件的候选目标框作为初始目标框;进入跟踪状态后,根据上一帧目标框位置及历史运动速度预测当前帧的预测框,并结合预测框与候选目标框的多维匹配特征确定最佳候选框,当最佳候选框满足预设关联条件时,以最佳候选框更新当前目标框位置及历史运动速度并将连续未关联成功次数清零,保证了轨迹的平滑性;当最佳候选框不满足预设关联条件时,使当前目标框按历史运动速度外推以执行惯性保持,有效应对了短暂遮挡或漏检情况;只有当连续未关联成功次数超出预设丢失阈值时才清除跟踪状态并重新进入搜索状态,实现了从局部跟踪到全局搜索的平滑过渡;在跟踪状态或惯性保持期间基于当前目标框位置、主画面以及副画面生成显示画面,为用户提供了直观的双视角跟踪效果反馈。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com