一种基于视角可信度的目标接续跟踪方法与流程
本发明涉及图像处理,具体为一种基于视角可信度的目标接续跟踪方法。
背景技术:
1、跨相机多目标跟踪主要用于在大范围监控场景下确定同一目标在不同视场之间的连续运动轨迹。现有方案通常依赖单相机的二维目标检测结果,结合二维边界框空间重叠度计算以及外观重识别特征相似度完成跨相机的数据关联。
2、然而,在大范围复杂监控场景中,密集人群引起的严重视觉遮挡导致目标外观特征受到混淆污染;同时,监控立杆受物理环境影响产生晃动以及光学镜头焦距变动,导致预设标定参数发生动态偏移与几何重投影失准;加之相邻相机边缘交接区域的观测质量呈现离散突变。由于上述多种不利因素的叠加影响,现有技术存在的核心技术问题是:在多相机观测条件动态恶化与时空投影偏差下,跨相机目标关联判决失真,导致目标在相邻相机视场交接时发生频繁跳变或跟踪轨迹断裂丢失。
3、为此,提出一种基于视角可信度的目标接续跟踪方法。
技术实现思路
1、本发明的目的在于提供一种基于视角可信度的目标接续跟踪方法,通过构建全局三维鸟瞰图空间的体素辐射场,利用沿相机光心的射线步进积分计算未被遮挡的射线可视通量以量化视角可信度,结合在线光束平差对相机内外参矩阵进行动态补偿,并构建融合视角可信度与时空几何关联的时空接续超图,利用连续能量梯度的贝叶斯信念传播确定最佳移交切换点,以解决在多相机观测条件动态恶化与时空投影偏差下,跨相机目标关联判决失真导致目标在相邻相机视场交接时发生频繁跳变或跟踪轨迹断裂丢失的问题。
2、为实现上述目的,本发明提供如下技术方案:一种基于视角可信度的目标接续跟踪方法,包括:对多路相机采集的视频流进行特征提取,将提取的图像特征映射至全局三维鸟瞰图空间的体素占据网格,结合深度估计确定各体素的占据概率。
3、沿相机的光心至各体素中心进行射线步进积分,根据所述占据概率计算未被遮挡的射线可视通量作为对应相机的视角可信度,并基于所述视角可信度进行跨视角融合,生成三维空间一致性概率。
4、基于相邻帧间的静态特征锚点构建重投影误差,采用在线光束平差实时修正相机的内外参矩阵;根据各时序帧中体素的占据状态提取三维目标并生成候选目标轨迹,基于修正后的内外参矩阵构建多相机间的时空几何关联。
5、以所述候选目标轨迹为顶点、所述时空几何关联为超边构建时空接续超图,将所述视角可信度作为先验参数输入所述时空接续超图,通过贝叶斯信念传播计算结合几何能量与特征能量的时空能量函数,并在相机重合观测区域内根据能量梯度的极值点确定目标在相机间的切换时刻,完成跨相机的目标接续跟踪。
6、优选的,结合深度估计确定各体素的所述占据概率,包括:对多路相机采集的视频流进行单目深度估计,得到各相机像平面上各像素点的离散深度概率分布;根据相机的内外参矩阵将体素占据网格中各体素中心的物方三维坐标投影至各相机的像平面,确定各体素中心在对应相机像平面上的投影像素坐标;依据各体素中心相对相机光心的物理距离,在对应投影像素坐标的离散深度概率分布中匹配深度置信度值,并将所述深度置信度值作为对应相机视角的单视角体素占据概率。
7、优选的,结合深度估计确定各体素的占据概率,还包括:获取各体素中心在像平面对应投影像素坐标处的图像特征置信度;将所述单视角体素占据概率与所述图像特征置信度进行加权融合,计算得到单视角下的加权占据概率;将多路相机视角下针对同一体素中心计算得到的加权占据概率进行跨视角的贝叶斯累加更新,生成体素占据网格中各体素的占据概率。
8、优选的,根据所述占据概率计算未被遮挡的射线可视通量作为对应相机的视角可信度,包括:以相机的光心为起点、以待测体素中心为终点确定三维视线路径,并沿所述三维视线路径按预设步长进行离散采样,确定多个采样体素点;根据各采样体素点处的占据概率确定对应路径位置的消光系数,沿所述三维视线路径对全部采样体素点处的消光系数执行步进累加积分,计算从相机的光心到达待测体素中心的路径穿透透光率;获取待测体素中心在像平面投影像素位置处的图像特征置信度,计算所述路径穿透透光率与所述图像特征置信度的乘积,将所得乘积作为待测体素在对应相机视角下的射线可视通量,表征对应相机的视角可信度。
9、优选的,生成所述三维空间一致性概率,包括:判断三维空间中待测体素中心是否落入多个相机的重叠视场范围内;在待测体素中心落入多个相机的重叠视场范围内的情况下,提取各相机针对所述待测体素中心分别计算得到的视角可信度;对全部能够观测到所述待测体素中心的相机对应的视角可信度执行连乘计算,得到跨多相机视角联合观测下的净可视通量;将所述净可视通量映射至预设的归一化概率区间内,生成三维空间一致性概率。
10、优选的,基于修正后的内外参矩阵构建多相机间的所述时空几何关联,包括:根据修正后的内外参矩阵,计算各相机在全局三维鸟瞰图空间内的视场多边形,并确定相邻相机之间视场多边形相交构成的相机重合观测区域;提取各候选目标轨迹在当前滑动时间窗口内的三维运动状态,根据所述三维运动状态外推各候选目标轨迹进入相机重合观测区域的进入时刻与空间交点坐标;根据修正后的内外参矩阵将所述空间交点坐标分别重投影至相邻各相机的像平面,计算重投影位置的视差残差与几何共线性误差;将满足预设几何共线性约束的相邻相机与对应候选目标轨迹进行三维几何对齐,生成时空几何关联。
11、优选的,在相机重合观测区域内根据能量梯度的极值点确定目标在相机间的所述切换时刻,包括:在候选目标轨迹穿越相机重合观测区域的过程中,通过时空接续超图的贝叶斯信念传播节点更新机制,在连续时间轴上对当前观测相机与接续目标相机的时空能量函数执行一阶时间微分计算,得到时空能量函数的一阶时间导数曲线。
12、根据所述一阶时间导数曲线检测能量变化率的反转位置,提取时空能量函数在相机重合观测区域内数值达到局域极大值的拐点位置,将所述拐点位置确定为能量梯度的极值点。
13、提取所述极值点在连续时间轴上所对应的具体时序采样时间戳,将所述时序采样时间戳判定为目标在当前观测相机与接续目标相机之间的平滑移交触发点,并将该平滑移交触发点作为目标在相机间的切换时刻。
14、与现有技术相比,本发明的有益效果为:1、通过基于全局三维鸟瞰图空间构建体素占据网格,沿相机光心至体素中心进行射线步进积分,结合路径消光系数与特征置信度计算未被遮挡的射线可视通量以作为视角可信度,并融合生成三维空间一致性概率;该过程将二维图像特征投影至三维鸟瞰图空间并执行视线路径上的消光积分计算,使得各相机视线上的遮挡状态被射线可视通量显式量化,从而在跨视角融合时能够依据视角可信度区分遮挡区域与可见区域,进而避免二维边界框重叠对外观特征造成的混淆干扰,解决了密集遮挡下平面重叠导致的目标辨识歧义问题。
15、2、通过基于相邻帧间的静态特征锚点构建重投影误差函数,采用在线光束平差实时修正相机的内外参矩阵,并基于修正后的内外参矩阵构建多相机间的时空几何关联;该过程利用在线光束平差对连续帧间静态特征锚点的重投影误差进行实时优化,使得立杆物理晃动或光学焦距变化带来的内外参动态漂移得到即时补偿,从而使得后续根据修正后的内外参矩阵计算视场多边形、重投影视差残差及共线性误差时保持三维几何基准稳定,进而避免了静态参数失效引起的跨相机空间投影偏差,保证了跨相机空间几何映射的一致性。
16、3、通过构建以候选目标轨迹为顶点、时空几何关联为超边的时空接续超图,将视角可信度作为先验参数输入,通过贝叶斯信念传播计算结合几何能量与特征能量的时空能量函数,并在重合观测区域内根据能量梯度的极值点确定切换时刻;该过程将离散的硬阈值切换转换为连续时空能量函数在时间轴上的一阶时间微分计算,使得超图中的贝叶斯信念传播能够动态跟踪目标在不同相机下的观测概率演化过程,从而将能量梯度的极值拐点直接作为平滑移交的触发点,进而消除了相邻相机交接区域的硬性切变,抑制了目标在相邻相机间频繁跳变与跟踪轨迹断裂丢失。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com