一种基于追踪相机的场地场景表示构建与复用方法及系统与流程

摘要: 本技术涉及计算机视觉与视频处理,尤其涉及一种基于追踪相机的场地场景表示构建与复用方法及系统。背景技术:1、在体育比赛转播与视频分析场景中,常由单台光心基本固定、...
一种基于追踪相机的场地场景表示构建与复用方法及系统与流程

本技术涉及计算机视觉与视频处理,尤其涉及一种基于追踪相机的场地场景表示构建与复用方法及系统。

背景技术:

1、在体育比赛转播与视频分析场景中,常由单台光心基本固定、以转动、俯仰及变焦为主的追踪相机(如 ptz 相机)拍摄比赛视频。追踪相机指光心固定且发生转动和/或变焦的单台相机,其光心基本固定,通过转动、俯仰及变焦跟随拍摄对象持续拍摄;例如,固定在三脚架上以转动、俯仰和变焦跟随比赛画面的 ptz 相机。光心指镜头的光学中心,光心固定指光心基本固定,相机主要发生转动、俯仰及变焦,允许存在不改变方向坐标系组织方式的微小位移;例如,三脚架微动或云台回差引起的毫米级光心偏移仍视为光心固定。为了在原视频上叠加场地标线、生成俯视实景图或进行三维比赛回放,需要把不同时间看到的静态背景与场地像素对齐到统一的空间参考中,并将实拍信息与标准场地结构关联起来。

2、一类现有方案将 ptz 相机的视频处理建模为在线同时定位与建图(slam)问题,以转动角、俯仰角和焦距参数化相机,用光线作为地标以规避纯旋转无深度的问题,并维护用于失锁重定位的关键帧描述子库。这类方案的地图仅服务于位姿估计与重定位:不维护与地标地图平行的持久纹理层,无法回答某一方向上已确认看到了什么颜色;对地标的剔除策略不区分地标暂时不可见与地标不存在,镜头移开或被运动员遮挡期间的处理容易导致地标状态被错误更新;也不涉及与标准场地结构的离线配准及标线叠加、俯视纹理、比赛回放等复用链路。

3、另一类现有方案利用标准场地模型做相机标定,检测场线像素、枚举模型线与候选线的对应并求解单应矩阵,再以标线像素覆盖率评价匹配。这类方案逐帧独立估计图像与场地模型之间的对应关系,不跨帧积累任何持久场景表示,每一帧都要重新检测场线、重新求解,既无法利用历史观测补全被遮挡区域,也无法支撑低成本的比赛回放复用。

4、还有一类方案采用离线标定与在线重定位的两阶段架构,离线阶段对相机参数进行自标定,在线阶段将新视角作为重定位问题求解;但其对齐真实世界坐标依赖人工二维—三维标注,且不构建纹理持久层、不做颜色确认与可信度维护。全景拼接类技术则只做外观层面的拼合,不维护地标身份与可信度状态,也不与标准场地结构建立可复用的几何映射。

5、可见,在镜头往复扫描与运动员等动态前景反复遮挡的环境下,如何构建身份稳定、外观可信的持久场景表示,如何将持久场景表示与标准场地结构先验对齐为可复用的统一几何映射,以及如何使场地信息的逐帧复用低成本且时间一致,是现有技术未能很好解决的问题。

技术实现思路

1、本技术提供了一种基于追踪相机的场地场景表示构建与复用方法及系统,用以解决以下技术问题:在镜头往复扫描与动态遮挡环境下,如何构建身份稳定、外观可信的持久场景表示,即区分地标暂时不可见与地标不存在,并使背景纹理在前景反复遮挡下不被污染;如何将单目纯转动相机分时观测到的碎片化场景信息,与标准场地结构先验对齐为可复用的统一几何映射,即在证据不完整、存在遮挡与未知区域时稳健完成场地配准;以及如何使场地信息的逐帧复用低成本且时间一致,即重的几何拟合离线完成、逐帧仅做投影,历史展示与实际扫描的时间顺序一致。为此,本技术将分时观测统一表示为以光心为原点的方向坐标系中的观察方向,并行维护稀疏地标地图与方向纹理图集两套持久表示,并结合标准场地结构先验离线拟合固化为固定映射。

2、在本技术的第一方面,提供了一种基于追踪相机的场地场景表示构建与复用方法,包括:s1,获取追踪相机拍摄场地的视频帧序列及各帧的动态区域掩码;s2,基于静态区域的图像特征关联,估计各帧的相机姿态,所述相机姿态包括姿态角和变焦参数;s3,根据相机姿态将各视频帧的观测转换为以光心为原点的方向坐标系下的观察方向,并维护包括稀疏地标地图和方向纹理图集的持久场景表示,其中:对每一地标,记录其方向及独立于跟踪缓存长期保留的身份标识,维护可信度状态,仅在满足可观测条件且召回检查未命中时记录未命中证据;对未确认的纹素,逆投影至当前帧在掩码指示为静态的位置采样颜色,执行一致性累积,支持计数达到确认次数时冻结其颜色并记录时间标识;s4,利用标准场地结构模型对基于所述表示提取的场地标线证据进行几何拟合,求解场地平面坐标系与方向坐标系的映射参数并固化为固定映射;s5,基于所述固定映射复用所述表示:将场地标线按各帧相机姿态投影叠加至视频帧,并将纹素颜色映射至场地平面生成实景纹理。

3、在一种可能的实施方式中,所述 s2 包括:对关键帧提取特征描述子并与已建立的参考帧或历史视角进行匹配,对关键帧之间的中间帧采用光流推进相机姿态;当视频帧的匹配质量统计满足预设接受条件时接受所述视频帧的相机姿态,所述预设接受条件包括匹配内点数、内点比例、内点分布覆盖和中位重投影误差中的至少两项;当相机姿态未被接受时,暂停所述稀疏地标地图的可信度更新和所述方向纹理图集的写入,并利用历史视角进行重定位。如此,地标证据与纹理写入只在姿态可信时进行,失锁后可利用历史视角恢复。

4、在一种可能的实施方式中,所述可信度状态包括命中计数和未命中计数;地标被有效命中时,所述命中计数增加;被记录未命中证据时,所述未命中计数增加;所述可信度状态的可信度由所述命中计数与所述未命中计数之间的比值关系确定;当地标的有效命中次数达到预设命中次数且可信度不低于预设确认阈值时,将所述地标标记为已确认地标,已确认地标在其可信度下降时不被删除。如此,确认具有粘性,地标不会因短期遮挡导致可信度下降而被误删。

5、在一种可能的实施方式中,所述可信度状态以 beta 分布参数(α, β)表示;所述命中计数对应参数 α、所述未命中计数对应参数 β,初始为 α=1、β=1;地标被有效命中时 α增加 1,被记录未命中证据时 β 增加 1,所述可信度为 α/(α+β)。如此,确认与失效判据均可由参数直接导出。

6、在一种可能的实施方式中,所述可信度状态按观察条件分组维护,所述观察条件包括观察方向和变焦参数;对可信度状态的更新和判定在对应分组内进行。如此,同一地标在不同观察条件下的可检测性差异互不干扰。

7、在一种可能的实施方式中,对未确认地标,当其累计未命中证据次数不低于预设次数、当前分组的可信度低于第一阈值且各分组的最优可信度低于第二阈值时,将所述未确认地标标记为逻辑失效;逻辑失效的地标保留其记录,但从活动查询候选中移除。如此,逻辑失效与物理删除相分离,既不误删,也保留可审计的历史记录。

8、在一种可能的实施方式中,所述可观测条件包括:当前视频帧的相机姿态已通过接受校验、当前动态区域掩码为最新生成、已完成对所述地标的召回检查、所述地标按当前相机姿态的投影位于图像有效区域内、且所述投影位置的足迹区域未被所述动态区域掩码遮挡。如此,仅在确证地标本应可见时才记录未命中,镜头移开、被遮挡等情形不会被误当作地标不存在。

9、在一种可能的实施方式中,所述 s3 还包括:将所述方向坐标系按预设角宽度划分为网格并维护稀疏网格索引;在查询地标时,先根据当前相机姿态的视野范围粗选所述网格索引覆盖的候选地标,再对候选地标执行投影位置、有效区域和遮挡状态的校验。如此,以二级检索降低持久地标地图的查询成本。

10、在一种可能的实施方式中,所述逆投影至当前帧采样颜色包括:将当前视频帧的取样带区域的两侧边界和中轴分别逆投影至所述方向坐标系,确定候选纹素范围;对所述动态区域掩码执行腐蚀操作,仅当纹素投影位置的最近邻像素在腐蚀后的动态区域掩码中有效时,在所述投影位置按双线性插值采样颜色。如此,防止遮挡边缘的颜色经插值渗入纹理。

11、在一种可能的实施方式中,所述时间标识为源视频帧号;所述一致性累积包括:当新采样颜色 v 与已累积颜色 c 的各通道最大差值不超过预设颜色阈值 t 且支持计数 n>0 时,按 c←(n·c+v)/(n+1) 更新已累积颜色并将支持计数增加 1;当新采样颜色与所述纹素的已累积颜色之间的差异超过预设颜色阈值时,重置所述纹素的支持计数和已累积颜色;所述确认次数为 k 次;拒绝时间标识不递增的颜色更新;持久化保存时先写入临时文件再原子替换目标文件,重载后继续执行未确认纹素的累积。如此,重复或乱序的帧不会虚增支持计数,纹理构建可断点续建。

12、在一种可能的实施方式中,所述 s5 中,将场地标线按各帧相机姿态投影叠加至视频帧包括:将所述标准场地结构模型的标线经所述固定映射预先转换为方向光线并缓存;逐帧按照当前视频帧的相机姿态将缓存的所述方向光线投影至当前视频帧。如此,标线几何的转换集中在初始化阶段一次完成,逐帧叠加仅为投影运算,成本低至可实时。

13、在一种可能的实施方式中,所述 s4 中,所述映射参数包括场地平面相对于所述相机的位置参数和旋转参数;所述几何拟合的目标函数包括:正向项,为标准场地结构模型的标线采样点到所述场地标线证据的距离场的加权距离;反向项,为所述场地标线证据的样本点到所述标线采样点投影位置的平均距离;以及覆盖约束项,为当所述标线采样点落入有效观测区域的加权比例低于预设比例时施加的惩罚。如此,在证据不完整、存在未知区域的积累全景上仍能稳健配准,防止模型只匹配少量证据或把标线移出观测区以逃避误差。

14、在一种可能的实施方式中,还包括:获取场地的类型、标线颜色或尺寸的先验信息;在所述先验信息的约束下,联合优化场地的长度、宽度与所述映射参数,其中以所述标准场地结构模型中的预设参考尺寸固定整体尺度。如此,消除单目纯转动观测下的尺度自由度,使场地尺寸的联合细化有确定解。

15、在一种可能的实施方式中,还包括:将所述标准场地结构模型的标线与基于所述持久场景表示提取的实拍标线分别转换为像素分布,通过平滑控制网格估计两种像素分布之间的局部位移场,所述局部位移场的估计目标包括双向距离、平滑约束和位移幅度约束;以所述局部位移场所确定映射的雅可比行列式下限和留出样本的距离指标对所述局部位移场进行校验;将校验通过的局部位移场同步施加于所述实景纹理和人物在场地平面上的根位置。如此,在消除局部残差的同时防止场地折叠,并保持人与场地的空间对应。

16、在一种可能的实施方式中,所述方向纹理图集中的纹素颜色经多次一致性采样确认后被冻结,并记录指示确认时刻的时间标识;还包括:在按时间顺序展示扫描过程时,对已冻结的纹素,仅当展示帧对应的时刻不早于所述纹素记录的时间标识所指示的确认时刻时,显示所述纹素的颜色;所述实景纹理中未达到预设确认条件的区域以透明方式标识。如此,后确认的颜色不会提前出现,未知区域也不会被误当作黑色地面。

17、在一种可能的实施方式中,还包括对各视频帧的相机姿态进行接受校验;当视频帧的相机姿态未通过接受校验时,跳过所述视频帧的场地标线叠加。如此,避免在姿态不可信的帧上绘制错误标线。

18、基于相同的发明构思,在本技术的第二方面,提供了一种基于追踪相机的场地场景表示构建与复用系统,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现本技术第一方面或其任一可能的实施方式所述的方法。

19、基于相同的发明构思,在本技术的第三方面,提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现本技术第一方面或其任一可能的实施方式所述的方法。

20、本技术的技术方案,将分时观测统一表示为以光心为原点的方向坐标系中的观察方向,并行维护稀疏地标地图与方向纹理图集两套持久表示:地标地图以条件门控的未命中证据机制区分暂时不可见与不存在,纹理图集以一致性累积、确认冻结与时间标识机制抵抗遮挡污染并支持断点续建;在此之上,以标准场地结构先验对积累后的全景证据做带覆盖约束的离线几何拟合,固化为固定映射后逐帧轻量复用。与现有技术相比,本技术能够在镜头往复扫描与动态遮挡环境下构建身份稳定、外观可信的持久场景表示;在证据不完整时仍能稳健完成场地配准;标线叠加与实景纹理生成无需逐帧重检测、重拟合,成本低至可实时;且扫描过程的历史展示与实际确认时间一致。