一种基于双目视觉里程计的XR虚拟摄制无标识相机位姿标定系统及方法

本发明属于xr虚拟摄制、双目视觉里程计、无标识相机跟踪和虚实融合直播，具体涉及一种基于双目视觉里程计的xr虚拟摄制无标识相机位姿标定系统及方法，尤其涉及一种将双目视觉里程计、特征检测匹配、三角测量、pnp/ba位姿估计和镜头焦距非线性映射与xr虚拟摄制、实时直播、虚实融合或虚拟预演场景结合的工程化方案。

背景技术：

1、随着数字技术和新型数码产品的发展，图像处理、计算机图形学和实时交互技术在影视剧特效、晚会直播、电商直播和虚拟发布会中得到广泛应用。虚实画面实时渲染融合要求真实场景与虚拟场景在空间位置、时间同步、光照风格和输出帧率上保持一致。

2、在实际应用中，系统以数字化展示技术为基础，研发基于双目视觉的ar直播平台系统，围绕虚实画面实时渲染融合、摄像机实时跟踪、绿幕背景下前景实时抠像、动态渲染、动作捕捉、虚拟预演自动布景、虚实交互、角色实时生成和三维模型资产库构建等共性技术，形成实时直播与虚拟预演全流程解决方案。

3、xr直播和虚拟摄制需要真实摄像机与虚拟摄像机在空间位置、姿态、焦距和畸变方面保持一致。传统机械跟踪或标记点跟踪容易受到布设成本、遮挡、焦距变化和拍摄范围限制影响，难以满足大范围演播室或发布会场景下实时虚实融合的需要。

4、现有系统往往只解决单一环节，例如只完成相机跟踪、只完成抠像或只完成渲染，缺少把真实拍摄、算法处理、虚拟场景和应用案例连接起来的完整技术链路。因此，需要围绕xr虚拟摄制实际工程需求提炼系统、方法和实施例。

5、本发明中，xr为extended reality，即扩展现实；ar为augmented reality，即增强现实；vo为visual odometry，即视觉里程计；pnp为perspective-n-point，即透视n点位姿求解；ba为bundle adjustment，即光束法平差；fov为field of view，即视场角；bce为binary cross entropy，即二分类交叉熵。

技术实现思路

1、本发明的目的在于提供一种面向xr虚拟摄制的无标识相机位姿标定系统及方法，使真实摄像机在不依赖外置标识点的情况下，能够通过双目图像、自然特征、镜头读数和虚拟摄像机参数实现稳定跟踪和同步输出。

2、为实现上述目的，本发明采集左右目图像、镜头焦距环读数和渲染时间戳，依次执行立体校正、superpoint学习型特征提取、lightglue自适应匹配、动态前景抑制、双目三角测量、pnp求解、局部ba优化和焦距非线性映射。

3、superpoint用于在舞台结构、固定道具、背景纹理和非绿幕区域提取可重复关键点，并输出关键点置信度；lightglue用于根据上下文和几何一致性自适应筛选左右目或相邻帧匹配，减少绿幕低纹理和演员遮挡造成的错误匹配。

4、pnp和局部ba用于将学习型匹配结果转化为真实相机位姿。系统先通过双目三角测量恢复空间点，再由pnp获得初始位姿，最后通过滑动窗口ba降低重投影误差；低置信匹配点在优化中降低权重。

5、镜头焦距非线性映射模块用于将真实焦距环读数转换为虚拟摄像机视场角。系统记录焦距读数、真实焦距、传感器有效宽度和虚拟视场角之间的映射关系，在推拉焦过程中同步更新虚拟摄像机参数。

6、本发明的输入接口包括左右目图像、镜头读数、相机时间戳、渲染帧号和场景结构标签；输出接口包括真实相机位姿、虚拟摄像机视场角、重投影误差、匹配内点率、位姿置信度和轨迹归档记录。

7、本发明适用于演播室、产品发布会、影视片场和直播空间的无标识xr摄制。对于绿幕低纹理区域，系统降低特征权重；对于演员或临时道具遮挡区域，系统通过动态前景抑制和鲁棒ba降低其影响；对于焦距变化场景，系统优先保证真实镜头与虚拟视场同步。

8、通过上述技术方案，本发明解决了外置标识布设复杂、传统特征匹配易退化、焦距变化导致虚实透视不一致和异常轨迹难以复核的问题，形成面向xr虚拟摄制的无标识相机位姿标定链路。

9、sampson误差复核模块为本发明设置的几何一致性校核模块。superpoint和lightglue输出学习型关键点及匹配置信度后，系统不直接将全部高置信匹配送入pnp，而是先利用极线约束和sampson误差筛除外观相似但不满足双目几何关系的匹配点，从而降低绿幕低纹理、演员遮挡和临时道具运动造成的误定位风险。

10、动态前景抑制模块用于区分可长期用于定位的静态结构特征和仅用于画面合成的动态主体特征。系统根据绿幕前景蒙版、光流一致性、匹配稳定性和区域标签降低演员、车辆、工作人员或可移动道具特征的权重，使pnp和局部ba主要依赖舞台结构、固定道具和背景纹理。

11、fov同步模块用于解决推拉焦导致的虚实透视不一致问题。系统将焦距环读数或镜头编码器读数映射为真实焦距、畸变参数和虚拟摄像机fov，并与实时位姿一同写入渲染引擎；当重投影误差、有效匹配点数量、焦距映射残差或位姿置信度不满足阈值时，系统进入短时预测、上一帧保持、局部地图切换或人工复核分支。

1.一种基于双目视觉里程计的xr虚拟摄制无标识相机位姿标定系统，其特征在于，包括双目图像采集与时间同步单元、superpoint学习型特征提取单元、lightglue自适应特征匹配单元、动态前景抑制单元、双目三角测量与pnp/ba位姿估计单元、镜头焦距非线性映射单元、虚拟摄像机同步单元以及轨迹复核归档单元；所述系统以左右目图像、镜头读数、时间戳和渲染帧号为输入，输出真实摄像机位姿、虚拟摄像机视场角、重投影误差、位姿置信度和归档轨迹；其中：

2.根据权利要求1所述的系统，其特征在于，所述superpoint学习型特征提取单元对舞台结构、固定道具、背景纹理和非绿幕区域提取关键点、描述子和关键点置信度，并对绿幕低纹理区域和动态前景区域降低特征权重。

3.根据权利要求1所述的系统，其特征在于，所述lightglue自适应特征匹配单元根据左右目图像或相邻帧图像的关键点描述子、匹配置信度和几何一致性生成匹配集合，并对低置信匹配执行早停、筛除或降权处理。

4.根据权利要求1所述的系统，其特征在于，所述动态前景抑制单元结合光流一致性、语义区域、绿幕前景蒙版和特征稳定性评分剔除或降权演员、工作人员、移动车辆或可移动道具形成的动态特征点，使pnp和局部ba优先采用舞台结构、固定道具和背景纹理中的静态特征点。

5.根据权利要求1所述的系统，其特征在于，所述双目三角测量与pnp/ba位姿估计单元利用极线约束、视差深度恢复、pnp求解和滑动窗口ba优化得到相机位姿，其中，视差深度恢复基于双目焦距、双目基线和匹配点视差得到空间点深度。

6.根据权利要求1所述的系统，其特征在于，所述镜头焦距非线性映射单元将焦距环读数或镜头编码器读数映射为真实焦距、畸变参数和虚拟视场角，并在推拉焦过程中将真实焦距、畸变参数和虚拟视场角与真实相机位姿一同写入渲染引擎。

7.根据权利要求1所述的系统，其特征在于，所述虚拟摄像机同步单元根据真实相机位姿、真实焦距和渲染时间戳更新虚拟摄像机位姿和视场角；当有效匹配点数量低于阈值、重投影误差超过阈值、动态点比例过高、漂移量过大或虚拟视场角与真实视场角的残差超过阈值时，采用短时预测、上一帧保持、重新匹配、局部地图切换或人工复核。

8.根据权利要求1所述的系统，其特征在于，所述系统可融合陀螺仪定位、激光测量定位或机械跟踪数据作为辅助约束，但双目视觉里程计输出构成系统的必要位姿输入。

9.根据权利要求1所述的系统，其特征在于，所述轨迹复核归档单元保存关键帧图像、匹配点数量、重投影误差、焦距参数、位姿置信度、异常段、局部地图版本、模型版本和人工复核记录，并将复核通过的轨迹用于更新局部地图或标定先验。

10.一种利用权利要求1至9任一项所述系统的xr虚拟摄制无标识相机位姿标定方法，其特征在于，包括：s10、采集左右目图像、镜头读数、时间戳和渲染帧号；s20、通过superpoint提取稳定特征；s30、通过lightglue匹配左右目及相邻帧特征，并通过极线约束和sampson误差筛选内点；s40、根据动态前景抑制结果和特征质量权重剔除或降权动态特征；s50、进行三角测量、pnp和局部ba优化得到真实相机位姿及重投影误差；s60、根据焦距非线性映射结果同步虚拟摄像机位姿和视场角，并输出位姿置信度和轨迹档案。