用于分离相机的双系统光学对准的制作方法

技术特征：
1.一种计算机系统，被配置为使由物理安装到所述计算机系统的集成相机生成的图像与由从所述计算机系统物理卸载的分离相机生成的图像对准和稳定，所述计算机系统包括：一个或多个处理器；以及一个或多个计算机可读硬件存储设备，其存储由所述一个或多个处理器能执行以使得所述计算机系统至少用于以下操作的指令：使用所述集成相机来生成第一图像；使用所述第一图像来确定所述计算机系统的第一姿态；确定所述第一图像的第一时间戳；获取由所述分离相机生成的第二图像；使所述第二图像与所述第一图像对准；通过基于所述对准将所述第二图像覆盖到所述第一图像上来生成覆盖图像；识别在所述计算机系统在当前时间戳处的当前姿态与使用在所述第一时间戳处的所述第一图像而确定的所述第一姿态之间的姿态差异；将后期重投影(lsr)应用于所述覆盖图像，以变换所述覆盖图像中的像素，以考虑在与所述当前时间戳相关联的所述当前姿态和与所述第一时间戳相关联的所述第一姿态之间识别的所述姿态差异；以及在将所述lsr应用到所述覆盖图像之后，显示所述覆盖图像。2.根据权利要求1所述的计算机系统，其中，所述指令的执行还使得所述计算机系统确定所述集成相机和所述分离相机正在不同的时域中操作。3.根据权利要求2所述的计算机系统，其中，所述集成相机与90hz刷新率结合操作以用于显示内容，并且所述分离相机与30hz刷新率结合操作以用于显示内容。4.根据权利要求1所述的计算机系统，其中，使所述第二图像与所述第一图像对准是通过识别在所述第二图像与所述第一图像之间的图像对应来执行的。5.根据权利要求1所述的计算机系统，其中，使所述第二图像与所述第一图像对准是通过以下操作来执行的：尝试识别在所述第二图像与所述第一图像之间的图像对应；确定所述第二图像和所述第一图像中的一幅或者这两幅图像缺乏足够量的纹理以便识别所述图像对应；使用所述计算机系统的第一惯性测量单元(imu)来估计所述计算机系统的imu估计姿态；使用所述分离相机的第二imu来估计所述分离相机的imu估计姿态；以及通过使所述计算机系统的所述imu估计姿态与所述分离相机的所述imu估计姿态对准来使所述第二图像与所述第一图像对准。6.根据权利要求1所述的计算机系统，其中，使所述第二图像与所述第一图像对准是在不依赖于与所述第二图像相关联的时间戳的情况下执行的。7.根据权利要求1所述的计算机系统，其中，使所述第二图像与所述第一图像对准是通过以下操作来执行的：识别在所述第二图像与所述第一图像之间的图像对应；以及
基于所识别的图像对应，将所述对应适配到运动模型，使得所述第二图像被投影到所述第一图像上。8.根据权利要求7所述的计算机系统，其中，所述运动模型是旋转运动模型。9.根据权利要求7所述的计算机系统，其中，所述运动模型是相似性变换模型，所述相似性变换模型被配置为允许：(i)所述第一图像或所述第二图像的旋转，(ii)所述第一图像或所述第二图像的缩放，或者(iii)所述第一图像或所述第二图像的单应变换。10.根据权利要求1所述的计算机系统，其中，所述集成相机是从包括可见光相机、微光相机或热成像相机的相机组中选择的一个相机，并且其中，所述分离相机也是从所述相机组中选择的一个相机。11.一种用于使由物理安装到计算机系统的集成相机生成的图像与由从所述计算机系统物理卸载的分离相机生成的图像对准和稳定的方法，所述方法包括：使用所述集成相机来生成第一图像；使用所述第一图像来确定所述计算机系统的第一姿态；确定所述第一图像的第一时间戳；获取由所述分离相机生成的第二图像；使所述第二图像与所述第一图像对准；通过基于所述对准将所述第二图像覆盖到所述第一图像上来生成覆盖图像；识别在所述计算机系统在当前时间戳处的当前姿态与使用在所述第一时间戳处的所述第一图像确定的所述第一姿态之间的姿态差异；将后期重投影(lsr)应用于所述覆盖图像，以变换所述覆盖图像中的像素，以考虑在与所述当前时间戳相关联的所述当前姿态和与所述第一时间戳相关联的所述第一姿态之间识别的所述姿态差异；以及在将所述lsr应用到所述覆盖图像之后，显示所述覆盖图像。12.根据权利要求11所述的方法，其中，所述计算机系统是由用户佩戴的头戴式设备(hmd)，并且其中，所述分离相机被定向为使得所述分离相机的视场(fov)至少部分地与所述集成相机的fov重叠。13.根据权利要求11所述的方法，其中，所述第一图像是可见光图像、微光图像或热图像中的一幅图像，并且其中，所述第二图像是所述可见光图像、所述微光图像或所述热图像中的不同图像。14.根据权利要求11所述的方法，其中，所述第一图像的所述第一时间戳不同于所述第二图像的第二时间戳。15.根据权利要求14所述的方法，其中，所述第一时间戳和所述第二时间戳两者都不同于所述当前时间戳。

技术总结
在本文中公开了用于生成图像的经改进的技术。第一图像由集成相机生成。基于所述图像来确定计算机系统的姿态，并且确定时间戳。分离相机生成第二图像。所述第二图像与所述第一图像对准。通过基于所述对准将所述第二图像覆盖到所述第一图像上来生成覆盖图像。然后，识别在所述计算机的当前姿态与初始姿态之间的姿态差异。因此，对所述覆盖图像执行后期重投影(LSR)以考虑所述姿态差异。然后显示经LSR校正的覆盖图像。正的覆盖图像。正的覆盖图像。


技术研发人员：M
受保护的技术使用者：微软技术许可有限责任公司
技术研发日：2021.03.23
技术公布日：2023/2/13