一种基于AR技术的视频透视系统的制作方法

一种基于ar技术的视频透视系统
技术领域
1.本发明涉及增强现实技术领域，尤其涉及一种基于ar技术的视频透视系统。


背景技术：

2.目前，头戴式ar设备主要有两种显示方式：视频透视式(video see-through)和光学透视式(optical see-through)。透视式指ar设备使用半透明镜片，人眼可直接透过镜片看到外部的现实景象。视频透视式指将摄像头采集到的图像与叠加的信息叠加后以视频或图像流的方式在虚像屏幕上显示，虚像屏幕显示图像与人眼直接看到的现实画面不重合，即虚实不重合。光学透视式指通过光学原理和设备将增强的信息直接叠加在人眼透过镜片看到的现实画面中的相应位置上，屏幕上只显示增强的信息。后者不存在虚实不重合的问题，但对硬件设备及软件技术的要求非常高。对于视频透视式ar设备而言，由于虚实不重合产生的重影会对用户造成视觉干扰。
3.此外，传统的视频透视式显示方式中，由于现实场景的画面是跟随ar设备的移动而改变的，而虚拟图像则是不变的，因此，在ar设备移动后，容易造成虚拟图像在屏幕中的位置与原位置不符，影响用户的体验。


技术实现要素：

4.有鉴于此，本发明所要解决的技术问题是：提供一种基于ar技术的视频透视系统，能够增强ar设备在现实状态中的定位准确性，增强虚拟图像在现实图像中的显示效果，提高用户体验。
5.为解决上述技术问题，本发明的技术方案是：
6.一种基于ar技术的视频透视系统，包括双目相机、imu传感器、处理器、存储器和显示器，所述双目相机、所述imu传感器、所述存储器和所述显示器分别与所述处理器电连接；
7.所述双目相机，用于获取当前现实状态中的现实图像；
8.所述imu传感器，用于获取imu测量数据，并发送至所述处理器；
9.所述存储器，用于存储所述处理器调用的可执行指令、进行显示的虚拟图像以及所述处理器处理和生成的各项数据；
10.所述处理器包括图像特征提取模块、imu预处理模块、位姿计算模块、透视投影坐标获取模块、显示坐标获取模块、叠加及显示模块。
11.优选的，所述imu测量数据包括角速度值和加速度值。
12.优选的，所述图像特征提取模块，用于接收所述现实图像，并确定关键帧图像，提取所述关键帧图像内的特征点信息。
13.优选的，所述图像特征提取模块与所述位姿计算模块电连接，所述位姿计算模块对所述特征点信息进行计算，生成第一位姿信息。
14.优选的所述imu传感器与所述imu预处理模块电连接；
15.所述imu预处理模块，用于对所述imu测量数据进行积分，获取第二位姿信息。
16.优选的，还包括距离传感器，所述距离传感器与所述处理器电连接；
17.所述距离传感器，用于对双目相机与当前现实状态中的物体之间确定相对距离。
18.采用了上述技术方案后，本发明的有益效果是：
19.本发明中，公开了基于ar技术的视频透视系统，包括双目相机、imu传感器、处理器、存储器和显示器，双目相机、imu传感器、存储器和显示器分别与处理器电连接；双目相机用于获取当前现实状态中的现实图像；imu传感器用于获取imu测量数据，并发送至处理器；存储器用于存储处理器调用的可执行指令、进行显示的虚拟图像以及处理器处理和生成的各项数据；处理器包括图像特征提取模块、imu预处理模块、位姿计算模块、透视投影坐标获取模块、显示坐标获取模块、叠加及显示模块。在本发明中，通过根据双目相机获取的现实图像确定的第一位姿信息与根据imu传感器获取的imu测量数据确定的第二位姿信息，进行卡尔曼融合，依据融合后得到的位姿信息，生成坐标系，改变了原来单纯通过现实图像进行坐标系确定的方式，通过与imu测量数据进行融合后确认，增强了坐标系的准确性和稳定性，增强了虚拟图像在现实图像中的显示效果，防止虚拟图像在屏幕中的位置与原位置不符，出现漂移情况，提高了用户的体验。
附图说明
20.下面结合附图和实施例对本发明进一步说明。
21.图1是本发明实施例的结构示意图；
22.图中：
23.1、双目相机；2、imu传感器；3、处理器；4、存储器；5、显示器；6、距离传感器。
具体实施方式
24.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
25.如图1所示，本发明包括双目相机1、imu传感器2、处理器3、存储器4和显示器5，双目相机1、imu传感器2、存储器4和显示器5分别与处理器3电连接。
26.在本发明中，双目相机1用于获取当前现实状态中的现实图像。
27.imu传感器2用于获取imu测量数据，并发送至处理器。
28.存储器4用于存储处理器3调用的可执行指令、进行显示的虚拟图像以及处理器3处理和生成的各项数据。
29.处理器3包括图像特征提取模块、imu预处理模块、位姿计算模块、透视投影坐标获取模块、显示坐标获取模块、叠加及显示模块。
30.在本发明中，通过根据双目相机1获取的现实图像确定的第一位姿信息与根据imu传感器2获取的imu测量数据确定的第二位姿信息，进行卡尔曼融合，依据融合后得到的位姿信息，生成坐标系，改变了原来单纯通过现实图像进行坐标系确定的方式，通过与imu测量数据进行融合后确认，增强了坐标系的准确性和稳定性，增强了虚拟图像在现实图像中的显示效果，防止虚拟图像在屏幕中的位置与原位置不符，出现漂移情况，提高了用户的体验。
31.在本发明中，imu测量数据包括角速度值和加速度值。
32.图像特征提取模块，用于接收现实图像，并确定关键帧图像，提取关键帧图像内的特征点信息。
33.图像特征提取模块与位姿计算模块电连接，位姿计算模块对特征点信息进行计算，生成第一位姿信息。
34.imu传感器2与imu预处理模块电连接，imu预处理模块，用于对imu测量数据进行积分，获取第二位姿信息。
35.本发明中，还包括距离传感器6，距离传感器6与处理器3电连接，距离传感器6用于对双目相机1与当前现实状态中的物体之间确定相对距离。
36.基于相对距离的改变，与现实图像中物体的尺寸变化，处理器3建立对应的尺寸变换关系，并依据尺寸变换关系，处理器3改变虚拟图像在显示器5上的尺寸大小，以适应现实图像的尺寸变化。
37.通过对相对距离和尺寸建立尺寸变换关系，改变虚拟图像在显示器5上的尺寸大小，能够让用户在靠近现实图像中的某一物体时，在本物体上的虚拟图像能够进行适应性改变大小，增强用户体验。
38.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。


技术特征：
1.一种基于ar技术的视频透视系统，其特征在于，包括双目相机、imu传感器、处理器、存储器和显示器，所述双目相机、所述imu传感器、所述存储器和所述显示器分别与所述处理器电连接；所述双目相机，用于获取当前现实状态中的现实图像；所述imu传感器，用于获取imu测量数据，并发送至所述处理器；所述存储器，用于存储所述处理器调用的可执行指令、进行显示的虚拟图像以及所述处理器处理和生成的各项数据；所述处理器包括图像特征提取模块、imu预处理模块、位姿计算模块、透视投影坐标获取模块、显示坐标获取模块、叠加及显示模块。2.如权利要求1所述的基于ar技术的视频透视系统，其特征在于，所述imu测量数据包括角速度值和加速度值。3.如权利要求1所述的基于ar技术的视频透视系统，其特征在于，所述图像特征提取模块，用于接收所述现实图像，并确定关键帧图像，提取所述关键帧图像内的特征点信息。4.如权利要求3所述的基于ar技术的视频透视系统，其特征在于，所述图像特征提取模块与所述位姿计算模块电连接，所述位姿计算模块对所述特征点信息进行计算，生成第一位姿信息。5.如权利要求1所述的基于ar技术的视频透视系统，其特征在于，所述imu传感器与所述imu预处理模块电连接；所述imu预处理模块，用于对所述imu测量数据进行积分，获取第二位姿信息。6.如权利要求1所述的基于ar技术的视频透视系统，其特征在于，还包括距离传感器，所述距离传感器与所述处理器电连接；所述距离传感器，用于对双目相机与当前现实状态中的物体之间确定相对距离。

技术总结
一种基于AR技术的视频透视系统，包括双目相机、IMU传感器、处理器、存储器和显示器，双目相机、IMU传感器、存储器和显示器分别与处理器电连接；双目相机，用于获取当前现实状态中的现实图像；IMU传感器，用于获取IMU测量数据，并发送至处理器；存储器，用于存储处理器调用的可执行指令、进行显示的虚拟图像以及处理器处理和生成的各项数据；处理器包括图像特征提取模块、IMU预处理模块、位姿计算模块、透视投影坐标获取模块、显示坐标获取模块、叠加及显示模块。本发明能够增强AR设备在现实状态中的定位准确性，增强虚拟图像在现实图像中的显示效果，提高用户体验。提高用户体验。提高用户体验。


技术研发人员：严小天 黄璐 刘浩然 刘剑 付丹阳
受保护的技术使用者：青岛虚拟现实研究院有限公司
技术研发日：2022.03.30
技术公布日：2022/7/12