一种基于北斗探针与VR眼镜融合的XR超大空间定位装置及方法与流程
本发明涉及虚拟现实空间位姿感知,具体为一种基于北斗探针与vr眼镜融合的xr超大空间定位装置及方法。
背景技术:
1、基于北斗探针与vr眼镜融合的xr超大空间定位是一个融合了前沿卫星导航与扩展现实(xr)技术的综合性定位概念,北斗探针本质上是一种卫星rtk(实时动态)终端设备,通过接收北斗卫星信号,并结合基准站的差分数据,能够消除电离层等环境干扰,vr眼镜即xr大空间体验中用户佩戴的头显设备,负责呈现高逼真的虚拟视听场景,当前现有技术公开了基于rtk与slam给元宇宙虚拟世界提供空间定位技术,申请号cn202511271042.3,该现有技术虽提及rtk与定位技术融合并对接vr/mr终端,但对比文件为硬件部署/连接描述含糊、实际适配车载集中式多用户部署、无单人可行方案的泛化vr/mr定位技术,同时现有技术公开了基于rtk与vio的元宇宙空间定位技术,申请号cn202510512725.7,该现有技术虽提及rtk卫星定位与惯性/视觉类定位技术的融合,但对比文件为无特定终端适配、硬件部署/连接描述宽泛、覆盖无人机/自动驾驶等多领域的通用型定位技术;
2、当前现有技术存在的缺陷如下:
3、单一北斗rtk定位数据稳定性差:北斗rtk固定解可实现厘米级地理定位,但受树木、建筑、隧道遮挡时会快速降级为浮动解、单点定位,输出坐标出现大幅跳变、毛刺,且卫星信号短时失锁后无位置递推能力,直接使用原始rtk坐标会造成vr虚拟场景剧烈漂移、画面闪烁,严重破坏视觉沉浸感;
4、纯vr空间定位存在长期累积漂移:vr头显依靠视觉/惯性空间跟踪输出相对局部坐标系三维位姿,短时间内位置平滑连续,但长时间行走、大范围移动后,视觉跟踪误差持续累积,虚拟坐标与真实地理位置逐渐偏移,无法独立完成长时户外地理定位;
5、简单加权平均融合无法适配异构传感器特性:现有简易融合方案仅对rtk、vr位置做固定权重加权平均,未区分两类传感器误差特性:rtk为全局绝对地理误差、vr为局部相对累积误差,且不区分rtk不同定位精度等级,遮挡、跳变时无法自动降低卫星定位权重,噪声会持续污染融合结果;
6、传统卡尔曼滤波未适配vr与rtk异构坐标体系:常规导航卡尔曼滤波仅针对惯性+卫星定位设计,大地坐标系与设备局部坐标系独立解算,缺少统一坐标归一化预处理流程,未将vr空间漂移误差纳入滤波状态向量,无法动态补偿vr长期累积偏移,同时无适配vr设备re-center重居中操作的滤波状态重置逻辑,vr坐标系复位后滤波模型失效;
7、滤波模型无自适应噪声调节机制:固定过程噪声、观测噪声协方差矩阵的传统滤波算法,无法根据rtk定位质量、人体运动剧烈程度动态调整置信度:高速行走、卫星遮挡场景下滤波收敛速度、平滑效果无法自适应调节,要么过度平滑导致位置滞后,要么跟踪噪声造成抖动;
8、多模块割裂,无闭环联动校正:现有位置融合算法与北向真北校准、地理-虚拟坐标锚点解算模块相互独立,滤波输出的最优位置无法反向迭代修正全局地理基准锚点,位置偏差会持续传导至真北角度计算链路,造成方位与位置双重偏移。
技术实现思路
1、本发明提供一种基于北斗探针与vr眼镜融合的xr超大空间定位装置及方法,可以有效解决上述背景技术中提出当前现有xr大空间定位成本高、精度低、覆盖范围有限、虚实融合适配性差的问题。
2、为实现上述目的,本发明提供如下技术方案:一种基于北斗探针与vr眼镜融合的xr超大空间定位装置,包括北斗卫星探针、vr眼镜和连接配件;
3、所述北斗卫星探针具备rtk功能,输出3hz频率的厘米级定位数据,且配备type-c接口;
4、所述vr眼镜具备鱼眼6dof定位能力及type-c otg功能,作为主机接收北斗卫星探针数据并提供供电;
5、所述连接配件采用type-c转接头适配两者接口,实现otg直连。
6、根据上述技术方案,所述北斗卫星探针采用具备rtk功能的北斗定位探针,支持北斗三号多频段信号接收,通过串口输出定位数据;
7、所述北斗卫星探针通过配备的type-c接口,直接与vr眼镜通过otg方式进行数据通信和电力传输。
8、根据上述技术方案,所述vr眼镜集成9轴传感器,输出高频率、高分辨率的相对空间位姿变化数据,支持usb type-c接口及otg功能,作为otg主机设备识别并接收外接北斗探针的数据,同时通过同一type-c接口为北斗卫星探针提供供电。
9、根据上述技术方案,所述连接配件采用type-c母对母转接头或type-c转usb-a转接头,适配北斗卫星探针与vr眼镜的type-c接口。
10、根据上述技术方案,所述北斗卫星探针与vr眼镜采用otg直连方式实现的通信连接时,无需特殊电路设计,即插即用,具体连接流程包括硬件连接、设备识别和数据传输;
11、硬件连接:将连接配件的type-c转接头一端插入vr眼镜的type-c接口,另一端连接北斗卫星探针的type-c接口,完成物理链路搭建;
12、设备识别:vr眼镜通过otg功能自动识别北斗卫星探针为串口设备,激活host模式,通过id引脚拉低电平确认主机角色,同时通过otg接口为北斗卫星探针提供供电;
13、数据传输:建立数据传输通道,传输速率达5gbps以上。
14、一种基于北斗探针与vr眼镜融合的xr超大空间定位方法,包括如下流程:
15、步骤s1,硬件连接与数据传输建立;
16、步骤s2,异构坐标统一归一化预处理;
17、步骤s3,扩展卡尔曼滤波融合计算;
18、步骤s4,虚实融合渲染与闭环联动校正;
19、所述s1,通过type-c转接头实现北斗卫星探针与vr眼镜的otg直连,建立数据传输与供电链路;
20、所述s2,将北斗卫星探针的cgcs2000坐标系数据转换为本地enu坐标系,与vr眼镜机体坐标系校准对齐;
21、所述s3,采用扩展卡尔曼滤波算法融合北斗厘米级定位数据与vr 6dof数据,输出连续定位结果;
22、所述s4,基于预设3d建筑长方体模型,结合融合定位数据实现虚实融合渲染。
23、根据上述技术方案,所述s1,建立北斗卫星探针与vr眼镜之间的硬件连接与数据传输通路,通过type-c转接头实现北斗卫星探针与vr眼镜的物理接口对接;
24、vr眼镜检测到otg设备接入后,自动激活otg主机模式,通过id引脚拉低确认主机角色分配,并同时通过otg接口向北斗卫星探针提供直流供电;
25、在供电建立后,usb数据通道随之激活,vr眼镜识别北斗卫星探针为标准串口设备并加载相应的通信驱动,随即建立数据传输通道。
26、根据上述技术方案,根据上述技术方案,所述s2,在滤波融合前完成异构坐标的统一归一化预处理,将两路异构定位数据转换为同一参照系下的标准化二维平面米级坐标;
27、具体处理步骤包括北斗rtk坐标转换、vr坐标提取和时间戳对齐;
28、北斗rtk坐标转换:北斗rtk大地坐标转局部东北平面坐标依托wgs84地球椭球模型与全局地理基准锚点,将实时rtk经纬度换算为以虚拟场景原点为基准的东向、北向米级平面坐标;
29、vr坐标提取:vr虚拟三维坐标提取平面分量提取vr主相机实时世界坐标,剥离竖直高度分量,仅保留水平面x、z轴向位移,结合全局真北偏移角完成旋转变换,映射至同一局部东北平面坐标系;
30、时间戳对齐:在完成转换后,rtk、vr输出统一为二维平面东、北向米级坐标;
31、在进入滤波融合前,通过精确的时间戳对齐机制,将rtk的3hz输出与vr的200hz输出在统一时间基准下进行插值同步。
32、根据上述技术方案,所述s3,具体流程如下:
33、s301,定制化扩展卡尔曼滤波状态向量与模型设计;
34、s302,完整扩展卡尔曼滤波迭代流程;
35、s303,四级分层容错降级控制策略;
36、s304,vr重居中操作配套滤波状态重置机制;
37、所述s301,针对vr相对跟踪+北斗绝对定位双源融合场景,设计六维状态向量,新增vr漂移补偿状态量,完整描述系统误差特征,包括状态向量定义、状态转移方程、双观测方程设计;
38、状态向量定义:状态向量包含东向位置、北向位置、东向运动速度、北向运动速度、vr东向漂移补偿量、vr北向漂移补偿量,完整表征实时平面位置、运动状态、vr长期累积偏移误差三类核心变量,滤波迭代过程中同步完成位置求解与漂移动态补偿;
39、状态转移方程:基于匀速运动模型构建,利用上一时刻最优位置和速度递推当前预测位置,同时引入vr漂移缓变假设,设定漂移量小幅缓慢变化,匹配vr视觉跟踪漂移缓慢累积的物理特性,实现无卫星信号时依靠vr数据短时位置递推;
40、双观测方程设计:设置两组独立观测通道,分别对应两类传感器输出:
41、北斗rtk观测通道:观测值为归一化后的东北平面绝对坐标;
42、vr空间跟踪观测通道:观测值为转换后的局部平面相对坐标;
43、所述s302,滤波单次迭代分为预测步与更新步两大阶段,每帧接收rtk、vr新数据后循环执行以下四个计算步骤:
44、s3021,状态预测步;
45、s3022,自适应观测噪声矩阵更新;
46、s3023,多源观测更新步;
47、s3024,输出最优融合平面坐标;
48、所述s3021,利用上一时刻最优状态估计与状态转移矩阵,推算当前时刻位置、速度、vr漂移的先验预测值,同步更新系统过程协方差矩阵,表征预测状态的不确定性;
49、所述s3022,根据前置采集的两类传感器质量指标动态修正观测噪声协方差矩阵:
50、依据rtk定位状态分级调整卫星观测噪声:高精度固定解噪声权重降低、置信度提升;
51、浮动解、单点定位噪声权重逐级放大,降低rtk对融合结果的影响,卫星完全失锁时关闭rtk观测通道;
52、通过vr相机相邻帧位移速度判定人体运动剧烈程度:低速行走、静止状态下提升vr观测置信度,强化位置平滑效果;
53、高速跑动、快速转头时放大vr观测噪声,降低相对跟踪权重,优先采信rtk绝对定位约束;
54、所述s3023,分别计算rtk、vr观测值与先验预测值的残差,结合自适应观测噪声求解卡尔曼增益;
55、利用增益修正先验状态,得到当前帧最优后验位置、速度、vr漂移补偿量;
56、同步更新后验协方差矩阵,完成单帧滤波融合;
57、所述s3024,将滤波输出的最优东北平面坐标,反向旋转变换映射回vr虚拟三维坐标系,输出平滑无跳变的虚拟空间位置,供给上层业务使用;
58、系统根据定位可信度评估模块输出的北斗可信度系数和vr可信度系数,建立动态可信度融合模型。通过实时计算各定位源可信程度,对北斗rtk绝对定位数据与vr空间相对定位数据进行自适应权重分配,使定位融合过程能够根据环境变化动态调整不同定位源的约束强度
59、首先,根据北斗定位质量评价参数和vr空间跟踪质量评价参数,分别得到第时刻北斗定位可信度系数:
60、
61、其中:
62、为第时刻北斗定位质量评价参数,包括rtk解算状态、卫星数量、pdop值、差分龄期以及定位连续性等参数;
63、为对应评价参数权重系数,满足:
64、
65、vr空间定位可信度系数表示为:
66、
67、其中:
68、为vr定位质量评价参数,包括视觉特征点数量、视觉跟踪状态、imu稳定程度以及运动状态等参数;
69、为对应评价参数权重系数,满足:
70、
71、根据上述两个可信度系数,建立动态融合权重模型:
72、
73、
74、其中:
75、为北斗rtk定位数据在第时刻的融合权重;
76、为vr定位数据在第时刻的融合权重;
77、为防止分母为零设置的极小正数。
78、并满足:
79、
80、根据动态融合权重,对两类异构定位数据进行融合计算,得到当前时刻融合位置:
81、
82、其中:
83、为融合后的空间位置;
84、为北斗rtk转换至统一坐标系后的绝对位置;
85、为vr空间定位模块输出的相对位置。
86、进一步,为使扩展卡尔曼滤波能够根据定位质量变化自动调整观测约束强度,将动态可信度结果引入观测噪声矩阵更新过程:
87、
88、其中:
89、为第时刻动态观测噪声矩阵;
90、为初始观测噪声矩阵;
91、为可信度调节系数。
92、当北斗rtk处于固定解状态且定位质量较高时,增大,使对应观测约束增强;当北斗信号受到遮挡导致定位质量下降时,自动降低,使滤波系统降低北斗数据影响;当vr视觉跟踪稳定时,提高,利用vr高频连续运动信息维持位置平滑输出。
93、通过上述动态可信度融合模型,使北斗rtk厘米级绝对定位能力与vr高频相对空间跟踪能力形成互补,提高复杂环境下xr超大空间定位的连续性和稳定性。
94、所述s303,设置四级分层滤波控制逻辑,具体如下:
95、一级模式对应rtk高精度固定解状态,双观测通道全开,rtk高置信度,滤波同步抑制vr漂移与卫星微小噪声,输出厘米级稳定位置;
96、二级模式对应rtk次高精度浮动解状态,rtk观测噪声放大,降低卫星定位权重,主要依靠vr保证位置平滑,缓慢收敛至真实地理坐标;
97、三级模式对应rtk低精度单点定位状态,大幅降低rtk置信度,仅将卫星定位作为弱约束,以vr相对跟踪为主;
98、四级模式对应北斗信号失锁或rtk无定位输出的场景,关闭rtk观测通道,仅依靠状态预测步基于vr位姿递推位置,短时间内维持画面稳定,待卫星信号恢复后自动切回双源融合模式,逐步修正累积偏移;
99、所述s304,vr设备执行re-center空间复位操作时,虚拟坐标系原点、轴向发生突变,vr观测基准失效,设置专用触发接口,检测到重居中指令后同步执行全套滤波重置逻辑,具体如下:
100、清空全部历史滤波状态、协方差矩阵、vr漂移补偿缓存;
101、同步重置地理基准锚点初始化标记,重新启动坐标归一化预处理;
102、等待下一组有效rtk高精度定位数据,重新初始化滤波状态向量,完成融合模型重启,保证重居中后快速恢复精准稳定的位置输出。
103、根据上述技术方案,所述s4,滤波输出的最优融合位置不单独输出,同步回传至前述真北角度校准、地理锚点解算模块,形成位置-方位双向闭环校正,具体如下:
104、将滤波平滑后的连续定位采样点送入航向解算逻辑,替代原始抖动rtk坐标;
105、利用最优融合位置求解虚拟坐标与地理换算坐标的偏差,渐进修正全局基准锚点经纬度,同步抑制位置映射误差与北向偏移误差。
106、与现有技术相比,本发明的有益效果:
107、1、通过北斗rtk与vr 6dof融合,实现厘米级定位精度,远超现有vr定位的亚米级精度及传统卫星定位的米级精度,覆盖范围从房间级扩展至城市级,且支持室内外无缝切换,在城市高楼遮挡场景下仍能保持稳定定位,无需部署昂贵基站,通过otg转接头实现北斗探针与vr眼镜的直连,整套设备成本控制在2-5万元,较专业级vr大空间定位方案成本降低90%以上,部署方式简单,即插即用,无需复杂校准,部署时间从数天缩短至数小时;
108、无需实时更新地理数据,降低场景搭建成本,快速将真实城市转换为元宇宙娱乐场所,虚拟内容与真实建筑精准对齐,结合多感官反馈,为用户提供沉浸式mr游玩体验,支持大型角色扮演、虚拟演唱会、沉浸式文旅的多种城市级娱乐场景,方案兼顾专业性与实用性,适配各类具备type-c otg功能的消费级vr眼镜,兼容性强,推动北斗测绘技术向消费级xr娱乐领域延伸,拓展元宇宙产业的应用边界,具备广阔的商业推广前景。
109、2、定位输出连续平滑,无跳变毛刺通过扩展卡尔曼滤波融合vr连续相对跟踪数据,完全抑制北斗rtk遮挡、噪声带来的坐标跳变,vr场景无闪烁、漂移,大幅提升户外vr视觉沉浸体验,兼顾全局地理精度与长期稳定性,北斗绝对定位持续约束vr累积漂移,滤波动态补偿vr跟踪偏移,长时间大范围行走作业下,融合位置始终贴合真实地理坐标,无持续性累积误差,复杂户外环境自适应能力强,四级容错降级策略适配露天开阔、城市峡谷、树木遮挡、短时无卫星信号的各类场景,无需人工切换工作模式,全时段维持有效定位输出;
110、响应速度与平滑度动态平衡,自适应噪声矩阵根据人体运动状态自动调节滤波收敛强度,静止/慢走时定位无滞后,高速运动时快速跟随真实位置,兼顾动态响应与降噪效果,适配vr设备原生交互逻辑,完整支持vr re-center重居中复位操作,坐标系重置后快速重新完成定位融合,不影响设备正常使用流程,一体化协同优化,降低整体系统误差,融合位置与真北角度校准模块双向联动校正,位置、方位误差相互抑制,整套vr-rtk定位定向系统综合精度显著优于位置、方位独立解算方案,而且现有技术中,无法计算出准确的真北交底,本技术可以实现。
111、综合上述,本发明实现专业测绘级北斗定位设备与消费级vr眼镜的低成本、便捷连接,无需复杂改装即可传输定位数据,且融合北斗rtk厘米级绝对定位与vr眼镜6dof相对定位,弥补单一定位方式的缺陷,实现城市级空间连续、高精度定位,同时无需实时更新城市地理数据的前提下,实现虚拟内容与真实建筑的精准对应,满足元宇宙娱乐场景的虚实融合需求;
112、通过定制化扩展卡尔曼滤波实现虚拟空间位置平滑、无跳变、低漂移解算,与真北角度校准系统联动,适用于户外实景vr测绘、实景巡检、野外实景导航、ar地理建模对空间位置连续性、定位精度同时具备高要求的场景。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com