一种自适应防抖的手持云台全息显示控制系统的制作方法

本发明涉及全息显示控制，具体为一种自适应防抖的手持云台全息显示控制系统。

背景技术：

1、手持云台全息显示控制系统是结合机械防抖机构与三维空间成像组件的硬件平台，在实际应用场景中，全息显示面板搭载于三轴电机末端，设备内部集成的图像采集模块负责实时捕捉用户人眼的物理观测坐标。

2、为了呈现具有纵深感的三维图像，控制系统需要获取人眼在绝对空间中的位置参数，结合全息光栅的物理衍射常数实时更新视图渲染矩阵，当人员处于走动或者手部晃动状态时，手持云台控制器读取内部传感器数据计算姿态偏差，并驱动三轴电机反向输出补偿力矩，维持全息显示面板在绝对空间中的姿态恒定，保证图像透视关系对准观测视角。

3、目前现有控制方案在应对机械补偿动作与视觉追踪协同运行时，异构硬件之间缺乏底层时钟对齐机制，导致图像曝光采集时间戳与电机编码器读取时间戳存在错位，且未能统一构建空间刚体运动学参考坐标系，造成视觉追踪数据与机械防抖动作的时空匹配精度低。图像采集设备处理数据存在延迟帧数跨度，计算模块进行前馈运算并在控制周期循环中会产生坐标数据的累积漂移偏差，破坏了防抖运行状态下的渲染视点准确性；同时控制系统仅锁定绝对空间姿态，缺少针对全息显示面板局部法线与视线向量相对夹角的闭环监控，当人员观测位置偏离面板正视方向并超出衍射视区物理边界阈值时，设备无法输出目标姿态偏移向量驱动电机执行姿态追随动作，导致观测者脱离全息光学覆盖范围而丢失三维画面。

4、鉴于此，本发明的目的是提供一种自适应防抖的手持云台全息显示控制系统，以解决现有技术中存在的不足。

技术实现思路

1、针对现有技术的不足，本发明提供了一种自适应防抖的手持云台全息显示控制系统，解决了现有手持云台全息显示控制系统中视觉追踪与机械防抖动作时空匹配精度低、坐标数据存在累积漂移偏差导致渲染视点不准确，以及缺少闭环监控导致观测者脱离全息光学覆盖范围而丢失三维画面的问题。

2、为实现以上目的，本发明通过以下技术方案予以实现：

3、一种自适应防抖的手持云台全息显示控制系统，包括：

4、时空标定模块，用于对齐通信连接的全息显示面板、手持云台控制器与图像采集设备的时间戳，并结合物理参数建立空间刚体运动学参考坐标系；

5、视点重构模块，用于在所述空间刚体运动学参考坐标系下解算瞬时偏转矢量，并基于所述瞬时偏转矢量执行空间逆变换解算人眼相对空间预测坐标；

6、数据滤波模块，用于根据所述时间戳提取时间延迟参数，通过离散卡尔曼滤波器计算后验人眼空间坐标；

7、伺服闭环模块，用于基于所述后验人眼空间坐标计算相对空间夹角，并在所述相对空间夹角大于或等于设定的全息有效衍射视区物理边界阈值时，输出目标姿态偏移向量至所述手持云台控制器。

8、优选的，所述时空标定模块对齐通信连接的全息显示面板、手持云台控制器与图像采集设备的时间戳，包括：

9、所述时空标定模块基于通信连接的所述全息显示面板的底层显示控制器发出的垂直同步信号激活硬件中断触发机制；

10、所述时空标定模块向所述手持云台控制器发出第一硬件中断指令，将所述手持云台控制器读取三轴电机编码器在当前指令时刻的绝对角度数值并进行锁存而分配的第一全局帧序号标记作为读取所述三轴电机编码器数据的时间戳；

11、所述时空标定模块向所述图像采集设备发出第二硬件中断指令，将所述图像采集设备执行图像曝光采集的第二全局帧序号标记作为执行图像曝光采集的时间戳，将所述第一全局帧序号标记与所述第二全局帧序号标记进行数值绑定。

12、时空标定模块向图像采集设备发出第二硬件中断指令，将图像采集设备执行图像曝光采集的第二全局帧序号标记作为执行图像曝光采集的时间戳，将第一全局帧序号标记与第二全局帧序号标记进行数值绑定。

13、时空标定模块建立以底层显示控制器为主时钟的时间域基准网络，检测垂直同步信号的电平状态变化激活外部事件触发逻辑，图像采集设备响应第二硬件中断指令启动曝光控制序列，时空标定模块通过在系统内存堆栈中将第一全局帧序号标记与第二全局帧序号标记进行数值绑定建立时序映射关系，完成异构硬件间的时间戳对齐操作。

14、优选的，所述时空标定模块结合物理参数建立空间刚体运动学参考坐标系，包括：

15、所述时空标定模块提取手持云台的俯仰轴、横滚轴与偏航轴之间的空间平移偏置向量构成云台机械旋转中心物理参数，获取通信连接的所述全息显示面板的安装偏移量、三维旋转偏差角以及全息显示面板光心法线参数；

16、所述时空标定模块将所述云台机械旋转中心物理参数与所述安装偏移量进行矩阵相加生成静态平移齐次矩阵，将所述三维旋转偏差角转化为静态旋转齐次矩阵，并将所述静态平移齐次矩阵与所述静态旋转齐次矩阵相乘，计算得到传递矩阵；

17、所述时空标定模块利用所述传递矩阵与所述全息显示面板光心法线参数构建静态刚体变换方程并进行相乘运算，建立所述空间刚体运动学参考坐标系。

18、时空标定模块在手持云台内部建立多级物理参考坐标系，通过读取手持云台控制器内部非易失性存储器中预先烧录的机械结构图纸参数提取空间平移偏置向量，静态刚体变换方程的计算逻辑为将三轴电机的空间平移偏置向量与安装偏移量进行矩阵相加生成静态平移齐次矩阵，结合三维旋转偏差角转化的静态旋转齐次矩阵，通过静态平移齐次矩阵与静态旋转齐次矩阵相乘计算得到传递矩阵。传递矩阵在系统运行期间保持常数状态存留于系统内存中。

19、优选的，所述视点重构模块在所述空间刚体运动学参考坐标系下解算瞬时偏转矢量，包括：

20、所述视点重构模块调取当前时间戳下锁存的所述三轴电机编码器的绝对角度数值与上一帧时间戳下锁存的绝对角度数值进行差分计算，生成瞬态转角积分增量数据；

21、所述视点重构模块将所述瞬态转角积分增量数据代入三维空间旋转方程生成全局旋转变换矩阵；

22、所述视点重构模块利用所述全局旋转变换矩阵、所述传递矩阵以及初始全局法线向量进行矩阵连乘运算完成运动学正解运算，解算出所述全息显示面板在全局绝对空间中的所述瞬时偏转矢量。

23、在三轴电机执行防抖补偿动作的微秒级控制周期内，视点重构模块通过高速串行外设接口总线高频轮询三轴电机内部的编码器硬件寄存器。运动学正解运算的具体执行逻辑为将全局旋转变换矩阵、传递矩阵与全息显示面板出厂标定的初始全局法线向量依次相乘。解算得出的瞬时偏转矢量表征防抖机械动作发生瞬间全息显示面板物理光心在空间中的实际指向向量。

24、优选的，所述视点重构模块基于所述瞬时偏转矢量执行空间逆变换解算人眼相对空间预测坐标，包括：

25、所述视点重构模块从系统内存缓冲区中读取带有最新时间戳标记且已完成所述空间刚体运动学参考坐标系对齐的、由所述图像采集设备获取的人眼实际观测坐标；

26、所述视点重构模块针对所述全局旋转变换矩阵执行矩阵转置操作生成逆向相对旋转矩阵；

27、所述视点重构模块将所述逆向相对旋转矩阵与所述人眼实际观测坐标进行矩阵相乘运算，执行物理坐标系的空间逆变换解算出所述人眼相对空间预测坐标，将所述人眼相对空间预测坐标传送至图形处理单元。

28、视点重构模块在数学模型上设定用户头部在当前微秒级防抖控制周期内处于相对静止状态，由于全局旋转变换矩阵属于正交矩阵，视点重构模块通过矩阵转置操作完成求逆运算生成逆向相对旋转矩阵，空间逆变换计算逻辑为将逆向相对旋转矩阵与人眼实际观测坐标相乘，解算出延迟盲区时间内人眼相对于发生物理偏转的全息显示面板的三维相对空间位置。

29、优选的，所述图形处理单元利用所述人眼相对空间预测坐标对当前渲染周期的全息视图矩阵执行偏移量叠加计算，包括：

30、所述图形处理单元在底层显示驱动中开启晚期绑定直写通道，通过所述晚期绑定直写通道从独立显存地址空间中异步调取所述人眼相对空间预测坐标；

31、所述图形处理单元提取所述人眼相对空间预测坐标在三个空间直角坐标轴上的数值分量构造三维平移变换矩阵；

32、所述图形处理单元将所述三维平移变换矩阵与基准全息视图矩阵进行乘法叠加计算，生成更新后的当前渲染周期的全息视图矩阵。

33、晚期绑定直写通道通过修改图形驱动层的指令缓冲提交机制，绕过应用层图形接口模块，将图形处理单元内部的着色器运算单元直接连通至独立显存地址空间。图形处理单元在三维顶点坐标计算任务提交光栅化的临界时刻读取基准全息视图矩阵，将人眼相对空间预测坐标的数值分量按序写入对角线元素为数值一的四阶齐次矩阵构造三维平移变换矩阵。系统通过矩阵乘法叠加计算使输出的图像透视关系与发生位移的光学器件产生物理透视对齐。

34、优选的，所述数据滤波模块根据所述时间戳提取时间延迟参数，包括：

35、所述数据滤波模块从系统数据通信队列中异步读取带有时序标记的、由所述图像采集设备打包生成数据结构体并输出的人眼实际观测坐标；

36、所述数据滤波模块读取所述第一全局帧序号标记，将所述第一全局帧序号标记减去所述人眼实际观测坐标数据结构体中携带的所述第二全局帧序号标记，计算得到硬件处理带来的延迟帧数跨度；

37、所述数据滤波模块将所述延迟帧数跨度与物理刷新周期时间常数进行乘法运算，计算出绝对时间维度上的所述时间延迟参数，将所述时间延迟参数作为时序标签写入所述人眼实际观测坐标的内存地址附加位。

38、图像采集设备运行内部固化的面部关键点分类器提取瞳孔中心二维像素坐标，结合基准瞳孔间距常数与相机物理参数，通过透视n点位姿估计算法逆向映射为三维深度坐标。图像采集设备利用传递矩阵将局部相机坐标系下的三维深度坐标统一转换至空间刚体运动学参考坐标系生成人眼实际观测坐标，连同全局帧序号标记进行内存对齐打包。

39、优选的，所述数据滤波模块通过离散卡尔曼滤波器计算后验人眼空间坐标，包括：

40、所述数据滤波模块将所述时间延迟参数代入所述离散卡尔曼滤波器的运动学微分方程中构造状态转移矩阵；

41、所述数据滤波模块将带有所述时序标签的人眼实际观测坐标作为系统观测输入项构建当前时间节点的观测向量，调取与所述时序标签严格对齐的历史时刻的所述人眼相对空间预测坐标输入所述状态转移矩阵中执行状态方程的先验数学递推，生成先验人眼空间状态估计向量；

42、所述数据滤波模块结合预设的测量噪声协方差矩阵与所述先验人眼空间状态估计向量的误差协方差矩阵计算获取卡尔曼增益矩阵，利用所述卡尔曼增益矩阵对所述观测向量与所述先验人眼空间状态估计向量之间的坐标残差数值进行滤波融合，计算出后验人眼空间状态估计向量，从所述后验人眼空间状态估计向量中提取更新后的三维位置分量，将所述三维位置分量转换为所述后验人眼空间坐标。

43、数据滤波模块在系统内存中实例化离散卡尔曼滤波器，将时间延迟参数作为时间步长物理变量代入运动学微分方程。状态转移矩阵表征用户人眼在绝对时间跨度内的匀速运动模型。卡尔曼滤波状态更新的计算逻辑为提取观测向量与先验人眼空间状态估计向量的坐标残差，乘以卡尔曼增益矩阵后与先验人眼空间状态估计向量相加。数据滤波模块利用后验人眼空间坐标替换计算缓存区中的静止参考基准点，清零系统当前的累积漂移偏差数值。

44、优选的，所述伺服闭环模块基于所述后验人眼空间坐标计算相对空间夹角，包括：

45、所述伺服闭环模块提取通信连接的所述全息显示面板的光心在所述空间刚体运动学参考坐标系下的绝对三维坐标以及全息显示面板局部法线，将所述后验人眼空间坐标减去所述全息显示面板的光心绝对三维坐标生成视线向量；

46、所述伺服闭环模块执行所述视线向量与所述全息显示面板局部法线的三维向量点乘运算，将三维向量点乘运算的结果除以所述视线向量的模长与所述全息显示面板局部法线的模长的乘积，通过反余弦函数解算出所述相对空间夹角。

47、全息显示面板的光心绝对三维坐标在系统初始化阶段基于传递矩阵的原点偏置分量解析确定。视线向量表征用户实际观看全息显示面板的视线在三维物理空间中的直线指向。相对空间夹角计算的运算逻辑为求解视线向量与全息显示面板局部法线的点积除以视线向量模长与全息显示面板局部法线模长乘积，利用反余弦函数解算人眼偏离全息显示面板正视法线方向的物理角度。

48、优选的，所述伺服闭环模块在所述相对空间夹角大于或等于设定的全息有效衍射视区物理边界阈值时，输出目标姿态偏移向量至所述手持云台控制器，包括：

49、当所述相对空间夹角的数值大于或等于所述全息有效衍射视区物理边界阈值时，所述伺服闭环模块提取所述相对空间夹角与所述全息有效衍射视区物理边界阈值之间的差值数据定义为越界角度误差；

50、所述伺服闭环模块将所述视线向量投影至所述全息显示面板的局部三维直角坐标系中，计算所述视线向量在水平投影面与垂直投影面上的物理投影夹角，将所述水平投影面上的物理投影夹角、所述垂直投影面上的物理投影夹角分别与所述相对空间夹角进行比值计算，分别提取水平方向的空间几何权重系数与垂直方向的空间几何权重系数；

51、所述伺服闭环模块将所述越界角度误差分别乘以所述水平方向的空间几何权重系数与所述垂直方向的空间几何权重系数，解算出俯仰轴补偿角度与偏航轴补偿角度构成的所述目标姿态偏移向量，将所述目标姿态偏移向量、预设的平滑衰减系数与当前绝对空间目标设定值进行矢量叠加计算，生成更新后的绝对空间目标设定值写入所述手持云台控制器。

52、伺服闭环模块读取全息有效衍射视区物理边界阈值判断人眼是否脱离有效成像空间，绝对空间目标设定值覆写更新的运算逻辑为将当前绝对空间目标设定值加上平滑衰减系数与目标姿态偏移向量的乘积，平滑衰减系数限制防抖动作的单次最大角加速度，手持云台控制器依据控制偏差输出脉宽调制信号驱动三轴电机执行姿态追随动作，促使相对空间夹角缩小回落至全息有效衍射视区物理边界阈值范围内。

53、本发明提供了一种自适应防抖的手持云台全息显示控制系统。具备以下有益效果：

54、1、本发明通过设置时空标定模块，利用全息显示面板底层显示控制器发出的垂直同步信号激活硬件中断触发机制，将手持云台控制器读取三轴电机编码器数据的时间戳与图像采集设备执行图像曝光采集的时间戳进行对齐，能够消除异构硬件之间的数据运算时差，统一空间刚体运动学参考坐标系，提升了手持云台全息显示控制系统中视觉追踪与机械防抖动作的时空匹配精度。

55、2、本发明通过设置数据滤波模块，计算硬件处理带来的延迟帧数跨度从而提取时间延迟参数，将带有时序标签的人眼实际观测坐标代入卡尔曼滤波器计算获取后验人眼空间坐标，利用运算得出的后验人眼空间坐标替换计算缓存区中的静止参考基准点，能够清零系统在控制周期循环中产生的累积漂移偏差数值，保障了手持云台全息显示控制系统在高频防抖运行状态下的渲染视点准确性。

56、3、本发明通过设置伺服闭环模块，计算视线向量与全息显示面板局部法线间的相对空间夹角，当相对空间夹角超出全息有效衍射视区物理边界阈值时，解算目标姿态偏移向量并写入手持云台控制器，通过覆写绝对空间目标设定值驱动三轴电机执行姿态追随动作，主动迫使相对空间夹角缩小并回落，在维持全息光学有效视区覆盖人眼范围的前提下，实现了手持云台的自适应防抖闭环控制。