基于缩略导航反解的视频裁剪显示与输入映射方法及系统与流程

摘要: 本发明涉及ar眼镜显示控制,尤其涉及一种基于缩略导航反解的视频裁剪显示与输入映射方法及系统。背景技术:1、ar眼镜作为远程桌面显示设备时,用户佩戴ar眼镜后看到...
基于缩略导航反解的视频裁剪显示与输入映射方法及系统与流程

本发明涉及ar眼镜显示控制,尤其涉及一种基于缩略导航反解的视频裁剪显示与输入映射方法及系统。

背景技术:

1、ar眼镜作为远程桌面显示设备时,用户佩戴ar眼镜后看到的显示画面为远程桌面窗口的一个局部视口。用户通过头部转动浏览远程桌面的不同区域,同时通过触控板或手柄在显示画面上执行点击、拖拽等输入操作。

2、将远程桌面画面放大以看清内容细节时,视口范围缩小,头部轻微转动即引起显示画面的大幅滑动,导致眩晕。若降低放大倍率扩大视口范围,则远程桌面上的图标和文字缩小,操作精度下降。画面滑动抑制与操作精度之间的矛盾随放大倍率的升高而加剧。

3、中国专利公开号:cn115834754a公开了一种交互控制方法、装置、头戴显示设备及介质,其在头戴显示设备的显示区域中显示来自不同终端设备的多个显示窗口,当目标显示窗口接收到交互指令时,获取交互指令的交互位置、目标显示窗口的第一属性信息和目标屏幕画面的第二属性信息,根据交互位置、第一属性信息和第二属性信息确定交互位置对应至目标屏幕画面的映射位置,发送映射位置至所属的目标终端设备。

4、现有技术还存在以下问题:放大显示画面后,头部运动引起的画面边缘移动速度较大,容易引起眩晕不适;放大后显示画面容纳的远程桌面画面区域有限,定位远程桌面中的目标位置不便。

技术实现思路

1、为此,本发明提供一种基于缩略导航反解的视频裁剪显示与输入映射系统及方法,用以克服现有技术中放大显示画面后头部运动引起的画面边缘移动速度较大容易引起眩晕不适、显示画面容纳的远程桌面画面区域有限导致定位目标位置不便的问题。

2、为实现上述目的,一方面,本发明提供一种基于缩略导航反解的视频裁剪显示与输入映射系统,包括:

3、imu感知模块,其用以获取ar眼镜的惯性测量单元输出的偏航轴角速度、俯仰轴角速度、偏航轴角加速度和俯仰轴角加速度;

4、反馈生成模块,其用以基于所述偏航轴角速度和所述俯仰轴角速度确定反馈修正量;

5、缓冲平滑模块,其用以对所述反馈修正量执行缓冲平滑处理以确定平滑修正量;

6、倍率约束模块,其用以基于所述偏航轴角速度、所述俯仰轴角速度、所述偏航轴角加速度、所述俯航轴角加速度和所述平滑修正量确定实际显示倍率;

7、坐标映射模块,其用以以所述实际显示倍率对输入坐标执行反向映射以确定目标坐标;

8、缩略导航模块,其用以基于所述实际显示倍率确定缩略导航窗口中的缩略指示框的尺寸和更新步长;

9、输入映射模块,其用以将所述目标坐标发送至所述远程主机。

10、进一步地,所述反馈生成模块基于所述偏航轴角速度与偏航轴速度限值之差确定偏航轴超限差值,俯仰轴超限差值以相同方式确定;所述反馈修正量基于偏航轴超限比例与俯仰轴超限比例中的较大者确定,所述较大者越大,所述反馈修正量越大;所述偏航轴超限比例为所述偏航轴超限差值与所述偏航轴速度限值之比,所述俯仰轴超限比例以相同方式确定。

11、进一步地,所述偏航轴速度限值低于所述俯仰轴速度限值。

12、进一步地,所述缓冲平滑模块将所述反馈修正量累积至缓冲池,基于所述缓冲池的当前累积量确定所述平滑修正量,所述当前累积量越大,所述平滑修正量越大且增幅递减;所述平滑修正量自所述缓冲池中释放。

13、进一步地,所述倍率约束模块确定偏航轴预测角速度和俯仰轴预测角速度,所述偏航轴预测角速度为所述偏航轴角速度叠加所述偏航轴角加速度在预测时长内的累积量,所述俯仰轴预测角速度以相同方式确定。

14、进一步地,所述倍率约束模块以所述偏航轴角速度与所述偏航轴速度限值的第一比值和所述俯仰轴角速度与所述俯仰轴速度限值的第二比值中的较大者确定前馈目标倍率,所述较大者越大,所述前馈目标倍率越低;所述偏航轴预测角速度或所述俯仰轴预测角速度超过对应速度限值的,超出程度越大,所述前馈目标倍率越低。

15、进一步地,所述倍率约束模块以所述平滑修正量压低所述前馈目标倍率确定所述实际显示倍率,所述平滑修正量越大,所述实际显示倍率越低;所述实际显示倍率不低于最小显示倍率。

16、进一步地,所述实际显示倍率越低,所述缩略指示框越大,所述更新步长越大;所述缩略指示框在所述缩略导航窗口中的位置对应于裁剪窗口在所述远程桌面画面中的位置,基于所述缩略指示框的位置反解确定所述裁剪窗口的对应位置。

17、进一步地,所述坐标映射模块以当前所述实际显示倍率对显示画面拖拽操作中各帧的所述输入坐标统一执行所述反向映射。

18、本发明另一方面还提供一种基于缩略导航反解的视频裁剪显示与输入映射方法,包括:

19、获取ar眼镜的惯性测量单元输出的偏航轴角速度、俯仰轴角速度、偏航轴角加速度和俯仰轴角加速度;

20、基于所述偏航轴角速度和所述俯仰轴角速度分别与偏航轴速度限值和俯仰轴速度限值的比较结果确定反馈修正量;

21、将所述反馈修正量累积至缓冲池,基于所述缓冲池的累积量确定平滑修正量;

22、基于所述偏航轴角速度、所述俯仰轴角速度、所述偏航轴角加速度和所述俯航轴角加速度确定前馈目标倍率,并以所述平滑修正量压低所述前馈目标倍率以确定实际显示倍率;

23、基于所述实际显示倍率对远程主机输出的远程桌面画面执行裁剪以确定显示画面;

24、以所述实际显示倍率对输入坐标执行反向映射以确定目标坐标;

25、基于所述实际显示倍率确定缩略导航窗口中的缩略指示框的尺寸和更新步长;

26、将所述目标坐标发送至所述远程主机。

27、与现有技术相比,本发明的有益效果在于,本发明通过以实际显示倍率协同控制画面裁剪范围、输入坐标反向映射和缩略导航步长,从而降低画面边缘移动速度以减轻眩晕不适,并通过缩略导航提升远程桌面中的定位效率。

28、尤其,本发明通过前馈通道基于角速度和角加速度预判倍率压低时机,结合反馈通道基于实际超限程度修正倍率,从而实现倍率调整的前瞻性与准确性兼顾。

29、尤其,本发明通过缓冲池累积并释放反馈修正量,累积量越大释放量越大且释放量递减,从而在持续超限下快速响应、在微幅波动下平滑忽略,避免倍率跳变引起的画面尺寸突变。

30、尤其,本发明通过以同一实际显示倍率驱动裁剪显示、坐标映射和缩略导航三个环节,从而保持倍率变动下三者的指示一致性和操作连续性。

31、尤其,本发明通过以当前实际显示倍率对拖拽过程中各帧输入坐标统一执行反向映射,从而避免倍率变化导致的目标坐标间距不均匀和光标跳变。

1.一种基于缩略导航反解的视频裁剪显示与输入映射系统,其特征在于,包括:

2.根据权利要求1所述的基于缩略导航反解的视频裁剪显示与输入映射系统,其特征在于,所述反馈生成模块基于所述偏航轴角速度与偏航轴速度限值之差确定偏航轴超限差值,俯仰轴超限差值以相同方式确定;所述反馈修正量基于偏航轴超限比例与俯仰轴超限比例中的较大者确定,所述较大者越大,所述反馈修正量越大;所述偏航轴超限比例为所述偏航轴超限差值与所述偏航轴速度限值之比,所述俯仰轴超限比例以相同方式确定。

3.根据权利要求2所述的基于缩略导航反解的视频裁剪显示与输入映射系统,其特征在于,所述偏航轴速度限值低于所述俯仰轴速度限值。

4.根据权利要求3所述的基于缩略导航反解的视频裁剪显示与输入映射系统,其特征在于,所述缓冲平滑模块将所述反馈修正量累积至缓冲池,基于所述缓冲池的当前累积量确定所述平滑修正量,所述当前累积量越大,所述平滑修正量越大且增幅递减;所述平滑修正量自所述缓冲池中释放。

5.根据权利要求4所述的基于缩略导航反解的视频裁剪显示与输入映射系统,其特征在于,所述倍率约束模块确定偏航轴预测角速度和俯仰轴预测角速度,所述偏航轴预测角速度为所述偏航轴角速度叠加所述偏航轴角加速度在预测时长内的累积量,所述俯仰轴预测角速度以相同方式确定。

6.根据权利要求5所述的基于缩略导航反解的视频裁剪显示与输入映射系统,其特征在于,所述倍率约束模块以所述偏航轴角速度与所述偏航轴速度限值的第一比值和所述俯仰轴角速度与所述俯仰轴速度限值的第二比值中的较大者确定前馈目标倍率,所述较大者越大,所述前馈目标倍率越低;所述偏航轴预测角速度或所述俯仰轴预测角速度超过对应速度限值的,超出程度越大,所述前馈目标倍率越低。

7.根据权利要求6所述的基于缩略导航反解的视频裁剪显示与输入映射系统,其特征在于,所述倍率约束模块以所述平滑修正量压低所述前馈目标倍率确定所述实际显示倍率,所述平滑修正量越大,所述实际显示倍率越低;所述实际显示倍率不低于最小显示倍率。

8.根据权利要求1所述的基于缩略导航反解的视频裁剪显示与输入映射系统,其特征在于,所述实际显示倍率越低,所述缩略指示框越大,所述更新步长越大;所述缩略指示框在所述缩略导航窗口中的位置对应于裁剪窗口在所述远程桌面画面中的位置,基于所述缩略指示框的位置反解确定所述裁剪窗口的对应位置。

9.根据权利要求1所述的基于缩略导航反解的视频裁剪显示与输入映射系统,其特征在于,所述坐标映射模块以当前所述实际显示倍率对显示画面拖拽操作中各帧的所述输入坐标统一执行所述反向映射。

10.一种基于缩略导航反解的视频裁剪显示与输入映射方法,应用于权利要求1-9任一项所述的基于缩略导航反解的视频裁剪显示与输入映射系统,其特征在于,包括: