一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

用于助视器的交互式投屏方法、计算机存储介质及助视器与流程

2022-06-05 18:34:14 来源:中国专利 TAG:


1.本公开涉及助视器领域,尤其涉及一种用于助视器的交互式投屏方法、一种计算机存储介质以及一种助视器


背景技术:

2.低视力是指患者视功能减退,且经过手术、药物等治疗及屈光矫正后的视力仍达不到患者需要的标准。低视力用户几乎无法用手机等电子设备来娱乐,比如看视频、玩游戏等。
3.助视器是一种能有效的改善低视力患者视觉能力的设备,但是佩戴电子助视器后直接看手机会有几个无法避免的问题:屏幕抖动、屏幕纱窗、屏幕闪烁等。
4.此外,电子助视器交互主要通过按键进行,包括助视器上的按键和遥控器上的按键等,亦即,电子助视器通常需要配备额外的遥控器,存在操作不方便等问题。
5.背景技术部分的内容仅仅是公开发明人所知晓的技术,并不当然代表本领域的现有技术。


技术实现要素:

6.有鉴于现有的一个或多个缺陷,本发明涉及一种用于助视器的交互式投屏方法,包括:
7.s11:获取终端设备的屏幕画面;
8.s12:根据所述助视器的放大倍数,将获取的屏幕画面进行放大;
9.s13:获取所述助视器的三自由度;
10.s14:根据所述助视器的三自由度,确定视野中心;
11.s15:根据所述视野中心以及放大后的屏幕画面,确定所述助视器的显示画面。
12.根据本发明的一个方面,所述助视器的视场范围内包括多个按键图标,所述交互式投屏方法还包括:从所述视野中心向正前方投射的虚拟射线与其中一个按键图标产生交集并且停留时间超过阈值时,执行该按键图标对应的按键功能。
13.根据本发明的一个方面,所述助视器的显示画面上包括悬浮的多个按键图标,所述交互式投屏方法还包括:获取佩戴者的视线方向,当佩戴者凝视其中一个按键图标的时间超过阈值时,执行该按键图标对应的按键功能。
14.根据本发明的一个方面,所述按键功能包括放大画面、缩小画面、升高音量、降低音量或者模式切换中的一项或多项。
15.根据本发明的一个方面,所述交互式投屏方法还包括:
16.当所述助视器工作于第一模式时,所述助视器的显示画面包括至少部分所述放大后的屏幕画面;
17.当所述助视器工作于第二模式时,所述助视器的显示画面包括所述获取的屏幕画面。
18.本发明还涉及一种计算机存储介质,包括存储于其上的计算机可执行指令,所述可执行指令在被处理器执行时实施如上所述的交互式投屏方法。
19.本发明还涉及一种助视器,包括:
20.惯性测量单元,用于获取所述助视器的三自由度;
21.显示单元,用于显示画面;
22.处理单元,与所述惯性测量单元以及所述显示单元耦接,并配置成:
23.获取终端设备的屏幕画面;
24.根据所述助视器的放大倍数,将获取的屏幕画面进行放大;
25.通过所述惯性测量单元获取所述助视器的三自由度;
26.根据所述助视器的三自由度,确定视野中心;
27.根据所述视野中心以及放大后的屏幕画面,确定所述助视器的显示画面,并通过所述显示单元进行显示。
28.根据本发明的一个方面,所述助视器的视场范围内包括多个按键图标,所述处理单元还配置为:从所述视野中心向正前方投射的虚拟射线与其中一个按键图标产生交集并且停留时间超过阈值时,执行该按键图标对应的按键功能。
29.根据本发明的一个方面,所述助视器的显示画面上包括悬浮的多个按键图标,所述助视器还包括:视线追踪单元,与所述处理单元耦接,用于获取佩戴者的视线方向,所述处理单元还配置为:当佩戴者凝视其中一个按键图标的时间超过阈值时,执行该按键图标对应的按键功能。
30.根据本发明的一个方面,所述处理单元还配置为:控制所述助视器工作于第一模式或者第二模式,当所述助视器工作于第一模式时,所述助视器的显示画面包括至少部分所述放大后的屏幕画面;当所述助视器工作于第二模式时,所述助视器的显示画面包括所述获取的屏幕画面。
31.本发明可以将终端设备的屏幕镜像显示到助视器上,并通过三自由度转头的交互方式控制显示画面,以解决低视力用户通过助视器观看屏幕的抖动、纱窗或闪烁等问题,并进一步通过动作交互代替按键操作,优化投屏过程中的操作体验。
附图说明
32.构成本公开的一部分的附图用来提供对本公开的进一步理解,本公开的示意性实施例及其说明用于解释本公开,并不构成对本公开的不当限定。在附图中:
33.图1示出了本发明一个实施例的用于助视器的交互式投屏方法流程图;
34.图2a示出了本发明一个实施例的助视器模块示意图;
35.图2b示出了本发明另一个实施例的助视器模块示意图;
36.图3示出了三自由度的示意图;
37.图4a示出了本发明一个实施例的交互式投屏示意图;
38.图4b示出了本发明另一个实施例的交互式投屏示意图;
39.图4c示出了本发明另一个实施例的交互式投屏示意图;
40.图5a示出了本发明一个实施例的放大后的屏幕画面示意图;
41.图5b示出了佩戴者触发图5a所示按键的示意图;
42.图6a示出了本发明另一个实施例的放大后的屏幕画面示意图;
43.图6b示出了佩戴者触发按键控制图6a画面的示意图。
具体实施方式
44.在下文中,仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样,在不脱离本发明的精神或范围的情况下,可通过各种不同方式修改所描述的实施例。因此,附图和描述被认为本质上是示例性的而非限制性的。
45.在本发明的描述中,需要理解的是,术语"中心"、"纵向"、"横向"、"长度"、"宽度"、"厚度"、"上"、"下"、"前"、"后"、"左"、"右"、"竖直"、"水平"、"顶"、"底"、"内"、"外"、"顺时针"、"逆时针"等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语"第一"、"第二"仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有"第一"、"第二"的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中,"多个"的含义是两个或两个以上,除非另有明确具体的限定。
46.在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语"安装"、"相连"、"连接"应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接:可以是机械连接,也可以是电连接或可以相互通讯;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
47.在本发明中,除非另有明确的规定和限定,第一特征在第二特征之"上"或之"下"可以包括第一和第二特征直接接触,也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且,第一特征在第二特征"之上"、"上方"和"上面"包括第一特征在第二特征正上方和斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征"之下"、"下方"和"下面"包括第一特征在第二特征正上方和斜上方,或仅仅表示第一特征水平高度小于第二特征。
48.下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开,下文中对特定例子的部件和设置进行描述。当然,它们仅仅为示例,并且目的不在于限制本发明。此外,本发明可以在不同例子中重复参考数字和/或参考字母,这种重复是为了简化和清楚的目的,其本身不指示所讨论各种实施方式和/或设置之间的关系。此外,本发明提供了的各种特定的工艺和材料的例子,但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
49.以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
50.图1示出了本发明一个实施例的用于助视器的交互式投屏方法,交互式投屏方法10包括步骤s11-s15,具体如下:
51.在步骤s11获取终端设备的屏幕画面。
52.终端设备具有显示图像、数据处理、网络通信以及程序运行的功能,例如为手机、平板电脑、笔记本电脑等。终端设备内置投屏应用程序,佩戴者通过终端设备的按键或屏幕
触发开启投屏功能的指令,以控制终端设备将屏幕画面向助视器20投屏。终端设备与助视器20处于同一局域网,助视器20获取终端设备的屏幕画面,该屏幕画面可以为终端设备的全部或部分的显示画面,屏幕画面的播放内容可以包括视频、音频以及其它多媒体资源。例如,可以通过终端设备的投屏功能将全部屏幕画面投送至助视器20,也可以通过某应用程序的投屏功能将窗口播放或全屏播放的视频画面投送至助视器20。
53.根据本发明的一个优选实施例,其中所述步骤s11包括:发送反向投屏指令,以获取终端设备的屏幕画面。例如,助视器20内置反向投屏应用程序,佩戴者通过遥控器或助视器20上的按键触发开启反向投屏功能的指令,控制支持反向投屏功能的终端设备,以获取终端设备的当前屏幕画面。
54.本发明不对投屏功能或投屏内容进行限定。
55.在步骤s12根据助视器20的放大倍数,将获取的屏幕画面进行放大。
56.由于视功能缺陷,低视力人群几乎无法直接观看终端设备的屏幕画面,将屏幕画面投送到助视器20后,也需要借助助视器20的放大功能,以分区域的观看画面细节。例如,根据助视器20的默认放大倍数,将获取的终端设备的屏幕画面进行放大。当屏幕画面放大后,会超出助视器20的显示区域,下文将详细介绍如何观看超出显示区域的内容。优选地,佩戴者可以调整助视器20的默认放大倍数。
57.在步骤s13获取助视器20的三自由度。
58.图2a示出了本发明一个实施例的助视器结构框图,助视器20例如包括惯性测量单元21,用于获取助视器20的三自由度。惯性测量单元(inertial measurement unit,简称imu)是测量物体三轴姿态角(或角速率)以及加速度的装置。imu的核心装置是陀螺仪和加速度计。通常情况下,每套惯性测量装置包含三组陀螺仪和加速度计,分别测量三个自由度的角加速度和线加速度,通过对加速度的积分和初始速度、位置的叠加运算,得到物体在空间位置中的运动方向和速度。其中,自由度是指物体具有独立运动参数的数目,三自由度是指三个转动角度的自由度,参考图3,即偏航(yaw)、俯仰(pitch)和翻滚(roll)。
59.可选地,可以通过陀螺仪来捕捉助视器20的三自由度。
60.在步骤s14根据助视器20的三自由度,确定视野中心。
61.视野中心是指佩戴者的注视点(视线),根据助视器20的三自由度确定视野中心,例如,将双目连线的中心点作为标定的视线发出点,视线从中心点向正前方延伸,与空间界面产生交集的点,即为视野中心。其原理为从标定的中心点向正前方发出一条虚拟射线,虚拟射线与助视器20的界面产生交点,从而引导佩戴者的视线落焦在画面上。可选地,该虚拟射线和落点可以被隐藏。
62.当用户佩戴助视器20时,获取助视器20的三自由度,相当于获取佩戴者头部的姿态,亦即,检测到佩戴者的头部向不同方向的转动,从而获取佩戴者视野中心的变化。例如,当用户佩戴助视器20向上看时,助视器20应该实时地显示放大的屏幕画面中上部分的内容;当用户佩戴助视器20向左转头时,助视器20应该实时地显示放大的屏幕画面中左侧的内容。
63.在步骤s15根据视野中心以及放大后的屏幕画面,确定助视器20的显示画面。
64.图4a示出了本发明一个实施例的交互式投屏示意图,获取终端设备的屏幕画面后,首先根据助视器20的默认放大倍数将获取的屏幕画面进行放大,图4a中左侧实线矩形
框示出了放大后的屏幕画面;然后根据助视器20的三自由度确定佩戴者的视野中心,图4a中右侧虚线表示助视器20投射的虚拟射线,其与屏幕画面的交点即为视野中心;最后根据视野中心在放大后的屏幕画面中的位置,确定助视器20的显示画面。亦即,当佩戴者面向正前方时,助视器20显示放大后的屏幕画面的中心区域的内容,图4a中左侧点划线矩形框示出了助视器20的显示画面内容。
65.视野中心是基于助视器20的三自由度确定的虚拟点,当佩戴者的头部姿态不变时,视野中心不变,助视器20的显示区域也不会变,佩戴者可以转动眼睛看向显示区域内的不同位置。
66.图4b示出了本发明另一个实施例的交互式投屏示意图,放大后的屏幕画面不动,当佩戴者向左转头时,随着佩戴者视野中心的移动,助视器20的显示画面实时更新。
67.图4c示出了本发明另一个实施例的交互式投屏示意图,放大后的屏幕画面不动,当佩戴者向右上方转头时,随着佩戴者视野中心的移动,助视器20的显示画面实时更新。
68.以上通过步骤s11-s15对交互式投屏方法10进行了介绍,为了让低视力佩戴者看清画面,需要将获取的终端设备的屏幕画面放大,但是放大的屏幕画面超出了助视器20的显示区域,本发明的交互式投屏方法10根据助视器20的三自由度确定佩戴者的视野中心,并且跟随佩戴者的头部姿态实时更新助视器20的显示内容,使得佩戴者可以观看超出助视器20显示区域的画面,既解决了通过助视器20“透视”电子设备的屏幕时出现的画面抖动、纱窗或闪烁等问题,也实现了通过转头代替遥控器的方向键的便捷效果。
69.本说明书提供了如实施例或流程图所述的交互式投屏方法10的操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的系统或设备产品执行时,可以按照实施例或者流程图所示的方法顺序执行或者并行执行。
70.根据本发明的一个优选实施例,所述助视器20的视场范围内包括多个按键图标,交互式投屏方法10还包括:从视野中心向正前方投射的虚拟射线与其中一个按键图标产生交集并且停留时间超过阈值时,执行该按键图标对应的按键功能。优选地,佩戴者可调整停留时间的阈值。
71.图5a示出了本发明一个实施例的放大后的屏幕画面示意图,终端设备(例如手机)上播放春节联欢晚会的视频。获取当前屏幕画面并放大,在画面左侧,设置有悬浮的按键图标。该组按键图标可以跟随屏幕画面的放大倍数而移动位置,亦即始终位于放大后的屏幕画面的左侧;或者,始终位于视场范围的左侧,例如获取的屏幕画面根据最大放大倍数放大后,该组按键位于画面上的左侧;当获取的屏幕画面按照较小的放大倍数放大后,该组按键位于画面外的左侧。其中,所述视场范围为助视器20可观察的最大范围,例如为最大放大倍数对应的显示范围。
72.图5b示出了佩戴者触发图5a所示按键的示意图,佩戴者面向前方时,根据三自由度确定助视器20的显示画面,此时,按键图标超出助视器20的显示区域。当佩戴者想缩小投屏的屏幕画面以看到更多信息时,佩戴者向左转头,从其视野中心发出的虚拟射线投射到按键图标m-上,停留2秒钟,触发该按键代表的“缩小画面”功能。在佩戴者转头寻找按键的过程中,助视器20的显示画面跟随视野中心的变化持续更新。通过“凝视”按键执行缩小画面的功能后,佩戴者再转回来面朝前方。亦即,需要执行按键功能时,佩戴者通过转头和“凝
视”即可代替通过遥控器才能实现的按键功能,解放双手,更简便快捷,提升用户体验。
73.根据本发明的另一个优选实施例,助视器20的显示画面上包括悬浮的多个按键图标,交互式投屏方法10还包括:获取佩戴者的视线方向,当佩戴者凝视其中一个按键图标的时间超过阈值时,执行该按键图标对应的按键功能。优选地,佩戴者可调整停留时间的阈值。
74.图6a示出了本发明另一个实施例的放大后的屏幕画面示意图,终端设备(例如手机)上播放春节联欢晚会的视频,获取当前屏幕画面并放大。图6a与图5a的实施例不同之处在于按键设置的位置,以下进一步说明。
75.图6b示出了佩戴者触发按键控制图6a画面的示意图,在该实施例中,按键图标悬浮于助视器的显示画面之上,亦即,按键图标不跟随视野中心的位置而变化。助视器20包括视线追踪单元24,参考图2b,可以获取佩戴者的凝视方向。例如,当佩戴者面向正前方时,根据三自由度确定助视器20的显示画面,佩戴者无需转头,只要转动眼睛,凝视左侧的m-按键图标两秒,即可控制屏幕画面缩小,从而看到更多的画面内容。
76.优选地,按键图标可以根据位于其下的背景画面的对比度自动调整颜色,以更清晰的显示。佩戴者可以手动设置按键颜色,也可以关闭或启用按键图标的显示。
77.以上介绍了通过两种方式实现控制投屏画面的基本功能,佩戴者通过转头或转动眼睛即可执行按键功能,无需借助遥控器,简便、快捷、体验好。
78.根据本发明的一个优选实施例,所述按键功能包括放大画面、缩小画面、升高音量、降低音量或者模式切换中的一项或多项。
79.参考图5b和图6b,按键m 对应“放大画面”的功能,按键m-对应“缩小画面”的功能,按键a 对应“升高音量”的功能,按键a-对应“降低音量”的功能,模式切换功能的按键可以是设置于助视器20上的实体按键,也可以是与前述按键一样绘制的虚拟按键(图中未示出)。通过设置虚拟按键或者实体按键,佩戴者无需依赖遥控器即可实现基本控制功能。
80.根据本发明的一个优选实施例,交互式投屏方法10还包括:
81.当助视器20工作于第一模式时,助视器20的显示画面包括至少部分放大后的屏幕画面;
82.当助视器20工作于第二模式时,助视器20的显示画面包括获取的屏幕画面。
83.通过触发实体按键或虚拟按键的“模式切换”功能,可以将助视器20在投屏并放大和普通投屏之间进行切换,例如,触发一次“模式切换”,助视器工作于第一模式,即放大的投屏模式,助视器20的显示画面包括放大后的屏幕画面的一部分;再触发一次“模式切换”,助视器20工作于第二模式,即普通投屏模式,助视器20显示获取的屏幕画面。
84.本发明还涉及一种计算机存储介质,包括存储于其上的计算机可执行指令,所述可执行指令在被处理器执行时实施如上所述的交互式投屏方法10。
85.本发明还涉及一种助视器20,参考图2a,助视器20包括:
86.惯性测量单元21,用于获取所述助视器20的三自由度;
87.显示单元22,用于显示画面;
88.处理单元23,与所述惯性测量单元21以及所述显示单元22耦接,并配置成:
89.获取终端设备的屏幕画面;
90.根据所述助视器20的放大倍数,将获取的屏幕画面进行放大;
91.通过所述惯性测量单元21获取所述助视器20的三自由度;
92.根据所述助视器20的三自由度,确定视野中心;
93.根据所述视野中心以及放大后的屏幕画面,确定所述助视器20的显示画面,并通过所述显示单元22进行显示。
94.根据本发明的一个优选实施例,所述助视器20的视场范围内包括多个按键图标,所述处理单元23还配置为:从所述视野中心向正前方投射的虚拟射线与其中一个按键图标产生交集并且停留时间超过阈值时,执行该按键图标对应的按键功能。
95.根据本发明的一个优选实施例,所述助视器20的显示画面上包括悬浮的多个按键图标,所述助视器20还包括:视线追踪单元24,参考图2b,与所述处理单元23耦接,用于获取佩戴者的视线方向,所述处理单元23还配置为:当佩戴者凝视其中一个按键图标的时间超过阈值时,执行该按键图标对应的按键功能。
96.根据本发明的一个优选实施例,所述处理单元23还配置为:控制所述助视器20工作于第一模式或者第二模式,当所述助视器20工作于第一模式时,所述助视器20的显示画面包括至少部分所述放大后的屏幕画面;当所述助视器20工作于第二模式时,所述助视器20的显示画面包括所述获取的屏幕画面。
97.本发明可以将终端设备的屏幕镜像显示到助视器上,并通过三自由度转头的交互方式控制显示画面,以解决低视力用户通过助视器观看屏幕的抖动、纱窗或闪烁等问题,并进一步通过动作交互代替按键操作,优化投屏过程中的操作体验。
98.最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献