用于操作具有低计算能力的设备的系统、方法、计算机程序、移动设备和套件与流程

用于操作具有低计算能力的设备的系统、方法、计算机程序、移动设备和套件
1.本技术总体上涉及具有相对低计算能力的设备的操作。
2.许多设备配备有用于显示内容的显示器和/或允许用户进行输入的输入设备。这种输入设备可以使用所谓的触摸屏与显示器组合。由于空间或成本限制，一些此类设备仅具有相对低的可用计算能力。例如，在所谓的智能眼镜中，可以将显示器并入眼镜中，但由于这种智能眼镜的空间约束且同时出于重量考虑，很难为这种智能眼镜配备高计算能力。然而，例如期望经由这种具有低计算能力的设备向用户提供各种信息。这种具有低计算能力的设备在本文中也被称为瘦设备(thin device)。
3.存在几种方法可以将相对较小的设备与诸如智能电话或平板计算机等移动设备耦合以增强能力。例如，在智能手表中，将应用程序(本文中称为app)安装在智能手表中，并且将对应的应用程序安装在移动设备中，这些app彼此进行通信以便为智能手表提供能力，例如，访问移动设备的多媒体文件(如音乐或视频)、转移移动设备的呼叫等。
4.然而，这种解决方案需要在小型设备上安装对应的app，这在计算能力极低或在其他方面不允许安装app的设备中可能无法实现。
5.另一种常规方法是使用远程显示技术。在这种情况下，在诸如智能电话或平板计算机等移动设备上显示的内容基本上会镜像到具有低计算能力的设备上，并在那里显示。例如，可以将蓝牙或其他无线通信用于这种屏幕镜像。然而，该技术也有一些缺点。例如，具有低计算能力的设备和移动设备通常具有不同的屏幕尺寸。在移动设备上示出的内容通常是针对移动设备的屏幕设计的，在其他设备上显示相同的内容可能会导致不令人满意的结果。此外，这种方法可能使得难以在本质上独立于具有低计算能力的设备来操作移动设备，或者换言之，这种解决方案可能使得难以在设备上使用不同的应用程序。
6.因此，目的是提供用于操作这种瘦设备的改进解决方案。
7.在这方面，提供了如权利要求1所述的系统、如权利要求12所述的方法、如权利要求18所述的计算机程序、如权利要求20所述的移动设备以及如权利要求21所述的套件。从属权利要求限定了其他的实施例。
8.根据实施例，提供了一种系统，该系统包括：
9.移动设备，该移动设备包括操作系统和第一接口，
10.另一设备，该另一设备包括显示器和第二接口，其中，该移动设备进一步包括在该移动设备的操作系统下运行的虚拟操作系统应用程序，其中，该虚拟操作系统应用程序被配置成
11.‑
经由该第一接口和该第二接口管理该移动设备与该另一设备之间的连接，
12.‑
向该另一设备提供屏幕帧以在该另一设备的显示器上显示，
13.‑
接收并处理来自该另一设备的输入，以及
14.‑
使得能够在该移动设备上执行针对该另一设备的应用程序。
15.通过在移动设备上针对具有低计算能力的设备运行虚拟操作系统，可以向具有低计算能力的设备提供功能，同时仍然能够使用其他应用程序来操作移动设备。以这种方式，
可以提供针对具有低计算能力的设备定制的应用程序。此外，这种应用程序可以使用来自具有低计算能力的设备和来自移动设备(例如，移动设备的传感器，如gps传感器)两者的输入(例如，传感器输入)。
16.该另一设备可以具有比移动设备更少的计算能力，即，可以是如以上所解释的“瘦设备”。
17.在一些实施例中，该另一设备不允许安装和运行附加应用程序。对于这种另一设备，应用程序可以使用虚拟操作系统应用程序在移动设备上运行，或者在虚拟操作系统的范围内，或者作为独立的应用程序与虚拟操作系统一起运行但使用可以由移动设备的操作系统提供的进程间通信机制与虚拟操作系统进行通信。因此，虚拟操作系统可以与移动设备上的其他应用程序进行通信。
18.虚拟操作系统还可以被配置成向另一设备发送命令和/或配置信息，使得可以从移动设备基本上完全操作该另一设备。
19.在一些实施例中，虚拟操作系统应用程序使得能够实现应用程序与移动设备的设备(部件)的通信，使得这些设备可以被应用程序使用。
20.该虚拟操作系统应用程序可以被配置成从这些应用程序接收屏幕内容并且基于这些屏幕将这些屏幕帧提供给该另一设备。
21.这些应用程序可以包括导航应用程序。
22.该移动设备可以是智能电话或平板计算机。
23.该另一设备可以是智能眼镜。
24.根据另一实施例，提供了一种方法，该方法包括：
25.在移动设备上，针对另一设备运行虚拟操作系统应用程序，其中，该虚拟操作系统应用程序进行以下操作：
26.‑
经由该移动设备的第一接口和该另一设备的第二接口管理该移动设备与该另一设备之间的连接，
27.‑
向该另一设备提供屏幕帧以在该另一设备的显示器上显示，
28.‑
接收并处理来自该另一设备的输入，以及
29.‑
使得能够在该移动设备上执行针对该另一设备的应用程序。
30.该虚拟操作系统应用程序可以使得能够实现这些应用程序与移动设备的设备(部件)的通信。
31.该虚拟操作系统可以向该另一设备发送命令和/或配置信息。
32.该虚拟操作系统可以与移动设备上的其他应用程序进行通信，使得这些其他应用程序可以例如经由虚拟操作系统向该另一设备发送屏幕或者从该另一设备接收输入。
33.该虚拟操作系统应用程序可以从这些应用程序接收屏幕内容并且基于该屏幕内容将这些屏幕帧提供给该另一设备。
34.这些应用程序可以包括导航应用程序。
35.根据另一实施例，提供了一种包括程序代码的计算机程序，当在处理器上被执行时，该程序代码使得执行如以上所解释的方法。
36.还提供了一种包括计算机程序的存储介质，特别是有形存储介质。
37.此外，提供了一种其上存储有计算机程序的移动设备。
38.根据另一实施例，提供了一种套件，该套件包括：
39.如以上所解释的计算机程序或存储介质，以及
40.使用该计算机程序的虚拟操作系统应用程序来操作的另一设备。
41.使用这种套件，用户可以通过在移动设备上安装计算机程序来授权他或她的移动设备操作该另一设备。
42.该另一设备可以是智能眼镜。
43.在下文中，为了提供更透彻的理解，将参考附图描述实施例。
44.图1是根据实施例的系统的框图。
45.图2是展示了包括虚拟操作系统的一些实施例的操作系统结构的框图。
46.图3是根据另一实施例的系统的简图。
47.图4是展示了根据实施例的方法的流程图。
48.图5是根据特定应用的实施例展示了系统的示例操作的简图。
49.在下文中，将详细地描述各种实施例。应当注意，这些实施例仅作为示例给出并且不应被解释为是限制性的。来自不同实施例的特征可以组合以形成进一步的实施例。关于实施例之一描述的变化、修改或细节也可以应用于其他实施例，并且因此将不再重复描述。
50.在详细描述实施例之前，将给出以下使用的术语的一些定义。
51.本文使用的移动设备是被设计为由人随身携带的计算设备。因此，这种移动设备的重量在2kg以下，通常小于1kg或更低，尺寸小于50cm
·
50cm
·
2cm，通常在以下。典型的移动设备是智能电话或平板计算机。许多移动设备都有用于显示内容和接收用户输入的触摸屏，以及其他传感器，如gps传感器。移动设备通常具有足以运行各种自定义应用程序(app)的计算能力。在实施例中，移动设备通常运行允许安装附加的这种应用程序的操作系统。
52.具有低计算能力的设备，本文简称为瘦设备，是计算能力低于移动设备的设备。通常，瘦设备仅具有固件并且不允许安装自定义应用程序，即不是操作设备绝对必需的程序的一部分的附加应用程序，或者换言之，与设备的核心功能无关的程序。这种瘦设备中使用的处理器不如移动设备中使用的处理器强大，并且可以例如是相对简单的微控制器或者甚至是用于处理基本输入或输出的简单逻辑电路。
53.在实施例中，瘦设备的操作系统作为移动设备上的应用程序运行。该操作系统也将被称为“虚拟操作系统应用程序”，因为该操作系统不在其提供操作系统功能的设备(瘦设备)上运行，而是在其他设备(移动设备)上运行。如将更详细地解释的，这允许安装用于瘦设备的附加应用程序和/或在应用程序中至少部分地独立于瘦设备灵活使用移动设备。
54.图1示出了根据实施例的系统，并且图2示出了用于进一步展示图1系统的操作系统结构的逻辑图。
55.图1的系统包括瘦设备10和移动设备16。瘦设备10包括耦合到显示器11的处理器13、一个或多个输入设备12和存储器14。本文使用的处理器不限于单个处理器，还可以包括提供多个处理器的可能性。
56.本文使用的显示器是可以用于显示内容的任何设备。例如，在最初提到的智能眼镜的情况下，显示器可以包括一种投射内容以便眼镜的用户可以观看的投影系统，或者可以包括更常规的显示器，如tft显示器或液晶显示器。输入设备可以是允许用户输入的任何设备。在一些实施例中，输入设备可以通过提供作为所谓的触摸屏的显示器11来实施。输入
设备的其他示例包括用于感测操作瘦设备10的人的手势的相机传感器或用于从人接收语音命令的麦克风。存储器14存储供处理器13操作瘦设备10所必需的指令。在一些实施例中，瘦设备10不允许在存储器14中或瘦设备10中的其他地方安装自定义应用程序。
57.瘦设备10进一步包括用于与移动设备16通信的接口15。对于这种通信，移动设备16包括对应的接口17。在图1的实施例中，接口15、17是无线接口。合适的无线接口的一个示例是蓝牙接口。然而，也可以使用其他种类的无线接口。这种接口通常存在于如智能电话或平板计算机等可商购的移动设备中。除了所示的设备之外，瘦设备10可以包括其他部件，例如传感器。
58.移动设备16包括处理器18、一个或多个其他设备19和存储器110。
59.其他设备19可以包括在移动设备(例如，智能电话或平板计算机)中常规使用的任何设备，如传感器(例如gps传感器)、扬声器、麦克风、显示器、触摸屏、按钮等。存储器110包括可以在其中安装自定义应用程序的可写存储器，如闪存。在图1的系统中，这些自定义应用程序之一是虚拟操作系统应用程序，其实质上向瘦设备10提供操作系统。现在将参考图2进一步解释这个概念。
60.在瘦设备10一侧，提供了对应的“瘦固件”20。瘦固件是瘦设备10上的固件，其实质上限于在瘦设备10中提供瘦设备10运行所必需的各种功能。此外，在移动设备16中，安装了在移动设备的正常操作系统(os)21下运行的虚拟操作系统应用程序22。瘦固件20与该虚拟操作系统应用程序22交互以向瘦设备10提供各种功能。
61.瘦固件20具有将瘦设备与移动设备配对和取消配对的功能，即，使用图1中的接口15、17建立或终止无线连接。配对，特别是对于蓝牙通信或其他无线应用程序，是两个设备首次连接的过程。
62.此外，瘦固件20具有连接到在移动设备16上运行的虚拟操作系统应用程序22和从其断开连接的功能。瘦固件20然后从虚拟操作系统应用程序22接收屏幕帧以在显示器11上显示并且将来自输入设备12的用户输入或如传感器数据等其他数据发送到虚拟操作系统应用程序22。在一些实施例中，在收到请求时，瘦固件20还可以向虚拟操作系统应用程序22发送瘦设备10的设备状态，如电池状态。
63.因此，瘦固件20向虚拟操作系统应用程序22发送输入(用户输入和/或其他传感器输入)，并从虚拟操作系统应用程序22接收要显示的屏幕帧。
64.虚拟操作系统应用程序22包括远程显示和输入/输出处置程序23，用于向瘦固件20提供屏幕帧并从瘦固件20接收输入。此外，命令和/或配置信息可以经由远程显示和输入/输出处置程序23被发送到瘦固件20。示例命令可以包括屏幕开/关命令、音频捕获开/关命令、断开连接命令等。示例配置可以包括显示器关闭时间阈值、显示器亮度等。
65.输入和输出由内容提供者接口单元24进一步处理，该内容提供者接口单元在一个传输方向(到瘦固件20)将屏幕内容转换成屏幕帧格式以经由远程显示和输入/输出处置程序23传输到瘦固件20，并且在另一个传输方向(从瘦固件20)接收来自远程显示和输入/输出处置程序23的输入，并使这些输入可用于其他部件，如应用程序或操作系统部分。扩展管理器25用于管理在虚拟操作系统“上”运行的迷你app的安装/配置/移除，示出了其中两个应用程序26a、26b(本文称为迷你app)，并且还可以与移动设备16的其他设备(例如，其他设备19)进行通信，例如从移动设备16向迷你app 26a、26b提供传感器输入。应当注意，远程显
示和输入/输出处置程序23、输入/输出抽象部件24和扩展管理器25被表示为虚拟操作系统应用程序22的单独部件，但这仅仅是为了方便并提供对虚拟操作系统应用程序22提供的某些功能更好的理解，并且它们不需要作为单独部件来实施。
66.迷你app 26a、26b是为瘦设备10设计的用于向瘦设备10提供附加功能的应用程序。这种迷你app的示例是允许使用瘦设备10的显示器11进行导航的导航app，或用于在瘦设备上提供内容的任何其他应用程序，例如视频播放器应用程序。迷你app26a、26b通常是除了基本虚拟操作系统应用程序22之外还安装的应用程序，并且可以例如由虚拟操作系统应用程序22之外的其他供应商提供。换言之，扩展管理器25使得能够在虚拟操作系统内安装/配置/移除迷你app，并且内容提供者接口单元24提供到移动操作系统21上的迷你app 26a、26b和其他应用程序28的接口，以允许这些应用程序访问来自瘦固件20或来自移动设备16的其他设备19的输入，并允许这些应用程序修改显示在瘦设备10的显示器11上的内容。
67.此外，虚拟移动操作系统应用程序22可以在移动设备的操作系统21下与安装在移动设备上的其他应用程序28(例如，第3方应用程序)进行通信。其他应用程序28是在移动设备上运行的独立开发的移动应用程序，其可以使用由移动设备的操作系统21提供的通信接口27。通信接口27通常用于在移动设备的操作系统21下的应用程序之间的通信。这种通信接口通常由移动设备的操作系统提供。使用通信接口27，虚拟移动操作系统应用程序22可以与其他应用程序28通信。以这种方式，其他应用程序28可以从瘦设备接收传感器/用户数据并将屏幕内容发送到瘦设备(当需要时)而无需使用图1的接口17直接连接到瘦设备，而是仅直接与虚拟移动操作系统应用程序22通信。
68.其他应用程序28通常具有其自己独立的用户界面和业务逻辑，但是通过以上所解释的方式，还可以通过向瘦设备发送内容和从瘦设备接收输入数据来扩展它们的用户交互模型。这种其他应用程序28的示例包括体育运动app(例如，其可以在瘦设备上显示运动相关信息并从瘦设备接收运动数据)、独立于虚拟操作系统开发的导航app(但提供与导航迷你app类似的场景)、社交网络和消息app等。
69.在一些实施例中，瘦设备10可以与虚拟操作系统应用程序22一起作为套件中的软件(在存储介质上或可供下载)提供，使得用户可以在他或她的移动设备(例如，智能电话、平板计算机)上安装虚拟操作系统应用程序来操作瘦设备10。
70.图3展示了示例系统以示出瘦设备和移动设备的示例。在图3的示例系统中，瘦设备被实施为智能眼镜30，其中，显示单元31a、31b嵌入在眼镜中以向佩戴智能眼镜30的人显示内容。移动设备被实施为智能电话或平板计算机32。
71.图4是展示了根据实施例的方法的流程图，其展示了虚拟操作系统应用程序的操作。
72.应当注意，虽然图4的方法被展示为一系列步骤，但所示出的步骤顺序不应被解释为是限制性的。特别地，一些步骤可以连续执行。
73.在40处，该方法包括在移动设备处从瘦设备接收输入，例如从瘦设备的检测用户输入的传感器接收输入。在41处，经由虚拟操作系统(例如，图2的22)，可选地使用安装在虚拟操作系统应用程序中的迷你app和/或移动设备的设备(例如，移动设备的传感器)，来处理输入。在42处，该方法包括向瘦设备发送屏幕帧以在瘦设备上显示。此外，如参考图2所解
释的，可以将命令或配置信息发送到瘦设备。
74.现在将参考图5解释虚拟操作系统应用程序和迷你app的示例操作。在图5中，假设用户已经在他或她的移动设备上安装了虚拟操作系统并且具有已经与移动设备配对的瘦设备，例如，图3的智能眼镜30。
75.此外，假设用户已经在移动设备的虚拟操作系统应用程序上安装了导航迷你app。
76.图5从上到下示出了可以如何使用虚拟操作系统应用程序和安装在其上的导航迷你app来操作瘦设备的示例时间线。
77.首先，在50处，用户打开(启动)移动设备上的虚拟操作系统应用程序。然后，虚拟操作系统应用程序在51处启动并在52处搜索瘦设备。然后，例如使用握手过程53发起通信，并且在54处将起始屏幕帧(也称为主屏幕)从虚拟操作系统应用程序发送到瘦设备以进行显示。在55处，用户然后打开在移动设备上的虚拟操作系统下运行的导航迷你app。在56处导航迷你app的启动程序和初始化之后，在57处呈现迷你app的起始屏幕，并且在58处作为屏幕帧传送到瘦设备以进行显示。
78.在59处，用户然后输入期望的目的地。在一些实施例中，这可以使用如移动设备的触摸屏等输入设备来完成。在其他实施例中，这可以使用瘦设备的某些输入设备(如麦克风)来执行，经由该麦克风通过语音输入目的地。然后，在510处，导航迷你app从移动设备请求当前位置，例如使用移动设备的gps传感器，并在511处接收位置更新。附图标记512指示可以重复执行该更新。如530、531所示，另外，导航迷你app也可以请求对来自瘦设备的传感器(例如，取向传感器)的传感器数据的更新。
79.在514处，导航迷你app然后呈现确认屏幕，其在515处被传输到瘦设备作为要在瘦设备上显示的屏幕帧。
80.在516处，用户然后开始导航。在图5的实施例中，这是通过按下瘦设备上的按钮来完成的。在其他实施例中，这可以通过瘦设备上的其他动作来完成，如语音命令或使用移动设备的输入设备进行的动作。在517处，瘦设备然后向虚拟操作系统应用程序报告按钮被按下，虚拟操作系统应用程序在518处将这个情况提供给导航迷你app。如532、533所示，导航迷你app也可以从瘦设备接收传感器更新(例如，取向传感器)。然后，在519处，导航迷你app计算第一步(去哪里或开车去哪里的第一指令)，并在520处呈现对应的屏幕，在521处，该屏幕被提供给瘦设备以进行显示。导航在循环522中继续，在该循环期间用户进行移动，其中，在523处更新位置，在524处导航迷你app计算下一步，在525中呈现对应的屏幕，在526处，该屏幕被传输到瘦设备以进行显示。在524处计算下一步之前，在一些实施方式中，导航迷你app还可以从瘦设备接收传感器更新(例如，取向传感器)，如534、535所示。
81.当导航完成时，在527处的某个时刻，用户关闭导航迷你app，其然后在528处关闭。在此之后，在529处，主屏幕被传输到瘦设备以进行显示，对应于在54处被传输以进行显示的主屏幕。
82.应当注意，图5的流程只是用于说明其上安装有虚拟操作系统应用程序和迷你app的移动设备与瘦设备之间可能的通信的示例，并且对于其他各种迷你app也可以进行对应的通信。