用于头戴式显示设备的信息显示方法和装置与流程

1.本公开涉及信息技术领域，尤其是一种用于头戴式显示设备的信息显示方法和装置。


背景技术：

2.在虚拟现实(virtual reality，vr)、增强现实(augmented reality，ar)或混合现实(mixed reality，mr)等场景中，终端通过构建虚拟环境给用户提供可交互的沉浸式体验。
3.在终端访问网址界面时，如何提升用户的沉浸式体验，并针对用户进行合理的信息推荐，是一种亟待解决的问题。


技术实现要素：

4.本公开的实施例提供了一种用于头戴式显示设备的信息显示方法和装置。
5.根据本公开实施例的第一方面，提供了一种用于头戴式显示设备的信息显示方法，包括：响应于接收到头戴式显示设备的目标资源页面的访问请求，获取目标资源页面中的多个功能区域的源数据；基于多个功能区域的源数据，生成多个功能界面窗口；
6.在多个功能界面窗口中确定第一目标窗口，并获取与第一目标窗口显示内容关联的推荐信息，以生成对应的推荐窗口；确定待显示窗口，以使头戴式显示设备显示待显示窗口，其中，待显示窗口至少包括推荐窗口和第一目标窗口。
7.根据本公开实施例的第二方面，提供了一种用于头戴式显示设备的信息显示装置，包括：源数据获取模块，用于响应于接收到头戴式显示设备的目标资源页面的访问请求，获取目标资源页面中的多个功能区域的源数据；功能界面窗口生成模块，用于基于将多个功能区域的源数据，生成多个功能界面窗口；推荐窗口生成模块，用于在多个功能界面窗口中确定第一目标窗口，并获取与第一目标窗口显示内容关联的推荐信息，以生成对应的推荐窗口；显示模块，用于确定待显示窗口，以使头戴式显示设备显示待显示窗口，其中，待显示窗口至少包括推荐窗口和第一目标窗口。
8.根据本公开实施例的第三方面，提供了一种头戴式显示设备，该头戴式显示设备包括：处理器；用于存储该处理器可执行指令的存储器；处理器，用于从该存储器中读取该可执行指令，并执行该指令以实现上述第一方面该的用于头戴式显示设备的信息显示方法。
9.根据本公开实施例的第四方面，提供了一种计算机可读存储介质，该存储介质存储有计算机程序，该计算机程序用于执行上述第一方面该的用于头戴式显示设备的信息显示方法。
10.下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
11.通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
12.图1是可以应用于本技术的用于头戴式显示设备的信息显示方法或装置的实施例的示例性系统架构；
13.图2是本公开一个实施例中用于头戴式显示设备的信息显示方法的流程示意图；
14.图3是本公开一个示例中显示功能界面窗口和推荐窗口的示意图；
15.图4是本公开另一个实施例中用于头戴式显示设备的信息显示方法的流程示意图；
16.图5是在图3更新显示功能界面窗口和推荐窗口后的示意图；
17.图6是本公开一个实施例中步骤s2的流程示意图；
18.图7是本公开一个示例中对功能界面窗口和推荐窗口添加窗口标签后的示意图；
19.图8是本公开一个示例中根据用户操作指令对指定窗口进行放大后的示意图；
20.图9是本公开实施例的用于头戴式显示设备的信息显示装置的结构框图；
21.图10是本公开一示例性实施例提供的电子设备的结构图。
具体实施方式
22.下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
23.应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
24.本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
25.还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
26.还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
27.另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
28.还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
29.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
30.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适
当情况下，所述技术、方法和设备应当被视为说明书的一部分。
31.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
32.本公开实施例可以应用于头戴式显示设备、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。头戴式显示设备、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
33.图1是可以应用于本技术的用于头戴式显示设备的信息显示方法或装置的实施例的示例性系统架构。
34.如图1所示，系统架构可以包括头戴式显示设备1、网络2和服务器3。网络2可以为头戴式显示设备1和服务器3之间供通信链路的介质。网络2可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
35.上述头戴式显示设备1可以是具有图像显示功能的电子设备，包括但不限于ar智能眼镜、vr智能眼镜等等。该头戴式显示设备1可以为一体机，即该头戴式显示设备1可以安装各种客户端应用。或者，该头戴式显示设备1还可以与终端设备配合使用来实现图像显示功能的分体式设备，此时终端设备可以承担头戴式显示设备的计算功能。这里，为了方便表示，可以将一体机和分体式设备统称为头戴式显示设备。
36.上述头戴式显示设备1可以提供各种服务，例如在接收到目标资源页面的访问请求的情况下可以获取目标资源页面中的多个功能区域的源数据，并对源数据进行分析处理以生成多个功能界面窗口和推荐窗口，以及在确定出待显示窗口后显示待显示窗口。
37.需要说明的是，本技术实施例所提供的用于显示信息的方法一般由头戴式电子设备1执行，相应地，用于头戴式显示设备的信息显示装置一般设置于头戴式电子设备1中。
38.还需要指出的是，本技术公开的方案虽然可以应用于头戴式显示设备，但是这也并不排除该方案也可以应用于服务器3，该服务器3可以为后台页面服务器。在本技术公开的方案应用于服务器3的情况下，服务器在接收到头戴式显示设备的目标资源页面的访问请求的情况下，可以获取目标资源页面中多个功能区域的源数据，而后服务器对所获取的源数据进行分析处理可生成多个功能界面窗口和推荐窗口，最后服务器可以确定待显示窗口，并将待显示窗口发送到头戴式显示设备，以使头戴式显示设备可以显示待显示窗口。此种情况下，用于头戴式显示设备的信息显示方法可以由服务器3执行，相应地，用于头戴式显示设备的信息显示装置也可以设置于服务器3中。
39.示例性方法
40.图2是本公开的一个实施例中用于头戴式显示设备的信息显示方法的流程示意图。本公开的实施例可应用在电子设备上，如图2所示，包括如下步骤：
41.s2：响应于接收到头戴式显示设备的目标资源页面的访问请求，获取目标资源页面中的多个功能区域的源数据。
42.用于头戴式显示设备的信息显示方法的执行主体(例如，图1所示的头戴式显示设
备等)在接收到头戴式显示设备对目标资源页面的访问请求的情况下，可以获取目标资源页面中的各功能区域的源数据。这里，上述访问请求可以是通过各种方式生成的。例如，访问请求可以是佩戴头戴式显示设备的用户通过点击目标资源访问链接等操作生成的请求。在接收到该访问请求的情况下，上述执行主体可以从后台页面服务器获取目标资源页面中的各个功能区域的源数据。其中，上述目标资源页面可以是各种类型的界面，例如app软件界面、网页等。
43.在本公开的一个可选的实施例中，目标资源页面可以为ar页面、vr页面或mr页面，该目标资源页面可以预先按照功能区域进行划分。当用户通过头戴式显示设备访问目标资源页面时，可以直接获取已划分的各个功能区域的源数据。例如，当目标资源页面中包括n个功能区域时，可以预先按照n个功能区域进行划分，上述执行主体可以直接获取n个功能区域对应的源数据。其中，n为大于或等于1的整数。
44.在本公开的另一个可选的实施例中，目标资源页面可以为常规的资源页面，该目标资源页面中各功能区域未经划分可以在一个窗口显示。当目标资源页面的服务器接收到目标资源页面的访问请求时，后台页面服务器或头戴式显示设备可以通过各种方式检测用户是否通过头戴式显示设备发出的对目标资源页面的访问请求，例如后台页面服务器可以通过检测访问请求中的设备id是否为头戴式显示设备的设备id，从而判定用户是否通过头戴式显示设备发出的对目标资源页面的访问请求。当检测到用户通过头戴式显示设备发出的对目标资源页面的访问请求时，上述执行主体可以提取目标资源页面中多个功能区域的源数据。例如，当目标资源页面中包括n个功能区域时，上述执行主体可以获取后台页面服务器划分出的n个功能区域对应的源数据，或者上述执行主体还可以获取目标资源界面后对其根据功能划分来获取各个功能区域的源数据。其中，n为大于等于1的整数。s4：基于多个功能区域的源数据，生成多个功能界面窗口。
45.在本公开的实施例中，将所获取的多个功能区域的源数据中每个功能区域的源数据分别填充到一个功能界面窗口中，从而生成多个功能界面窗口。具体地，针对多个功能区域中任一功能区域的源数据，可以将该功能区域的源数据填充到预先构建的窗口中，从而可以生成该功能区域的功能界面窗口。例如，针对n个功能区域的源数据，按照n个功能区域中每个功能区域的布局，将n个功能区域的源数据中每个功能区域的源数据分别填充到一个功能界面窗口中，从而生成n个功能界面窗口。
46.s6：在多个功能界面窗口中确定第一目标窗口，并获取与第一目标窗口显示内容关联的推荐信息，以生成对应的推荐窗口。
47.在本公开的一个可选的实施例中，可以在多个功能界面窗口中随机选择一个窗口作为第一目标窗口。或者，还可以通过识别佩戴用户的注视点的方式来确定用户所关注的窗口为第一目标窗口。
48.在本公开的另一个可选的实施例中，也可以根据多个功能界面窗口的热度，将热度最高的窗口确定为第一目标窗口。其中，功能界面窗口的热度可以根据在线观看人数确定，或者根据其他方式(例如点击量、评论数等等)确定。
49.在本公开的又一个可选的实施例中，还可以根据目标资源页面的访问请求与多个功能界面窗口的主题对应程度确定第一目标窗口，例如目标资源页面的访问请求为指定球赛的视频访问请求，多个功能页面包括指定球赛的视频窗口、球赛双方的阵容窗口、球赛双
方的赛事得分窗口、球赛双方的历史对战结果窗口和关于指定球赛的新闻窗口等等。可以将指定球赛的视频窗口作为第一目标窗口。
50.在确定第一目标窗口之后，上述执行主体可以通过各种方式处理第一目标窗口的显示内容来生成与显示内容关联的推荐信息，进而生成包括推荐信息的推荐窗口。
51.s8：确定待显示窗口，以使头戴式显示设备显示待显示窗口。
52.上述执行主体可以通过各种方式从所有的窗口中确定出待显示窗口，以便于头戴式显示设备可以显示所获取的各窗口。其中，待显示窗口可以至少包括所生成的推荐窗口和所生成的多个功能界面中的第一目标窗口。例如，上述执行主体可以将所有的功能界面窗口和推荐窗口确定为待显示窗口，此时头戴式显示设备可以显示所有的功能界面窗口和推荐窗口。或者，上述执行主体还可以仅将第一目标窗口和推荐窗口确定为待显示窗口，此时头戴式显示设备可以显示第一目标窗口和推荐窗口。作为示例，上述执行主体可以先将第一目标窗口和推荐窗口确定为待显示窗口，而后通过随机等方式在除第一目标窗口之外的其他功能界面窗口中确定待显示窗口。可以理解的是，在头戴式显示设备的实际使用过程中，所确定出的待显示窗口可变，因此，头戴式显示设备所显示的窗口也是可变的。
53.通常，头戴式显示设备的位姿信息可以随着佩戴头戴式显示设备时用户头部的移动而改变。这里位姿信息可以用于表征头戴式显示设备在空间中的位置和姿态。上述头戴式显示设备可以根据其当前的位姿信息来调整当前的显示。作为示例，上述头戴式显示设备在位姿信息满足预设条件的情况下可以仅将第一目标窗口和推荐窗口确定为待显示窗口进行显示，这里的预设条件可以为佩戴用户视线与水平面的夹角大于预设角度，或者预设条件还可以为头戴式显示设备的位姿信息在预设时长内变化幅度在阈值范围内。在示例中，位姿信息满足预设条件可以表明用户需要长时间对第一目标窗口观看，因此为了降低计算量和电量可以不显示用户不关注的窗口。
54.图3是本公开一个示例中显示功能界面窗口和推荐窗口的示意图。如图3所示，用户使用头戴式显示设备访问目标资源页面后，可以根据目标资源页面的多个功能区域的源数据生成了多个功能界面窗口。在本示例中，目标资源页面为足球比赛x，多个功能界面窗口包括功能界面窗口a和功能界面窗口b和功能界面窗口c，等等。示例性地，功能界面窗口a为视频窗口、功能界面窗口b为足球比赛x的参赛方的阵容介绍窗口，功能界面窗口c为参赛方的战绩窗口(例如小组赛积分窗口)。在本示例中，第一目标窗口为功能界面窗口a，推荐窗口是根据功能界面窗口a的显示内容生成的。其中，推荐窗口中可以推荐参赛方的队服售卖信息。在图3中，可以通过各种方式从上述推荐窗口、功能界面窗口a、功能界面窗口b、功能界面窗口c等中确定出功能界面窗口a、功能界面窗口b和推荐窗口作为待显示窗口，以便于头戴式显示设备可以显示功能界面窗口a、功能界面窗口b和推荐窗口。
55.在本实施例中，在用户使用头戴式显示设备访问目标资源页面时，可以将目标资源页面拆分成多个功能界面窗口，并针对其中的第一目标窗口通过推荐窗口进行信息推荐，而后头戴式显示设备可以对各窗口进行选择性的显示，避免用户不关心的功能信息对用户造成干扰，在提供用户沉浸式体验的同时对用户进行合理的信息推荐，用户体验好。
56.图4是本公开另一个实施例中用于头戴式显示设备的信息显示方法的流程示意图，如图4所示，在步骤s8之后，还包括：
57.s10：基于头戴式显示设备的位姿变化信息，调整待显示窗口，以使头戴式显示设
备显示调整后的待显示窗口。
58.随着佩戴头戴式显示设备时用户头部的移动，头戴式显示设备的位姿信息可以发生变化，头戴式显示设备可以根据变化后的位姿信息实时调整待显示窗口，进而更新头戴式显示设备所渲染的图像，从而使得用户透过头戴式显示设备看到的窗口随着头部的移动而变化。作为示例，头戴式显示设备处于第一位姿信息所指示的位姿时，头戴式显示设备显示的窗口为推荐窗口和所有的功能界面窗口，当佩戴用户头部移动使得头戴式显示设备的位姿发生变换时，调整后的待显示窗口可以为推荐窗口和第一目标窗口，对其进行渲染可以使得用户透过头戴式显示设备看到推荐窗口和第一目标窗口。
59.图5是在图3基础上用户改变头戴式显示设备的位姿后的示意图。头戴式显示设备当前显示功能界面窗口a、功能界面窗口b和推荐窗口，如图3所示。当佩戴用户通过头部运动使得头戴式显示设备的位姿信息更新之后，可以重新确定待显示窗口为功能界面窗口a和推荐窗口，头戴式显示设备可以渲染重新确定的待显示窗口，更新头戴式显示设备显示的窗口为功能界面窗口a和推荐窗口，如图5所示。其中，推荐窗口的内容可以不随着显示窗口的更新而改变，例如推荐窗口依然保持显示针对功能界面窗口a的推荐信息。推荐窗口的内容也可以随着显示窗口的更新而改变，例如针对功能界面窗口b更新推荐窗口的显示内容，再例如通过推荐窗口推荐足球比赛x的参赛方的历史对战阵容，或者推荐足球比赛x的参赛方的各阵容的胜率，等等。
60.在本实施例中，可以根据头戴式显示设备的位姿变化信息，快速准确地调整当前显示窗口，满足用户对需要显示窗口的智能控制需求。
61.图6是本公开一个实施例中步骤s2的流程示意图。如图6所示，步骤s2包括：
62.s2
‑
1：从预先构建的功能界面窗口模板库中，获取多个目标功能界面窗口模板。
63.在本实施例中，可以在功能界面窗口模板库中预先存储有多个功能界面窗口模板。其中，每个功能界面窗口模板设置相应的窗口框架。例如，窗口框架中设置了该模板包括几个单元界面，并设置了每个单元界面的显示尺寸，以及设置了每个单元界面中的字体类型和字体大小等等参数。而后，根据目标资源页面中多个功能区域的源数据，分别匹配适合的模板，从而得到多个目标功能界面窗口模板。
64.s2
‑
2：将多个功能区域的源数据分别填充到多个目标功能界面模板中，生成多个功能界面窗口。
65.在本实施例中，通过预先设置具有功能界面窗口模板的功能界面窗口模板库，通过模板复用的方式可以大幅提升功能界面窗口的生成速度。
66.在本公开的一个可选的实施例中，步骤s2
‑
2可以包括：
67.s2
‑2‑
1：基于多个功能区域的源数据，生成与多个功能界面窗口一一对应的多个窗口标签。
68.具体地，可以根据每个功能区域源数据的显示内容的分类结果，生成对应的窗口标签。示例性地，如图7所示，当功能区域源数据的显示内容为直播时，对应的窗口标签为直播；功能区域源数据的显示内容为参赛方的阵容时，对应的窗口标签为阵容。
69.s2
‑2‑
2：基于多个功能区域的源数据，生成与多个功能界面窗口一一对应的多组窗口显示内容。
70.示例性地，如图7所示，将视频数据作为直播窗口的显示内容，将阵容信息作为阵
容窗口的显示内容，等等。
71.s2
‑2‑
3：将多组窗口显示内容和多个窗口标签分别填充到多个目标功能界面模板中，生成多个功能界面窗口，生成多个功能界面窗口，如图7所示。
72.在本实施例中，可以对每个功能界面窗口添加相应的窗口标签，使用户可以根据窗口标签快速得到每个功能界面窗口中显示内容的类型，便于用户快速找到需要的功能界面窗口，提高了用户的操作效率。
73.在本公开的一个可选的实施例中，在步骤s8之后，还包括：针对当前显示的功能界面窗口和推荐窗口中的一个，响应于接收到对该窗口的用户操作指令，控制该窗口按照用户操作指令进行相应动作。其中，用户操作指令可以包括窗口放大指令、窗口缩小指令、窗口推远指令、窗口拉近指令、拖动窗口指令和关闭窗口指令等。
74.在本公开的一个示例中，用户可以通过用于其他感知用户行为的设备输入用户操作指令，例如在用户进行了预定手势动作，服务器通过该设备采集到用户进行了预定手势动作后，查找该预定手势动作对应的窗口操作行为，然后进行相应动作。示例性地，预定手势动作对应的窗口操作行为是窗口放大时，可以对选定窗口进行放大。
75.在本公开的另一个示例中，用户可以通过头戴式显示设备的输入用户操作指令，例如通过头戴设显示设备上的功能按钮输入用户操作指令，首先确定需要进行操作的窗口，例如将头戴式显示设备的当前选择窗口作为选定窗口，然后对选定窗口按照用户操作指令进行相应动作。
76.图8是本公开一个示例中根据用户操作指令对指定窗口进行放大后的示意图。如图8所示，当用户对选定窗口输入了窗口放大指令后，可以将选定窗口进行放大。
77.相关技术中，目标资源页面中各功能区域显示在同一窗口中，或者各功能区域虽然不在同一窗口但是相互关联，用户往往需要对目标资源页面整体进行操作，而无法单独就其中一个功能区域的内容进行放大、缩小等操作。在本实施例中，在将目标资源页面拆分成不同的功能界面窗口后，对于各个功能界面窗口和推荐窗口，根据用户操作指令可以对所选中的单个窗口进行灵活操作，用户体验好。
78.在本公开的一个可选的实施例中，获取与第一目标窗口显示内容关联的推荐信息，包括：获取第一目标窗口显示内容的源数据；基于第一目标窗口显示内容的源数据，确定目标兴趣点；基于目标兴趣点，生成推荐信息。
79.具体地，可以通过各种方式针对第一目标窗口显示内容的源数据进行兴趣点分析。例如，可以针对第一目标窗口中的文字内容分词处理和分析来确定目标兴趣点，还可以对图片内容进行目标识别和对象分析后确定目标兴趣点，也可以对音频内容转换为文字后进行分词处理后分析确定目标兴趣点，等等。基于兴趣点分析结果确定目标兴趣点，进而可以生成与目标兴趣点关联的推荐信息。
80.在本实施例中，可以针对窗口显示内容确定兴趣点，进而为生成符合用户兴趣的推荐信息，信息推荐的针对性更强。
81.在本公开的一个可选的实施例中，第一目标窗口显示内容为目标视频时，基于第一目标窗口显示内容的源数据，确定目标兴趣点的步骤，可以包括：从目标视频的源数据中获取与第一目标视频帧图像关联的用户评论数据；基于与第一目标视频帧图像关联的用户评论数据，确定与第一目标视频帧图像关联的第一兴趣点，将第一兴趣点作为目标兴趣点。
82.具体地，首先从目标视频中获取第一目标视频帧图像的图像数据。其中，第一目标视频帧图像可以是目标视频的关键帧图像，也可以是目标视频的指定帧图像。示例性地，目标视频帧图像可以为对指定球员进行特写的帧图像。然后，获取第一目标视频帧图像关联的用户评论数据，针对该用户评论数据确定第一兴趣点，例如通过该用户评论数据确定第一兴趣点为指定球员的球鞋的款式、材质、价格，等等，将第一兴趣点作为目标兴趣点。
83.在本实施例中，可以通过视频中图像帧关联的用户评论信息，快速确定兴趣点，以便为用户推荐合理的推荐信息。
84.在本公开的一个实施例中，基于与第一目标视频帧图像关联的用户评论数据，确定与目标视频帧图像关联的第一兴趣点的步骤，包括：获取与第一目标视频帧图像关联的所有用户评论数据；基于所有用户评论数据，确定多个兴趣点；对多个兴趣点的感兴趣人员及进行数量统计，将感兴趣人员数量最多的兴趣点作为第一兴趣点。
85.具体地，对第一目标视频帧图像关联的所有用户评论数据进行分析，可能分析出多个兴趣点，例如目标视频帧图像为对指定球员进行特写的帧图像时，对所有用户评论数据分析出的兴趣点包括针对该指定球员的兴趣点，该球员所穿球鞋的兴趣点、该球员所戴护腕的兴趣点，等等。针对每个兴趣点，通过感兴趣人员的数量，将感兴趣人员数量最多的兴趣点作为第一兴趣点。
86.在本实施例中，可以针对视频帧图像中所有用户的评论信息确定多个兴趣点，进而针对感兴趣人员数据最多的兴趣点生成相应的推荐信息，使得生成的推荐信息可以满足大部分观众的兴趣。
87.在本公开的一个实施例中，基于与第一目标视频帧图像关联的用户评论数据，确定与目标视频帧图像关联的第一兴趣点的步骤，包括：获取与第一目标视频帧图像关联的目标评论数据，其中，目标评论数据为目标用户的评论数据；基于目标评论数据，确定第一兴趣点。
88.在本实施例中，可以针对视频帧图像中目标用户的评论信息确定兴趣点，进而生成相应的推荐信息，使得生成的推荐信息满足目标用户的个性化需求。
89.在本公开的一个实施例中，在第一目标窗口显示内容为直播视频时，基于第一目标窗口显示内容的源数据，确定目标兴趣点的步骤，包括：从直播视频的源数据中获取多个视频帧图像；基于多个视频帧图像进行视频预测，生成预测帧图像的图像数据；基于预测帧图像的图像数据，确定第二兴趣点，将第二兴趣点作为目标兴趣点。
90.具体地，由于直播视频难以准确确定未播出的视频帧的图像内容，为了保证针对直播视频生成推荐信息的及时性，需要通过直播视频的多个视频帧图像进行视频预测。例如，当直播视频的某帧图像中出现了某个人气较高的球星，且从该帧图像开始的连续m帧图像均出现了该球星的带球动作，此时可以将该帧图像和之后的连续m图像作为一个图像序列，通过该视频序列进行视频预测，可以生成预测帧图像的图像数据。然后，基于预测帧图像的图像数据，确定第二兴趣点，例如在预测帧图像中，清晰的显示了该球星的球鞋，可以将该球星的球鞋的相关信息作为目标兴趣点。
91.这里，可以通过各种方式进行视频预测。例如，可以利用深度神经网络计算当前视频帧图像中的各像素的运动信息，从而预测出未来帧图像中的各像素，得到预测帧图像。
92.在本公开的一个实施例中，可以通过预先训练的对抗网络来进行视频预测。将所
获取的多个连续视频帧图像输入预先训练的生成式对抗网络可以输出预测帧图像。上述生成式对抗网络可以由一个生成器和两个判别器组成，其中，生成器可以根据输入的视频帧图像生成未来图像帧，判别器可以判断生成器所生成的未来图像帧的真实性。这里，可以将生成器生成的未来图像帧输入第一判别器，以便于第一判别器可以判断该未来图像帧是生成的还是真实的，而后将连续视频帧和经第一判别器判断为真实的未来图像帧作为视频帧序列输入第二判别器，以便于第二判别器可以判断输入的序列是否含有生成的图像帧。因此，对于上述生成式对抗网络，如果第一判断器判断出生成器输出的未来图像帧为真实的，且第二判别器判断出所输入的上述连续视频帧图像和未来帧图像构成的序列中不含有生成的图像帧，即第二判别器判断出所输入的序列中所有图像均为真实的，此时即可以将生成器所生成的未来图像帧确定为上述预测帧图像。上述生成式对抗网络通过设置两个判别器，既对生成器生成的未来图像帧进行图像本身真实性的判断，又对包含未来图像帧的图像序列进行判断，从而可以提高生成式对抗网络输出图像的准确性。本领域技术人员可以理解的是，上述生成器和判别器都是神经网络，只需要是能拟合相应生成和判别的函数即可，例如，判别器可以是在5个卷积层加上激活函数组成。
93.在本实施例中，可以通过对直播视频进行视频预测生成预测帧图像，进而可以在预测帧图像中确定目标兴趣点，保证了针对直播视频生成推荐信息的及时性。
94.在本公开的一个实施例中，针对直播视频，在步骤s8中，显示推荐窗口的步骤，包括：获取预测帧图像的预计出现时间；在预计出现时间显示推荐窗口。例如通过视频预测，确定预测帧图像将在直播视频当前时间的5秒后出现，则在当前时间的5秒后，显示针对预测帧图像中的目标兴趣点生成的推荐窗口。这里，可以根据当前视频帧图像在整体视频中时刻以及视频的刷新评率等参数来预估预测帧图像出现时间。在本实施例中，在确定出所获取预测帧图像中存在目标兴趣点的情况下，可以在该预测帧图像到来时生成对应的推荐窗口，从而使得头戴式显示设备在显示预测帧图像的同时可以显示对应的推荐窗口，保证了针对直播视频生成推荐信息的及时性。在本公开的一个实施例中，第一目标窗口显示内容为录播视频时，基于第一目标窗口显示内容的源数据，确定目标兴趣点的步骤，包括：从录播视频的源数据中获取第二目标视频帧图像；基于第二目标视频帧图像确定目标兴趣点；其中，显示推荐窗口，包括：获取第二目标视频帧图像的预计播放时间点；在预计播放时间点显示推荐窗口。
95.在本实施例中，由于录播视频可以准确确定所有视频帧的图像内容，可以针对录播视频中出现的第二目标视频帧图像确定兴趣点，在播放第二目标视频帧图像时显示对应的推荐窗口，可以实现视频内容与推荐窗口的实时对应。
96.本公开实施例提供的任一种用于头戴式显示设备的信息显示方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任一种用于头戴式显示设备的信息显示方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种用于头戴式显示设备的信息显示方法。下文不再赘述。
97.示例性装置
98.图9是本公开实施例的用于头戴式显示设备的信息显示装置的结构框图。如图9所示，本公开实施例的用于头戴式显示设备的信息显示装置，包括：源数据获取模块100、功能
界面窗口生成模块200、推荐窗口生成模块300和显示模块400。
99.其中，源数据获取模块100用于响应于接收到头戴式显示设备的目标资源页面的访问请求，获取目标资源页面中的多个功能区域的源数据。功能界面窗口生成模块200用于基于将多个功能区域的源数据，生成多个功能界面窗口。推荐窗口生成模块300用于在多个功能界面窗口中确定第一目标窗口，并获取与第一目标窗口显示内容关联的推荐信息，以生成对应的推荐窗口。显示模块400用于确定待显示窗口，以使头戴式显示设备显示待显示窗口，其中，待显示窗口至少包括推荐窗口和第一目标窗口。
100.在本公开的一个实施例中，显示模块400还用于基于头戴式显示设备的位姿变化信息，调整待显示窗口，以使头戴式显示设备显示调整后的待显示窗口。
101.在本公开的一个实施例中，功能界面窗口生成模块300包括：
102.模板获取单元，用于从预先构建的功能界面窗口模板库中，获取多个目标功能界面窗口模板；
103.功能界面窗口生成单元，用于将多个功能区域的源数据分别填充到多个目标功能界面模板中，生成多个功能界面窗口。
104.在本公开的一个实施例中，功能界面窗口生成单元300用于基于多个功能区域的源数据，生成与多个功能界面窗口一一对应的多个窗口标签；功能界面窗口生成单元还用于基于多个功能区域的源数据，生成多个功能界面窗口一一对应的多组窗口显示内容；功能界面窗口生成单元还用于将多组窗口显示内容和多个窗口标签分别填充到多个目标功能界面模板中，生成多个功能界面窗口。
105.在本公开的一个实施例中，用于头戴式显示设备的信息显示装置还包括人机交互模块。人机交互模块用于针对当前显示的功能界面窗口和推荐窗口中的一个，响应于接收到对该窗口的用户操作指令，控制该窗口按照用户操作指令进行相应动作。其中，用户操作指令包括窗口放大指令、窗口缩小指令、窗口推远指令、窗口拉近指令、拖动窗口指令和关闭窗口指令。
106.在本公开的一个实施例中，推荐窗口生成模块300包括：
107.源数据获取单元，用于获取第一目标窗口显示内容的源数据；
108.目标兴趣点确定单元，用于基于第一目标窗口显示内容的源数据，确定目标兴趣点；
109.推荐信息生成单元，用于基于目标兴趣点生成推荐信息。
110.在本公开的一个实施例中，第一目标窗口显示内容为目标视频。目标兴趣点确定单元用于从目标视频的源数据中获取与第一目标视频帧图像关联的用户评论数据。目标兴趣点确定单元还用于基于与第一目标视频帧图像关联的用户评论数据，确定与第一目标视频帧图像关联的第一兴趣点，将第一兴趣点作为目标兴趣点。
111.在本公开的一个实施例中，目标兴趣点确定单元用于获取与第一目标视频帧图像关联的所有用户评论数据。目标兴趣点确定单元还用于基于所有用户评论数据，确定多个兴趣点。目标兴趣点确定单元还用于对多个兴趣点的感兴趣人员及进行数量统计，将感兴趣人员数量最多的兴趣点作为第一兴趣点。
112.在本公开的一个实施例中，目标兴趣点确定单元用于获取与第一目标视频帧图像关联的目标评论数据。其中，目标评论数据为目标用户的评论数据。目标兴趣点确定单元还
用于基于目标评论数据，确定第一兴趣点。
113.在本公开的一个实施例中，第一目标窗口显示内容为直播视频。目标兴趣点确定单元用于从直播视频的源数据中获取多个视频帧图像。目标兴趣点确定单元还用于基于多个视频帧图像进行视频预测，生成预测帧图像的图像数据。目标兴趣点确定单元还用于基于预测帧图像的图像数据，确定第二兴趣点，将第二兴趣点作为目标兴趣点。
114.在本公开的一个实施例中，显示模块400用于获取预测帧图像的预计出现时间；在预计出现时间显示推荐窗口。
115.在本公开的一个实施例中，第一目标窗口显示内容为录播视频。目标兴趣点确定单元用于从录播视频的源数据中获取第二目标视频帧图像，进而基于第二目标视频帧图像确定目标兴趣点。显示模块400用于获取第二目标视频帧图像的预计播放时间点；在预计播放时间点显示推荐窗口。
116.需要说明的是，本公开实施例的用于头戴式显示设备的信息显示方法的具体实施方式与本公开实施例的用于头戴式显示设备的信息显示装置的具体实施方式类似，具体参见用于头戴式显示设备的信息显示方法部分，为了减少冗余，不作赘述。
117.示例性头戴式显示设备
118.下面，参考图10来描述根据本公开实施例的电子设备。如图10所示，电子设备包括一个或多个处理器10和存储器20。
119.处理器10可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。
120.存储器20可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器10可以运行所述程序指令，以实现上文所述的本公开的各个实施例的用于头戴式显示设备的信息显示方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
121.在一个示例中，电子设备还可以包括：输入装置30和输出装置40，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。输入装置30可以例如键盘、鼠标等等。输出装置40可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
122.当然，为了简化，图10中仅示出了该头戴式显示设备中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备还可以包括任何其他适当的组件。
123.示例性计算机可读存储介质
124.计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只
读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
125.以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
126.本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
127.本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
128.可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
129.还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
130.提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
131.为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。