用于促进与视频内容的交互的用户界面和工具的制作方法

用于促进与视频内容的交互的用户界面和工具
1.相关申请的交叉引用
2.本技术是2021年5月19日提交的美国申请no.17/303,075的继续，并要求其权益，该申请的公开内容通过引用整体并入本文。


背景技术：

3.当进行演示时，演示者常常必须重复指令和信息来向一组用户解释概念。反过来，每个用户通常会对该概念做笔记，以便在稍后的时间能够进一步审阅这些笔记。如果从演示生成记录，则演示者可以较少地重复该概念。然而，传统记录的视频可能无法为用户提供在不观看和/或扫描整个视频的情况下查找视频内的特定内容的简单方式。也就是说，当用户在视频中寻找概念时，用户将必须观看或滚动通过整个记录以定位该概念。


技术实现要素：

4.本文中描述的系统和方法可以提供多个用户界面(ui)和/或演示工具以促进与视频内容的交互。例如，这些工具可以促进记录、共享、查看、搜索和投射视频内容。视频内容可以是教学的、演示性的和/或以其他方式基于由任何数量的演示者提供并由任何数量的用户消费的信息和输入。本文中描述的系统和方法可以基于从应用(例如，浏览器、web应用、本机应用等)接收到的命令和/或从计算设备的操作系统(o/s)接收到的命令来提供、执行和/或控制ui和演示工具。在一些实施方式中，可以以来自应用和o/s两者的信息的混合组合来提供本文中描述的ui和演示工具。例如，工具、ui和相关教学内容(例如，视频内容、文件、注释等)的部分可以由不同的应用触发的或o/s触发的源提供。
5.本文中描述的系统和方法可以呈现演示工具，该演示工具至少包括具有多个可选择工具(例如，屏幕投射、记录屏幕投射、演示者相机(例如，前向(即，自拍)相机)、实时转录、实时翻译、激光指示器工具、注释工具、放大器工具)的交互式工具栏。工具栏可以被配置为供演示者利用单个输入轻松地呈现、记录、投射。另外，工具栏可以提供用于切换演示、记录和/或投射的选项。例如，特定工具和/或屏幕内容可以被配置为在记录期间在打开和关闭之间切换。在一些实施方式中，还可以向记录的查看者提供用于切换工具栏、屏幕内容和/或与视频相关联的视频流的特定工具(实时地或记录后)。例如，记录的特定元素(例如，演示者的前向相机流、转录流、翻译流、注释流等)可以在记录期间和/或在用户审阅记录期间在打开或关闭之间切换。
6.本文中描述的系统和方法被配置为使得演示工具能够触发来自一个或多个计算机显示器的内容的共享。演示工具可以允许演示者和/或用户以有效的方式对共享内容进行注释(即，做注释)。可以存储注释，使得注释可以稍后被检索并与时间戳和视频内容对齐，以便被准确地放置在共享内容上。例如，可以在内容的视频记录和/或投射期间对内容进行注释。注释可以被分层到内容(例如，底层应用内容)上并存储在元数据中，使得当检测到窗口事件(即，当窗口滚动、调整大小或跨ui移动时注释移动)时，注释能够被移除或适于被恰当地定位以与内容一起移动)。例如，如果演示者在记录期间切换到另一文档(或在文
档内滚动)，使用元数据保存注释层，以便例如当演示者贯穿整个记录在文档之间切换时触发适当的注释被覆盖在适当的内容上。这可以允许使用多个源来描绘概念，并且可以允许演示者将标记注释放置在覆盖层中的内容上(即，而不是在文字处理编辑中)以当演示者或用户请求移除或重新应用覆盖层时允许该层被移除和重新应用。
7.本文中描述的系统和方法可以存储注释，使得演示者或用户可以在对这样的内容进行注释的同时在多个文档、应用或(在记录发生的同时访问的)其他所记录的内容之间切换，并且注释可以被检索和提供为覆盖，其中注释被恰当地定位，如在视频记录期间执行的。屏幕内容、演示者相机捕获的内容、转录内容、翻译内容和注释内容可以被配置为在记录期间和记录后(即，在演示者查看和用户查看期间)在打开和关闭之间切换。
8.在一些实施方式中，本文中描述的演示工具包括注释工具，该注释工具被配置为允许演示者或用户在记录期间使用一个或多个标记工具来指示内容内的章节、内容内的关键思想。标记工具可以包括任何数量的输入机制，包括文本输入、激光指示器(和/或光标、控制器输入等)、笔输入、突出显示输入、形状输入等。
9.在一些实施方式中，本文中描述的系统和方法可以生成并显示音频内容和视频内容的实时转录和/或翻译。转录和/或翻译可以与其他教学内容一起描绘在屏幕上。在一些实施方式中，可以生成转录和/或翻译，然后进行整理以供稍后查看。例如，转录可以被格式化以便于审阅并且被格式化用于从演示者或用户接收注释，其中注释可以将内容的特定概念指示为要学习的重要概念。
10.本文中描述的系统和方法可以包括用于执行、格式化和显示视频内容的翻译和/或转录的工具。当查看视频时(在记录期间或之后)，用户可以滚动(例如，视频滚动)内容(例如，网页、文档等)，并且作为响应，转录部分可以自动地与视频滚动同步地滚动。视频和文本内容之间的这种同步性能够有助于视频内包含的内容的有效且资源高效的搜索，因为对应的文本能够被用于搜索。
11.在一些实施方式中，注释和转录可以被用于自动生成表示所记录的视频内容的部分的概述(例如，摘要)视频。本文中描述的系统和方法可以将注释和所转录的音频配置为可搜索(和/或索引)以利用访问所记录的视频内容的计算设备的应用(例如，浏览器)和/或o/s中的搜索提供来展现。
12.在一些实施方式中，本文中描述的演示工具可以包括允许基于单个输入的放大或缩小模式的放大器工具。可以使用放大器工具而无需手动调整窗口或网页的大小。另外，放大器工具可以与注释工具结合使用。当用户退出放大或缩小模式时，注释可以随视频内容自动调整大小以匹配注释的内容。这种调整大小使得注释能够经由元数据进行存储，其可以稍后被检索并应用为对内容的覆盖，而注释或缩放的内容不会在记录的结束之后审阅视频内容时大小不合适。
13.一个或多个计算机的系统能够被配置为借助于安装在系统上的软件、固件、硬件或它们的组合来执行特定操作或动作，这些软件、固件、硬件或它们的组合在操作中使系统执行这些动作。一个或多个计算机程序能够被配置为借助于包括指令来执行特定操作或动作，该指令当由数据处理装置执行时使得该装置执行这些动作。
14.在第一个总体方面中，描述了一种计算机实现的方法，其包括使得记录开始捕获视频内容，该视频内容包括演示者视频流、屏幕投射视频流和注释视频流，并且基于该视频
内容并在该视频内容的捕获期间生成元数据记录，该元数据记录表示用于将视频内容的至少一个部分与在演示者视频流、屏幕投射视频流或注释视频流中的至少一个中接收到的输入同步的定时信息。
15.实施方式能够包括以下特征中的任何或全部。在一些实施方式中，响应于记录的终止，该方法可以包括基于元数据记录来生成视频内容的表示，该表示包括由与演示者视频流相关联的用户注释的视频内容的部分。在一些实施方式中，定时信息对应于与接收到的输入中的相应输入相关联的多个时间戳以及与视频内容相关联的文档中的至少一个位置，并且同步输入包括：针对相应输入，将多个时间戳中的至少一个时间戳与文档中的至少一个位置相匹配。
16.在一些实施方式中，视频内容进一步包括转录视频流，并且该转录视频流包括来自演示者视频流的实时转录的音频数据，该实时转录的音频数据被生成为可修改的转录数据，该可修改的转录数据被配置用于在视频内容的记录期间与屏幕投射视频流一起显示。在一些实施方式中，转录视频流还包括来自演示者视频流的实时翻译的音频数据，该实时翻译的音频数据被生成为文本数据，该文本数据被配置用于在视频内容的记录期间与屏幕投射视频流和所转录的音频数据一起显示。在一些实施方式中，实时转录的音频数据的转录由至少一个语音到文本应用执行，其中该至少一个语音到文本应用从确定为能够由转录视频流访问的多个语音到文本应用中选择，并且可修改的转录数据和文本数据根据时间戳被存储在元数据记录中并且被配置为可搜索。
17.在一些实施方式中，输入包括与注释视频流相关联的注释输入，其中该注释输入包括由与演示者视频流相关联的用户生成的视频标记数据和视频标注器数据。在一些实施方式中，演示者视频流、屏幕投射视频流和注释视频流被配置为在记录期间在打开和关闭之间切换，其中在打开和关闭之间切换触发相应演示者视频流、相应屏幕投射视频流或相应注释视频流的显示或从显示中移除相应演示者视频流、相应屏幕投射视频流或相应注释视频流。
18.在第二个总体方面中，描述了一种系统，该系统包括存储器和耦合到该存储器的至少一个处理器，其中该至少一个处理器被配置为生成协作在线用户界面，该协作在线用户界面被配置为从以下项接收命令：渲染器，其被配置为渲染与从用户界面内访问多个应用相关联的音频和视频内容；注释生成器工具，其被配置为接收用户界面中的注释输入并在音频和视频内容的渲染期间针对接收到的注释输入生成多个注释数据记录，注释生成器工具包括用于接收注释输入的至少一个控件；转录生成器工具，其被配置为在音频和视频内容的渲染期间转录音频内容并且在用户界面中显示所转录的音频内容；内容生成器工具，其被配置为响应于检测到渲染的终止来生成音频和视频内容的表示。该表示可以是基于注释输入、视频内容和所转录的音频内容，其中该表示包括利用注释输入标记的所渲染的音频和视频的部分。
19.实施方式能够包括以下特征中的任何或全部。在一些实施方式中，内容生成器工具进一步被配置为生成到音频和视频内容的表示的url链接并且对该表示进行索引以实现用于在web浏览器应用中查找音频和视频内容的至少一部分的搜索功能。在一些实施方式中，多个注释数据记录包括多个应用中的至少一个应用接收注释输入的指示，以及用于根据相应时间戳将注释输入覆盖到描绘所指示的至少一个应用的所渲染的视频内容的一部
分的至少一个图像帧上的机器可读指令。
20.在一些实施方式中，将注释输入覆盖到至少一个图像帧上包括检索多个注释数据记录中的至少一个注释数据记录，执行机器可读指令，以及生成文档，该文档使得用户能够滚动至少一个图像帧，其中根据至少一个注释数据记录将注释输入覆盖到该至少一个图像帧上。在一些实施方式中，注释生成器工具进一步被配置为使得所渲染的音频和视频内容的记录开始，所渲染的视频内容包括与多个应用中的第一应用相关联的数据以及与多个应用中的第二应用相关联的数据，在第一应用中接收在记录视频内容的第一分段期间的第一注释集合，根据与第一分段相关联的相应时间戳来存储第一注释集合，在第二应用中接收在记录视频内容的第二分段期间的第二注释集合，以及根据与第二分段相关联的相应时间戳来存储第二注释集合。
21.响应于检测到光标焦点已经从第一应用切换到第二应用，注释生成器工具进一步被配置为检索第二注释集合以及与第二应用相关联的数据，将与第二分段相关联的时间戳与第二注释集合相匹配，以及使得根据与第二分段相关联的相应时间戳在第二应用上显示检索到的第二注释集合。
22.在一些实施方式中，第一注释集合和第二注释集合由注释工具生成，该注释工具使得能够标记、存储和滚动第一注释集合和第二注释集合，同时针对第一注释集合和第二注释集合中的每个注释，保留与第一应用相关联的数据或与第二应用相关联的数据上的初始位置。在一些实施方式中，注释生成器工具进一步被配置为响应于检测到光标焦点已经从第二应用切换到第一应用，检索第一注释集合以及与第一应用相关联的数据，将与第一分段相关联的时间戳与第一注释集合相匹配，以及使得根据与第一分段相关联的相应时间戳在第一应用上显示检索到的第一注释集合。
23.在一些实施方式中，注释生成器工具进一步被配置为接收第二应用中的附加注释，其中，该附加注释与相应时间戳相关联，以及响应于检测到记录的完成，根据第二注释集合和附加注释生成文档，其中该文档包括：第二注释集合和附加注释，其根据与第二分段相关联的相应时间戳和与附加注释相关联的相应时间戳被覆盖到与第二应用相关联的数据上，以及与第二分段相关联的所记录的音频内容的转录。
24.在第三个总体方面中，一种非暂时性计算机可读存储介质，包括存储在其上的指令，该指令当由至少一个处理器执行时被配置为使得计算系统执行包括以下各项的指令：使得记录开始捕获视频内容，该视频内容包括演示者视频流、屏幕投射视频流、转录视频流和注释视频流；以及基于视频内容并在视频内容的捕获期间生成元数据记录，该元数据记录表示用于将视频内容的至少一个部分与在演示者视频流、屏幕投射视频流、转录视频流或注释视频流中的至少一个中接收到的输入同步的定时信息。
25.实施方式可以包括以下特征中的任何或全部。在一些实施方式中，指令进一步包括：响应于记录的终止，基于元数据记录来生成视频内容的摘要视频，该摘要视频包括由与演示者视频流相关联的用户注释的视频内容的部分。
26.在一些实施方式中，定时信息对应于与接收到的输入中的相应输入相关联的多个时间戳以及与视频内容相关联的文档中的至少一个位置，并且同步输入包括：针对相应输入，将多个时间戳中的至少一个时间戳与文档中的至少一个位置相匹配。
27.在一些实施方式中，转录视频流包括：来自演示者视频流的实时转录的音频数据，
该实时转录的音频数据被生成为文本数据，该文本数据被配置用于在视频内容的记录期间与屏幕投射视频流一起显示；以及来自演示者视频流的实时翻译的音频数据，该实时翻译的音频数据被生成为文本数据，该文本数据被配置用于在视频内容的记录期间与屏幕投射视频流和所转录的音频数据一起显示。在一些实施方式中，实时转录的音频数据被生成为可修改的转录数据，该可修改的转录数据被配置用于在视频内容的记录期间与屏幕投射视频流一起显示，并且实时转录的音频数据的转录由至少一个语音到文本应用执行，该至少一个语音到文本应用从确定为能够由转录视频流访问的多个语音到文本应用中选择，并且可修改的转录数据和文本数据根据时间戳被存储在元数据记录中并且被配置为可搜索。
28.在一些实施方式中，输入包括与注释视频流相关联的注释输入，该注释输入包括由与演示者视频流相关联的用户生成的视频标记数据和视频标注器数据。在一些实施方式中，演示者视频流、屏幕投射视频流、转录视频流和注释视频流被配置为在记录期间在打开和关闭之间切换，在打开和关闭之间切换触发相应演示者视频流、相应屏幕投射视频流、相应转录视频流或相应注释视频流的显示或从显示中移除相应演示者视频流、相应屏幕投射视频流、相应转录视频流或相应注释视频流。
29.在第四个总体方面中，一种非暂时性计算机可读存储介质，包括存储在其上的指令，该指令当由至少一个处理器执行时被配置为使得计算系统执行包括以下各项的指令：使得记录开始捕获音频内容和视频内容，该视频内容至少包括演示者视频流、屏幕投射视频流、转录视频流和注释视频流，使得渲染与从用户界面内访问多个应用相关联的音频内容和视频内容，在音频内容和视频内容的渲染期间接收用户界面中的注释输入，该注释输入被记录在注释视频流中，在音频内容和视频内容的渲染期间转录音频内容，所转录的音频内容被记录在转录视频流中，在音频内容和视频内容的渲染期间翻译所转录的音频内容，以及使得在具有所渲染的音频内容和视频内容的用户界面中渲染所转录的音频内容和所转录的音频内容的翻译。
30.实施方式可以包括以下特征中的任何或全部。在一些实施方式中，计算机可执行指令进一步被配置为响应于检测到视频内容的渲染的终止和视频内容的渲染的终止，使得在线演示系统生成代表音频内容和视频内容的至少一部分的内容。代表性内容可以是基于注释输入、视频内容、所转录的音频内容以及所翻译的音频内容，其中，代表性内容包括利用注释输入标记的所渲染的音频和视频的部分。在一些实施方式中，使得注释输入被渲染为视频内容上的覆盖，注释输入被配置为响应于检测到触发到在记录期间访问的其他视频内容的切换的窗口事件或光标事件而与视频内容一起移动。
31.在第五个总体方面中，描述了一种计算机实现的方法，其包括：接收至少一个视频流，接收表示与在至少一个视频流中检测到的输入相关联的定时信息的元数据，其中该定时信息被配置为将在至少一个视频流中提供的检测到的输入与至少一个视频流的部分同步。响应于接收到查看至少一个视频流的请求，该计算机实现的方法可以包括：生成至少一个视频流的部分，其中该生成是基于元数据和检测到的请求查看至少一个视频流的表示的用户指示，以及使得渲染至少一个视频流的该部分。
32.实施方式可以包括以下特征中的任何或全部。在一些实施方式中，定时信息对应于与在至少一个视频流中检测到的相应输入相关联的多个时间戳以及与至少一个视频流相关联的内容中的至少一个位置，并且同步检测到的输入包括：针对相应输入，将至少一个
时间戳与与至少一个视频流相关联的文档中的至少一个位置相匹配。在一些实施方式中，至少一个视频流包括演示者视频流、屏幕投射视频流、转录视频流和注释视频流。在一些实施方式中，至少一个视频流的表示是基于检测到的输入并且包括利用该输入注释的至少一个视频流的所渲染的部分。
33.上述系统、方法、计算机可读存储介质和方面可以被配置为执行上述方面的任何组合，其中的每个方面可以与上面列出的特征和方面的任何合适的组合一起实现。
34.所描述的技术的实施方式可以包括硬件、方法或过程、或者计算机可访问介质上的计算机软件。在附图和下面的描述中阐述一个或多个实施方式的细节。其他特征将从说明书和附图以及从权利要求中变得显而易见。
附图说明
35.图1是图示了根据本文中描述的实施方式的实时演示系统的示例的框图。
36.图2a至图2b是图示了根据本文中描述的实施方式的被配置为生成和操作实时在线演示系统的示例计算系统的框图。
37.图3a至图3c是图示了根据本文中描述的实施方式的实时演示系统的示例用户界面(ui)以及在注释的内容之间的切换的屏幕截图。
38.图4是图示了根据本文中描述的实施方式的由实时演示系统提供的示例工具栏的屏幕截图。
39.图5a至图5c图示了根据本文中描述的实施方式的在实时演示系统的示例ui中共享屏幕的示例的屏幕截图。
40.图6a和图6b图示了根据本文中描述的实施方式的由实时演示系统提供的示例工具栏的屏幕截图。
41.图7图示了根据本文中描述的实施方式的由实时演示系统提供的工具栏的示例使用的屏幕截图。
42.图8图示了根据本文中描述的实施方式的使用实时演示系统的示例的流程图。
43.图9是图示了根据本文中描述的实施方式的由实时演示系统生成的转录的示例的屏幕截图。
44.图10是图示了根据本文中描述的实施方式的向实时演示系统的用户展现所记录的内容的示例的屏幕截图。
45.图11是图示了根据本文中描述的实施方式的向实时演示系统的用户展现所记录的内容的另一示例的屏幕截图。
46.图12是图示了根据本文中描述的实施方式的展现在由实时演示系统生成的会话的记录期间标记的关键思想和内容的示例的屏幕截图。
47.图13a至图13g图示了描绘根据本文中描述的实施方式的由访问实时演示系统的用户配置的标记内容的屏幕截图。
48.图14是图示了根据本文中描述的实施方式的在由实时演示系统生成的会话的记录期间实时示出的翻译文本的屏幕截图。
49.图15图示了根据本文中描述的实施方式的生成和记录屏幕投射的示例过程的流程图。
50.图16图示了根据本文中描述的实施方式的生成与多个视频流相关联的元数据记录的示例过程的流程图。
51.图17是根据本文中描述的实施方式的用于在实时演示系统中生成和记录视频演示的示例过程的流程图。
52.图18是根据本文中描述的实施方式的用于在实时演示系统中呈现视频演示的示例过程的流程图。
53.图19示出了能够被用于实现本文中描述的技术的计算机设备和移动计算机设备的示例。
54.在各个附图中相似或相同的附图标记的使用旨在指示相似或相同的元件或特征的存在。
具体实施方式
55.本文档描述了用于促进记录、共享、查看视频内容、与视频内容交互、搜索和投射视频内容的用户界面(ui)和/或演示工具。ui和演示工具可以在可以在线并实时呈现内容的演示系统中提供。演示工具可以被用于与呈现的(例如，共享的、投射的等)内容交互。本文中描述的系统和方法可以基于从应用(例如，浏览器、web应用、应用、扩展、本机应用等)接收的命令和/或从计算设备的操作系统(o/s)接收的命令来提供、执行和/或控制ui和演示工具。因此，本文中描述的系统和方法可以将在线实时演示系统提供为应用或o/s提供的用户界面集合。
56.在一些实施方式中，本文中描述的系统和方法可以被用于生成要利用演示工具呈现的教学内容。内容可以全部被实时转录、翻译和注释，以便区分重要的教学内容。注释可以被用于生成附加的相关内容(例如，教学内容、学习指南、代表性(例如，概述、摘要、片段)视频和相关内容、视频片段、屏幕截图、图像帧等)。例如，应用能够基于在视频的记录(例如，一个或多个演示、课程、研讨会等)期间对内容提供的注释自动生成概述视频。注释可以由演示者和/或用户提供。在操作中，演示者和/或用户可以提供输入以生成文本形式的注释标记、演示者标记的(或用户标记的)重要性指示符和/或转录的音频内容标记，其中输入被生成为到视频中记录的内容上的标记或覆盖。
57.传统的在线教学视频可能无法为用户提供在不观看和/或扫描整个视频的情况下查找特定视频内的特定内容的便捷方式。一旦记录了视频，传统技术就可以生成稍后可以搜索的转录，但是可能无法提供与所转录的内容有关的视频的部分的实时并排视图。需要一种技术方案来在记录视频的同时提供实况转录和/或翻译。本文中描述的系统和方法提供了这样的技术方案，其实现在实时注释的视频内容和/或屏幕共享/屏幕投射内容旁边对转录的和/或翻译(例如，所转录的音频内容的翻译)的并排视觉显示。这可以提供加强对视频的内容的学习和理解的优点。由本文中描述的系统和方法提供的技术方案可以使得视频内容(教学内容、注释、演示者指示的元素、转录、翻译等)能够被快速地索引到并且使得用户可搜索。例如，本文中描述的系统和方法可以提供被配置为生成演示(例如，屏幕投射)功能的本机应用(或web应用)，其具有记录正在呈现的内容和与正在呈现的内容交互的特征和工具。
58.本文中描述的技术提供了实现同时触发屏幕投射(或屏幕共享)演示的开始、屏幕
投射的记录以及正被屏幕投射的内容的转录/翻译的单个输入命令的技术效果。所记录的内容的若干层(例如文档、网站、嵌套视频内容层、画中画层、注释层、演示者相机(例如自拍)层、参与者(例如用户)层、转录层和翻译层)可以被单独捕获，以使得演示者(即，记录者)或用户(即，参与者或查看者)能够在打开和关闭这些层之间切换。这能够提供更灵活的记录方法，并且一次记录全部能够比例如单独记录不同层或必须对视频进行后处理以获得转录等更计算高效。此外，可以对所记录的屏幕投射的内容进行索引，以使得搜索任务能够在与所记录的屏幕投射交互的同时或者在所记录的屏幕投射被确定为最近被访问过的同时检索并展现内容。这能够以高效的方式提供视频内容(不仅仅是文件名)到os级别搜索功能中的集成，以避免视频的冗长后处理。通过在os级别上实现本文中描述的技术，该方法能够比应用特定的注释方法更加通用，因为这样的os级别方法能够接收并利用来自执行应用的信号来调整注释(例如，诸如窗口事件)。
59.本文中的系统和方法可以解决为特定用户查找最近的教学视频内容的技术挑战(例如，问题)。当传统的基于学习的课堂/讲座被家庭或“虚拟”学习取代时，这可以很有帮助。例如，当为考试而学习或执行与视频内容中教授的教学内容有关的家庭作业任务时，用户可能不知道在哪里或如何检索先前捕获的视频内容。通常，用户可能必须使用许多先前记录的视频来为考试而学习。传统的系统可能让用户完整审阅、扫描和/或观看每个视频。然而，用户可以从每个视频的关键思想和概念中受益。因此，本文中描述的系统和方法提供了一种自动生成代表性视频的技术方案，该代表性视频在一个或多个原始视频的记录期间被注释以指示关键思想和概念。例如，这些系统和方法可以允许生成被演示者或被用户(例如，演示参与者)认为重要的一个或多个整理的、可搜索的视频内容(例如，摘要、片段)(例如，其集合)。通过本文中描述的基于流的捕获内容的方法来促进这些代表性视频的生成。
60.本文中描述的系统和方法通过使用底层o/s来生成内容(例如，元数据、视频内容等)的存储库和可以被用于呈现视频片段的ui来提供针对该技术问题的技术方案。本文中描述的技术方案可以提供改进的内容管理、改进的内容访问和改进的ui交互的技术效果。例如，本文中描述的系统和方法可以生成代表性视频，该代表性视频提供视频内容的一部分的交互式解释、演示者评论、注释等。此外，可以使用传统的文件搜索或web浏览器应用来搜索这些片段。
61.图1是图示了根据本文中描述的实时演示系统100的示例的框图。系统100可以由一个或多个应用102或操作系统o/s104提供。在一些实施方式中，系统100可以访问和/或接收来自在线服务、在线驱动、在线库等的内容。内容可以在一个或多个用户界面(ui)106中描绘。
62.实时演示系统100可以向用户提供控件以使得用户能够选择本文中描述的系统、操作系统、应用(例如，程序)和/或其他特征是否以及何时可以使得能够收集用户信息(例如，关于用户的社交网络、社交行为或活动、职业、用户偏好和/或用户的当前位置的信息)以及是否从服务器向用户发送内容或通信。另外，系统100可以确保某些数据在其被存储或使用之前以一种或多种方式被处理，使得个人可识别信息被移除。例如，可以处理用户的身份，使得无法确定该用户的个人可识别信息，或者可以在获得位置信息的情况下使用户的地理位置一般化(诸如到城市、邮政编码或州级别)，使得无法确定用户的具体位置。因此，用户可以控制收集关于用户的什么信息、如何使用该信息以及向用户提供什么信息。
63.系统100可以生成任何数量的ui(例如，ui 107)，其可以实时地或或在记录到在线资源之后被屏幕投射、屏幕共享和/或记录和上传。ui 106可以包括、呈现或以其他方式有权访问工具栏108、视频流和音频流110、代表性内容112、注释114和存储库116。例如，系统100可以是在线实时演示系统(例如，应用、ui、基于o/s的门户)，其中用户能够使用工具栏108、注释114和存储库116来呈现内容。用户还可以使用系统100来生成描绘用户和/或演示者提供的注释114的视频内容和音频内容110。演示内容可以被记录、屏幕投射、共享和修改以提供可以包括演示内容的部分的特定代表性内容112。在一些实施方式中，代表性内容112是概括特定视频内容的全部或一部分的摘要内容(例如，具有或不具有注释的音频和/或视频内容)。在一些实施方式中，代表性内容112包括与特定话题或类别相关联的视频和/或音频内容的部分。在一些实施方式中，代表性内容112包括包含特定视频的章节信息或标题信息的视频和/或音频内容。在一些实施方式中，代表性内容112包括视频的包括标记(例如，注释)的部分，并且这样的部分可以包括相关联的音频和/或元数据。
64.通常，工具栏108可以包括具有多个可选择工具(例如，屏幕投射、记录屏幕投射、演示者相机(例如，前向(即，自拍)相机)、实时转录、实时翻译、激光指示器工具、注释工具、放大器工具等)的交互式工具栏。工具栏可以被配置为供演示者利用单个输入轻松地呈现、记录、投射。另外，工具栏可以提供用于切换演示、记录和/或共享的选项。在图1的工具栏118处示出了示例工具栏。工具栏118包括记录工具、激光指示器工具、笔工具(用于生成注释114)、橡皮擦工具、放大器工具、自拍相机或其他捕获工具、以及实时转录和翻译工具等。
65.在一些实施方式中，工具栏108可以包括被配置为接收ui 107中的注释输入(例如，注释120)的注释生成器工具108a。(例如，从工具栏118中选择的)注释生成器工具108a可以在音频和视频内容的渲染期间(并且如ui 107中所示)生成接收到的注释输入120的注释数据记录(例如，记录214)。在一些实施方式中，注释生成器工具108a可以包括至少一个控件(例如，基于软件或硬件的输入控件)以接收注释输入120并触发对接收到的注释输入的时间戳的存储。例如，系统100可以接收注释114(例如，注释120)，并且作为响应，可以存储包括指示输入120何时被接收以及输入120在哪个应用中被接收的一个或多个时间戳的元数据(例如，注释数据记录214)。元数据随后可以被用于基于输入何时被接收、输入指示什么和/或输入的重要性级别和/或与输入相关的内容来生成视频片段和/或代表性内容112。在一些实施方式中，例如，工具栏118上的任何数量的工具可以是注释生成器工具108a的一部分，因为用户可以选择任何数量的工具来生成对内容的注释。
66.在一些实施方式中，演示系统100还可以生成和修改视频流和音频流110。例如，系统100能够被用于使用各种库116和所访问的应用、图像或其他资源来呈现内容。可以使用工具栏118来记录内容。能够由演示者或其他用户访问所记录的内容。能够由系统100使用所记录的内容来自动生成代表性内容112。
67.在一些实施方式中，前向相机工具(例如，自拍相机)可以被包括在计算设备主机系统100上。自拍相机可以被用于生成演示者视频流，如由示例演示者视频流122所示。在系统100上的ui 107中描绘的内容的消费者或演示者(在流122中示出)可以在打开或关闭流122的视图之间切换。例如，如果流122与内容124重叠，则ui 107中描绘的内容的演示者或消费者可以从视图中移除流122以确保更多的是内容124的视图。类似地，可以在ui 107中描绘参与者视频流126。参与者视频流126还可以由任何参与者或由演示者在打开或关闭之
间切换。
68.在操作中，演示者(例如，流122中所示的用户)可以访问系统100以被呈现以例如ui 107和工具栏118。演示者可以使用工具栏118来共享、屏幕投射或以其他方式共享ui 107中的内容中的任何或全部，以便呈现内容、注释内容、记录内容和/或注释、上传内容和/或注释以用于未来的审阅。在该示例中，演示者正在经由浏览器应用访问系统100，并且已经选择共享(例如，投射)包括演示101、选项卡128、流122、流126和先前输入的注释120的整个浏览器应用。工具栏118也被呈现在共享内容中并且可以切换进入和退出视图。
69.图2a至图2b是图示了根据本文中描述的实施方式的被配置为生成和操作实时在线演示系统100的示例计算系统200的框图。系统100可以在桌面操作系统、移动操作系统、应用扩展或其他软件中在本文中描述的任何计算系统上操作。系统200可以被用于配置计算设备(例如，计算系统201、计算系统202和服务器计算系统204)和/或其他设备(图2a中未示出)以操作系统100(和对应的ui)。例如，系统200可以生成多个ui以允许演示者使用系统100来共享、注释和记录音频和视频。
70.如图2a所示，计算系统202包括操作系统(o/s)216。通常，o/s216可以用于执行和/或控制未示出的应用、ui交互、访问的服务和/或设备通信。例如，o/s216可以执行和/或以其他方式管理应用218和ui生成器220。在一些实施方式中，o/s216还可以执行和/或以其他方式管理实时演示系统100。在一些实施方式中，一个或多个应用218可以执行和/或以其他方式管理实时演示系统100。在一些实施方式中，浏览器222可以执行和/或以其他方式管理实时演示系统100。
71.应用218可以是能够由计算系统202(或服务器计算系统204或经由外部服务)执行/递送的任何类型的计算机程序。应用218可以提供用户界面(例如，应用窗口、菜单、视频流、工具栏等)以允许用户与相应应用218的功能进行交互。特定应用218的应用窗口可以显示应用数据以及任何类型的控件，诸如(多个)菜单、图标、工具栏、小部件等。应用218可以包括或有权访问应用信息224和会话数据226，这两者都可以被用于生成内容和/或数据并经由设备接口向用户和/或o/s216提供这样的内容和/或数据。应用信息224可以与由特定应用218执行或以其他方式访问的信息相对应。例如，应用信息224可以包括文本、图像、视频内容、元数据(例如，元数据228)、与输入、输出或与应用218的交互相关联的控制信号。在一些实施方式中，应用信息224可以包括从云服务器、服务器204、服务或其他存储资源下载的数据。在一些实施方式中，应用信息224可以包括与特定应用218相关联的数据，包括但不限于元数据、标签、时间戳数据、url数据等。在一些实施方式中，应用218可以包括浏览器222。系统100可以利用浏览器222来配置用于演示、投射和/或以其他方式共享的内容。
72.会话数据226可以涉及与应用218的用户会话230。例如，用户可以经由计算系统202上的或与计算系统202相关联的用户简档234，或者可替代地经由服务器计算系统204来访问用户帐户232。访问用户账户232可以包括提供用户名/密码或其他类型的认证凭证和/或许可数据236。可以显示登录屏幕以许可用户提供用户凭证，该用户凭证在被认证时允许用户访问计算系统202的功能。会话可以响应于用户账户232被确定为被访问或者当计算系统202的一个或多个用户界面(ui)被显示时开始。在一些实施方式中，可以使用计算系统202来认证和访问会话和用户帐户，而不与服务器计算系统204进行通信。
73.在一些实施方式中，用户简档234可以包括单个用户的多个简档。例如，用户可以
具有商业用户简档和个人用户简档。两个简档都可以利用实时演示系统100以便使用和访问从两个用户简档存储的内容项。因此，如果用户具有用专业简档打开的浏览器会话和用个人用户简档打开的在线文件或应用，则系统100可以访问两个简档上的内容。
74.在会话期间(并且如果被用户授权)，生成会话数据226。会话数据226包括关于由用户在特定计算会话230期间使用/启用的会话项目的信息。会话项目可以包括剪贴板内容、浏览器选项卡/窗口、文档、在线文档、应用(例如，web应用、本机应用)、虚拟桌面、显示状态(或模式)(例如，分屏、画中画、全屏模式、自拍模式等)和/或其他图形控制元素(例如文件、窗口、控制屏幕等)。
75.当用户在用户界面上启动、启用和/或操纵这些会话项目时，生成会话数据226。会话数据226可以包括哪个会话项目(例如，文档、浏览器选项卡等)已经被启动、配置或启用的标识。会话数据226还可以包括窗口方位、窗口大小、会话项目是定位于前台还是后台中、会话项目是焦点还是非焦点、使用(或最后使用)会话项目的时间、和/或会话项目的新近度或最后出现顺序、和/或定义会话的这种细节中的任何或全部的元数据。在一些示例中，会话数据226可以包括会话的所记录的内容，诸如音频流记录110a和视频流记录110b。这种记录可以被存储在服务器(诸如服务器204或云服务器)上、本地存储(例如，在设备201或202上)、或者存储在被配置为存储系统100的所记录的内容和元数据的特定库116中。
76.在一些示例中，会话数据226通过网络240被传输到服务器计算系统204，其中根据在服务器计算系统204处的用户的用户许可数据236，数据可以与用户账户232相关联地被存储在存储器242中。例如，当用户在计算系统202上的(例如，系统100的)用户界面上启动和/或操纵会话项目时，关于会话项目的会话数据226可以被传输到服务器计算系统204。在一些实施方式中，会话数据226替代地(或者也)被存储在计算系统202上的存储器设备244内。
77.ui生成器220可以生成用于在与系统100相关联和/或由系统100提供的ui中渲染的内容项和工具栏表示。ui生成器220可以执行搜索、内容项分析、浏览器进程启动和其他处理活动，以确保在与系统100相关联的ui中的特定区域或顺序内准确且高效地渲染内容项。例如，生成器220可以确定如何在与系统100相关联的ui中描绘特定内容项。在一些实施方式中，生成器220可以向由系统100描绘的内容项添加格式化。在一些实施方式中，生成器220可以从由系统100描绘的内容项中移除格式化。
78.如图2a所示，o/s216可以包括或有权访问服务(未示出)、通信模块248、相机250、存储器244和cpu/gpu 252。计算系统202还可以包括或有权访问元数据228、偏好256。另外，计算系统202还可以包括或有权访问输入设备258和/或输出设备260。
79.系统200可以有权访问的服务(未示出)可以包括在线存储、内容项访问、账户会话或简档访问、许可数据访问等。在一些实施方式中，服务可以用于替代服务器计算系统204，其中经由服务访问用户信息和账户232。类似地，可以经由一个或多个服务来访问实时演示系统100。
80.相机250可以包括一个或多个图像传感器(未示出)，其可以检测与由计算系统202(或与计算系统202通信的另一设备)执行的相机捕获(和视频捕获)相关联的背景数据的变化。相机250可以包括后向捕获模式和前向捕获模式。
81.计算系统202可以生成和/或分发特定策略以及许可和偏好256。策略和许可以及
偏好256可以由计算系统202、系统100的设备制造商和/或由访问系统202的用户配置。策略和偏好256可以包括基于音频命令、视觉命令、基于时间表的命令或其他可配置命令触发的例程(即，一组动作)。例如，用户可以设置要显示的特定ui并开始记录响应于特定动作的与ui的交互。响应于检测到这种动作，系统202可以显示ui并触发记录。其他策略和偏好256可以被配置为修改和/或控制与配置有策略和许可和/或偏好256的系统202相关联的内容。
82.输入设备258可以向系统202提供，例如，经由能够接收触觉用户输入的触摸输入设备、键盘、鼠标、手控制器、可穿戴控制器、移动设备(或其他便携式电子设备)、经由能够接收可听用户输入的麦克风等接收的数据。输出设备260可以包括例如生成用于视觉输出的显示的内容的设备、用于音频输出的一个或多个扬声器等。
83.在一些实施方式中，计算系统202可以将特定应用和/或o/s数据存储在存储库中。例如，可以存储注释114、数据记录214、元数据228、音频流记录110a和视频流记录110b以供以后搜索和/或检索。类似地，屏幕捕获和注释视频流也可以被存储并从这样的存储库中检索。
84.服务器计算系统204可以包括采用多个不同设备形式的任何数量的计算设备，例如标准服务器、一组这样的服务器、或者机架服务器系统。在一些示例中，服务器计算系统204可以是共享诸如处理器262和存储器242的组件的单个系统。例如，用户账户232可以根据用户许可数据236与系统204和会话230配置和/或简档234配置相关联，并且可以在用户账户232的用户的请求时被提供给系统202。
85.网络240可以包括互联网和/或其他类型的数据网络，诸如局域网(lan)、广域网(wan)、蜂窝网络、卫星网络或其他类型的数据网络。网络240还可以包括被配置为在网络240内接收和/或传输数据的任何数量的计算设备(例如，计算机、服务器、路由器、网络交换机等)。网络240还可以包括任何数量的硬连线和/或无线连接。
86.服务器计算系统204可以包括形成在基板中的一个或多个处理器262、操作系统(未示出)以及一个或多个存储器设备242。存储器设备242可以表示任何种类的(或多个种类的)存储器(例如，ram、闪存、高速缓存、磁盘、磁带等)。在一些示例(未示出)中，存储器设备242可以包括外部存储，例如物理上远离服务器计算系统204但可由服务器计算系统204访问的存储器。服务器计算系统204可以包括表示专门编程的软件的一个或多个模块或引擎。
87.通常，计算系统100、201、202和204可以使用本文中描述的系统和技术经由通信模块248在彼此之间进行通信和/或经由网络240在彼此之间无线地传输数据。在一些实施方式中，每个系统100、201、202和204可以在系统200中被配置为与关联于系统200的其他设备进行通信。
88.图2b表示用于记录视频和音频并存储所得的所记录的内容(例如，音频流记录110a、视频流记录110b、记录的注释114和其他记录的视频流)以及相关联的元数据228的示例架构263。在该示例中，实时演示系统100经由o/s的本机应用被访问并且使用与本机应用相关联的记录工具。记录(例如，视频和音频流)可以被实时上传到在线驱动。
89.如图2b所示，o/s216可以包括或有权访问实时演示系统100和任何数量的应用218。例如，应用218还可以包括浏览器222。浏览器222表示被配置为访问互联网上的信息的web浏览器。浏览器222可以启动一个或多个浏览器进程264以生成浏览器内容或其他基于
浏览器的操作。浏览器222还可以在一个或多个浏览器窗口268的场境中启动浏览器选项卡266。
90.应用218可以包括web应用270。web应用270表示存储在远程服务器(例如，web服务器)上并且例如通过浏览器选项卡266通过网络240递送的应用程序。在一些实施方式中，web应用270是渐进式web应用，其可以保存在设备上并离线使用。应用218还可以包括非web应用，其可以是至少部分地存储(例如，本地存储)在计算系统202上的程序。在一些示例中，非web应用可以由o/s216执行(或在其上运行)。
91.应用218还可以包括本机应用272。本机应用272表示被开发用于在特定平台或设备上使用的软件程序。在一些示例中，本机应用272是针对多个平台或设备开发的软件程序。在一些示例中，本机应用272是被开发用于在移动平台上使用并且还被配置为在台式计算机或膝上型计算机上执行的软件程序。
92.在一些实施方式中，实时演示系统100可以作为应用执行。在一些实施方式中，系统100可以在视频会议应用内执行。在一些实施方式中，实时演示系统100可以作为本机应用执行。通常，系统100能够被配置为支持应用218内的音频数据或文本、html、图像、对象、表格或其他内容项的选择、修改和记录。
93.图2b中所示的演示系统100包括记录273、实时转录274、实时翻译275、图画276和关键思想元数据278。每个元素273-278可以在系统100的会话期间被记录。所记录的元素273-278可以表示视频和/或音频流，可以由第一用户(例如，演示者)在会话期间对这些视频和/或音频流进行注释并将其实时提供(共享、投射、流式传输等)给任何数量的其他用户(数据消费者、参与者等)。
94.在一些实施方式中，与元素273-278相关联的记录的流可以使用与系统100相关联的一个或多个工具来生成。系统100可以包括和/或有权访问存储器和耦合到该存储器的至少一个处理器，其中该至少一个处理器被配置为生成协作在线用户界面(例如，系统100)。用户界面被配置为从渲染器和工具/工具栏108(例如，注释生成器工具108a、转录生成器工具108b、视频内容生成器工具108c)接收命令。每个工具/工具栏108可以可经由由系统100呈现的ui或工具栏来访问。
95.渲染器(例如，ui生成器220)可以被配置为渲染与从系统100的用户界面内访问多个应用中的一个或多个应用相关联的音频和视频内容。例如，渲染器可以利用ui生成器220来渲染系统100内的或与计算系统202相关联的应用、注释、光标、输入、视频流或其他ui内容。
96.注释生成器工具108a(例如，在工具栏118上)可以被配置为接收用户界面中的注释输入(例如，注释输入120)。然后，注释生成器工具108a可以使用该输入来在音频和视频内容的渲染期间针对(多个)接收到的注释输入生成任何数量的注释数据记录。注释生成器工具108a可以包括至少一个控件以接收注释输入并使得存储相应接收到的注释输入的时间戳。时间戳可以被用于将视频内容与注释、转录、翻译和/或与系统100相关联的其他数据相匹配。
97.在一些实施方式中，(例如，从注释114和/或元数据228生成的)注释数据记录211可以包括正在被访问的至少一个应用接收注释输入的指示。注释数据记录211还可以包括用于(根据相应时间戳)将注释输入覆盖到描绘所指示的应用的所渲染的视频内容的一部
分的至少一个图像帧上的机器可读指令。例如，注释数据记录211可以利用任何数量的视频流、元数据和注释输入来确定哪个特定应用正在接收注释以及在什么时间接收注释，以便确定例如针对描绘应用的一个或多个其他视频流的特定帧的覆盖(例如，视频流覆盖)的正确定位。这些图像帧和注释覆盖能够被用于生成代表性内容112以允许用户快速审阅所注释的概念，这可以允许用户避免审阅整个视频流。
98.将注释输入覆盖到至少一个图像帧上可以包括检索多个注释数据记录中的至少一个、执行用于执行覆盖的机器可读指令。然后，系统100能够生成文档(例如，在线文档、视频片段、转录片段、图像等)，其中该文档使得用户能够滚动该至少一个图像帧，其中注释输入覆盖在该至少一个图像帧(基于指示时间戳、注释等的(多个)注释数据记录)。
99.转录生成器工具108b可以被配置为转录在音频和视频内容的渲染期间捕获的音频内容，并且可以在与系统100相关联的用户界面中显示所转录的音频内容。在一些实施方式中，转录生成器工具108b还可以提供覆盖在所转录的文本上的标记、突出显示或其他指示符，以向查看演示的用户指示转录中与由系统100正在渲染并由演示者说出的音频语音相对应的特定位置。在一些实施方式中，附加的指示符可以与所转录的文本一起提供或者在所转录的文本上提供以指示重要的概念或语言。在稍后的时间访问记录的用户能够利用这种指示符来快速地找到重要的概念或语言。另外，系统100可以使用这种指示符作为触发器来获得在与特定指示符的标记相关联的时间阈值内出现的音频内容、视频内容、转录内容、翻译内容和/或注释内容。这种指示符可以被用于生成摘要内容和/或视频流(例如，音频和视频内容)的其他表示。
100.例如，摘要生成器工具108c可以被配置为响应于检测到音频和/或视频的渲染的终止来检索这种指示符(和/或注释)以便生成代表性内容112。代表性内容可以是基于注释输入、视频内容和所转录的音频内容。在一些实施方式中，摘要内容可以包括利用注释输入(或其他指示符)标记的所渲染的音频和视频的部分。在一些实施方式中，视频内容生成器工具108c还被配置为生成到代表性内容112的url链接。例如，系统100可以触发将一个或多个视频流的视频和/或音频内容的特别汇编的、整理的或以其他方式组合的部分上传到网站或在线存储存储器，以允许方便地且在稍后的时间访问这些部分。在一些实施方式中，工具108c还可以对代表性内容112进行索引，以实现用于使用例如web浏览器应用222来查找代表性内容112的至少一部分的搜索功能。
101.在操作中，第一用户(例如，演示者计算系统279)可以(例如，经由应用触发器或o/s触发器)触发实时演示系统的会话。该系统可以由系统279的演示者操作以呈现和记录内容。例如，系统279可以触发记录273从而以所记录的演示者视频流(例如，自拍相机捕获的内容)、屏幕投射视频流(例如，图画276和屏幕投射277内容)、注释视频流(注释数据记录214和/或关键思想标记和对应的元数据278)、转录视频流(例如，实时转录274)、和/或翻译视频流(例如，实时翻译275)的形式生成视频和/或音频内容。演示者可以在记录期间打开/关闭这些流中的任何一个。在一些实施方式中，可以在记录期间捕获并存储元数据228。元数据228可以与任何数量的视频流有关。每个视频流还可以包括音频数据和/或注释数据。然而，在一些实施方式中，注释数据可以被单独记录为视频层。
102.在触发记录并开始呈现和/或注释内容时，系统100可以触发投射应用280以将演示和/或注释投射到单独的设备(例如，会议室电视281或其他设备)上。系统100还可以触发
视频/音频内容282的转录，其可以被实时生成并提供给在线存储283。内容可以被格式化以通过格式化应用284在系统100内实时演示，格式化应用284还可以将这种转录的(和/或翻译的数据)提供给例如应用285(或由用户使用计算系统286可访问的其他应用)。在一些实施方式中，用户可以不请求在系统100的ui的视图中提供翻译和转录。在这种情况下，演示者计算系统279可以将记录内容直接实时提供给格式化应用284，并且然后(并且在一些示例中经由应用285)提供给用户计算系统286。
103.在一些实施方式中，系统100可以使得记录273开始捕获视频内容(和/或音频内容)。视频内容(和/或音频内容)可以被表示为演示者视频流、屏幕投射视频流、转录视频流、翻译视频流、音频流和/或注释视频流。这些流的任何合适的组合可以形成视频内容，并且如果演示者选择在记录273期间关闭或打开一个或多个流，则视频内容内的流可以改变。这种以简单方式选择不同流的能力提供了记录内容并从所记录的内容生成附加代表性内容的灵活方法。系统100可以基于视频内容(和/或音频内容)并且在视频内容(和/或音频内容)的捕获期间生成至少一个元数据记录。每个元数据记录可以表示用于将视频内容的至少一个部分与在记录视频流中的至少一个中接收到的输入(例如，注释114/记录214、关键思想元数据278)同步的定时信息。换句话说，定时信息能够被用于将在演示者视频流、屏幕投射视频流或注释视频流中的至少一个中(或在任何其他流中)接收到的输入与视频内容同步。在稍后的时间可以使用定时信息来生成学习指南(例如，代表性内容112)、注释在视频内容的片段上的覆盖、可搜索视频内容等。
104.图3a至图3c是图示了根据本文中描述的实施方式的实时演示系统的示例用户界面(ui)以及在注释的内容之间的切换的屏幕截图。在该示例中，(在演示者视频流122中示出的)演示者可以触发演示(例如，屏幕投射、屏幕共享、视频会议等)以开始呈现和记录内容以供参与者流126中示出的用户消费。在一些实施方式中，系统100被配置为触发由系统100渲染的特定音频和视频内容的记录的开始。例如，演示者可以利用单个控件来指示开始共享来自系统100的内容，这可以触发对这种内容的自动记录。
105.如图3a所示，流122中的演示者正在呈现第一应用302和第二应用304。第一应用302在注释306和注释308处被注释。例如，流122中的演示者可以使用来自注释器生成器工具(例如，工具栏314)的笔工具312使用光标310a来主动注释。在操作中，所渲染的视频内容可以包括与来自系统100可访问的任何数量的开放或可用应用的第一应用302相关联的数据(地图以及注释306和308)。所渲染的视频内容还可以包括与第二应用304相关联的数据(例如，地理概念)。
106.因为演示者(或所呈现的内容的消费者)可以在由系统100呈现的任何数量的应用、文档、内容项或(多个)显示部分上进行注释，所以系统100被配置为跟踪以上项目中的哪一个接收注释。跟踪对所注释的项目的注释可以允许注释被捕获为视频内容(例如，流)的层，使得该层可以稍后当用户在稍后的时间访问所记录的内容时被覆盖或从视图中移除。这种覆盖的切换可以确保用户能够恰当地查看应用内容和适当应用内容的注释。另外，用户可以使用与应用(例如，应用304)相关联的滚动控件(例如，控件316)。演示者可以在具有用于滚动内容的光标焦点的特定应用中滚动内容并使注释与内容一起滚动(例如，移动)。因此，可以捕获一组覆盖注释并将其与应用内容一起滚动，以确保保留所注释的应用内容。
107.如图3b所示，(在演示者流122中示出的)演示者正在呈现应用304中的应用内容。在该示例中，演示者使用工具栏314来注释应用304中的内容，如由注释318、注释320和注释322所示。尽管注释318-322被描绘为利用所选择的笔工具进行文本书写，但是可以使用标记工具和/或应用内容内的选择来输入任何数量的注释和注释类型。例如，内容可以被突出显示、绘制、修改、标记等。在一些实施方式中，特定内容可以包括用于标记该内容的指示符。例如，一些内容可能与文本的段落有关。在这样的示例中，可以通过选择在应用内容中的该段落上或附近呈现的指示符来标记整个段落。每个注释318-322可以与表示所记录的视频中由用户输入相应注释的时间的一个或多个时间戳相关联。时间戳可以指示系统100跟踪和搜索包括注释的特定内容的方式。
108.例如，跟踪注释可以允许系统100在第一应用中实时接收在记录视频内容的第一分段期间的第一组注释(例如，注释306和308)并且根据与第一分段相关联的相应时间戳来存储第一组注释(例如，注释114和或注释数据记录214)。系统100还可以在第二应用(例如，应用304)中实时接收在记录视频内容的第二分段期间的第二组注释(例如，注释318、320和322)，并且可以根据与第二分段相关联的相应时间戳来存储第二组注释。在某个时刻，系统100可以检测到光标焦点已经在应用之间切换。例如，系统100可以确定演示者已经从使用具有处于焦点的光标310a的应用302切换到其中光标310b替代地处于焦点的应用304。因为注释可以被提供为应用内容上的层，所以可以响应于光标焦点的变化来应用和移除注释，以避免具有不再应用于最近已经接收到光标焦点的应用或应用内容的注释内容。
109.响应于检测到光标焦点已经从第一应用302切换到第二应用304，系统100可以检索第二组注释318、320和322，并且可以检索与第二应用相关联的数据(例如，应用内容、元数据或内容的其他设置)。系统100然后可以将与第二分段相关联的时间戳与第二组注释318、320和322相匹配。为了恰当地显示在先前时间戳处接收到的注释，系统100匹配在时间戳的时间正在查看的内容(例如，屏幕投射等)并覆盖注释(例如，注释318、320和322)。然后，系统100可以根据与第二分段相关联的相应时间戳来使得所检索的第二组注释(例如，注释318、320和322)显示在第二应用304上。另外，系统100可以移除应用于与系统100相关联的不同应用的注释。例如，当演示者将光标焦点切换到应用304时，系统100可以移除与应用302相关联的注释。如果用户要切换回应用302，如图3a所示，系统100可以移除注释318、320和322，并且替代地检索并渲染注释306和308，以确保应用302描绘例如来自先前的标记的准确注释。在应用302、304在ui内并排布置(即，不重叠)的示例中，注释306、308可以被显示在应用302上，并且注释318、320、322可以同时被显示在应用304上。以这种方式，用户可以同时看到正在显示的内容的所有注释。
110.在一些实施方式中，使用系统100的演示者可以经由注释工具(例如，来自工具栏314或另一工具栏的一个或多个工具)触发第一组注释(例如，注释306和308)和第二组注释(例如，注释318、320、322)的生成。注释工具可以使得能够标记、存储和滚动第一组注释(例如，注释306和308)和第二组注释(注释318、320和322)，同时针对第一组注释和第二组注释中的每个注释保留与第一应用相关联的数据或与第二应用相关联的数据上的初始位置。也就是说，注释工具可以为每个注释存储元数据，该元数据指示由特定应用呈现的数据内容上的地方(即，位置)以定位相应的注释。以这种方式，系统100能够生成注释的覆盖，当例如生成摘要内容(或其他代表性内容)时，可以在数据内容上恢复该注释的覆盖。在另一示例
中，当演示者滚动数据内容和/或在应用之间切换时，系统100能够在数据内容上的恰当位置中生成注释的这种覆盖。
111.在一些实施方式中，可以在第二应用304中接收附加注释(例如，注释324)。在该示例中，演示者添加了库代码、资源链接以及关于办公时间改变的批注。附加注释(例如，注释324)还可以与对应于在记录期间注释324何时被添加到应用304中的内容的相应时间戳相关联。响应于检测到记录的完成，系统100可以生成文档328，如图3c所示。文档328可以从第二组注释(例如，注释318、320和322)和附加注释(例如，注释324)生成。该文档可以包括根据与第二分段相关联的相应时间戳和与附加注释相关联的相应时间戳而覆盖到与第二应用304相关联的数据上的第二组注释318-322和附加注释324。在一些实施方式中，可以生成一个或多个静止帧或视频片段330以在文档328内执行或者可以作为与文档328相关联的链接或搜索结果来提供。通过将时间戳与关联于视频内容的文档328中的相应位置相匹配，能够将输入(诸如注释318-322和附加注释324)与视频内容同步(即，覆盖在来自应用304的数据上的正确位置处)。
112.在一些实施方式中，系统100还可以生成与第二分段相关联的所记录的音频内容的转录332。通常，文档328可以被配置为在任何时间点被修改。例如，演示者稍后可以对所记录的演示做出改变，诸如修改的音频、附加标记或注释、和/或其他改变。这样的改变可以被配置为触发文档328被重新生成以包括这些改变。文档328也能够被称为摘要内容文档或代表性内容文档。
113.图4是图示了根据本文中描述的实施方式的由实时演示系统提供的示例演示者工具栏400的屏幕截图。演示者工具栏400至少包括激光指示器工具402、笔工具404、放大器工具406、橡皮擦工具408、记录屏幕投射工具410、创建章节工具412、自拍(例如，演示者)相机工具414、隐藏字幕工具416、转录工具418和标记工具420。工具栏400中的每个工具402-420可以是注释生成器工具108a的一部分。例如，每个工具可以被用于对正在演示的内容进行注释。
114.激光指示器工具402可以被用于在利用系统100进行演示期间将光标配置为激光指示器。激光指示器工具402可以为由系统100提供的演示的消费者提供视觉焦点。笔工具404可以为所呈现的屏幕(例如，窗口、应用、全屏等)的任何内容或部分提供注释功能。笔工具404可以包括任何数量的可选择笔、颜色内容、内容和/或文本的大小、形状等。放大器工具406可以向由演示者在演示期间放大的所有小文本和图形提供缩放功能。橡皮擦工具408可以提供类似于手动橡皮擦的删除和擦除功能，以纠正错误或移除注释，例如，以腾出空间来生成更多注释。
115.记录屏幕投射工具410可以提供记录功能以开始本地记录这种所记录的内容并将其上传到云服务器或其他选择的位置。在一些实施方式中，记录屏幕投射工具410触发屏幕投射、屏幕共享或其他演示模式以及触发记录。例如，如果演示者选择工具410，则演示和记录可以同时开始。这可以提供易于用户(例如，演示者)呈现和记录的优点，因为用户能够选择单个控制输入以在记录内容和/或相关音频内容的同时快速开始呈现内容。
116.通常，在选择工具410时要共享的屏幕或窗口可以是在选择工具410之前最后检测到的共享设置或使用的最后屏幕。也就是说，演示者的记录范围可以与先前选择的显示范围(例如，选项卡、窗口、全屏等)匹配。在一些实施方式中，可以在选择工具410时呈现确认
ui，以允许演示者选择要共享和/或记录哪个显示范围。在一些实施方式中，演示者可以通过重新选择工具410来停止呈现。然而，该动作可能不停止记录。这可以方便地允许演示者添加查看者在另一时间访问记录时可能希望具有的进一步注释、音频或附加内容。
117.为了终止记录，演示者可以选择另一工具或命令(未示出)。终止(例如，停止)系统100中的记录可以使得工具栏400从视图中移除。另外，在检测到停止记录的指示时，系统100可以自动触发记录的上传、发送或以其他方式的完成。因为记录通常在记录发生时而不是在记录的完成时上传，所以延迟对于上传完成而言可能是最小的。在一些实施方式中，系统100可以离线，并且在这种情况下，可以替代地生成记录的本地副本。
118.创建章节工具412可以由演示者用来相对于时间注释记录视频。例如，演示者可以在演示期间的任何时刻选择工具412来生成用于记录视频的章节。在一些实施方式中，创建章节工具412(或记录后工具)可以用于在记录完成之后(例如，记录后)创建用于记录的章节。因此，演示者可能希望进一步利用章节来注释演示，以促进用户在未来的时间搜索和审阅来自演示的内容。章节表示视频的节段。章节可以提供预览图像框架以辅助用户识别章节内容。章节还可以包括元数据、标题数据或用户添加或系统添加的标识数据。以章节划分的视频可以在时间线视图中呈现，使得用户可以在时间线中呈现的先前配置的章节指示符上进行选择。提供章节生成的传统系统在记录后提供了这样的特征。也就是说，传统系统不提供在记录视频的同时实时(例如，即时)生成章节的选项。
119.自拍(例如，演示者)相机工具414可以触发执行实时演示系统100的计算设备(例如，设备202)上的前向相机的功能。工具414可以由所呈现的内容的演示者和/或用户(例如，消费者)在打开和关闭之间切换。由工具414捕获的视频流可以由隐藏字幕工具416和/或转录工具418用来生成从由工具414(例如，经由相机250)捕获的视频/音频流(例如，流122)呈现的音频数据的字幕、转录和翻译。
120.转录工具418表示转录生成器工具108b，如本文中所描述的。系统100的演示者可以在打开和关闭之间切换音频的实时转录。在一些实施方式中，转录工具418可以通过结合转录生成器工具108b使用隐藏字幕工具416来触发具有完整翻译的实况转录。例如，转录工具418可以与ui生成器220一起工作以生成特别格式化的转录，以用于与经由来自系统100的屏幕共享演示而呈现的内容一起渲染。
121.标记工具420可以由演示者选择，例如以将特定内容、思想、幻灯片、注释或屏幕的其他呈现部分标记为关键思想。关键思想可以表示演示者认为有用的、重要的学习指导材料和/或认为可选择用于代表性内容112的元素。如果演示者选择标记工具420，则能够对所呈现的内容做出其他指示(例如，突出显示、注释等)以作为关键思想存储在系统100中。在一些实施方式中，标记工具420可以以工具420上的背光或其他指示的形式提供用户反馈，以向演示者提供工具420是活动的理解。其他反馈选项也是可能的。
122.工具栏400还可以包括关闭菜单控件(未示出)，其可以用于关闭或最小化工具栏。工具栏400可以被移动和/或旋转以用于由系统100提供的任何演示。在一些实施方式中，如果在工具栏上拖动光标，例如当在工具栏上发生鼠标悬停事件时，则可以隐藏工具栏400。这可以提供确保演示的演示者和查看者(例如，用户)可以查看内容而不必手动移动工具栏400的优点。
123.图5a至图5c图示了根据本文中描述的实施方式的在实时演示系统的示例ui中共
享屏幕的示例的屏幕截图。图5a描绘了浏览器500，其中用户正在访问演示101(例如，p 101)主页。用户还正在访问浏览器选项卡502和浏览器选项卡504中的内容。用户可以决定向一个或多个其他用户呈现内容。例如，用户可以是正在规划向多个用户提供演示的演示者。
124.演示者可以访问由计算系统202提供的菜单ui 506(例如，经由o/s216或主控实时演示系统100的应用218)。ui 506可以从快速设置ui呈现。从ui 506，演示者可以选择具有光标510的呈现控件508以被提供附加屏幕来配置用于呈现来自演示101的内容的屏幕投射和/或屏幕共享。
125.图5b描绘了呈现ui 512，其中演示者可以选择投射514内容或经由视频会议516共享内容。例如，演示者可以选择经由屏幕投射将演示101呈现给会议室电视(例如，电视281)。替代地，演示者可以选择经由视频会议应用(例如，借助于本机应用或浏览器应用)来呈现演示101。在该示例中，演示者选择投射演示101，如由光标518所示。
126.图5c描绘了投射ui 520，其中演示者可以选择哪个显示焦点进行投射。因为用户正在选择共享内容，所以系统100可以填充工具栏522以指示演示工具可用。ui 520包括共享屏幕的选项。这些选项至少包括内置显示器选项524和外部显示器选项526。在该示例中，演示者选择了内置显示器524，如由光标528所示。还可以向演示者提供要共享屏幕范围的选项。所描绘的示例选项包括整个屏幕选项530、浏览器选项卡选项532和应用窗口534。其他选项是可能的并且基于ui 520后面的光标焦点中的内容。可以向演示者提供选项536来共享(或不共享)音频内容。还可以向演示者提供选项538来渲染(或不渲染)演示者工具。演示者可以选择选项并使用保存控件540保存所选择的选项。
127.图6a和图6b图示了根据本文中描述的实施方式的由实时演示系统100提供的示例工具栏的屏幕截图。图6a描绘了浏览器选项卡600与所渲染的工具栏602的共享演示。演示者可以访问工具栏602上的工具，类似于工具栏400。在该示例中，演示者已经选择了笔工具604。作为响应，系统100已经为笔工具604提供了子面板606以允许演示者选择笔的选项。子面板606还包括用于移除所选择的注释的垃圾桶选项609。
128.如图6a所示，演示者已经提供了注释输入，诸如图画610、文本612和图画(例如，带有线614的圆圈)。演示者还已经绘制了附加标记616，其看起来是错误或额外的笔划。在这种情况下，用户可以选择标记616，然后选择选项609以移除标记616。
129.来自工具栏602的注释可以在共享窗口或屏幕的范围内的内容上生成。如果演示者开始在该范围之外进行绘制或注释，则系统100可以触发该注释在视图之外的指示。另外，注释可以是可滚动的并且可以被配置为保持具有在记录/投射会话期间所注释的内容。可以捕获具有对应元数据的注释视频流，以便将内容与注释相匹配，从而使得能够在记录/投射后访问所记录的内容和注释。在一些实施方式中，系统100可以被配置为捕获注释流中的注释，但是如果检测到滚动事件，则可以在记录/投射期间从视图中移除注释。在一些实施方式中，例如，系统100可以允许每个用户在记录之后手动清除注释。
130.在一些实施方式中，当从一个窗口或应用切换到另一窗口或应用时，窗口切换可以触发注释被移除(例如，隐藏)。然后，当切换回与注释相关联的窗口或应用时，注释可以被替换(例如，取消隐藏)。另外，可以根据调整大小的窗口来调整注释的大小。在一些实施方式中，只要底层应用内容对用户可见，注释就可以保持可见(即，被渲染和显示以供查
看)。换句话说，即使相关联的应用被另一窗口或应用重叠，或者以其他方式不在前台中，注释也可以是可见的。
131.图6b描绘了具有另一示例子面板620的示例工具栏602。在该示例中，工具栏602包括用于删除特定注释的垃圾桶选项622、用于重做或撤消注释输入的重做/撤消按钮、静态笔626、临时笔628、高光笔630以及任何数量的可选择颜色632、634和636，仅举几个示例。例如，可以提供其他子面板用于显示，以允许演示者选择颜色、字体、线条样式或与笔工具604相关联的其他选项。
132.图7图示了根据本文中描述的实施方式的由实时演示系统100提供的工具栏108的示例使用的屏幕截图。ui 700描绘了美国的部分地图。演示者可以使用工具栏702与ui 700和ui 700的所描绘的内容进行交互。在该示例中，演示者在演示的记录期间选择了创建章节工具704以生成章节，如由演示者已经生成了两个章节的指示符消息708所指示的。
133.创建章节工具702可以由演示者用来相对于时间注释记录视频。例如，演示者可以在演示期间的任何时刻选择工具702来生成用于记录视频的章节。章节表示视频的节段。章节可以提供预览图像框架以辅助用户识别章节内容。章节还可以包括元数据、标题数据或用户添加或系统添加的标识数据(或触发对其的存储)。以章节划分的视频可以在时间线视图中呈现，使得用户可以在时间线中呈现的先前配置的章节指示符上进行选择。
134.如图7所示，自拍相机流(例如，演示者视频流)可以被用于生成用于演示ui空间的任何部分中的提供的直通视图706。演示者可以是视频和音频内容的演示者或演示者。例如，演示者视频流可以在整个记录中自动定位到屏幕上的位置，以确保该流不阻挡正在注释的内容的视图。在一些实施方式中，演示者可以在所呈现的ui内容内拖动视图706的演示者视频流。在一些实施方式中，演示者可以缩小或增大视图706。在一些实施方式中，演示者可以裁剪视图706。在一些实施方式中，演示者可以隐藏视图706。
135.图8图示了根据本文中描述的实施方式的使用实时演示系统的示例的流程图。在该示例中，演示者可以使用系统100来呈现思想或内容。在操作中，用户可以经由快速设置ui(诸如ui 506或ui 512)访问系统100。用户可以选择(804)演示的目的地。例如，用户可以经由投射或经由视频会议进行呈现。用户然后可以选择(806)要共享的屏幕的范围。例如，用户可以选择共享一个或多个屏幕、一个或多个浏览器选项卡、一个或多个应用、一个或多个窗口等。
136.在一些实施方式中，用户可能希望记录演示的屏幕投射并且可以通过选择(808)也记录演示来做到这一点。然后可以开始屏幕投射。在一些实施方式中，快速设置ui可以提供利用单个输入命令来投射、共享和记录的选项。用户然后可以执行演示并且可以生成(810)注释、章节和其他数据。用户可以通过选择停止呈现控件来选择(812)停止呈现。如果用户选择记录演示(例如，屏幕投射)，则用户可以通过停止记录来结束演示，这可以触发(814)系统100完成记录并完成将记录上传到存储库。
137.图9是图示了根据本文中描述的实施方式的由实时演示系统生成的转录902的示例的屏幕截图900。屏幕截图900的视图可以在演示/屏幕投射的记录后提供。系统100可能已经在记录发生时实时生成转录902。另外，演示者可能在记录期间已经进行了注释以标记关键思想904和关键思想906。演示者可以执行记录后注释和标记以使视频内容对其他用户有用。例如，演示者可以决定生成附加注释和/或关键思想标记，诸如关键思想908和关键思
想910，并且可以在记录之后做到这一点。新的关键思想和/或注释可以成为可以添加到记录数据的视频流的一部分。类似地，演示者可以通过记录附加内容来添加更多音频数据。转录902可以利用新的音频数据来更新。另外，转录902可以在记录后以其他方式被修改以添加或删除内容。
138.在一些实施方式中，系统100可以自动突出显示记录后正在访问的特定内容。突出显示的内容可以向演示者指示某种失误或错误。突出显示引起对失误或错误的注意，使得演示者可以例如在利用记录传播附加信息(例如，代表性内容112、视频流等)之前纠正错误。在一些实施方式中，系统100可以指示其中要提供附加信息的区域。例如，演示者可以为关键思想添加标题、标签等。
139.在一些实施方式中，系统100可以利用机器学习技术来学习并纠正特定错误。在一些实施方式中，系统100可以利用机器学习技术来学习向演示者展现哪些内容以便提供要更新和/或纠正的项目的列表。在一些实施方式中，系统100可以利用机器学习技术来从记录自动生成标题和附加内容，以允许演示者挑选和选择哪些更新要应用或添加到记录。
140.演示者还可以添加隐藏字幕内容和/或翻译内容，如ui 912所示。在一些实施方式中，用户可以使用控件914选择一种或多种语言，以与演示者确定提供的语言一样多的语言提供转录内容、隐藏字幕内容和/或翻译的内容。
141.图10是图示了根据本文中描述的实施方式的向实时演示系统的用户展现所记录的内容的示例的屏幕截图。在该示例中，演示者可能已完成记录，在屏幕截图1000中示出了该记录的一部分。作为响应，系统100可以分析并索引记录的内容(例如，任何或所有视频流、注释、转录、翻译、音频、演示内容或在演示期间访问的资源等)。该分析还可以包括确定使用记录中的哪些内容来生成视频内容的部分(例如，代表性或概述视频或片段、学习指南、音轨等)。这样的内容能够基于元数据记录来生成，并且能够包括由演示者(或由与演示者视频流相关联的用户)注释的视频内容的部分。在一些实施方式中，摘要视频还可以包括视频内容的未被注释但反而被选择为包括在代表性内容中的其他部分。
142.如图10中所描绘的，系统100生成讨论翻译和转录的视频片段1002，其涉及细胞中的核糖体。演示者可以提供要与视频片段1002一起展现的指示符、标题和/或消息，如由所展现的项目1004所示。该项目可以基于由演示者生成的注释来展现。接收所展现的项目1004的用户可以选择链接、视频或其他信息来获得由项目1004展现的信息和/或关于项目进行响应或评论。
143.用户还可以使用控件1006来搜索记录、元数据或与记录相关联的其他流中的内容。在该示例中，用户已经输入了针对术语“细胞结构”的搜索查询。作为响应，系统100可以提供所展现的项目1004作为搜索结果，以及突出显示包括搜索项的转录(或翻译)的部分，如由突出显示1008所示。另外，系统100可以突出显示可能与搜索查询相关的附加转录或翻译内容1010。
144.图11是图示了根据本文中描述的实施方式的向实时演示系统的用户展现所记录的内容的另一示例的屏幕截图。在该示例中，执行系统100的web浏览器应用1102例如在窗口1104中描绘教学内容。系统100能够生成代表性内容112，如由菜单1106和ui 1108所示。菜单1106的代表性内容可以包括由查看窗口1104中的内容的用户访问的示例菜单1106。菜单1106包括与窗口1104中呈现的主题相关的可用视频片段1110。在一些实施方式中，视频
片段1110可以包括关于特定话题或日期呈现的内容的片段或图像帧。在一些实施方式中，任何数量的视频片段和/或链接可以被嵌入在菜单1106中以向用户提供快速答案和内容。因此，代替展现来自互联网的结果，系统100能够展现来自本地访问的、在线库中、在线驱动中和/或来自另一存储库的先前访问的内容的搜索结果。在一些实施方式中，系统100可以优先示出最近访问或查看的关键思想片段(例如，视频剪辑)。可以在对用户访问菜单有用的时间提供菜单1106。另外，相关搜索可以被呈现作为菜单1106中的选项。例如，基于在窗口1104的内容中讨论的话题向访问菜单1106的用户提供针对术语“核糖体”1112的搜索。
145.系统100可以以其他方式向用户展现所记录的内容。例如，o/s提供的菜单1114可以展现与窗口1104相关联的附加内容或者与对应于窗口1104中提供的内容的(多个)记录相关联的附加内容。在该示例中，o/s在ui 1108中展现搜索结果。在一些实施方式中，系统100可以基于用户输入的搜索查询1120在ui 1108中展现内容。例如，输入的搜索查询1120可以与来自与窗口1104相关联的视频记录的关键思想相匹配，并且可以被展现作为o/s生成的搜索结果。
146.如图所示，ui 1108包括作为顶部搜索结果的关键思想的视频和时间线1116。用户可以在时间线1116中列出的任何事件上进行选择以在窗口1104或新窗口中被引导至包括这种内容的视频部分。另外，ui 1108还包括与在窗口1104中访问的内容相关的一个或多个相关视频1118。
147.在一些实施方式中，还可以从在窗口1104中访问的特定记录视频之外的源中检索菜单1106和/或诸如ui 1108的ui中展现的内容。例如，系统100可以从与正在窗口1104中访问的演示类似(或与演示中的内容类似)的另一演示者或另一演示中检索用于填充在菜单1106和/或ui 1108中的内容。因此，系统100可以利用来自其他演示者、企业、用户和/或一个或多个权威源或资源的关于被确定为与窗口1104中访问的内容相关的话题的内容。
148.图12是图示了根据本文中描述的实施方式的展现在由实时演示系统生成的会话的记录期间标记的关键思想和内容的示例的屏幕截图。在该示例中，用户可以使用提供并启动屏幕投射的扩展、应用或o/s。例如，可以使用系统100来共享浏览器窗口1200。共享内容至少包括具有关键思想1204、1206和1208的时间线1202，每个时间线对应于相应的时间戳1210、1212和1214。时间线1202可以由内容1216的演示者例如在演示期间生成。演示者可以替代地在视频记录的完成之后生成关键思想和时间线1202。能够看出，转录与时间线1202同步，使得内容1216或转录之一的滚动引起另一个的对应滚动。
149.图13a至图13g图示了描绘根据本文中描述的实施方式的由访问实时演示系统100的用户配置的标记内容的屏幕截图。在该示例中，用户可以使用提供并启动屏幕投射的扩展、应用或o/s。描绘了工具栏1302，同时浏览器窗口1304由在线实时演示系统100投射。工具栏1302可以在开始投射浏览器窗口1304时启动，这可以使得演示者能够选择工具来开始视频标注(例如，对移动或静止视频内容进行注释)。在一些实施方式中，如果例如演示者使用指示笔、智能笔或其他这样的工具来在演示的内容中提供输入，则可以绕过本文中描述的工具栏。
150.参照图13a，工具栏1302包括指示器工具、临时笔工具、笔工具、隐藏字幕工具、静音工具和关键思想标记工具1306。标记工具1306可以表示可以由演示者选择的控件，例如用于将特定内容、思想、幻灯片、注释或屏幕的其他呈现部分标记为关键思想。关键思想可
以表示演示者认为有用的、重要的学习指导材料和/或认为可选择用于代表性内容112的元素。通常，关键思想可以按日期、时间戳和/或主题来组织。
151.在该示例中，演示者已经使用笔工具来输入文本1308和/或突出显示1310和1312。然后，演示者可能已经选择标记工具1306，然后标记文本1308以及突出显示1310和1312的注释以将这样的内容指示为关键思想。作为响应，系统100可以提供指示符消息1314以向演示者提供关于被标记为关键思想的思想的反馈。在一些实施方式中，标记工具1306还可以被用于生成章节(例如，生成标记数据的视频标记、生成标记数据的章节标记等)，其可以与视频标注器数据(即，突出显示1310和1310和/或文本1308)一起作为注释输入来提供。演示者可以实时地并且在记录期间使用标记工具1306和/或其他工具栏工具利用视频标注和关键思想来标记这样的注释输入。例如，在呈现的同时，演示者可以交互地标记章节、注释、关键思想等。能够由系统100使用从交互性得到的注释来生成学习指南、代表性内容112、视频片段和可搜索内容，以使得用户(例如，演示参与者)能够容易地访问关键思想和/或注释的概述视频。
152.参照图13b，浏览器窗口1304被示为具有附加转录节段1316。在演示者正在使用系统100在窗口1304中讲话并呈现内容的同时，可以实时生成转录节段1316。转录节段1316可以表示当前记录的转录视频流。转录节段1316可以突出显示当前正在说出的句子，如由突出显示1318所示。在用户在记录的完成之后正在访问所记录的视频的情况下，当前正在说出的句子可以被突出显示并且随着在整个视频中提供语音(例如，音频)而继续更新。这可以提供允许用户跟随转录节段1316的优点。随着音频进行，突出显示更新以图示正在说出的特定音频。
153.在一些实施方式中，演示者或用户可以在完成之后访问记录并且可以导航通过转录以使窗口1320中的内容根据节段1316中所选择的转录进行更新。例如，用户可以选择转录中的段落以导航到该段落的开始并触发窗口1320中的匹配内容。另外，用户可以访问搜索控件1322以搜索转录的内容。浏览器窗口1304还描绘了共享选项1324以允许演示者或用户共享特定的完整记录、转录的一部分、窗口1320的一部分或视频记录的其他部分。
154.参考图13c，示出了浏览器窗口1304并且包括附加选项。例如，在转录段落上提供标记工具1326以使得用户能够将转录的特定部分(以及与转录相关联的所得视频部分)标记(或取消标记)为关键思想。例如，用户已经通过选择标记工具1326将段落标记为关键思想1328。用户可以在整个视频的脚本中标记或取消标记段落。可以由系统100访问标记的部分以生成代表性内容112。标记转录部分可以用于自动选择在相同时间戳(或多个时间戳)处的相关视频流。因此，如果特定转录段落被标记为关键思想，则相同时间戳中或周围的其他内容也可以被标记为关键思想。也就是说，标记一个视频流可以用于利用关键思想标记其他视频流，关键思想包括但不限于注释(例如，经由注释视频流)、翻译(例如，经由翻译视频流)、屏幕内容(例如，经由屏幕投射视频流)、相机视图(例如，经由演示者视频流)。
155.参照图13d，再次示出了浏览器窗口1304，并且在时间线1330中描绘了图13d中所示的关键思想标记，其中在视频内的时间戳1332处标记了关键思想1328。指示符1334描绘了转录1316的一部分。该指示符可以是视频片段或图像帧以辅助用户识别在关键思想时间戳1332处的内容。在一些实施方式中，用户可以使用时间线1330来标记、取消标记或以其他方式修改标记的关键思想。
156.参考图13e，再次示出了浏览器窗口1304并且已经标记了附加的关键思想。例如，部分顺序关键思想1336和无标题关键思想1338已经由使用系统100的用户标记。还为时间线1330生成了对应的时间戳1340和1342。在一个示例中，用户选择段落1344来触发概念336。另外，当用户选择特定翻译段落(或用户用来生成关键思想的其他内容)时，可以提供编辑工具1346。编辑工具1346可以被用于编辑任何转录部分。在一些实施方式中，编辑工具1346可以被用于组合和/或划分转录部分，从而触发对关键思想的可能改变。
157.参照图13f，用户选择编辑工具1346来编辑转录部分1344，这可以触发对时间线1330中的关键思想1336的编辑。响应于选择部分1344上的编辑工具，系统100可以呈现ui 1348。ui 1348可以提供用于使用控件1350修改关键思想标题以及修改控件1352中所示的实际转录的任何部分的条目。另外，ui 1348可以提供用于组合或划分转录的部分的控件，这可以触发关键思想的组合或划分。对关键思想的这种改变可能会改变关键思想的底层视频帧、文本和场境。
158.参照图13g，响应于用户输入搜索1360而呈现多个搜索结果1354、1356和1358。这样的搜索结果可以由系统100生成。例如，在演示者(或其他用户)为由系统100提供的视频生成关键思想和注释之后，系统100可以将视频(以及底层视频流和相关联的元数据)配置为可搜索的。如果用户(在搜索引擎中)搜索与视频相关联的内容，则搜索引擎可以返回包括视频和/或相关联的内容的部分的搜索结果(例如，文本、视频、图像等)。
159.如图13g所示，搜索包括搜索项集合和子集。可以提供搜索结果1354-1358，因为系统100能够执行或触发对代表性视频内容的部分(例如，关键思想、转录、注释、输入等)的索引，以实现用于使用web浏览器应用来查找代表性内容的至少一部分的搜索功能。可以生成特定的url链接以将用户引导至包括代表性内容的视频或文本的一部分。在一些实施方式中，可以提供视频搜索结果，其可以被选择以将用户引导至视频中将搜索项与匹配关键思想相关的位置(例如，时间戳)。每个搜索结果可以被配置为包括视频缩略图和时间戳、标题、转录突出显示(例如，突出显示1362、1364和1366)、用户名和上传的视频时间戳。
160.图14是图示了根据本文中描述的实施方式的在由实时演示系统100生成的会话的记录期间实时示出的翻译文本的屏幕截图。例如，除了被记录和/或呈现的音频的隐藏字幕版本1402之外，系统100还可以生成并渲染被示出为文本1404的实时翻译275。用户可以使用控件1406来选择查看特定翻译的语言。在一些示例中，以所选择的语言的翻译能够形成转录视频流的一部分，或者可以作为单独的翻译流提供。
161.能够使用工具栏1410上的工具1408来在打开或关闭隐藏字幕之间切换。提供隐藏字幕内容1402可以使用户在演示期间更容易跟随。实时翻译内容1404使得正在学习演示者语言的用户能够在演示期间跟随。在一些实施方式中，用户可以访问包括以第一语言的翻译的先前记录的视频，并且可以选择第二语言来查看以第二语言的翻译。这能够帮助正在从父母请求帮助的用户或不会讲演示的语言的其他用户。
162.图15图示了根据本文中描述的实施方式的生成和记录屏幕投射的示例过程1500的流程图。演示者可以将计算系统202配置为例如生成从与实时演示系统100相关联的一个或多个库116开始的屏幕投射。库可以包括与演示者相关联的内容，该内容可以存储在本地存储驱动、在线存储驱动、服务器计算系统204、或计算系统201和/或计算系统202可访问的另一位置上。演示者可以进入库116并选择(1502)开始记录屏幕投射。演示者然后可以选择
(1504)要记录的内容的范围(例如，窗口、选项卡、全屏等)。系统100可以接洽屏幕投射/屏幕共享工具来触发ui以选择范围。尽管用户正在记录屏幕投射，但是例如，如果屏幕投射记录供用户在稍后的时间查看，则用户可以选择不共享屏幕。
163.接下来，系统100可以根据所选择的范围来开始记录并且可以呈现一个或多个工具栏(例如，工具栏108)。演示者可以使用(1506)屏幕投射工具(例如，工具栏108)来注释内容。演示者可以选择在某个时间点结束记录。一旦记录结束，系统100就可以将视频(以及任何对应的视频流和元数据)自动上传到库116作为新的可用文件。在一些实施方式中，系统100将视频配置为由其他人查看和与其他人共享。
164.图16图示了根据本文中描述的实施方式的生成与多个视频流相关联的元数据记录的示例过程1600的流程图。通常，过程1600利用本文中描述的系统和算法来生成供实时演示系统100使用的元数据记录。过程1600可以利用具有至少一个处理设备和存储指令的存储器的一个或多个计算系统，该指令在被执行时使得(多个)处理设备执行权利要求中描述的多个操作和计算机实现的步骤。通常，系统100、系统200、系统263和/或系统1900可以被用于过程1600的描述和执行中。
165.在框1602处，过程1600包括使得记录开始捕获视频内容。视频内容可以包括演示者视频流、屏幕投射视频流、转录视频流和/或注释视频流中的任何或全部。例如，系统100可以由用户(例如，演示者)访问以开始捕获视频内容的记录。这样的视频内容可以包括演示者视频流(例如，自拍相机捕获的内容)、屏幕投射视频流(例如，图画276和屏幕投射277内容)、注释视频流(注释数据记录214和/或关键思想标记和对应的元数据278)、转录视频流(例如，实时转录274)和/或翻译视频流(例如，实时翻译275)。
166.在框1604处，过程1600包括基于视频内容并且在视频内容的捕获期间生成表示定时信息的元数据记录。定时信息可以被用于将在演示者视频流、屏幕投射视频流、转录视频流或注释视频流中的至少一个中接收到的输入与视频内容的部分同步。在一些实施方式中，输入包括与注释视频流相关联的注释输入。在一些实施方式中，注释可以包括图画276、文本、音频输入、参考链接等。在一些实施方式中，注释输入包括由与演示者视频流相关联的用户生成的视频标记数据和/或视频标注器数据。例如，演示者可以使用视频标注器来输入注释以输入图画、文本等作为对视频内容的覆盖。类似地，演示者可以在记录期间使用标记工具来标记章节。这些章节可以被存储为可以被用于生成视频内容的章节的视频标记数据。
167.在一些实施方式中，每个元数据记录表示用于同步在记录视频流中的至少一个中接收到的输入(例如，注释114/记录214、关键思想元数据278)的时间戳数据。在一些实施方式中，可以在记录期间捕获并存储元数据228。元数据228可以与任何数量的视频流以及在视频流的记录期间或在视频流的记录之后接收到的注释有关。每个视频流还可以包括音频数据。在一些实施方式中，视频流可以将注释数据存储为元数据。然而，在一些实施方式中，注释数据可以被单独地记录为视频层，并且因此元数据228可以从视频层获得。
168.在一些实施方式中，过程1600包括基于元数据记录来生成代表视频和/或音频内容的部分的内容。例如，代表性内容可以包括由与演示者视频流相关联的用户(例如，演示者)响应于记录的终止而注释的视频内容的部分。视频内容可以包括代表性内容112并且可以基于定时信息、元数据228和/或其他视频内容或视频内容的注释来生成。该生成可以响
应于记录的终止而自动进行，或者可以由用户发起或以其他方式响应于在记录的终止时的用户输入而发起。在一些实施方式中，代表性视频内容可以包括描绘所渲染的视频内容和/或屏幕内容上的注释的覆盖图像帧。在一些示例中，代表性内容还可以包括视频内容的从紧接在由用户注释的视频内容的相应部分之前和/或之后的一个或多个部分。
169.在一些实施方式中，定时信息对应于与接收到的输入的相应输入相关联的多个时间戳。例如，定时信息可以对应于在记录和/或屏幕投射期间接收到的注释(例如，由演示者提供)。可以在一个或多个特定时间戳处提供接收到的注释。定时信息还可以对应于与演示者视频流、屏幕投射视频流或注释视频流相关联的内容或文档中的至少一个位置，在其处接收到输入(或者换句话说，在与视频内容相关联的内容或文档中)。例如，注释的创建的定时还对应于在包括时间戳的时间段期间放置注释的屏幕/视频/内容内的(空间)位置。在一些实施方式中，同步输入包括：针对相应输入，将多个时间戳中的至少一个时间戳与内容或文档中的至少一个位置相匹配。例如，系统100可以执行匹配过程以将注释或标记输入与视频内容中的位置以及与在视频内容的记录期间接收注释或标记输入相关联的时间相匹配。
170.在一些实施方式中，除了其他多个视频流之外，视频内容还包括转录视频流。转录视频流可以包括来自演示者视频流的实时转录的音频数据。实时转录的音频可以被生成为可修改的转录数据(例如，文本数据)，其被配置用于在视频内容的记录期间与屏幕投射视频流一起显示。也就是说，可以在演示者记录和呈现内容时实时或接近实时地生成和渲染转录。在一些实施方式中，来自演示者视频流的实时翻译的音频数据被生成为被配置用于在视频内容的记录期间与屏幕投射视频流和转录的音频数据一起显示的文本数据。例如，转录可以在记录期间并与来自屏幕投射的其他视频流内容一起渲染。在一些实施方式中，系统100还可以利用转录视频流的文本数据来执行和渲染转录的翻译。因此，可以在具有或没有翻译的情况下渲染文本(转录)数据。
171.在一些实施方式中，实时转录的音频数据的转录由至少一个语音到文本应用执行。至少一个语音到文本应用可以选自被确定为可由转录视频流访问的任何数量的语音到文本应用。例如，系统100可以确定哪个语音到文本应用可以为音频内容提供准确且方便的转录。这样的决定可以基于音频内容、音频内容的语言、由呈现或访问视频流的用户提供的人口统计数据等来做出。可修改的转录数据和文本数据可以根据时间戳被存储在元数据记录中并且可以被配置为可搜索。这能够促进以有效且资源高效的方式搜索视频流内的内容。
172.在一些实施方式中，演示者视频流、屏幕投射视频流和注释视频流被配置为在记录期间在打开和关闭之间切换。在打开和关闭之间切换可以触发相应演示者视频流、相应屏幕投射视频流或相应注释视频流的显示(或从显示中移除其)。
173.图17是根据本文描述的实施方式的用于在实时演示系统中生成和记录视频演示的示例过程的流程图。通常，过程1700利用本文中描述的系统和算法来生成供实时演示系统100使用的元数据记录。过程1700可以利用具有至少一个处理设备和存储指令的存储器的一个或多个计算系统，该指令在被执行时使得(多个)处理设备执行权利要求中描述的多个操作和计算机实现的步骤。通常，系统100、系统200、系统263和/或系统1900可以被用于过程1700的描述和执行中。
174.实时在线演示系统100可以是这样的系统，其包括至少一个相机、至少一个麦克
风、至少一个扬声器、至少一个显示屏以及被配置为被显示在至少一个显示屏上的一个或多个用户界面。系统100可以使用至少一个处理器和其上存储有可由该至少一个处理器执行的计算机可执行指令的一个或多个计算机可读硬件存储设备来执行过程1700的指令。
175.在框1702处，过程1700包括使得记录开始捕获音频内容和视频内容。例如，演示者可以访问系统100以触发演示和/或记录以开始捕获正在呈现的音频内容和视频内容，这最终可以生成记录110、110b和/或注释114。视频内容可以至少包括演示者视频流、屏幕投射视频流、转录视频流和注释视频流，如贯穿本公开所描述的。在一些实施方式中，可以基于视频内容来生成元数据记录，如参考图16所讨论的。
176.在框1704处，过程1700包括使得渲染与从用户界面内访问多个应用相关联的音频内容和视频内容。例如，在音频和视频内容的演示和记录期间，系统100可以触发内容共享(例如，屏幕共享、视频会议共享、屏幕投射等)。视频数据可以经由提供各种ui的屏幕来渲染，并且音频内容可以经由扬声器来渲染。在一些实施方式中，音频内容还被渲染为在由系统100呈现的剩余内容的阈值距离附近或内的转录和/或翻译的文本。
177.在框1706处，过程1700包括在音频内容和视频内容的渲染期间接收用户界面中的注释输入。注释输入可以被记录在注释视频流中。例如，当用户注释视频内容(例如，图3a的注释306、308)时，系统100可以将注释记录在单独的流中，该注释可以被表示为可位于来自由系统100捕获的其他视频流的内容上的覆盖。在一些实施方式中，使得注释输入被渲染为视频内容上的覆盖。注释输入还可以被配置为响应于检测到触发切换到在记录期间访问的其他视频内容(例如，应用、窗口、浏览器选项卡等)的窗口事件或光标事件而与视频内容一起移动。例如，可以接收指示窗口的滚动的窗口事件或其他信号，并且注释输入可以被配置为与底层应用的内容一起滚动，使得注释相对于底层的注释的应用内容保持在固定位置处。
178.在框1708处，过程1700包括在音频内容和视频内容的渲染期间转录音频内容。例如，音频内容是实时转录的。所转录的音频内容可以被记录在转录视频流中并且可以由系统100实时渲染和标记。例如，演示者(或查看演示的用户)可以标记、注释、修改在由系统100提供的ui中呈现的转录数据或以其他方式与之交互。
179.在框1710处，过程1700可选地包括在音频内容和视频内容的渲染期间翻译音频内容。例如，翻译可以实时执行。除了翻译在演示期间出现的音频信息之外，翻译还可以包括翻译在屏幕投射(或其他共享机制)中呈现的文本。
180.在框1712处，过程1700包括使得在具有所渲染的音频内容和视频内容的用户界面中实时渲染转录的音频内容(以及可选的翻译的音频内容)。例如，教学/演示内容、转录的内容和可选的翻译的内容能够在单个ui中描绘，使得演示者和查看演示的用户在一个视图中有权方便访问所呈现的视频流。在一些实施方式中，附加视频流被添加到这样的视图，诸如演示者视频流、注释视频流、参与者视频流等。
181.在一些实施方式中，过程1700还可以包括使得在线演示系统100响应于检测到视频内容和音频内容的渲染的终止而生成摘要内容。摘要内容可以是例如代表性内容112，并且内容112可以是基于注释输入、视频内容、转录的音频内容和翻译的音频内容(即内容112能够包括基于注释输入选择或确定的、转录音频内容等的视频内容的部分)。可以基于所生成的元数据记录来生成摘要内容。在一些实施方式中，摘要内容包括利用注释输入标记的
所渲染的音频和视频的部分。
182.图18是根据本文中描述的实施方式的用于在实时演示系统中呈现视频演示的示例过程1800的流程图。通常，过程1800利用本文中描述的系统和算法来生成供实时演示系统100使用的元数据记录。过程1800可以利用具有至少一个处理设备和存储指令的存储器的一个或多个计算系统，该指令在被执行时使得(多个)处理设备执行权利要求中描述的多个操作和计算机实现的步骤。通常，系统100、系统200、系统263和/或系统1900可以被用于过程1800的描述和执行中。
183.在步骤1802处，过程1800包括接收至少一个视频流。例如，用户可以访问系统100以查看演示内容(例如，视频和音频内容)。用户可以选择要观看的记录或者可以使用系统100实况观看记录。响应于指示观看哪个记录，系统100可以触发系统202例如以接收多个视频流中的一个或多个。视频流可以包括但不限于至少演示者视频流、屏幕投射视频流、转录视频流和注释视频流，如贯穿本公开所描述的。
184.在步骤1804处，过程1800包括接收表示与在至少一个视频流中检测到的输入相关联的定时信息的元数据。例如，系统100可以触发系统202接收表示定时信息的元数据228。定时信息可以被配置为将在至少一个视频流中提供的检测到的输入与至少一个视频流的内容(例如，视频、音频、数据、元数据等)同步。例如，定时信息可以包括被配置为将检测到的输入(例如，注释、标记等)与多个视频流中的至少一个同步的信息和/或指令。
185.在步骤1806处，过程1800包括基于元数据来生成至少一个视频流的部分。这些部分可以响应于接收到查看至少一个视频流中的任何或全部的请求而生成。例如，用户可以请求查看与视频流相关联的内容。作为响应，系统100可以基于元数据来生成摘要视频、概述视频或其他代表性视频(和/或音频)作为视频流部分的汇编或其他组合。
186.在一些实施方式中，系统100可以生成并呈现ui 302，其中从元数据检索到的注释306和308被描绘为到ui 302中所示的内容上的覆盖。ui 302可以被描绘为具有注释306和308，其响应于检测到的请求查看与多个视频流相关联的汇编内容(例如，概括内容、概述内容和/或其他代表性内容)的用户指示而在元数据中指示的时间戳处覆盖到ui 302内的内容上。所生成的部分可以包括表示注释内容、视频内容或其他用户请求的和/或系统100提供的内容的视频和/或音频内容。在一些实施方式中，所生成的部分包括基于检测到的输入的内容并且包括利用输入注释的视频流的所渲染的部分。
187.在一些实施方式中，响应于检测到查看汇编的或以其他方式整理的内容的请求，可以将图3a中所示的整个屏幕截图提供作为图像帧，因为该帧包括所注释的内容。所注释的内容可以是图像帧中的信息包括关键数据的指示符，如由与至少一个视频流的内容相关联的演示者所指示的。
188.在步骤1808处，过程1800包括使得在至少一个用户界面中渲染该至少一个视频流的该部分。例如，ui生成器220使用渲染器来格式化并显示被指示为汇编(例如，概述、概括)内容的部分。视频流的其他部分还可以或替代地响应于查看内容的汇编或其他组合的请求而被显示。例如，还可以描绘视频和/或音频内容，诸如与演示者视频流、翻译视频流、转录视频流、另一注释视频流和/或由系统100生成的其他视频流相关联的视频和/或音频内容。
189.在一些实施方式中，定时信息对应于与在视频流中的一个或多个中检测到的相应输入相关联的多个时间戳以及与一个或多个视频流中的至少一个相关联的内容或文档中
的至少一个位置(即，在与至少一个视频流相关联的内容或文档中)。在一些实施方式中，同步检测到的输入包括：针对相应输入，将至少一个时间戳与文档中的至少一个位置相匹配。
190.在一些实施方式中，可以在设备(例如，台式机、平板电脑、移动设备、可穿戴设备等)的本机应用中打开所记录的视频。本机应用可以提供附加工具以允许用户读取视频记录的转录、通过选择转录来导航视频记录、在关键思想之间跳过/浏览、在视频内和跨视频进行搜索、和/或跨一系列视频观看关键思想(例如，向我示出来自准备员工参加考试的演示的所有“this will be on the test(这将在测试中)”的时刻)。在一些实施方式中，所记录的视频和系统100可以被提供作为应用扩展而不是本机应用。
191.在系统100的操作中，可以向演示者提供选项来标记关键思想、在记录上实时绘制、并将这样的注释和记录在线存储为任何数量的单独视频流，以便促进生成用于记录的内容112。在记录结束时，演示者能够审阅记录并将记录上传到在线驱动，以与一个或多个应用共享和/或直接与用户共享。系统100使得演示者能够创建旁白屏幕投射以供用户在稍后时间查看、异步记录和共享演示及相关内容、执行面对面演示以及经由视频会议软件和相关应用为远程演示做准备。
192.本文中描述的系统和方法可以提供屏幕共享范围选择工具(例如，演示系统100)。系统100的工具可以向用户提供选项以在连接到外部显示器(例如电视或投影仪硬件)的同时选择演示模式(例如扩展显示器或镜像显示模式等)，该外部显示器还包括对演示者工具栏的访问。演示者工具栏可以包括投射目的地工具、屏幕共享面板、记录屏幕共享工具、停止屏幕共享工具、视频标注工具、激光指示器工具、隐藏字幕工具、相机工具、标记工具以及任何数量的注释工具(例如，笔、高光笔、形状等)。视频标注工具可以使得用户能够在屏幕上的任何地方进行视频标注。替代地，绕过演示者工具栏，直接使用手写笔进行注释。隐藏字幕工具选项例如利用来自与系统100相关联的麦克风的输入，在突出显示的文本之上提供设备上的实况字幕和翻译。翻译的语言可以由用户选择，并且可以以文本格式提供。在一些示例中，翻译的文本可以被合成并作为音频数据输出给用户。
193.当用户从演示者工具栏或屏幕共享面板中选择记录选项时，当前屏幕共享范围被启用并且工具向用户确认是否记录并上传到云服务器。当经由屏幕捕获工具触发记录时，工具栏可以为第一用户提供移动到屏幕共享范围选择工具以修剪和发布记录的选项。标记选项(即，工具栏400中的星号选项)可以使得用户能够标记屏幕上呈现的重要/关键思想，并且可以显示指示符文本以确认该标记。
194.工具栏可以自动转录所捕获的记录并且可以突出显示文本以供用户检查准确性，并且可以要求用户在上传到存储库以与系统100用户共享记录之前提供关键思想的标题。
195.系统100可以允许另一用户经由当用户访问记录时提供的搜索栏来搜索转录、利用转录和/或关键思想进行导航，或在预定时间基础上(例如，每天、每周、每月、每季度、每年等)观看所有关键思想的概述(例如，摘要、代表性部分)视频，因为关键思想是按日期和主题组织的。系统100可以突出显示转录中的(正在阅读的)当前句子并且可以使得用户能够编辑标题、转录并标记段落关键思想。当用户的查询与记录的关键思想相匹配时，系统可以将记录剪辑显示为搜索结果或浏览器中的快速答案。
196.在一些实施方式中，系统100可以提供并排阅读辅助ui。例如，系统100可以利用并排电子书提供参考辅助，以保留用于阅读的场境以及在阅读的同时参考内容。用户能够从
系统100内选择任何文本以上传文本。系统100能够使用所上传的文本来主动建议有帮助的学习时刻。例如，像词汇表样式相关的内容一样，系统100可以提供关键概念以展现关于这些概念的文章和视频。在一些实施方式中，系统100可以调整特定文本的级别。例如，系统100可以用更简单的术语替换文本中特别高级的单词，以针对例如具有较小词汇量的用户定制内容。在一些实施方式中，系统100可以用较不高级的内容替换特定内容以辅助读者理解内容的段落。系统100然后可以切换到原始内容以提供对文本中的词汇使用的进一步理解。
197.在一些实施方式中，系统100还可以提供上下文学习时刻。例如，系统100可以为具有不同于文本的语言的第一学习语言的用户内置段落翻译。系统100还可以提供用于词汇查找和/或答案查找的快速链接。
198.在一些实施方式中，系统100可以提供对可访问性功能的访问，诸如通过速度、音调和重音调整来朗读。在一些实施方式中，系统100可以提供字体来辅助阅读困难的读者阅读段落，并且还可以突出显示由系统100正在可听地阅读的句子和/或单词。系统100可以执行数据的其他突出显示、注释和合成，以辅助用户学习所呈现的概念。
199.图19示出了可以与本文描述的技术一起使用的计算机设备1900和移动计算机设备1950的示例。计算设备1900旨在表示各种形式的数字计算机，诸如膝上型计算机、台式机、平板电脑、工作站、个人数字助理、智能设备、电器、基于电子传感器的设备、电视、服务器、刀片服务器、大型机和其他适当的计算设备。计算设备1950旨在表示各种形式的移动设备，诸如个人数字助理、蜂窝电话、智能电话和其他类似的计算设备。本文示出的组件、它们的连接和关系以及它们的功能仅意味着是示例性的，并且并不意味着限制本文档中描述和/或要求保护的本发明的实施方式。
200.计算设备1900包括处理器1902、存储器1904、存储设备1906、连接到存储器1904和高速扩展端口1910的高速接口1908、以及连接到低速总线1914和存储设备1906的低速接口1912。处理器1902能够是基于半导体的处理器。存储器1904能够是基于半导体的存储器。组件1902、1904、1906、1908、1910和1912中的每一个使用各种总线互连，并且可以被安装在公共主板上或以其他适当的方式安装。处理器1902能够处理用于在计算设备1900内执行的指令，包括存储在存储器1904中或存储设备1906上的指令，以在外部输入/输出设备——诸如耦合到高速接口1908的显示器1916——上显示gui的图形信息。在其他实施方式中，可以适当使用多个处理器和/或多条总线以及多个存储器和存储器类型。此外，可以连接多个计算设备1900，其中每个设备提供必要操作的部分(例如，作为服务器组、一组刀片服务器或多处理器系统)。
201.存储器1904存储计算设备1900内的信息。在一个实施方式中，存储器1904是一个或多个易失性存储器单元。在另一实施方式中，存储器1904是一个或多个非易失性存储器单元。存储器1904还可以是另一种形式的计算机可读介质，诸如磁盘或光盘。通常，计算机可读介质可以是非暂时性计算机可读介质。
202.存储设备1906能够为计算设备1900提供大容量存储。在一个实施方式中，存储设备1906可以是或包含计算机可读介质，诸如软盘设备、硬盘设备、光盘设备、或磁带设备、闪存或其他类似的固态存储设备、或设备阵列，包括存储区域网络或其他配置中的设备。计算机程序产品能够有形地体现在信息载体中。计算机程序产品还可以包含指令，该指令当被
执行时，执行一种或多种方法和/或计算机实现的方法，诸如上面描述的那些。信息载体是计算机或机器可读介质，诸如存储器1904、存储设备1906或处理器1902上的存储器。
203.高速控制器1908管理计算设备1900的带宽密集型操作，而低速控制器1912管理较低带宽密集型操作。这种功能分配仅是示例性的。在一个实施方式中，高速控制器1908耦合到存储器1904、显示器1916(例如，通过图形处理器或加速器)以及高速扩展端口1910，高速扩展端口1910可以接受各种扩展卡(未示出)。在该实施方式中，低速控制器1912耦合到存储设备1906和低速扩展端口1914。低速扩展端口，其可以包括各种通信端口(例如usb、蓝牙、以太网、无线以太网)，可以被耦合到一个或多个输入/输出设备，诸如键盘、指示设备、扫描仪或网络设备，诸如交换机或路由器，例如通过网络适配器。
204.计算设备1900可以以多种不同的形式实现，如图所示。例如，它可以被实现为标准服务器1920，或者在一组这样的服务器中多次实现。它也可以被实现为机架服务器系统1924的一部分。另外，其可以在诸如膝上型计算机1922的计算机中实现。替代地，来自计算设备1900的组件可以与诸如设备1950的移动设备(未示出)中的其他组件组合。这样的设备中的每一个可以包含计算设备1900、1950中的一个或多个，并且整个系统可以由彼此通信的多个计算设备1900、1950组成。
205.计算设备1950包括处理器1952、存储器1964、诸如显示器1954的输入/输出设备、通信接口1966和收发器1968以及其他组件。设备1950还可以设置有存储设备，诸如微驱动器或其他设备，以提供附加存储。组件1950、1952、1964、1954、1966和1968中的每一个使用各种总线互连，并且这些组件中的若干可以被安装在公共主板上或以其他方式适当安装。
206.处理器1952可以执行计算设备1950内的指令，包括存储在存储器1964中的指令。处理器可以被实现为包括单独的多个模拟和数字处理器的芯片的芯片组。处理器可以提供例如设备1950的其他组件的协调，诸如用户界面的控制、由设备1950运行的应用以及设备1950的无线通信。
207.处理器1952可以通过耦合到显示器1954的控制接口1958和显示接口1956与用户通信。显示器1954可以是例如tft lcd(薄膜晶体管液晶显示器)或oled(有机发光二极管)显示器或其他适当的显示技术。显示接口1956可以包括用于驱动显示器1954以向用户呈现图形和其他信息的适当电路。控制接口1958可以从用户接收命令并且转换它们以提交给处理器1952。另外，可以提供与处理器1952通信的外部接口1962，以便使得设备1950能够与其他设备进行近区通信。外部接口1962可以例如在一些实施方式中提供有线通信，或者在其他实施方式中提供无线通信，并且也可以使用多个接口。
208.存储器1964存储计算设备1950内的信息。存储器1964能够被实现为一个或多个计算机可读介质、一个或多个易失性存储器单元、或一个或多个非易失性存储器单元中的一个或多个。还可以提供扩展存储器1974并且通过扩展接口1972将其连接到设备1950，扩展接口1972可以包括例如simm(单列直插存储器模块)卡接口。这样的扩展存储器1974可以为设备1950提供额外的存储空间，或者还可以为设备1950存储应用或其他信息。具体地，扩展存储器1974可以包括用于执行或补充上述过程的指令，并且还可以包括安全信息。因此，例如，扩展存储器1974可以被提供作为设备1950的安全模块，并且可以利用许可安全使用设备1950的指令来编程。另外，可以经由simm卡提供安全应用以及附加信息，诸如以不可破解的方式将识别信息放置在simm卡上。
209.存储器可以包括例如闪存和/或nvram存储器，如下文所讨论的。在一个实施方式中，计算机程序产品有形地体现在信息载体中。该计算机程序产品包含指令，该指令当被执行时，执行一种或多种方法，诸如上面描述的那些方法。信息载体是计算机或机器可读介质，诸如存储器1964、扩展存储器1974或处理器1952上的存储器，其可以例如通过收发器1968或外部接口1962被接收。
210.设备1950可以通过通信接口1966进行无线通信，通信接口1966可以在必要时包括数字信号处理电路。通信接口1966可以提供在各种模式或协议下的通信，诸如gsm语音呼叫、sms、ems或mms消息传递、cdma、tdma、pdc、wcdma、cdma2000或gprs等。这种通信可以例如通过射频收发器1968发生。另外，可以发生短距离通信，诸如使用蓝牙、wi-fi或其他这样的收发器(未示出)。另外，gps(全球定位系统)接收器模块1970可以向设备1950提供附加的导航和位置相关的无线数据，这些数据可以适当地由在设备1950上运行的应用使用。
211.设备1950还可以使用音频编解码器1960可听地进行通信，音频编解码器1960可以从用户接收语音信息并将其转换为可用的数字信息。音频编解码器1960同样可以诸如通过例如设备1950的听筒中的扬声器来为用户生成可听声音。这样的声音可以包括来自语音电话呼叫的声音，可以包括所记录的声音(例如，语音消息、音乐文件等)并且还可以包括由在设备1950上操作的应用生成的声音。
212.计算设备1950可以以多种不同的形式来实现，如图所示。例如，它可以被实现为蜂窝电话1980。它还可以被实现为智能电话1982、个人数字助理或其他类似移动设备的一部分。
213.本文描述的系统和技术的各种实施方式能够在数字电子电路、集成电路、专门设计的asic(专用集成电路)、计算机硬件、固件、软件和/或其组合中实现。这些各种实施方式能够包括在包括至少一个可编程处理器的可编程系统上可执行和/或可解释的一个或多个计算机程序中的实施方式，该可编程处理器可以是专用的或通用的、被耦合以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令以及向其传输数据和指令。
214.这些计算机程序(也称为模块、程序、软件、软件应用或代码)包括用于可编程处理器的机器指令，并且能够用高级过程和/或面向对象的编程语言和/或用汇编/机器语言来实现。如本文中所使用的，术语“机器可读介质”、“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、装置和/或设备(例如，磁盘、光盘、存储器、可编程逻辑设备(pld))，包括接收机器指令作为机器可读信号的机器可读介质。术语“机器可读信号”指的是用于向可编程处理器提供机器指令和/或数据的任何信号。
215.为了提供与用户的交互，本文描述的系统和技术能够在具有以下各项的计算机上实现：用于向用户显示信息的显示设备(例如，crt(阴极射线管)或lcd(液晶显示器)监视器、或led(发光二极管))以及键盘和指点设备(例如，鼠标或轨迹球)，用户能够通过键盘和指点设备向计算机提供输入。也能够使用其他种类的设备来提供与用户的交互。例如，提供给用户的反馈能够是任何形式的感官反馈(例如，视觉反馈、听觉反馈或触觉反馈)，并且能够以任何形式接收来自用户的输入，包括声音、语音或触觉输入。
216.本文描述的系统和技术能够在这样的计算系统中实现：其包括后端组件(例如，作为数据服务器)、或包括中间件组件(例如，应用服务器)、或包括前端组件(例如，具有用户能够通过其与本文描述的系统和技术的实施方式进行交互的图形用户界面或web浏览器的
客户端计算机)、或者这种后端、中间件或前端组件的任何组合。系统的组件能够通过任何形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“lan”)、广域网(“wan”)和互联网。
217.计算系统能够包括客户端和服务器。客户端和服务器通常彼此远离并且通常通过通信网络进行交互。客户端和服务器的关系通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。
218.在一些实施例中，图19中描绘的计算设备能够包括与虚拟现实或耳机(vr耳机/ar耳机/hmd设备1990)接口连接的传感器。例如，包括在计算设备1950或图19中描绘的其他计算设备上的一个或多个传感器能够向ar/vr耳机1990提供输入，或者通常向ar/vr空间提供输入。传感器能够包括但不限于触摸屏、加速度计、陀螺仪、压力传感器、生物识别传感器、温度传感器、湿度传感器和环境光传感器。计算设备1950能够使用传感器来确定计算设备在ar/vr空间中的绝对方位和/或检测到的旋转，然后能够将其用作ar/vr空间的输入。例如，计算设备1950可以作为诸如控制器、激光指示器、键盘、工具等的虚拟对象并入ar/vr空间中。当并入ar/vr空间中时由用户对计算设备/虚拟对象的定位能够允许用户定位计算设备以在ar/vr空间中以某些方式查看虚拟对象。
219.在一些实施例中，包括在计算设备1950上或连接到计算设备1950的一个或多个输入设备能够被用作ar/vr空间的输入。输入设备能够包括但不限于触摸屏、键盘、一个或多个按钮、轨迹板、触摸板、指点设备、鼠标、轨迹球、操纵杆、相机、麦克风、具有输入功能的入耳式耳机或耳塞、游戏控制器或其他可连接的输入设备。当计算设备1950被并入ar/vr空间中时，与计算设备1950上包括的输入设备交互的用户能够使得特定动作在ar/vr空间中发生。
220.在一些实施例中，计算设备1950上包括的一个或多个输出设备能够向ar/vr空间中的ar/vr耳机1990的用户提供输出和/或反馈。输出和反馈能够是视觉的、触觉的或音频的。输出和/或反馈能够包括但不限于渲染ar/vr空间或虚拟环境、振动、打开和关闭一个或多个灯或闪光灯的闪烁和/或闪光、发出警报、播放铃声、播放歌曲以及播放音频文件。输出设备能够包括但不限于振动电机、振动线圈、压电设备、静电设备、发光二极管(led)、闪光灯和扬声器。
221.在一些实施例中，计算设备1950能够被放置在ar/vr耳机1990内以创建ar/vr系统。ar/vr耳机1990能够包括一个或多个定位元件，其允许将诸如智能电话1982的计算设备1950放置在ar/vr耳机1990内的适当位置中。在这样的实施例中，智能电话1982的显示器能够渲染表示ar/vr空间或虚拟环境的立体图像。
222.在一些实施例中，计算设备1950可以显现为计算机生成的3d环境中的另一对象。由用户与计算设备1950的交互(例如，旋转、摇动、触摸触摸屏、跨触摸屏滑动手指)能够被解释为与ar/vr空间中的对象的交互。作为示例，计算设备能够是激光指示器。在这样的示例中，计算设备1950在计算机生成的3d环境中显现为虚拟激光指示器。当用户操纵计算设备1950时，在ar/vr空间中的用户看到激光指示器的移动。用户在计算设备1950上或在ar/vr耳机1990上接收来自在ar/vr环境中与计算设备1950的交互的反馈。
223.在一些实施例中，计算设备1950可以包括触摸屏。例如，用户能够以能够用在ar/vr空间中发生的情况模仿在触摸屏上发生的情况的特定方式与触摸屏进行交互以及。例
如，用户可以使用捏合型运动来缩放触摸屏上显示的内容。触摸屏上的这种捏合式运动能够使得ar/vr空间中提供的信息被缩放。在另一示例中，计算设备可以被渲染为计算机生成的3d环境中的虚拟书。在ar/vr空间中，书的页面能够被显示在ar/vr空间中，并且用户手指跨触摸屏的滑动能够被解释为翻动/翻转虚拟书的页。当每页被翻动/翻转时，除了看到页面内容变化之外，用户还可以被提供有音频反馈，诸如翻动书中的页的声音。
224.在一些实施例中，除了计算设备(例如，鼠标、键盘)之外，还能够在计算机生成的3d环境中渲染一个或多个输入设备。所渲染的输入设备(例如，所渲染的鼠标、所渲染的键盘)能够如在ar/vr空间中渲染的那样使用，以控制ar/vr空间中的对象。
225.已经描述了多个实施例。然而，应当理解，在不脱离本发明的精神和范围的情况下可以进行各种修改。
226.此外，图中描绘的逻辑流程不需要所示的特定顺序或连续顺序来实现期望的结果。另外，可以提供其他步骤，或者可以从所描述的流程中消除步骤，并且可以向所描述的系统添加其他组件或者从所描述的系统中移除其他组件。因此，其他实施例在所附权利要求的范围内。
227.除了上面的描述之外，还向用户提供了允许用户做出关于以下项的选择的控制：本文中描述的系统、程序、设备、网络或特征是否以及何时可以使得能够收集用户信息(例如，关于用户的社交网络、社交行为或活动、职业、用户的偏好或用户的当前位置的信息)、以及是否从服务器向用户发送内容或通信。另外，某些数据在其被存储或使用之前可以以一种或多种方式进行处理，使得移除用户信息。例如，可以处理用户的身份，使得无法针对该用户确定用户信息，或者可以在获得位置信息的情况下将用户的地理位置一般化(例如到城市、邮政编码或州级别)，使得无法确定用户的具体位置。因此，用户可以控制收集关于用户的什么信息、如何使用该信息以及向用户提供什么信息。
228.计算机系统(例如，计算设备)可以被配置为使用任何已知的无线通信技术和协议，包括适合于通过网络进行通信的射频(rf)、微波频率(mwf)和/或红外频率(irf)无线通信技术和协议，经由与网络服务器建立的通信链接通过网络与网络服务器进行无线通信。
229.根据本公开的各方面，本文中描述的各种技术的实施方式可以在数字电子电路中、或在计算机硬件、固件、软件中、或它们的组合中实现。实施方式可以被实现为计算机程序产品(例如，有形地体现在信息载体、机器可读存储设备、计算机可读介质、有形计算机可读介质中的计算机程序)，以用于由数据处理装置(例如，可编程处理器、计算机或多个计算机)处理或用于控制该数据处理装置的操作。在一些实施方式中，有形计算机可读存储介质可以被配置为存储当被执行时使得处理器执行过程的指令。计算机程序，诸如上述(多个)计算机程序，可以用包括编译或解释语言的任何形式的编程语言来编写，并且可以以任何形式部署，包括作为独立程序或作为模块、组件、子例程或适合在计算环境中使用的其他单元。计算机程序可以被部署为在一个计算机上或在一个站点或者分布在多个站点上并通过通信网络互连的多个计算机上被处理。
230.本文中公开的特定结构和功能细节出于描述示例实施例的目的仅是代表性的。然而，示例实施例可以以许多替代形式来体现，并且不应被解释为仅限于本文中阐述的实施例。
231.本文中使用的术语仅用于描述特定实施例的目的并且不旨在限制实施例。如本文
中所使用的，单数形式“一”、“一个”和“该”也旨在包括复数形式，除非上下文清楚地另有指示。还将进一步理解，术语“包括”、“包含”、“包括有”和/或“包含有”当在本说明书中适用时指定所陈述的特征、步骤、操作、元件和/或组件的存在，但不排除一个或多个其他特征、步骤、操作、元件、组件和/或其组的存在或添加。
232.将理解，当一个元件被称为“耦合”、“连接”到另一元件或“响应于”另一元件或“在”另一元件“上”时，它能够被直接耦合、连接到该另一元件或响应于该另一元件或“在”该另一元件“上”，或者也可以存在中间元件。相反，当元件被称为“直接耦合”、“直接连接”到另一元件或“直接响应于”另一元件或“直接”在另一元件“上”时，不存在中间元件。如本文中所使用的，术语“和/或”包括一个或多个相关联的列出项目中的任何和所有组合。
233.为了便于描述，可以在本文中使用诸如“在
……
下方”、“在
……
下面”、“下部”、“在
……
上方”、“上部”等的空间相对术语来描述一个元件或特征与如图中所图示的其他元件或特征的关系。将理解，除了图中描绘的定向之外，空间相对术语还旨在涵盖设备在使用或操作中的不同定向。例如，如果图中的设备被翻转，则被描述为在其他元件或特征“下面”或“下方”的元件将被定向为在该其他元件或特征“上方”。因此，术语“在
……
下面”能够涵盖上面和下面两种定向。设备可以以其他方式定向(旋转70度或以其他定向)并且可以相应地解释本文中使用的空间相对描述符。
234.本文中参考横截面图示来描述概念的示例实施例，横截面图示是示例实施例的理想化实施例(和中间结构)的示意性图示。因此，由于例如制造技术和/或公差，预期到图示的形状的变型。因此，所描述的概念的示例实施例不应被解释为限于本文中所图示的区域的特定形状，而是包括例如由制造导致的形状的偏差。因此，附图中图示的区域本质上是示意性的，并且它们的形状并不旨在图示设备的区域的实际形状并且不旨在限制示例实施例的范围。
235.应当理解，虽然术语“第一”、“第二”等可以在本文中用于描述各种元件，但是这些元件不应受到这些术语的限制。这些术语仅用于区分一个元件与另一元件。因此，“第一”元件可以被称为“第二”元件，而不脱离本实施例的教导。
236.除非另外定义，否则本文中使用的术语(包括技术和科学术语)具有与这些概念所属领域的普通技术人员通常理解的相同含义。还将进一步理解，术语，诸如在常用词典中定义的术语，应被解释为具有与其在相关领域和/或本说明书的场境中的含义一致的含义，并且不会被解释为理想化的或过于正式的含义，除非本文中明确地如此定义。
237.虽然已经如本文中所描述的说明了所描述的实施方式的某些特征，但是本领域技术人员现在将进行许多修改、替换、改变和等同。因此，应当理解，所附权利要求旨在覆盖如落入实施方式的范围内的此类修改和变化。应当理解，它们仅以示例的方式呈现，而不是限制，并且可以在形式和细节上进行各种改变。本文中描述的装置和/或方法的任何部分可以以除了相互排斥的组合之外的任何组合进行组合。本文中描述的实施方式能够包括所描述的不同实施方式的功能、组件和/或特征的各种组合和/或子组合。