用于促进与视频内容的交互的用户界面和工具的制作方法

技术特征：
1.一种计算机实现的方法，包括：使得记录开始捕获视频内容，所述视频内容包括演示者视频流、屏幕投射视频流和注释视频流；以及基于所述视频内容并在所述视频内容的捕获期间生成元数据记录，所述元数据记录表示用于将所述视频内容的至少一个部分与在所述演示者视频流、所述屏幕投射视频流或所述注释视频流中的至少一个中接收到的输入同步的定时信息。2.根据权利要求1所述的计算机实现的方法，进一步包括：响应于所述记录的终止，基于所述元数据记录来生成所述视频内容的表示，所述表示包括由与所述演示者视频流相关联的用户注释的所述视频内容的部分。3.根据权利要求1或2所述的计算机实现的方法，其中：所述定时信息对应于与所述输入相关联的多个时间戳以及与所述视频内容相关联的文档中的至少一个位置；以及同步所述输入包括将所述多个时间戳中的至少一个时间戳与所述文档中的所述至少一个位置相匹配。4.根据权利要求1至3中的任一项所述的计算机实现的方法，其中，所述视频内容进一步包括转录视频流，所述转录视频流包括：来自所述演示者视频流的实时转录的音频数据，所述实时转录的音频数据被生成为可修改的转录数据，所述可修改的转录数据被配置用于在所述视频内容的所述记录期间与所述屏幕投射视频流一起显示；以及来自所述演示者视频流的实时翻译的音频数据，所述实时翻译的音频数据被生成为文本数据，所述文本数据被配置用于在所述视频内容的所述记录期间与所述屏幕投射视频流和所述实时转录的音频数据一起显示。5.根据权利要求4所述的计算机实现的方法，其中：所述实时转录的音频数据的转录由至少一个语音到文本应用执行，所述至少一个语音到文本应用从被确定为能够由所述转录视频流访问的多个语音到文本应用中选择；以及所述可修改的转录数据和所述文本数据根据时间戳被存储在所述元数据记录中并且被配置为可搜索。6.根据权利要求1至5中的任一项所述的计算机实现的方法，其中，所述输入包括与所述注释视频流相关联的注释输入，所述注释输入包括由与所述演示者视频流相关联的用户生成的视频标记数据和视频标注器数据。7.根据权利要求1至6中的任一项所述的计算机实现的方法，其中，所述演示者视频流、所述屏幕投射视频流和所述注释视频流被配置为在所述记录期间在打开和关闭之间切换，在所述打开和关闭之间切换触发所述演示者视频流、所述屏幕投射视频流或所述注释视频流的显示或从显示中移除所述演示者视频流、所述屏幕投射视频流或所述注释视频流。8.一种系统，包括：存储器；以及至少一个处理器，所述至少一个处理器耦合到所述存储器，所述至少一个处理器被配置成生成用户界面，所述用户界面被配置成从以下接收命令：渲染器，所述渲染器被配置为渲染与从所述用户界面内访问多个应用相关联的音频和
视频内容；注释生成器工具，所述注释生成器工具被配置为接收所述用户界面中的注释输入，并且在所述音频和视频内容的渲染期间针对接收到的注释输入生成多个注释数据记录，所述注释生成器工具包括用于接收所述注释输入的至少一个控件；转录生成器工具，所述转录生成器工具被配置为在所述音频和视频内容的所述渲染期间转录所述音频内容，并且在所述用户界面中显示所转录的音频内容；以及内容生成器工具，所述内容生成器工具被配置为响应于检测到所述渲染的终止而生成所述音频和视频内容的表示，所述表示是基于所述注释输入、所述视频内容和所转录的音频内容，其中，所述表示包括利用所述注释输入标记的所渲染的音频和视频内容的部分。9.根据权利要求8所述的系统，其中，所述内容生成器工具进一步被配置为：生成到所述音频和视频内容的所述表示的url链接；以及对所述表示进行索引以实现用于在web浏览器应用中查找所述音频和视频内容的至少一部分的搜索功能。10.根据权利要求8或9所述的系统，其中，所述多个注释数据记录包括：所述多个应用中的至少一个应用接收所述注释输入的指示；以及机器可读指令，所述机器可读指令用于根据相应时间戳将所述注释输入覆盖到描绘所指示的至少一个应用的所渲染的视频内容的一部分的至少一个图像帧上。11.根据权利要求10所述的系统，其中，将所述注释输入覆盖到所述至少一个图像帧上包括：检索所述多个注释数据记录中的至少一个注释数据记录，执行所述机器可读指令；以及生成文档，所述文档使用户能够滚动所述至少一个图像帧，其中根据所述至少一个注释数据记录将所述注释输入覆盖到所述至少一个图像帧上。12.根据权利要求8至11中的任一项所述的系统，其中，所述注释生成器工具进一步被配置为：使得所渲染的音频和视频内容的记录开始，所渲染的视频内容包括与所述多个应用中的第一应用相关联的数据以及与所述多个应用中的第二应用相关联的数据；在所述第一应用中，接收在记录视频内容的第一分段期间的第一注释集合；根据与所述第一分段相关联的相应时间戳来存储所述第一注释集合；在所述第二应用中，接收在记录视频内容的第二分段期间的第二注释集合；根据与所述第二分段相关联的相应时间戳来存储所述第二注释集合；响应于检测到光标焦点已经从所述第一应用切换到所述第二应用，检索所述第二注释集合以及与所述第二应用相关联的数据；将与所述第二分段相关联的所述时间戳与所述第二注释集合相匹配；以及使得根据与所述第二分段相关联的相应时间戳在所述第二应用上显示检索到的第二注释集合。13.根据权利要求12所述的系统，其中，所述第一注释集合和所述第二注释集合由所述注释工具生成，所述注释工具使得能够标记、存储和滚动所述第一注释集合和所述第二注释集合，同时针对所述第一注释集合和所述第二注释集合中的每个注释，保留与所述第一
应用相关联的数据或与所述第二应用相关联的数据上的初始位置。14.根据权利要求12所述的系统，其中，所述注释生成器工具进一步被配置为：响应于检测到所述光标焦点已经从所述第二应用切换到所述第一应用，检索所述第一注释集合以及与所述第一应用相关联的数据；将与所述第一分段相关联的所述时间戳与所述第一注释集合相匹配；以及使得根据与所述第一分段相关联的相应时间戳在所述第一应用上显示检索到的第一注释集合。15.根据权利要求12所述的系统，其中，所述注释生成器工具进一步被配置为：在所述第二应用中接收附加注释，所述附加注释与相应时间戳相关联；以及响应于检测到所述记录的完成，根据所述第二注释集合和所述附加注释生成文档，所述文档包括：所述第二注释集合和所述附加注释，所述第二注释集合和所述附加注释根据与所述第二分段相关联的相应时间戳和与所述附加注释相关联的相应时间戳被覆盖到与所述第二应用相关联的数据上；以及与所述第二分段相关联的所记录的音频内容的转录。16.一种非暂时性计算机可读存储介质，包括存储在其上的指令，所述指令在由至少一个处理器执行时被配置为使得计算系统执行包括以下的指令：使得记录开始捕获视频内容，所述视频内容包括演示者视频流、屏幕投射视频流、转录视频流和注释视频流；以及基于所述视频内容并在所述视频内容的捕获期间生成元数据记录，所述元数据记录表示用于将所述视频内容的至少一个部分与在所述演示者视频流、所述屏幕投射视频流、所述转录视频流或所述注释视频流中的至少一个中接收到的输入同步的定时信息。17.根据权利要求16所述的非暂时性计算机可读存储介质，其中，所述指令进一步包括：响应于所述记录的终止，基于所述元数据记录来生成所述视频内容的表示，所述表示包括由与所述演示者视频流相关联的用户注释的所述视频内容的部分。18.根据权利要求16或17所述的非暂时性计算机可读存储介质，其中：所述定时信息对应于与接收到的输入相关联的多个时间戳以及与所述视频内容相关联的文档中的至少一个位置；以及同步所述输入包括将所述多个时间戳中的至少一个时间戳与所述文档中的所述至少一个位置相匹配。19.根据权利要求16至18中的任一项所述的非暂时性计算机可读存储介质，其中，所述转录视频流包括：来自所述演示者视频流的实时转录的音频数据，所述实时转录的音频数据被生成为文本数据，所述文本数据被配置用于在所述视频内容的所述记录期间与所述屏幕投射视频流一起显示；以及来自所述演示者视频流的实时翻译的音频数据，所述实时翻译的音频数据被生成为文本数据，所述文本数据被配置用于在所述视频内容的所述记录期间与所述屏幕投射视频流和所转录的音频数据一起显示。
20.根据权利要求19所述的非暂时性计算机可读存储介质，其中：所述实时转录的音频数据被生成为可修改的转录数据，所述可修改的转录数据被配置用于在所述视频内容的所述记录期间与所述屏幕投射视频流一起显示；所述实时转录的音频数据的转录由至少一个语音到文本应用执行，所述至少一个语音到文本应用从被确定为能够由所述转录视频流访问的多个语音到文本应用中选择；以及所述可修改的转录数据和所述文本数据根据时间戳被存储在元数据记录中并且被配置为可搜索。21.根据权利要求16至20中的任一项所述的非暂时性计算机可读存储介质，其中，所述输入包括与所述注释视频流相关联的注释输入，所述注释输入包括由与所述演示者视频流相关联的用户生成的视频标记数据和视频标注器数据。22.根据权利要求16至21中的任一项所述的非暂时性计算机可读存储介质，其中，所述演示者视频流、所述屏幕投射视频流、所述转录视频流和所述注释视频流被配置为在所述记录期间在打开和关闭之间切换，在所述打开和关闭之间切换触发所述演示者视频流、所述屏幕投射视频流、所述转录视频流或所述注释视频流的显示或从显示中移除所述演示者视频流、所述屏幕投射视频流、所述转录视频流或所述注释视频流。23.一种非暂时性计算机可读存储介质，包括存储在其上的指令，所述指令在由至少一个处理器执行时被配置为使计算系统执行包括以下的指令：使得记录开始捕获音频内容和视频内容，所述视频内容至少包括演示者视频流、屏幕投射视频流、转录视频流和注释视频流；使得渲染与从用户界面内访问多个应用相关联的所述音频内容和所述视频内容；在所述音频内容和所述视频内容的所述渲染期间接收所述用户界面中的注释输入，所述注释输入被记录在所述注释视频流中；在所述音频内容和所述视频内容的所述渲染期间转录所述音频内容，所转录的音频内容被记录在所述转录视频流中；在所述音频内容和所述视频内容的所述渲染期间翻译所转录的音频内容；以及使得在具有所渲染的音频内容和视频内容的所述用户界面中渲染所转录的音频内容和所转录的音频内容的翻译。24.根据权利要求23所述的非暂时性计算机可读介质，其中，所述指令进一步包括：响应于检测到所述视频内容和所述音频内容的所述渲染的终止，生成代表所述音频内容和所述视频内容的至少一部分的内容，代表性内容是基于所述注释输入、所述视频内容、所转录的音频内容以及所翻译的音频内容，其中，所述代表性内容包括利用所述注释输入标记的所渲染的音频和视频的部分。25.根据权利要求23或24所述的非暂时性计算机可读介质，其中，使得所述注释输入被渲染为所述视频内容上的覆盖，所述注释输入被配置为响应于检测到触发到在所述记录期间访问的其他视频内容的切换的窗口事件或光标事件而与所述视频内容一起移动。26.一种计算机实现的方法，包括：接收至少一个视频流；接收表示与在所述至少一个视频流中检测到的输入相关联的定时信息的元数据，所述定时信息被配置为将在所述至少一个视频流中提供的检测到的输入与在所述至少一个视
频流中描绘的内容同步；响应于接收到查看所述至少一个视频流的请求，生成所述至少一个视频流的部分，所述生成是基于所述元数据和检测到的请求查看所述至少一个视频流的表示的用户指示；以及使得渲染所述至少一个视频流的所述部分。27.根据权利要求26所述的计算机实现的方法，其中，所述定时信息对应于与在所述至少一个视频流中检测到的相应输入相关联的多个时间戳以及与所述至少一个视频流相关联的内容中的至少一个位置；以及同步检测到的输入包括：针对相应输入，将至少一个时间戳与关联于所述至少一个视频流的文档中的所述至少一个位置相匹配。28.根据权利要求26或27所述的计算机实现的方法，其中，所述至少一个视频流选自演示者视频流、屏幕投射视频流、转录视频流和注释视频流。29.根据权利要求26至28中的任一项所述的计算机实现的方法，其中，所述至少一个视频流的所述表示是基于检测到的输入并且包括利用所述输入注释的所述至少一个视频流的所渲染的部分。

技术总结
描述了包括使得记录开始捕获视频内容的系统和方法。视频内容可以包括演示者视频流、屏幕投射视频流和注释视频流。该系统和方法可以包括基于视频内容并在视频内容的捕获期间生成元数据记录，该元数据记录表示用于将视频内容的至少一个部分与在演示者视频流、屏幕投射视频流或注释视频流中的至少一个中接收到的输入同步的定时信息。的输入同步的定时信息。的输入同步的定时信息。


技术研发人员：安迪
受保护的技术使用者：谷歌有限责任公司
技术研发日：2022.05.19
技术公布日：2023/10/15