人工智能(AI)控制的相机视角生成器和AI广播员的制作方法

人工智能(ai)控制的相机视角生成器和ai广播员
技术领域
1.本公开涉及视频游戏或游戏应用程序。除其他外，本公开描述了用于选择和/或生成视频游戏的游戏会话的场景的一个或多个视图以及生成所述一个或多个视图的广播以流式传输到一个或多个观众的方法和系统。


背景技术：

2.视频游戏流媒体越来越流行。观众既能访问专业游戏玩家参与的高收视率赛事，也能访问普通游戏玩家发布的玩游戏过程。观众可以访问游戏会话的实时流媒体，以及先前游戏会话的流。
3.受欢迎赛事的制作包括专业广播员提供对应游戏会话的详细报道。例如，赛事的专业广播员被馈送有游戏会话的多个转播以及与游戏会话相关联的各种事实。可以从在游戏会话中为一个或多个玩家生成的游戏视图获取转播。事实可能由正在执行的游戏或由不断搜索关于玩家和/或游戏会话的有趣事实的人类助手来呈现。游戏会话的多个转播可以指向游戏会话中的不同玩家。专业广播员能够选择在什么时间示出哪些转播，并使用与游戏会话相关联的事实来提供评论。因而，这些直播赛事的观众体验到专业制作的节目，包括游戏会话以及让节目观看更加精彩的广播员的有趣且最佳视角。
4.观众还可以享受普通游戏玩家的游戏会话的流媒体。这些流中的一些流不包括任何解说，并且可能仅包括显示在玩家的屏幕上的游戏会话的视图。游戏会话的其他流可以包括评论，诸如在玩家玩游戏应用程序时由所述玩家提供的评论。从某种意义上说，玩家在游戏会话期间提供实况评论。然而，普通游戏玩家的游戏会话流的受欢迎程度可能会受到限制。例如，这些流的观众可能会厌倦观看不包括任何评论的游戏会话，或者可能会避开不提供评论的流。另外，这些流的观众也可能厌倦由游戏会话的玩家提供的实况评论，因为玩家只专注于他或她的玩游戏过程。观众可能希望听到关于游戏会话中的其他玩家的信息，或者希望听到对评论玩家不知道的游戏会话的其他见解。例如，观众可能希望获得游戏会话的背景信息，诸如由直播体育赛事或游戏赛事的专业广播员提供的背景信息。或者观众可能希望查看示出其他玩家的玩游戏过程的场景连同与他们的场景相对应的有趣事实。基本上，观众希望专业的人类广播员来流式传输普通玩家的游戏会话，这在逻辑上和经济上都是不切实际的。
5.正是在这种背景下，出现了本公开的实施方案。


技术实现要素：

6.本公开的实施方案涉及通过人工智能(ai)生成游戏应用程序的场景的一个或多个渲染，并且进一步涉及通过ai为游戏应用程序的场景生成解说和/或生成场景的渲染。
7.在一个实施方案中，公开了一种用于生成游戏的视图的方法。所述方法包括接收参与一个或多个玩家正在玩的视频游戏的游戏会话的所述一个或多个玩家的游戏状态数据和用户数据。所述方法包括识别所述游戏会话中的观众感兴趣区，所述观众感兴趣区具
有所述视频游戏的虚拟游戏世界的场景，所述场景可从所述虚拟游戏世界中的一个或多个相机视角观看。所述方法包括基于第一ai模型识别所述观众感兴趣区的第一相机视角，所述第一ai模型被训练以生成对应观众感兴趣区的对应场景的一个或多个对应相机视角。
8.在另一个实施方案中，公开了一种存储用于生成游戏的视图的计算机程序的非暂时性计算机可读介质。所述计算机可读介质包括用于接收参与一个或多个玩家正在玩的视频游戏的游戏会话的所述一个或多个玩家的游戏状态数据和用户数据的程序指令。所述计算机可读介质包括用于识别所述游戏会话中的观众感兴趣区的程序指令，所述观众感兴趣区具有所述视频游戏的虚拟游戏世界的场景，所述场景可从所述虚拟游戏世界中的一个或多个相机视角观看。所述计算机可读介质包括用于基于第一ai模型识别所述观众感兴趣区的第一相机视角的程序指令，所述第一ai模型被训练以生成对应观众感兴趣区的对应场景的一个或多个对应相机视角。
9.在又一个实施方案中，公开了一种计算机系统，所述计算机系统包括处理器和存储器，其中所述存储器耦合到所述处理器并且在其中存储有指令，所述指令在由所述计算机系统执行时使所述计算机系统执行用于生成游戏的视图的方法。所述方法包括接收参与一个或多个玩家正在玩的视频游戏的游戏会话的所述一个或多个玩家的游戏状态数据和用户数据。所述方法包括识别所述游戏会话中的观众感兴趣区，所述观众感兴趣区具有所述视频游戏的虚拟游戏世界的场景，所述场景可从所述虚拟游戏世界中的一个或多个相机视角观看。所述方法包括基于第一ai模型识别所述观众感兴趣区的第一相机视角，所述第一ai模型被训练以生成对应观众感兴趣区的对应场景的一个或多个对应相机视角。
10.在另一个实施方案中，公开了一种用于生成广播的方法。所述方法包括接收参与一个或多个玩家正在玩的视频游戏的游戏会话的所述一个或多个玩家的游戏状态数据和用户数据。所述方法包括识别所述游戏会话中的观众感兴趣区，所述观众感兴趣区具有所述视频游戏的虚拟游戏世界的场景，所述场景可从所述虚拟游戏世界中的一个或多个相机视角观看。所述方法包括基于所述游戏状态数据和所述用户数据使用第一ai模型为所述游戏会话生成统计信息和事实，所述第一ai模型被训练以隔离一个或多个观众可能感兴趣的游戏状态数据和用户数据。所述方法包括使用第二ai模型为所述观众感兴趣区的所述场景生成解说，所述第二ai模型被配置为从使用所述第一ai模型生成的所述统计信息和事实中选择统计信息和事实，所述选定的统计信息和事实具有由所述第二ai模型确定的最高潜在观众兴趣，所述第二ai模型被配置为使用所述选定的统计信息和事实生成解说。
11.在另一个实施方案中，公开了一种存储用于生成广播的计算机程序的非暂时性计算机可读介质。所述计算机可读介质包括用于接收参与一个或多个玩家正在玩的视频游戏的游戏会话的所述一个或多个玩家的游戏状态数据和用户数据的程序指令。所述计算机可读介质包括用于识别所述游戏会话中的观众感兴趣区的程序指令，所述观众感兴趣区具有所述视频游戏的虚拟游戏世界的场景，所述场景可从所述虚拟游戏世界中的一个或多个相机视角观看。所述计算机可读介质包括用于基于所述游戏状态数据和所述用户数据使用第一ai模型为所述游戏会话生成统计信息和事实的程序指令，所述第一ai模型被训练以隔离一个或多个观众可能感兴趣的游戏状态数据和用户数据。所述计算机可读介质包括用于使用第二ai模型为所述观众感兴趣区的所述场景生成解说的程序指令，所述第二ai模型被配置为从使用所述第一ai模型生成的所述统计信息和事实中选择统计信息和事实，所述选定
的统计信息和事实具有由所述第二ai模型确定的最高潜在观众兴趣，所述第二ai模型被配置为使用所述选定的统计信息和事实生成解说。
12.在又一个实施方案中，公开了一种计算机系统，所述计算机系统包括处理器和存储器，其中所述存储器耦合到所述处理器并且在其中存储有指令，所述指令在由所述计算机系统执行时使所述计算机系统执行用于生成广播的方法。所述方法包括接收参与一个或多个玩家正在玩的视频游戏的游戏会话的所述一个或多个玩家的游戏状态数据和用户数据。所述方法包括识别所述游戏会话中的观众感兴趣区，所述观众感兴趣区具有所述视频游戏的虚拟游戏世界的场景，所述场景可从所述虚拟游戏世界中的一个或多个相机视角观看。所述方法包括基于所述游戏状态数据和所述用户数据使用第一ai模型为所述游戏会话生成统计信息和事实，所述第一ai模型被训练以隔离一个或多个观众可能感兴趣的游戏状态数据和用户数据。所述方法包括使用第二ai模型为所述观众感兴趣区的所述场景生成解说，所述第二ai模型被配置为从使用所述第一ai模型生成的所述统计信息和事实中选择统计信息和事实，所述选定的统计信息和事实具有由所述第二ai模型确定的最高潜在观众兴趣，所述第二ai模型被配置为使用所述选定的统计信息和事实生成解说。
13.从以下结合附图进行的详细描述中，本公开的其他方面将变得显而易见，所述附图以示例的方式示出了本公开的原理。
附图说明
14.通过结合附图参考以下描述，可以最好地理解本公开，在附图中：
15.图1a示出了根据本公开的一个实施方案的系统，所述系统用于视频游戏的游戏会话中的场景的相机视角的ai控制生成以及用于场景的解说和/或场景的相机视角的ai控制生成。
16.图1b示出了根据本公开的一个实施方案的用于构建人工智能(ai)模型的示例性神经网络，其包括ai相机视角模型和ai解说模型。
17.图2示出了根据本公开的一个实施方案的向玩一个或多个游戏应用程序的一个或多个用户提供游戏控制的系统，所述一个或多个游戏应用程序在对应用户本地或在一个或多个游戏会话中的后端云游戏服务器处执行，其中游戏会话用于通过ai训练相机视角模型和解说模型，ai模型用于识别游戏会话的场景的有趣相机视角并为那些最有可能与观众交互的游戏会话的那些场景提供解说。
18.图3a示出了根据本公开的实施方案的被配置为训练ai模型的系统，所述ai模型可以识别多个游戏应用程序的多个游戏会话中的观众感兴趣区以识别那些所识别的观众感兴趣区的有趣相机视角，并为那些所识别的观众感兴趣区的场景提供解说。
19.图3b示出了根据本公开的一个实施方案的用于通过ai训练观众感兴趣区模型的系统，所述观众感兴趣区模型用于识别观众潜在地感兴趣的观众感兴趣区。
20.图3c示出了根据本公开的一个实施方案的用于通过ai相机视角模型进行训练的系统，所述ai相机视角模型可以被配置为识别先前由感兴趣区ai模型识别为观众感兴趣的感兴趣区的场景的相机视角，其中所识别的相机视角也被识别为观众感兴趣的。
21.图3d示出了根据本公开的一个实施方案的用于使用ai训练广播/解说模型的系统，所述广播/解说模型可以被配置为为先前由感兴趣区ai模型识别为观众感兴趣的感兴
趣区的场景生成解说，其中解说可以针对由ai相机视角模型识别的相机视角进行定制。
22.图4示出了根据本公开的一个实施方案的被配置用于选择游戏应用程序的游戏会话的相机视角和感兴趣区的用户界面，其中所述用户界面包括由感兴趣区ai模型识别为观众感兴趣的一个或多个观众感兴趣区以及为那些所识别的观众感兴趣区生成的一个或多个相机视角，所述相机视角使用ai相机视角模型被识别为观众感兴趣的。
23.图5是示出根据本公开的一个实施方案的用于使用一个或多个ai模型来识别观众潜在地感兴趣的观众感兴趣区的相机视角的方法中的步骤的流程图。
24.图6是示出根据本公开的一个实施方案的用于为使用ai模型识别为观众感兴趣的观众感兴趣区的场景构建和/或生成解说的方法中的步骤的流程图，其中所述解说可以针对也使用ai模型识别的场景的一个或多个相机视角进行定制。
25.图7示出了根据本公开的实施方案的包括玩游戏应用程序的一个或多个玩家的游戏会话的亮点片段的生成，其中所述亮点片段是使用ai模型生成的，所述ai模型可以识别多个游戏应用程序的多个游戏会话中的观众感兴趣区以识别那些所识别的观众感兴趣区的有趣相机视角，并为那些所识别的观众感兴趣区的场景提供解说。
26.图8示出了可以用于执行本公开的各种实施方案的各方面的示例性装置的部件。
具体实施方式
27.虽然出于说明目的，以下详细说明包含许多具体细节，但是本领域的普通技术人员将会了解，以下细节的许多变化和更改在本公开的范围内。因此，在阐明以下所描述的本公开的各个方面时，此描述的随附权利要求书的概括性没有任何损失，并且不对此权利要求书施加任何限制。
28.一般而言，本公开的各种实施方案描述了用于通过人工智能(ai)生成游戏应用程序的场景的一个或多个渲染的系统和方法，并且进一步涉及通过ai为游戏应用程序的场景生成解说和/或生成场景的渲染。在一些实施方案中，游戏的一个或多个渲染由人工智能(ai)生成。ai可以控制相机角度来捕捉最有趣的动作，并且可以在各角度之间进行剪接以合并不适合单个视图的动作并从不同视角示出动作。ai可以考虑游戏的许多方面和玩家感兴趣的许多方面，以确定受众最感兴趣的动作。可以为不同的观众生成不同的流。ai可以在其流中包含动作回放，使得观众可以从不同视角再次看到精彩动作，并且可以看到在游戏的直播摄像机视图中没有发生的动作。ai可以挑选相机角度以包括可疑行动的完整视图，诸如同时示出狙击手和狙击手瞄准的目标两者的角度。ai可以向其产生的游戏流添加评论。在一些实施方案中，ai评论具有引人注目的个性。评论可以向观众传达为什么ai认为它选择的视图很重要。例如，如果ai注意到新玩家处于将消灭有经验的玩家的位置，则ai可以指出该事实并诱使观众查看新玩家实际上是否可以利用这种情况消灭更有经验的玩家。在一些实现方式中，提供评论的ai画外音可以解释电子竞技游戏的动作，使得它对于视觉受损的观众而言是能够理解和精彩的。在一些实施方案中，提供评论的ai产生包括评论的流，所述评论面向多个位置的观看者(即，考虑当地和/或地区风俗习惯)，并且可以包括不同语言(包括手语)的评论。在一些实施方案中，亮点报道在游戏结束后(诸如在生成亮点片段时)可用。可以基于ai选择自动生成这样的报道。这样的报道可以基于观众在观看直播玩游戏过程时选择观看或回看的内容。在又其他实施方案中，游戏报道可以包括查看游戏区的
地图的能力。这样的地图可以包括元数据，诸如仍在游戏中的所有玩家的位置以及玩家淘汰的位置。在地图视图上突出显示玩家淘汰的一种方法是在发生淘汰的地方闪烁明亮的红点。
29.在整个说明书中，对“视频游戏”或“游戏应用程序”的引用意图表示通过执行输入命令来引导的任何类型的交互式应用程序。仅出于说明目的，交互式应用程序包括用于游戏、文字处理、视频处理、视频游戏处理等的应用程序。此外，术语视频游戏和游戏应用程序是可互换的。
30.借助对各种实施方案的上述一般理解，现在将参考各个附图来描述实施方案的示例细节。
31.图1a示出了根据本公开的一个实施方案的系统10，所述系统用于视频游戏的游戏会话中的场景的相机视角的ai控制生成以及用于场景的解说和/或场景的相机视角的ai控制生成。系统10还可以被配置为训练ai模型，所述ai模型用于在游戏会话中生成场景的相机视角以及用于为该场景生成解说和/或为该场景生成相机视角。
32.如图1a所示，视频游戏(例如，游戏逻辑177)可以在用户5的客户端装置100本地执行，或者视频游戏(例如，游戏逻辑277)可以在后端游戏执行引擎211处执行，所述后端游戏执行引擎在云游戏网络或游戏云系统的后端游戏服务器205处操作。游戏执行引擎211可以在游戏服务器205的许多游戏处理器201中的一个游戏处理器内操作。此外，视频游戏可以以单玩家模式或多玩家模式执行，其中本发明的实施方案提供对两种操作模式的多玩家增强(例如，辅助、通信、游戏片段生成等)。在任一情况下，云游戏网络被配置为通过人工智能(ai)生成视频游戏的场景的一个或多个渲染，并通过ai生成视频游戏的场景的解说和/或场景的渲染。更具体地，系统10的云游戏网络可以被配置为构建一个或多个ai模型，所述一个或多个ai模型用于生成通过所识别的相机视角捕捉的场景的一个或多个渲染并用于生成场景的解说和/或所识别的相机视角。
33.在一些实施方案中，云游戏网络210可以包括在主机的管理程序上运行的多个虚拟机(vm)，其中一个或多个虚拟机被配置为利用对支持单玩家或多玩家视频游戏的主机的管理程序可用的硬件资源来执行游戏处理器模块201。在其他实施方案中，云游戏网络210被配置为支持支持多个用户的多个本地计算装置，其中每个本地计算装置可以执行视频游戏的实例，诸如在单玩家或多玩家视频游戏中。例如，在多玩家模式中，当视频游戏在本地执行时，云游戏网络同时从每个本地计算装置接收信息(例如，游戏状态数据)并相应地在本地计算装置中的一者或多者中分发该信息，使得每个用户都能够在多玩家视频游戏的游戏环境中(例如，通过视频游戏中的对应角色)与其他用户交互。通过这种方式，云游戏网络协调和组合多玩家游戏环境内的用户中的每一者的玩游戏过程。
34.如图所示，系统10包括执行游戏处理器201的游戏服务器205，所述游戏处理器提供对多个交互式视频游戏的访问。游戏服务器205可以是云中可用的任何类型的服务器计算装置，并且可以被配置为在一个或多个主机上执行的一个或多个虚拟机，如前所述。例如，游戏服务器205可以管理支持游戏处理器201的虚拟机。游戏服务器205还被配置为向用户5提供附加服务和/或内容。
35.客户端装置100被配置用于请求通过网络150(诸如互联网)访问视频游戏，并且用于渲染由游戏服务器205执行并输送到与用户5相关联的显示装置12的视频游戏或游戏应
用程序的实例。例如，用户5可能正在通过客户端装置100与在游戏处理器201上执行的视频游戏的实例进行交互。如前所述，客户端装置100还可以包括被配置用于视频游戏的本地执行的游戏执行引擎111。客户端装置100可以接收来自各种类型的输入装置(诸如游戏控制器6、平板计算机11、键盘)的输入以及由摄像机、鼠标、触摸板等捕捉的手势。客户端装置100可以是至少具有能够通过网络150连接到游戏服务器205的存储器和处理器模块的任何类型的计算装置。客户端装置100的一些示例包括个人计算机(pc)、游戏控制台、家庭影院装置、通用计算机、移动计算装置、平板计算机、电话或可以与游戏服务器205交互以执行视频游戏的实例的任何其他类型的计算装置。
36.视频游戏的游戏逻辑建立在游戏引擎或游戏名称处理引擎上。游戏引擎包括可以由游戏逻辑使用来构建视频游戏的游戏环境的核心功能性。例如，游戏引擎的一些功能性可以包括用于模拟游戏环境中的对象上的物理力和碰撞的物理引擎、用于2d或3d图形的渲染引擎、碰撞检测、声音、动画、人工智能、联网、流式处理等。通过这种方式，游戏逻辑不必从头开始构建由游戏引擎提供的核心功能性。无论是在客户端本地还是在云游戏服务器处，与游戏引擎相结合的游戏逻辑都由cpu和gpu执行，其中cpu和gpu可以被配置在加速处理单元(apu)内。也就是说，cpu和gpu连同共享存储器可以被配置为用于生成游戏渲染的视频帧的渲染管线，使得渲染管线将游戏渲染的图像输出为适合显示的视频或图像帧，包括针对目标和/或虚拟化显示器中的像素中的每一者的对应颜色信息。
37.网络150可以包括一代或多代网络拓扑。随着更新的拓扑上线，提供了增加的带宽来处理渲染图像和/或媒体的更高分辨率。例如，通过数字蜂窝网络提供宽带接入的5g网络(第五代)将取代4g lte移动网络。5g无线装置通过本地天线连接到本地小区。这些天线然后通过高带宽连接(例如，光纤等)连接到电话网络和互联网。预期5g网络以更高速度且以更好的服务质量操作。因而，可以通过这些较新的网络拓扑与视频游戏相关联地提供更高分辨率的视频帧和/或媒体。
38.客户端装置100被配置用于接收渲染图像并用于在显示器12上显示渲染图像。例如，通过基于云的服务，渲染图像可以由在游戏服务器205的游戏执行引擎211上执行的视频游戏的实例与用户5相关联地输送。在另一个示例中，通过本地游戏处理，渲染图像可以由本地游戏执行引擎111输送(例如，用于玩游戏或用于观看)。在任一种情况下，客户端装置100被配置为诸如通过用于驱动玩游戏过程的输入命令与用户5的玩游戏过程相关联地与执行引擎211或111交互。
39.此外，客户端装置100被配置为与游戏服务器205交互以在玩视频游戏时捕捉并存储用户5的玩游戏过程的元数据，其中每个元数据包括与玩游戏过程相关的信息(例如，游戏状态等)。更具体地，游戏服务器205的游戏处理器201被配置为在玩视频游戏时生成和/或接收用户5的玩游戏过程的元数据。例如，元数据可以由客户端装置100上的本地游戏执行引擎111生成，输出并通过网络150输送到游戏处理器201。另外，元数据可以由游戏处理器201内的游戏执行引擎211生成，诸如由在引擎211上执行的视频游戏的实例生成。另外，与其他虚拟机相关联的游戏服务器205的其他游戏处理器被配置为执行与其他用户的玩游戏过程相关联的视频游戏的实例并在那些玩游戏过程期间捕捉元数据。
40.如下所述，根据本公开的实施方案，元数据可以用于训练一个或多个ai模型，所述一个或多个ai模型被配置用于视频游戏的游戏会话中的场景的相机视角的生成以及用于
场景的解说和/或场景的相机视角的ai控制生成。
41.更具体地，元数据还包括定义游戏在该点处的状态的游戏状态数据。例如，游戏状态数据可以包括游戏角色、游戏对象、游戏对象属性、游戏属性、游戏对象状态、图形覆盖等。通过这种方式，游戏状态数据允许生成游戏环境，所述游戏环境存在于视频游戏中的对应点处。游戏状态数据还可以包括用于渲染玩游戏过程的每个装置的状态，诸如cpu、gpu、存储器的状态、寄存器值、程序计数器值、可编程dma状态、dma的缓冲数据、音频芯片状态、cd-rom状态等。游戏状态数据还可以识别可执行代码的哪些部分需要被加载以从该点开始执行视频游戏。并非所有的游戏状态数据都需要被捕捉和存储，而只有足以让可执行代码在对应点处开始游戏的数据需要被捕捉和存储。游戏状态数据可以存储在数据存储区140的游戏状态数据库145中。在一些实施方案中，一些游戏状态数据可以仅存储在存储器中。
42.元数据还包括用户保存的数据。通常，用户保存的数据包括针对对应用户将视频游戏个性化的信息。这包括与用户的角色相关联的信息，使得视频游戏使用可能对该用户而言是唯一的角色(例如，形状、外观、服装、武器等)来渲染。通过这种方式，用户保存的数据使得能够为对应用户的玩游戏过程生成角色，其中所述角色具有与视频游戏中与元数据相关联的点相对应的状态。例如，用户保存的数据可以包括用户5在玩游戏时选择的游戏难度、游戏关卡、角色属性、角色位置、剩余生命数、可能的可用生命总数、盔甲、奖品、时间计数器值和其他资产信息等。例如，用户保存的数据还可以包括识别用户5的用户配置文件数据。用户保存的数据存储在数据存储区140的数据库141中。
43.另外，元数据还包括可以使用人工智能生成的随机种子数据。随机种子数据可能并非原始游戏代码的一部分，而是可以被添加到覆盖中以使游戏环境看起来更真实和/或对用户有吸引力。也就是说，随机种子数据为存在于用户的玩游戏过程的对应点处的游戏环境提供附加特征。例如，ai角色可以随机生成并在覆盖中提供。ai角色不与玩游戏的任何用户相关联，而是被置于游戏环境中以增强用户体验。游戏状态数据可以包括由ai完成的学习，诸如让ai记住先前与玩家的交互使得这些交互可以影响由ai做出的未来决策。例如，这些ai角色可能在城市场景中的街道上随机行走。另外，可以生成并在覆盖中呈现其他对象。例如，可以生成并在覆盖中呈现背景中的云和飞越空间的鸟。随机种子数据存储在数据存储区140的随机种子数据库143中。
44.通过这种方式，系统10可以用于训练一个或多个ai模型，所述一个或多个ai模型被配置用于视频游戏的游戏会话中的场景的相机视角的生成以及用于场景的解说和/或场景的相机视角的ai控制生成。具体地，在游戏会话期间执行一个或多个视频游戏期间或在游戏会话的回放以及游戏会话的记录的回放期间收集的元数据可以用于训练一个或多个ai模型。例如，包括游戏服务器205的云游戏系统可以被配置为使用ai服务器260的深度学习引擎190来训练统计信息和事实生成模型、ai相机视角模型321和ai解说模型331。而且，深度学习引擎可以用于识别观众可能感兴趣的观众感兴趣区。所识别的观众感兴趣区用于使用人工智能生成观众可能要观看的相机视角和解说。
45.因而，云游戏系统可以稍后被观众访问以从当前和/或先前玩的游戏会话(例如，从相机视角)生成场景的实时渲染视图，并为该场景提供解说，其中渲染视图和解说是使用人工智能生成的。具体地，相机视角引擎230被配置为实现ai相机视角模型321以从对应的游戏会话生成场景的渲染视图，其中渲染视图是从被识别为观众潜在地非常感兴趣的一个
或多个相机视角生成的。而且，广播员/解说员引擎220被配置为实现ai解说模型331以生成场景的评论和/或解说和/或场景的相机视角，其中所述评论是使用模板以及统计信息和事实生成的，所述统计信息和事实是使用ai统计信息/事实模型341基于在游戏会话期间为该场景收集的元数据生成的。
46.图1b示出了根据本公开的一个实施方案的用于构建人工智能(ai)模型的示例性神经网络，其包括ai相机视角模型和ai解说模型。通过这种方式，在给定包括单玩家和多玩家会话的一个或多个游戏会话作为输入的情况下，ai模型被配置为识别那些游戏会话中观众潜在地感兴趣的场景的观众感兴趣区，其中ai模型被配置为生成观众可能感兴趣的那些场景的视图或相机视角，和/或生成单独提供的解说或补充这些场景的相机视图或相机视角。因而，ai模型可以被配置为生成视频游戏的游戏会话中的场景的渲染视图(例如，相机视角)，并生成场景的解说和/或场景的相机视角，其中渲染视图和/或解说可以在游戏会话期间或之后流式传输到观众。
47.更具体地，根据本公开的一个实施方案，使用深度学习引擎190训练和/或构建ai相机视角模型和ai解说模型。在一个实施方案中，神经网络190可以在后端服务器处的ai服务器260内实现。具体地，深度学习引擎190(例如，使用ai建模器)被配置为学习游戏会话中的场景的哪些感兴趣区是观众最感兴趣的，其中在训练对应的ai模型时，可以从一个或多个相机视角查看游戏会话内的虚拟化游戏环境的场景。例如，感兴趣区可能关注专家，或者可以定义其中初学者有机会对专家进行致命一击的大卫与歌利亚(david and goliath)情况，或者可以定义专家用他或她的瞄准镜瞄准受害者的情境。而且，深度学习引擎190可以被配置为在训练ai相机视角模型321时学习与所识别的感兴趣区相对应的场景的哪些视图是观众最感兴趣的。可以通过在示出场景的游戏环境内获取的一个或多个相机角度来定义视图。此外，深度学习引擎190可以被配置为在为与所识别的感兴趣区相对应的场景构建解说时学习哪些统计信息和事实是观众感兴趣的，其中所述解说可以单独提供或者在流式传输到观众时补充与识所别的感兴趣区相对应的场景的视图。通过这种方式，一个或多个观众能够观看特定游戏会话的最精彩场景，所述特定游戏会话由为生成观众最大兴趣而构建的解说所支持，其中可以为直播游戏会话实时提供视图，或者可以为对应的游戏会话的回放生成视图，其中回放可以在游戏会话期间或在游戏会话结束之后流式传输。
48.具体地，深度学习或机器学习引擎190(例如，与未示出的ai建模器协作)被配置为分析在一个或多个视频游戏的一个或多个游戏会话期间、在一个或多个游戏会话的观众观看期间、在一个或多个游戏会话的回放期间、在具有一个或多个游戏会话的直播解说的直播广播期间收集的训练数据等。深度学习引擎190在学习和/或建模阶段期间利用人工智能，包括深度学习算法、强化学习或其他基于人工智能的算法，以使用训练数据和成功标准构建一个或多个经过训练的ai模型(例如，生成很大的兴趣等)。经过训练的ai模型被配置为预测和/或识别游戏会话中观众非常感兴趣的对应场景的感兴趣区，识别可以为观众非常感兴趣的那些场景生成的视图和相机视角，并识别或生成统计信息和事实以用于构建与所识别的感兴趣区相对应和与所识别的相机视角相对应的场景的解说。深度学习引擎190可以被配置为在给定任何更新后的训练数据的情况下持续改进经过训练的ai模型。改进是基于确定哪些训练数据集可以用于训练，所述确定是基于这些集合基于对应的成功标准如何在深度学习引擎190内执行。
49.可以从人工输入中收集和/或分析附加的训练数据。例如，可以利用为专业游戏赛事提供广播的领域的专家来提供非常有价值的输入数据(即，与高成功标准相关联)。这些专家可以帮助定义在游戏会话期间应跟踪哪些感兴趣区，应为那些所识别的感兴趣区生成哪些视图和/或相机视角，以及应识别和/或生成哪些统计信息和事实用于构建与所识别的感兴趣区相对应和与所识别的相机视角相对应的场景的解说。
50.视频游戏的最终ai模型可以由相机视角引擎230、广播员/解说员引擎220和/或亮点引擎240使用，以在给定任何输入数据集合(例如，游戏会话)的情况下生成特定游戏会话的最精彩场景，所述特定游戏会话由为生成观众最大兴趣而构建的解说所支持，其中可以为直播游戏会话实时提供视图，或者可以为对应的游戏会话的回放生成视图，其中回放可以在游戏会话期间或在游戏会话结束之后流式传输。
51.神经网络190表示自动化分析工具的示例以用于分析数据集以确定观众感兴趣区、与所识别的观众感兴趣区相对应的场景的视图和/或相机视角以及包括在对应的游戏会话期间收集或生成的统计信息和事实的解说，所述统计信息和事实是一个或多个观众非常感兴趣的。不同类型的神经网络190是可能的。在一个示例中，神经网络190支持可以由深度学习引擎190实现的深度学习。因此，可以实现使用有监督或无监督训练的深度神经网络、卷积深度神经网络和/或循环神经网络。在另一个示例中，神经网络190包括支持强化学习或基于奖励的学习(例如，通过使用成功标准、成功度量等)的深度学习网络。例如，神经网络190被设置为支持强化学习算法的马尔可夫决策过程(mdp)。
52.通常，神经网络190表示互连节点网络，诸如人工神经网络。每个节点从数据中学习一些信息。知识可以通过互连在节点之间进行交换。神经网络190的输入激活一组节点。反过来，该组节点激活其他节点，由此传播关于输入的知识。该激活过程在其他节点上重复，直到提供输出。
53.如图所示，神经网络190包括节点的层次结构。在最低层次结构级别处，存在输入层191。输入层191包括一组输入节点。例如，这些输入节点中的每一者都被映射到视频游戏的玩游戏过程的实例，其中所述实例包括定义该实例的一个或多个特征(例如，控制器输入、游戏状态、结果数据等)。模型的中间预测是通过创建标签(例如，输出、特征、节点、分类等)的分类器确定的。
54.在最高层次结构级别处，存在输出层193。输出层193包括一组输出节点。例如，输出节点表示与经过训练的ai模型160的一个或多个部件相关的决策(例如，感兴趣区、相机视角、给定的一组输入数据的统计信息和事实等)。如前所述，输出节点可以为给定的一组输入识别预测的或预期的动作或习得的动作，其中所述输入可以是一个或多个视频游戏的一个或多个单玩家或多玩家游戏会话。这些结果可以与从当前和/或先前的游戏会话和/或用于收集训练数据的那些游戏会话的广播中获得的预定和真实结果或习得的动作和结果(例如，驱动成功结果的人工输入等)进行比较，以便改进和/或修改由深度学习引擎190使用的参数，以迭代地确定为给定的一组输入预测或预期的适当响应和/或动作。也就是说，神经网络190中的节点学习经过训练的ai模型(例如，ai相机视角模型321、ai解说模型331、统计信息和事实模型341等)的参数，所述经过训练的ai模型可以用于在改进参数时做出此类决策。
55.具体地，隐藏层192存在于输入层191与输出层193之间。隐藏层192包括“n”个隐藏
层，其中“n”是大于或等于一的整数。反过来，隐藏层中的每一者还包括一组隐藏节点。输入节点与隐藏节点互连。同样，隐藏节点与输出节点互连，使得输入节点不直接与输出节点互连。如果存在多个隐藏层，则输入节点与最低隐藏层的隐藏节点互连。反过来，这些隐藏节点与下一隐藏层的隐藏节点互连，以此类推。下一最高隐藏层的隐藏节点与输出节点互连。互连将两个节点连接。互连具有可以学习的数值权重，从而使神经网络190适应输入并且能够学习。
56.通常，隐藏层192允许在与输出节点相对应的所有任务之间共享关于输入节点的知识。为此，在一个实现方式中，通过隐藏层192将变换f应用于输入节点。在一个示例中，变换f是非线性的。可以使用不同的非线性变换f，例如，包括整流函数f(x)＝max(0,x)。
57.神经网络190还使用成本函数c来找到最优解。成本函数测量对于给定的输入x被定义为f(x)的由神经网络190输出的预测与基础真值或目标值y(例如，预期结果)之间的偏差。最优解表示没有解的成本低于最优解的成本的情况。对于此类基础真值标签可用的数据，成本函数的示例是预测与基础真值之间的均方误差。在学习过程期间，神经网络190可以使用反向传播算法来采用不同的优化方法来学习将成本函数最小化的模型参数(例如，隐藏层192中的节点之间的互连的权重)。这种优化方法的示例是随机梯度下降。
58.在一个示例中，神经网络190的训练数据集可以来自同一数据域。例如，神经网络190被训练用于学习对于给定的一组输入或输入数据(例如，游戏会话)要执行的预测或预期响应和/或动作。在该图示中，数据域包括通过多个用户的多次玩游戏过程收集的游戏会话数据、游戏会话的观众视图、由选择感兴趣区的专家提供的人工输入、相机视角以及用于定义基线输入数据的统计信息和事实。在另一个示例中，训练数据集来自不同的数据域以包括基线以外的输入数据。基于这些预测结果，神经网络190还可以定义用于确定在给定一组输入(例如，游戏会话)的情况下要执行的那些结果和/或动作(例如，预测的感兴趣区、相机视角以及用于构建解说的统计信息和事实)的经过训练的ai模型。因而，ai模型被配置为在给定任何输入数据集合(例如，游戏会话)的情况下生成特定游戏会话的最精彩场景，所述特定游戏会话由为生成观众最大兴趣而构建的解说所支持，其中可以为直播游戏会话实时提供视图，或者可以为对应的游戏会话的回放生成视图，其中回放可以在游戏会话期间或在游戏会话结束之后流式传输。
59.图2示出了根据本公开的一个实施方案的向玩一个或多个视频游戏的一个或多个用户提供游戏控制的系统200，所述一个或多个视频游戏在对应用户本地或在一个或多个视频游戏的一个或多个游戏会话中的后端云游戏服务器处执行，其中一个或多个游戏会话用于通过人工智能训练ai相机视角模型和ai解说模型，其中ai模型用于识别游戏会话的相机视角并为最有可能由观众观看的那些游戏会话的场景提供解说。在其他实施方案中，ai模型用于使用然后被流式传输到一个或多个观众的经ai识别的统计信息和事实生成单玩家或多玩家游戏会话的场景的渲染视图，所述游戏会话伴随着解说。在一个实施方案中，系统200与图1a的系统10一起工作以训练和/或实现被配置用于生成游戏会话的相机视角的ai模型，并为最有可能由观众观看的那些游戏会话的场景提供解说。现在参考附图，相同的附图标记表示相同或对应的部分。
60.如图2所示，多个用户115(例如，用户5a、用户5b、......、用户5n)在一个或多个游戏会话中玩多个视频游戏。游戏应用程序中的每一者可以在对应用户的对应客户端装置
100(例如，游戏控制台)上本地执行，或者在后端云游戏系统210处执行。另外，多个用户115中的每一者都访问显示器12或装置11，其各自被配置为显示用于训练的游戏会话的渲染图像，或者用于显示使用ai模型构建的当前或先前游戏会话的有趣场景的渲染图像。
61.具体地，根据本公开的一个实施方案，系统200向玩本地执行的一个或多个视频游戏的多个用户115提供游戏控制。例如，用户5a可以在对应的客户端装置100上玩第一视频游戏，其中第一视频游戏的实例由对应的游戏逻辑177a(例如，可执行代码)和游戏名称执行引擎111a执行。出于说明目的，游戏逻辑可以通过便携式介质(例如，闪存驱动器、光盘等)或通过网络输送到对应的客户端装置100(例如，通过互联网150从游戏提供商下载)。此外，用户115n在对应的客户端装置100上玩第n个视频游戏，其中第n个视频游戏的实例由对应的游戏逻辑177n和游戏名称执行引擎111n执行。
62.另外，根据本公开的一个实施方案，系统200向玩在云游戏系统210上执行的一个或多个视频游戏的多个用户115提供游戏控制。云游戏系统210包括游戏服务器205，所述游戏服务器提供对多个交互式视频游戏或游戏应用程序的访问。游戏服务器205可以是云中可用的任何类型的服务器计算装置，并且可以被配置为在一个或多个主机上执行的一个或多个虚拟机。例如，游戏服务器205可以管理支持游戏处理器的虚拟机，所述游戏处理器为用户实例化游戏应用程序的实例。因而，游戏服务器205的与多个虚拟机相关联的多个游戏处理器被配置为执行与多个用户115的玩游戏过程相关联的游戏应用程序的多个实例。通过这种方式，后端服务器支持向多个对应用户(例如，玩家、观众等)提供多个视频游戏的玩游戏过程的媒体流(例如，视频、音频等)。在一些实施方案中，云游戏网络可以是游戏云系统210，其包括在主机的管理程序上运行的多个虚拟机(vm)，其中一个或多个虚拟机被配置为利用可供主机的管理程序使用的硬件资源来执行游戏处理器。一个或多个用户可以经由网络150访问游戏云系统210以使用客户端装置100或100'远程处理视频游戏，其中客户端装置100'可以被配置为与提供计算功能性的后端服务器对接的瘦客户端(例如，包括游戏执行引擎211)。例如，用户5b在对应的客户端装置100'上玩第二视频游戏，其中第二视频游戏的实例由云游戏系统200的对应游戏名称执行引擎211执行。与游戏名称处理引擎211协作执行实现第二视频游戏的游戏逻辑(例如，可执行代码)以执行第二视频游戏。用户5b至少已访问被配置为显示渲染图像的装置11。
63.客户端装置100或100'可以接收来自各种类型的输入装置(诸如游戏控制器、平板计算机、键盘)的输入、由摄像机、鼠标、触摸板等捕捉的手势。客户端装置100或100'可以是至少具有能够通过网络150连接到游戏服务器205的存储器和处理器模块的任何类型的计算装置。而且，对应用户的客户端装置100和100'被配置用于生成由本地或远程执行的游戏名称执行引擎111执行的渲染图像，并用于在显示器上显示渲染图像。例如，对应的客户端装置100或100'被配置为与在本地或远程执行的对应视频游戏的实例交互以诸如通过用于驱动玩游戏过程的输入命令来实现对应用户的玩游戏过程。
64.在一个实施方案中，客户端装置100针对正在玩游戏应用程序的对应用户以单玩家模式操作。
65.在另一个实施方案中，多个客户端装置100针对各自正在玩特定游戏应用程序的对应用户以多玩家模式操作。在那种情况下，经由游戏服务器205的后端服务器支持可以诸如通过多玩家处理引擎119提供多玩家功能性。具体地，多玩家处理引擎119被配置用于控
制特定游戏应用程序的多玩家游戏会话。例如，多玩家处理引擎130与多玩家会话控制器116进行通信，所述多玩家会话控制器被配置为与参与多玩家游戏会话的用户和/或玩家中的每一者建立和维持通信会话。通过这种方式，会话中的用户可以在多玩家会话控制器116的控制下彼此通信。
66.此外，多玩家处理引擎119与多玩家逻辑118进行通信，以便在每个用户的对应游戏环境内实现用户之间的交互。具体地，状态共享模块117被配置为管理多玩家游戏会话中的用户中的每一者的状态。例如，状态数据可以包括游戏状态数据，其定义对应用户在特定点处的(游戏应用程序的)玩游戏过程的状态。例如，游戏状态数据可以包括游戏角色、游戏对象、游戏对象属性、游戏属性、游戏对象状态、图形覆盖等。通过这种方式，游戏状态数据允许生成游戏环境，所述游戏环境存在于游戏应用程序中的对应点处。游戏状态数据还可以包括用于渲染玩游戏过程的每个装置的状态，诸如cpu、gpu、存储器的状态、寄存器值、程序计数器值、可编程dma状态、dma的缓冲数据、音频芯片状态、cd-rom状态等。游戏状态数据还可以识别可执行代码的哪些部分需要被加载以从该点开始执行视频游戏。游戏状态数据可以存储在图1a的数据库140中，并且可由状态共享模块117访问。
67.此外，状态数据可以包括用户保存的数据，其包括针对对应玩家将视频游戏个性化的信息。这包括与由用户玩的角色相关联的信息，使得视频游戏使用可能对该用户而言是唯一的角色(例如，位置、形状、外观、服装、武器等)来渲染。通过这种方式，用户保存的数据使得能够为对应用户的玩游戏过程生成角色，其中所述角色具有与对应用户当前在游戏应用程序中经历的点相对应的状态。例如，用户保存的数据可以包括对应用户在玩游戏时选择的游戏难度、游戏关卡、角色属性、角色位置、剩余生命数、可能的可用生命总数、盔甲、奖品、时间计数器值等。用户保存的数据还可以包括识别对应用户的用户配置文件数据。用户保存的数据可以存储在数据库140中。
68.通过这种方式，使用状态共享数据117和多玩家逻辑118的多玩家处理引擎119能够将对象和角色覆盖/插入到参与多玩家游戏会话的用户的游戏环境中的每一者中。例如，第一用户的角色被覆盖/插入到第二用户的游戏环境中。这允许在多玩家游戏会话中的用户之间经由他们相应的游戏环境(例如，如在屏幕上显示的)中的每一者进行交互。
69.另外，经由游戏服务器205的后端服务器支持可以生成视频游戏的游戏会话中的场景的ai渲染视图(例如，相机视角)，并生成场景的解说和/或场景的相机视角，其中渲染视图和/或解说可以在游戏会话期间或之后流式传输到观众。通过这种方式，一个或多个观众能够观看特定游戏会话的最精彩场景，所述特定游戏会话由为生成观众最大兴趣而构建的解说所支持，其中可以为直播游戏会话实时提供视图，或者可以使用由ai服务器260实现的ai模型为对应的游戏会话的回放生成视图。具体地，ai模型用于识别观众潜在地感兴趣的一个或多个游戏会话中的观众感兴趣区。对于与视频游戏的游戏会话的场景相对应的特定所识别的观众感兴趣区，相机视角引擎使用ai相机视角模型来生成或识别观众感兴趣的场景的一个或多个相机视角。另外，对于与场景相对应的特定所识别的观众感兴趣区，广播员/解说员引擎220使用ai解说模型来基于游戏状态数据和关于与场景相对应的游戏会话的其他信息来识别和/或生成统计信息和事实。使用评论模板将生成的统计信息和事实编织在一起以生成评论，所述评论可以单独地流式传输或者可以与场景的一个或多个相机视角一起流式传输到一个或多个观众。
70.此外，云游戏系统210的亮点引擎240被配置为使用ai模型生成当前或先前游戏会话的ai渲染视图以生成与一个或多个游戏会话中的一个或多个场景相对应的所识别的观众感兴趣区的一个或多个渲染视图(例如，相机视角)并为这些场景提供解说。亮点片段(包括ai渲染视图和ai生成的解说)可以由亮点引擎240生成，并流式传输到一个或多个观众。
71.图3a示出了根据本公开的实施方案的系统300a，所述系统被配置为训练一个或多个ai模型以识别多个视频游戏的多个游戏会话中的观众感兴趣区，识别那些所识别的观众感兴趣区的有趣相机视角，并为那些所识别的观众感兴趣区的场景生成评论和/或解说。系统300还被配置为使用ai模型来生成视频游戏的游戏会话中的ai所识别场景的渲染视图(例如，相机视角)，并生成场景的解说和/或场景的相机视角，其中渲染视图和/或解说可以在对应的游戏会话期间或在对应的游戏会话结束之后流式传输到观众。在一些实施方案中，游戏的一个或多个渲染由人工智能(ai)生成，诸如使用经过ai训练的相机视角模型321生成。在一个实施方案中，ai相机视角模型321可以控制相机角度来捕捉最有趣的动作，并且可以在各角度之间进行剪接以合并不适合单个视图的动作并从不同视角示出动作。ai相机视角模型321可以挑选相机角度以包括可疑行动的完整视图，诸如同时示出狙击手和狙击手瞄准的目标两者的角度。在另一个实施方案中，ai感兴趣区模型311可以考虑游戏的许多方面和玩家感兴趣的许多方面，以确定受众最感兴趣的动作。可以为不同的观众生成不同的流。在又一实施方案中，ai解说模型331可以向它产生的游戏流添加评论。在另一个实施方案中，亮点引擎可以在其流中包含动作回放，使得观众可以从不同视角再次看到精彩动作，并且可以看到在游戏的直播摄像机视图中没有发生的动作。
72.为了训练，系统300a从一个或多个视频游戏的一个或多个游戏会话接收元数据、玩家统计信息和其他信息作为输入，其中游戏会话可以是单玩家或多玩家游戏会话。一个或多个游戏会话可以从玩视频游戏的一个或多个玩家生成(例如，出于监督学习的目的)，或者可以从玩视频游戏的一个或多个ai玩家生成(例如，用于无监督学习)，或者可以从一个或多个人类玩家和/或一个或多个ai玩家的组合生成。另外，可以提供人工输入作为训练数据，诸如专家选择和/或观众感兴趣区的定义、相机视角和/或用于解说的统计信息和事实。例如，玩家1的游戏空间301a与对应的视频游戏的游戏会话相关联，其中元数据302a和玩家统计信息303a作为输入提供给ai观众感兴趣区训练器310以使用人工智能训练观众感兴趣模型311。类似的数据从玩家2的游戏空间301b以及直到玩家n的游戏空间301n收集并被提供作为输入。因而，在给定一组输入(例如，一个或多个游戏会话)的情况下，观众感兴趣区模型311被训练以输出一个或多个观众潜在地非常感兴趣的一个或多个所识别的观众感兴趣区312。在图3b中提供了对ai观众感兴趣区训练器310和感兴趣区模型311的训练和实现的更详细讨论。
73.所识别的观众感兴趣区中的每一者与为游戏会话执行的视频游戏的对应场景相关联。不同的相机视角可以为游戏(例如，为玩家)生成，或者使用人工智能利用游戏状态数据新生成。在稍后的时间点处生成新相机角度的渲染的一个优点是可以识别特定动作以在回放中示出，然后可以计算出最能示出该动作的相机角度，然后可以生成来自该相机角度的动作的渲染。这允许从比在动作发生时识别的任何相机角度(例如，最初由游戏生成)更有利的相机角度回放动作。然后可以在回放中示出新识别和生成的相机角度。例如，当产生感兴趣动作的事件最初看起来并不有趣时，即，当这些事件在已知它们会产生有趣动作(例
如，感兴趣动作)之前发生时，这在被实现以示出这些事件时可能很有用(例如，在回放期间)。通常，ai相机视角训练器320被配置为接收从感兴趣区模型311输出的所识别的观众感兴趣区的一个或多个相机视角作为输入。基于成功标准，ai相机视角训练器被配置为训练相机视角模型321以为对应的选定和/或所识别的观众感兴趣区的对应场景输出至少一个所识别的视图或相机视角322，其中一个或多个观众对相机视角非常感兴趣。在图3c中提供了对ai相机视角训练器320和相机视角模型321的训练和实现的更详细讨论。
74.另外，对于对应的所识别的观众感兴趣区的每个场景，可以使用人工智能构建评论。具体地，ai广播员/解说员训练器330从对应的游戏会话接收一个或多个统计信息和事实作为输入。基于成功标准，ai广播员/解说员训练器330被配置为训练解说模型331以识别观众非常感兴趣的统计信息和事实，并诸如使用评论模板将那些所识别的统计信息和事实编织成评论和/或解说332。在图3d中提供了对ai广播员/解说员训练器330和解说模型331的训练和实现的更详细讨论。
75.图3b示出了根据本公开的一个实施方案的用于使用人工智能训练观众感兴趣区模型311的系统300b，所述观众感兴趣区模型用于识别观众潜在地感兴趣的观众感兴趣区。系统300b可以在云游戏系统210内、并且更具体地在云游戏系统210的ai服务器260内实现。
76.为了训练，系统300b从一个或多个视频游戏的一个或多个游戏会话接收元数据、玩家统计信息和其他信息作为输入，其中游戏会话可以是单玩家或多玩家游戏会话。一个或多个游戏会话可以从玩视频游戏的一个或多个玩家生成(例如，出于监督学习的目的)，或者可以从玩视频游戏的一个或多个ai玩家生成(例如，用于无监督学习)，或者可以从一个或多个人类玩家和/或一个或多个ai玩家的组合生成。例如，玩家1的游戏空间301a与对应的视频游戏的游戏会话相关联，其中元数据302a和玩家统计信息303a作为输入提供给ai观众感兴趣区训练器310以使用人工智能训练观众感兴趣模型311。此外，玩家2的游戏空间301b与对应的视频游戏的游戏会话相关联，其中元数据302b和玩家统计303b作为输入提供给ai观众感兴趣区训练器310以训练观众感兴趣模型311。提供了附加的输入数据。例如，玩家n的游戏空间301n与对应的视频游戏的游戏会话相关联，其中元数据302n和玩家统计303n作为输入提供给ai观众感兴趣区训练器310以训练观众感兴趣模型311。另外，可以提供人工输入作为训练数据，诸如专家选择和/或观众感兴趣区的定义、相机视角和/或用于解说的统计信息和事实。
77.如前所述，元数据是在用于训练的对应游戏会话期间收集的，并且可以包括游戏状态和其他用户信息。例如，游戏状态数据定义游戏在用于生成视频游戏的游戏环境的点处的状态，并且可以包括游戏角色、游戏对象、游戏对象属性、游戏属性、游戏对象状态、图形覆盖等。游戏状态可以包括用于渲染玩游戏过程的每个装置(例如，cpu、gpu、存储器等)的状态。例如，游戏状态还可以包括使用人工智能生成的随机种子数据。游戏状态还可以包括用户保存的数据，诸如用于将视频游戏个性化的数据。例如，用户保存的数据可以将特定用户的角色个性化，使得视频游戏以对于该用户而言可能唯一的角色(例如，形状、外观、服装、武器等)来渲染。用户保存的数据可以包括用户定义的游戏难度、游戏关卡、角色属性、角色位置、剩余生命数、资产信息等。用户保存的数据可以包括用户配置文件数据。
78.而且，玩家统计信息可以包括用户(例如，玩家1)配置文件信息，或通常适用于玩家1的其他收集的统计信息，诸如玩家姓名、玩过的游戏、玩过的游戏类型、专业水平等。玩
家统计信息还可以包括或基于用户配置文件数据。
79.如前所述，感兴趣区训练器310实现深度学习引擎190以使用在一个或多个视频游戏的一个或多个游戏会话期间、在一个或多个游戏会话的观众观看期间、在一个或多个游戏会话的回放期间、在具有一个或多个游戏会话的直播解说的直播广播期间收集的人工智能训练数据、人工输入等来进行分析，以识别观众非常感兴趣的观众感兴趣区。具体地，深度学习引擎190在学习和/或建模阶段期间利用人工智能(包括深度学习算法、强化学习或其他基于人工智能的算法)以使用训练数据和成功标准来构建感兴趣区模型311。
80.例如，可以提供反馈回路来训练感兴趣区模型311。具体地，利用每次迭代，反馈回路可以帮助改进由感兴趣区训练器310在输出一个或多个所识别的观众感兴趣区312时使用的成功标准。如图所示，ai观众感兴趣区训练器310可以通过被训练的感兴趣区模型311为给定的一组输入提供一个或多个潜在感兴趣区作为输出。所述输入可以与一个或多个视频游戏的一个或多个游戏会话相关联。为了便于说明，反馈过程是关于从一个游戏会话(诸如单玩家游戏会话或多玩家游戏会话)提供的一组输入来描述的。另外，游戏会话可能是直播的，或者可能已经发生。通过这种方式，与先前游戏会话相对应的历史游戏数据可以用于训练感兴趣区模型311以便更好地预测如何关注游戏会话中的动作并选择观众感兴趣的内容。
81.具体地，被提供的输出313可以包括作为一组输入提供的游戏会话的过去、当前和未来观众感兴趣区。作为输出313提供的当前感兴趣区可以提供对正在进行的游戏会话中或在已经结束但正在使用记录的游戏状态数据回放的游戏会话中的有趣的感兴趣区的实时跟踪。作为输出313提供的过去感兴趣区可以评估当前正在进行的游戏会话中或者针对已经结束的游戏会话的先前玩游戏过程。作为输出313提供的未来感兴趣区可以评估游戏会话中可能潜在地发生的有趣情境(直播或已经结束的情境)，使得感兴趣区模型311可以被配置为关注在直播或使用游戏状态数据回放的游戏会话中的动作。
82.可以(例如，通过游戏会话中的游戏状态数据或统计信息)定义感兴趣区的特征以帮助识别一个或多个观众感兴趣的内容。例如，感兴趣区可以由某个事件、情况或情境等(例如，大卫与歌利亚、失败者、达到目标、过关等)定义。在另一个示例中，感兴趣区可以由视频游戏中的场景定义，所述场景诸如在游戏中至关重要的重要场景(例如，达到使得角色能够进化到更高状态的任务的顶点)。在又一个示例中，可以通过视频游戏的部分或片段来定义感兴趣区，诸如到达游戏世界的特定地理区和/或区域，或者当到达角色即将与头目交战的头目关卡时等。在又一个示例中，诸如当角色即将在视频游戏中翻越高山以达到目标时等，感兴趣区可以由特定的感兴趣动作来定义。在另一个示例中，感兴趣区可以由幸灾乐祸集群来定义，使得一个或多个观众可能会喜欢观看玩家的毁灭。在本公开的实施方案中还支持其他定义。
83.在另一个示例中，可以通过游戏会话中的两个玩家之间的关系来定义感兴趣区。在一种情况下，两个专业玩家(例如，专业人士)可能在视频游戏的游戏世界中彼此处于地理距离以内，其中诸如在正面交锋比赛中，他们将很可能会相遇。在另一种情况下，可能有低级别玩家设置了以致命一击淘汰专业玩家(例如，大卫与歌利亚或失败者情境)，其中低级别玩家在专家淘汰低级玩家之前只有一次机会。在另一种情况下，低级别玩家在专家(例如，具有高狙击率)的瞄准镜内。在另一个示例中，感兴趣区可以由玩家定义，其中可以在感
兴趣区中跟踪在一个或多个观众中受欢迎的玩家。在又一个示例中，玩家可能具有迫使观众观看的特定特性，诸如具有指示该玩家寻找观众可能转而观看的狙击情境的高狙击率。感兴趣区可以包括时间特性，其中具有高狙击率的玩家可能在他或她的瞄准镜内有目标。感兴趣区可以包括地理特性，其中具有高狙击率的玩家可以在游戏世界的某个区内，其中该区可能有大量目标。在本公开的实施方案中还支持其他定义。
84.在另一个示例中，感兴趣区的特征可以是预测的玩家动作或结果。例如，感兴趣区可以被定义为视频游戏的游戏世界的具有高升级率或具有高角色死亡率(例如，执行困难任务，或者需要穿越困难地形等)的区或区域。在其他实例中，感兴趣区可以被定义为成功率低或成功率高的游戏条件(执行任务)。在本公开的实施方案中还支持其他定义。
85.在其他示例中，可以优先关注受欢迎玩家，这定义了感兴趣区。而且，还可以优先关注更可能被淘汰的玩家，诸如关注附近有许多其他玩家的区中的玩家，而不是关注附近没有其他玩家的隐藏玩家。可以从对于观看游戏的观众而言最受欢迎的转播部分地或完全地确定要关注的玩家。观众可以直接投票，或者可以通过直接选择要观看的转播或要关注的玩家来间接投票。
86.在训练期间作为输出311提供的感兴趣区可以被进一步过滤并反馈给ai观众感兴趣区训练器310以帮助定义成功标准。例如，可以通过回路中的人类或通过其他观众主动和/或被动度量来选择感兴趣区。
87.具体地，观众的观看选择会影响使用ai模型选择哪些感兴趣区。例如，作为输出313提供的感兴趣区中的每一者可以对应于一个或多个观众可通过选择观看的游戏会话部分。这种选择可能有助于定义被定义为观众感兴趣的喜爱的感兴趣区的成功标准。在一些情况下，观众可以从一个或多个直播游戏会话选项主动选择观看直播的游戏会话，或通过可从一个或多个回放选项选择的游戏会话的回放主动选择观看游戏会话。在一些实现方式中，观众可以设置将向他们自动地示出哪些回放或者哪些回放作为他们可以选择观看的选项呈现的标准。在一些情况下，观众可以通过选择观看由人类控制的回放流和/或通过人工智能选择观看由ai选择和生成控制的回放流来选择强化由ai感兴趣区模型311定义的内容。
88.由观众做出的帮助定义观众喜爱哪些感兴趣区的动作360的示例(诸如作为正面反馈提供给ai观众感兴趣区训练器310的所定义的观众选定感兴趣区315)在下文提供并旨在为说明性的而非旨在为详尽的。例如，观众跳转进入计数360a超过阈值指示观众喜爱该感兴趣区。而且，尤其是当存在很多正面反馈时，在观看包括对应观众感兴趣区的游戏会话部分期间作为评论或文本反馈提供的正面观众反馈360b可以帮助定义观众喜爱的对应感兴趣区。此外，在观看包括对应观众感兴趣区的游戏会话部分期间的主动或被动观众动作360c可以帮助定义观众喜爱的对应感兴趣区。例如，被动动作可以包括生物反馈(例如，出汗、微笑等)。在另一个示例中，主动动作可以包括选择指示对观看游戏会话有积极兴趣的图标等。观众可以直接投票，或者可以通过直接选择要观看的转播或要关注的玩家来间接投票。例如，指示包括对应观众感兴趣区的游戏会话的部分的回放的受欢迎程度的观众回放计数360d可以帮助定义观众喜爱的对应感兴趣区。观众选择要关注的感兴趣区可以用作感兴趣区的有趣程度的指示符。例如，当观众切换到关注正关注特定玩家的感兴趣区时，它可以用作观众对该感兴趣区感兴趣的指示符。在一些情况下，观众可以选择其自己的相机
角度或观看角度。所选择的相机角度可以用作感兴趣动作发生的地点的指示符，其可以用于确定感兴趣区或特定相机角度。在另一个示例中，直播游戏会话的指示包括对应观众感兴趣区的游戏会话部分的回放的受欢迎程度的观众流媒体观看计数360e可以帮助定义观众喜爱的对应感兴趣区。在本公开的实施方案中还支持提供观众反馈的其他定义。
89.观众还可以被给出简单地选择诸如掌声、嘘声、哈欠等反应的能力。这些可以被聚合并向联赛中的玩家显示，以及被收集以确定观众对感兴趣区或动作的关注级别。在一些情况下，观众能够给出与整体动作、特定动作、非玩家角色的活动或特定玩家的活动相关联的这种反馈。该信息可以用于确定玩家想要看到的动作，这可以用于挑选在补丁期间示出的动作或用于设计游戏比赛以增加用户喜欢在比赛期间发生的情况的可能性。在一些情况下，观众能够给出关于他们认为玩游戏过程广播的完成程度的反馈，其可以与特定的动作选择或要示出的回放、选择的相机角度、解说中包括的信息、解说的措辞、被渲染的解说员的外观或解说渲染的语音特性相关联。观众反馈可以由ai用于聚合以生成更能吸引广大受众的广播。ai可以使用特定观众的观众反馈来专门为该观众生成更适合该特定观众享受的内容的广播。
90.还可以提供与游戏会话和/或用户相关的其他输入。例如，可以提供在用于训练时可能固有地具有非常大的价值或定义高成功标准的人工输入314。例如，人类专家可以用于帮助从专家观看的一个或多个游戏会话中识别观众感兴趣区，并作为反馈提供给ai观众感兴趣区训练器310。在一个用例中，可以在专家观看现场直播的情况下现场直播游戏会话。在另一个用例中，专家可能正在观看可以被记录或使用游戏状态回放的游戏会话。在任一情况下，专家能够主动选择和/或定义喜爱的感兴趣区，所述感兴趣区在用于训练时根据定义具有或转化为高成功标准。在一些实现方式中，ai将从一个或多个感兴趣区中的相机角度生成多个渲染，所述渲染将作为可以被选择为包括在广播中的选项呈现给人类专家。还可以向人类专家呈现来自受人类控制的相机角度的渲染，所述角度也可供选择。在一些情况下，人类专家可能会向ai给出反馈以影响由ai呈现的渲染的相机角度，诸如放大或缩小，或平移以示出不同的角度。
91.在一个实施方案中，加权模块350为反馈提供权重，所述权重被提供作为人在回路(human-in-loop)选定感兴趣区314和观众选定感兴趣区315。
92.一旦被训练，ai感兴趣区模型311就能够针对给定输入识别一个或多个观众感兴趣区。例如，当提供游戏会话(例如，单玩家或多玩家)时，ai感兴趣区模型311提供该游戏会话内的一个或多个所识别的感兴趣区312作为输出。可以采取附加行动，如气泡a所指示并在图3c中进一步描述。
93.图3c示出了根据本公开的一个实施方案的用于通过ai相机视角模型进行训练的系统300c，所述ai相机视角模型可以被配置为识别先前由感兴趣区ai模型识别为观众感兴趣的感兴趣区的场景的相机视角，其中所识别的相机视角也被识别为观众感兴趣的。系统300c可以在云游戏系统210的相机视角引擎230内实现，并且更具体地在相机视角引擎230内利用云游戏系统210的ai服务器260实现。
94.在一些实现方式中，游戏的一个或多个渲染由人工智能(ai)生成，诸如使用经过ai训练的相机视角模型321生成。在一个实施方案中，ai相机视角模型321可以控制相机角度来捕捉最有趣的动作，并且可以在各角度之间进行剪接以合并不适合单个视图的动作并
从不同视角示出动作。可以为不同的观众生成具有不同相机视角的不同流。ai相机视角模型321可以挑选相机角度以包括可疑行动的完整视图，诸如同时示出狙击手和狙击手瞄准的目标两者的角度。
95.为了训练，系统300c接收一个或多个观众非常感兴趣的一个或多个所识别的观众感兴趣区312作为输入。具体地，ai相机视角训练器320接收一个或多个所识别的观众感兴趣区312作为输入。另外，可以提供其他输入数据，诸如元数据302、玩家统计信息303以及来自先前提供给ai观众感兴趣区训练器310的一个或多个视频游戏的一个或多个游戏会话的其他信息，其中游戏会话可以是单玩家或多玩家游戏会话。
96.如前所述，ai相机视角训练器320实现深度学习引擎190以使用在由人类玩家和/或ai玩家执行的一个或多个视频游戏的一个或多个游戏会话期间、在观众观看一个或多个游戏会话期间、在一个或多个游戏会话的回放期间、在具有游戏会话的直播解说或评论的直播广播期间收集的训练数据、人工输入等来进行分析，以识别与所识别的感兴趣区的场景的渲染视图相对应的相机视角。具体地，深度学习引擎190在学习和/或建模阶段期间利用人工智能(包括深度学习算法、强化学习或其他基于人工智能的算法)以使用训练数据和成功标准来构建相机视角模型321。
97.例如，可以提供反馈回路来训练相机视角模型321。具体地，利用每次迭代，反馈回路可以帮助改进由相机视角训练器320在输出对应的选定感兴趣区的对应场景的至少一个相机视角322时使用的成功标准。
98.如图所示，ai相机视角训练器320可以通过被训练的相机视角模型321为给定的一组输入提供一个或多个潜在相机视角作为输出323。所述输入可以与由人类玩家和/或ai玩家执行的一个或多个视频游戏的一个或多个游戏会话相关联。为了便于说明，反馈过程是关于从一个游戏会话(诸如单玩家游戏会话或多玩家游戏会话)提供的一组输入来描述的。另外，游戏会话可能是直播的，或者可能已经发生。通过这种方式，与先前游戏会话相对应的历史游戏数据可以用于训练相机视角模型321以便更好地预测如何关注游戏会话中的动作并选择观众感兴趣的内容(用于观看的相机视角)。
99.如前所述，一个或多个所识别的观众感兴趣区可以与直播的或记录的或使用游戏状态数据回放的游戏会话相关联。ai相机视角训练器320被配置为针对所识别的感兴趣区中的每一者生成一个或多个相机视角。作为输出323提供的这些相机视角可以是游戏生成的，诸如通过获取为游戏会话中的玩家生成的视频而生成的。作为输出323提供的一些相机视角可以由游戏会话内的视频游戏新生成，其中新的相机视角可以是ai生成的，或者可以由人在回路专家(例如，专业广播员)建议。例如，新的相机视角可以包括目标角色的特写视图，所述目标角色在另一个玩家的瞄准镜内。
100.在训练期间作为输出323提供的相机视角可以被进一步过滤并反馈给ai相机视角训练器320，以帮助定义成功标准。例如，可以通过人在回路或通过观众主动和/或被动度量从输出323中选择相机视角。
101.如前所述，观众观看选项会影响可以通过过滤选择哪些相机视角。例如，作为输出323提供的相机视角中的每一者可以对应于一个或多个观众可通过选择观看的游戏会话部分。这种选择可能有助于定义被定义为观众感兴趣的喜爱的相机视角的成功标准。例如，观众可以主动地选择观看直播游戏会话或记录的游戏会话，或(例如，使用游戏状态)从(一个
或多个游戏会话的)一个或多个观看选项中选择的游戏会话的回放，如先前描述的。例如，图4示出了根据本公开的一个实施方案的被配置用于选择游戏应用程序的游戏会话的相机视角和感兴趣区的用户界面400，其中用户界面400包括由感兴趣区ai模型311识别为观众感兴趣的一个或多个观众感兴趣区312以及为那些所识别的观众感兴趣区312生成的一个或多个相机视角323，所述相机视角使用ai相机视角模型321被识别为观众感兴趣的。因而，观众可以选择游戏会话的观众感兴趣区(312-1、312-2或312-3)，其中每个感兴趣区可以集中于对应游戏世界的不同部分(例如，关注一个感兴趣区中的玩家1，关注另一个感兴趣区中的玩家2等)。一旦选择了感兴趣区，观众就可以选择对应的相机视角。例如，观众可以为观众感兴趣区312-1选择相机视角323-1a、323-1b或323-1c中的一者。而且，观众可以为观众感兴趣区312-2选择相机视角323-2a、323-2b或323-2c中的一者。此外，观众可以为观众感兴趣区312-3选择相机视角323-3a、323-3b或323-3c中的一者。在一些实现方式中，观众可以控制相机视角以创建自定义相机视角，所述自定义相机视角并未作为预定义选项呈现给他们。在一些情况下，另一个观众也可以观看由观众控制的自定义相机视角。
102.与先前关于图3b描述的相同动作360可以用于通过过滤来定义观众选定相机视角325。例如，动作360可以包括观众跳转进入计数360a、作为评论或文本反馈提供的正面观众反馈360b、主动或被动观众动作360c、观众回放计数360d、观众流媒体观看计数360e，并且在观看作为输出323提供的选定相机视角期间确定的其他观众反馈可以帮助定义观众喜爱的对应相机视角。
103.还可以提供与游戏会话和/或用户相关的其他输入。例如，可以提供在用于训练时可能固有地具有非常大的价值或定义高成功标准的人工输入324。例如，人类专家可以用于帮助从专家观看的一个或多个游戏会话中识别相机视角，并作为反馈提供给ai观众相机视角训练器320。也就是说，具有对应视角的相机位置可以由人类专家选择。在一个用例中，可以在专家观看现场直播的情况下现场直播游戏会话。在另一个用例中，专家可能正在观看可以被记录或使用游戏状态回放的游戏会话。在任一情况下，专家能够主动选择和/或定义喜爱的相机视角，所述喜爱的相机视角在用于训练时根据定义具有或转化为高成功标准。例如，先前描述的用户界面400可以用于由人类专家为对应所识别的感兴趣区选择一个或多个相机视角。用户界面400包括由感兴趣区ai模型311识别为观众感兴趣的一个或多个观众感兴趣区312，以及为那些所识别的观众感兴趣区312生成的一个或多个相机视角323，所述观众感兴趣区是使用ai相机视角模型321识别为观众感兴趣的。
104.在一个实施方案中，加权模块350为反馈提供权重，所述权重被提供作为人在回路选定相机视角324和观众选定相机视角325。
105.一旦被训练，ai相机视角321就能够针对给定输入识别一个或多个观众相机视角。例如，当提供游戏会话(例如，单玩家或多玩家)时，ai相机视角模型321为该游戏会话内的对应选定感兴趣区内的对应场景提供一个或多个所识别的相机视角322作为输出。游戏应用程序内的感兴趣区可以对应于由游戏世界内的视频游戏生成的场景，其中所述场景可以通过从该游戏世界内的不同相机视角获取的一个或多个渲染视图来观看。例如，ai相机视角模型321可以生成多个视图渲染，所述ai相机视角模型可以是游戏世界内的固定相机位置，和/或具有关注各个玩家或团队的对应视角的相机位置，和/或具有由ai控制以关注动作的各个方面的对应视角的相机位置。作为一个示例，可以从游戏会话中的敌人的视角获
取游戏世界内的所识别的相机视角322。这将允许观众从与被观察的玩家正在战斗的敌人(另一个玩家或生成的游戏)的视角观察玩家。可以采取附加行动，如气泡b所指示并在图3d中进一步描述。
106.图3d示出了根据本公开的一个实施方案的用于使用ai训练解说模型331的系统300d，所述解说模型可以被配置为为先前由感兴趣区ai模型311识别为观众感兴趣的感兴趣区的场景生成评论和/或解说，其中评论可以针对由ai相机视角模型321识别的相机视角进行定制。系统300d可以在云游戏系统210的广播员/解说员引擎220内实现，并且更具体地在广播员/解说员引擎220内利用云游戏系统210的ai服务器260实现。
107.在一些实现方式中，为先前通过人工智能识别为一个或多个观众感兴趣的所识别的感兴趣区的场景生成解说。所述解说是使用统计信息和事实生成的，所述统计信息和事实是基于为由人类玩家和/或ai玩家执行的对应游戏会话收集和/或生成的元数据和玩家统计信息使用人工智能生成和/或识别的。也就是说，ai解说模型331可以将评论添加到对应的选定感兴趣区的场景中，其中场景的评论和/或相机视角可以流式传输到一个或多个用户。通过这种方式，由为生成观众最大兴趣而构建的解说所支持的特定游戏会话的最精彩场景可以流式传输到一个或多个观众，其中可以为直播游戏会话实时提供视图，或者可以为对应的游戏会话的回放生成视图，其中回放可以在游戏会话期间或在游戏会话结束之后流式传输。
108.为了训练，系统300d接收针对对应的选定感兴趣区的对应场景的一个或多个所识别的相机视角作为输入。具体地，ai广播员/解说员训练器330接收一个或多个所识别的相机视角322作为输入。出于说明目的，系统300d可以使用通过ai选择并与使用ai识别或选择的观众感兴趣区的对应场景相关联的特定相机视角322-a来训练。
109.另外，ai广播员/解说员训练器330还可以单独地或与一个或多个所识别的相机视角322一起接收一个或多个观众非常感兴趣的一个或多个所识别的观众感兴趣区312。也就是说，评论和/或解说可以基于所识别的感兴趣区的场景生成，使得评论在没有任何视频的情况下以音频流式传输，或者评论作为视频的补充进行流式传输。
110.另外，可以向ai广播员/解说员训练器330提供其他输入数据，诸如通过人工智能生成的游戏和玩家统计信息和事实342。在一个实现方式中，游戏和玩家统计信息和事实342未被过滤，其中ai解说模型331被训练以过滤统计信息和事实342以使用人工智能识别一个或多个观众非常感兴趣的统计信息和事实。例如，元数据302、玩家统计信息303以及来自先前提供给ai观众感兴趣区训练器310的一个或多个视频游戏的一个或多个游戏会话的其他信息也可以提供给ai统计信息和事实训练器340。通过这种方式，统计信息和事实训练器340实现深度学习引擎190以分析在一个或多个游戏会话期间收集的训练数据，以使用人工智能识别关于那些游戏会话的统计信息和事实。具体地，深度学习引擎190可以利用人工智能(诸如深度学习算法、强化学习等)构建用于识别和/或生成对应的游戏会话的统计信息和事实的统计信息/事实模型341。
111.例如，可以提供反馈回路来训练ai解说模型331。具体地，利用每次迭代，反馈回路可以帮助改进由ai广播员/解说员训练器330在输出一个或多个选定的和/或所识别的统计信息和事实333时使用的成功标准。如图所示，ai广播员/解说员训练器330可以通过被训练的统计信息/事实模型331为给定的一组输入(例如，所识别的场景和/或该场景的相机视
角)提供一个或多个统计信息和事实333作为输出。所述输入可以与一个或多个游戏会话相关联。为了便于说明，反馈过程是关于从一个游戏会话(例如，直播的、记录的、使用游戏状态回放的游戏会话)提供的一组输入来描述的。通过这种方式，与先前游戏会话相对应的历史游戏数据可以用于训练ai解说模型331以便更好地预测如何关注游戏会话中的动作并选择观众感兴趣的内容(例如，统计信息和事实)在构建对应解说时使用。
112.如图所示，ai广播员/解说员训练器被配置为从使用人工智能利用游戏会话的统计信息/事实模型341生成和/或识别的统计信息和事实342的集合中选择统计信息和事实333。具体地，ai广播员/解说员训练器330被配置为使用人工智能识别一个或多个观众非常感兴趣的统计信息和事实。通过这种方式，ai广播员/解说员训练器330实现深度学习引擎190以分析在一个或多个游戏会话期间、在观众观看直播或记录的或回放的游戏会话期间收集的训练数据、游戏会话的直播解说、人工输入来识别观众非常感兴趣的统计信息和事实。具体地，深度学习引擎190可以利用人工智能(诸如深度学习算法、强化学习等)来构建ai解说模型331。通过这种方式，在给定一组输入(例如，具有对应场景和/或对应相机视角的选定观众感兴趣区)的情况下，ai解说模型331被配置为输出作为输出331提供的一个或多个观众非常感兴趣的游戏和玩家统计信息和事实，然后可以将其用于训练或构建解说332。
113.作为输出333提供的选定统计信息和事实可以被进一步过滤并作为反馈提供以帮助定义成功标准。例如，可以通过人在回路或通过观众主动和/或被动度量从输出333中选择统计信息和事实。也就是说，过滤可以定义专家选定的统计信息和事实333a和ai选定的统计信息和事实333b，这些统计信息和事实通过观众动作得到强化。
114.如前所述，观众观看选项会影响可以通过过滤选择哪些相机视角。例如，作为输出333提供的统计信息和事实可以对应于一个或多个观众可通过选择观看的游戏会话部分。这种选择可能有助于定义被定义为观众感兴趣的喜爱的统计信息和事实的成功标准。例如，观众可以主动地选择观看直播游戏会话或记录的游戏会话，或(例如，使用游戏状态)从(一个或多个游戏会话的)一个或多个观看选项中选择的游戏会话的回放，如先前描述的。选定的视图还对应于可以帮助定义ai选定的统计信息和事实333b的唯一统计信息和事实。另外，观众的动作(例如，跳转进入计数360a、正面观众反馈360b、主动或被动观众动作360c、回放计数360d、流媒体观看计数360e等)可以用于定义通过人工智能选择的统计信息和事实333b。例如，与可由一个或多个观众通过选择观看的游戏会话部分相关联的统计信息和事实可以被定义为观众非常感兴趣的，因为所观看的游戏会话也被识别为观众非常感兴趣的。
115.还可以提供与游戏会话和/或用户相关的其他输入。例如，可以提供在用于训练时可能固有地具有非常大的价值或定义高成功标准的人工输入。例如，人类专家可以用于帮助从专家观看的一个或多个游戏会话中识别统计信息和事实333a，并作为反馈提供给ai广播员/解说员训练器330。也就是说，作为输出333提供的某些统计信息和事实可以由观看对应的游戏会话的人类专家选择，所述游戏会话可以是现场直播的，或是记录的游戏会话，或是使用游戏状态回放的游戏会话。通过这种方式，专家能够主动选择和/或定义喜爱的统计信息和事实，所述统计信息和事实在用于培训时根据定义具有或转化为高成功标准。
116.在一个实施方案中，加权模块350为反馈提供权重，所述权重被提供作为人在回路
选定统计信息和事实333a以及ai生成的和观众强化的统计信息和事实333b。
117.在一个实施方案中，用于构建ai解说模型331的过滤后的统计信息和事实可以被发送到ai游戏和玩家统计信息和事实训练器340。通过这种方式，经过训练的统计信息/事实模型341也可以被配置为识别一个或多个观众非常感兴趣的统计信息和事实。通过这种方式，在一个实施方案中，代替输出特定游戏会话的所有统计信息和事实，统计信息/事实模型341被配置为过滤那些统计信息和事实以仅输出观众非常感兴趣的统计信息和事实。
118.在一个实施方案中，专家选定的统计信息和事实33a是从专家提供的直播解说334中收集的。也就是说，直播解说334包括专家选定的统计信息和事实333a，其可以在一个实现方式中被解析，或者在另一个实现方式中通过专家的主动选择来提供。还可以将直播解说作为反馈提供给广播员/解说员训练器330，以帮助识别解说类型(例如，用于构建模板)以及一个或多个观众非常感兴趣的对应专家选定事实，其中所述反馈可以用于构建用于生成解说的模板。
119.在另一个实施方案中，ai选定的统计信息和事实333b用于构建ai生成的解说335。例如，解说335可以使用在ai选定的统计信息和事实333b中编织的评论模板338来构建。观众动作360可以用于帮助选择观众最感兴趣的那些评论模板。模板中的每一者可以反映一个或多个观众喜欢的特定风格，诸如一个观众私人的模板，或者具有用于一组观众的风格的模板等。
120.在另一个实施方案中，ai生成的解说335可以通过文化和/或语言以及其他过滤器进一步过滤。例如，通过人工智能生成的解说335可以使用语言过滤器337针对特定语言进行格式化。通过这种方式，可以通过格式化为一种或多种语言的一个或多个解说335来支持单个场景和/或场景的相机视角。此外，可以使用文化过滤器336针对文化特性(例如，敏感性、偏好、喜好等)进一步过滤解说335。可以为特定地理区域(例如，国家、州、边界等)定义文化特性。例如，不同的文化特性可能以不同方式描述场景，诸如对于一种文化特性忽略场景的对象或相关联主题，或者在另一种文化特性中正面处理对象或相关联主题。一些文化特性可能更喜欢精彩评论，而其他文化特性可能更喜欢更温和的评论。通过这种方式，ai生成的解说和/或评论335可以使用进一步针对文化和语言定制的适当模板338来生成。在一些实施方案中，ai生成的解说和/或评论335对于特定的观众或观众组可能更加个性化，其中文化过滤器336被设计为应用观众或观众组所特有的过滤。通过这种方式，ai解说模型331被配置为产生面向多个位置的观看者的一个或多个流，包括考虑到文化和性别考虑因素的不同语言的评论。
121.在一个实施方案中，加权模块350为反馈提供权重，所述权重被提供作为人在回路直播解说334和ai生成的解说335。在一些实施方案中，广播包括一个或多个人类解说员和一个或多个ai解说员的解说。在确定要说的内容时，ai解说员可能会结合人类解说员所说的内容。在一些情况下，赛事广播中的ai解说员可能会在确定要说的内容时将人类解说员所说的内容结合到同一赛事的单独广播中。在一些实现方式中，ai解说员可以在确定要说的内容时结合一个或多个解说员和/或一个或多个观众所说的内容，其中所结合的说法不包括在广播中。可以通过广播系统或通过其他通道(诸如社交媒体)访问这些说法。在一些情况下，所述说法可能是非语言的，诸如表情符号、点赞、分享或收藏。
122.一旦经过训练，ai解说模型331就被配置为针对给定输入使用ai选定的统计信息
和事实来构建解说332。例如，当提供游戏会话(例如，单玩家或多玩家)连同其对应的数据(例如，元数据、玩家统计信息等)时，ai解说模型331提供解说332作为输出，所述解说可以是进一步针对语言和/或文化特性过滤的(适用于一个或多个观众)。也就是说，ai解说模型331可以包括或访问文化过滤器336、语言过滤器337和评论模板338。
123.在一些实施方案中，ai生成的评论和/或解说332具有引人注目的个性。例如，ai解说模型可以被配置为选择统计信息和事实，其可以向观众传达为什么流式传输到观众的视图很重要。这可以通过选择适当的评论模板338来实现。例如，ai生成的评论和/或解说332可以提供对新玩家或低级别玩家处于消灭有经验玩家的位置(特定感兴趣区)的通知。通过这种方式，可以向观众提供通知，以试图诱使观众观看场景以查看新玩家实际上是否可以利用这种情况消灭更有经验的玩家。
124.在其他实施方案中，可以提供ai画外音作为解说和/或评论332。在一个实施方案中，画外音可以解释电子竞技游戏的动作使得它对于视觉受损的观众而言是能够理解和精彩的。在另一个实施方案中，画外音被提供作为对可以独立的赛事的详细报道评论，或者被提供有赛事视图。
125.通过对通过网络进行通信的游戏服务器和客户端装置的各种模块的详细描述，根据本公开的一个实施方案，现在关于图5的流程图500描述一种用于使用一个或多个ai模型识别观众潜在地感兴趣的观众感兴趣区的相机视角的方法。具体地，流程图500示出了在后端ai服务器处涉及的用于通过人工智能生成游戏的一个或多个渲染的操作过程和操作数据流，其中所述渲染可以流式传输到一个或多个观众。例如，流程图500的方法可以至少部分地由图1a、图2、图3a和图3c的云游戏服务器210处的相机视角引擎230执行。
126.在510处，所述方法包括接收参与视频游戏的游戏会话的一个或多个玩家的游戏状态数据和用户数据。游戏会话可以是单玩家或多玩家会话。在云游戏服务器处与游戏会话相关联地接收元数据(其部分地包括游戏状态和用户数据)。可以接收参与游戏会话的一个或多个玩家的用户数据。例如，游戏状态数据可以定义玩游戏过程中的对应点处的玩游戏过程状态(例如，游戏状态数据包括游戏角色、游戏对象、对象属性、图形覆盖、角色的资产、角色技能设置、角色在游戏应用程序中的任务成就历史、角色在游戏中环境中的当前地理位置、角色的玩游戏过程的当前状态等)。游戏状态可以允许生成存在于玩游戏过程中的对应点处的游戏中环境(例如，虚拟游戏世界)。用户保存的数据可以用于针对对应用户(例如，玩家)将游戏应用程序个性化，其中所述数据可以包括用于将玩游戏过程中的角色个性化的信息(例如，形状、外观、服装、武器、游戏难度、游戏关卡、角色属性等)。如前所述，其他信息可以包括可能与游戏状态相关的随机种子数据。
127.在520处，所述方法包括识别游戏会话中的观众感兴趣区。观众感兴趣区与视频游戏的虚拟游戏世界的场景相关联。例如，场景可以包括在特定位置处或在角色的大致附近内的虚拟游戏世界，其中可从虚拟游戏世界中的一个或多个相机视角观看所述场景。例如，相机视角可以包括来自角色视角的视图、来自另一个玩家的视图、场景的俯视图、场景的对象或区的特写视图、瞄准镜视图等。
128.在一个实施方案中，可以通过人工智能来识别观众感兴趣区。具体地，更多的观众感兴趣区可以使用经过训练以隔离一个或多个观众感兴趣区的ai模型(例如，感兴趣区模型311)来识别，所述一个或多个观众感兴趣区可能被一个或多个观众观看，如前所述。例
如，感兴趣区可以指示受欢迎的玩家何时进入游戏会话，或者两个专家玩家何时在游戏世界中彼此处于地理距离以内并很有可能会面等。每个所识别的感兴趣区都与游戏会话中的虚拟游戏世界的对应场景相关联。在一个实施方案中，第一观众感兴趣区可以具有对潜在观众兴趣的最高评价，并且可以与第一场景(例如，关注最受欢迎的专业玩家)相关联。在场景内，可以生成一个或多个相机视角，诸如来自一个玩家的视图，或来自第二玩家的视图、俯视图、特写视图、瞄准镜视图等。
129.在另一个实施方案中，可以通过观众输入来识别观众感兴趣区。例如，观众可以主动选择要观看的感兴趣区。例如，选定的感兴趣区可以包括游戏会话中的特定玩家的游戏动作。作为另一示例，选定的感兴趣区可以包括与虚拟游戏世界的特定部分交互的一个或多个玩家的游戏动作。每个选定的和所识别的感兴趣区与游戏会话中的虚拟游戏世界的对应场景相关联。在场景内，可以生成一个或多个相机视角，诸如来自一个玩家的视图，或来自第二玩家的视图、俯视图、特写视图、瞄准镜视图等。
130.在530处，所述方法包括识别观众感兴趣区的第一相机视角。使用经过训练以生成对应观众感兴趣区的一个或多个相机视角的ai模型(例如，相机视角模型321)来识别第一相机视角。第一相机视角可以被确定为一个或多个观众潜在地最感兴趣(例如，最高评价)。例如，第一相机视角可以示出来自作为专家的玩家的视图，其中专家在他或她的瞄准镜内具有目标。通过这种方式，第一相机视角可以被识别并通过网络流式传输到一个或多个观众，其中流式传输的内容包括通过人工智能确定为一个或多个观众非常感兴趣的视图(例如，相机视角)。
131.在一个实施方案中，流可以包括场景的一个或多个相机视角。例如，场景可能以作为专家的玩家为中心，所述专家在他或她的瞄准镜内具有目标。所述流可以示出场景的不同相机视角，诸如来自专家玩家的视图的一个视角和来自目标玩家(例如，不知情目标)的视角的另一个视图，以及包括通过瞄准镜得到的目标的特写视图的又一视图。例如，可以基于经过训练以生成对应观众感兴趣区的一个或多个相机视角的ai模型为场景识别和生成第二相机视角。第二相机视角可能已经是游戏生成的(例如，针对游戏会话中的玩家的当前玩游戏过程)，或者可能是使用游戏状态新生成的并且先前没有由正在执行的视频游戏生成(例如，瞄准镜相机视角，或示出两个玩家的俯视图视角)。通过这种方式，流式传输的内容可以包括同一场景的不同视图。
132.在另一个实施方案中，为不同的流生成第一和第二相机视角。例如，可以为通过网络发送到第一组一个或多个观众的第一流生成第一相机视角。在一个用例中，第一相机视角可以关注第一专业玩家，并且其中第一组观众希望关注第一流中的第一专业玩家。第二相机视角可以关注第二专业玩家，其中第二组观众可能希望关注第二流中的第二专业玩家。这两个流可以同时通过网络输送，以向不同的观众组提供同一场景的不同视图。
133.在一个实施方案中，识别第一相机视角以用于流式传输游戏会话的亮点，其中游戏会话可以是在游戏会话期间示出亮点的直播，或者其中游戏会话可能已经结束并正在通过记录观看，或使用游戏状态回放。亮点可以包括由在游戏会话期间发生的先前玩游戏过程的感兴趣区所识别的有趣场景(例如，赛事场景)。相机视角可能先前已由视频游戏生成，诸如针对游戏会话中的玩家，或者可以通过人工智能从被识别为一个或多个观众非常感兴趣的视角新生成。
134.在一个实施方案中，场景的解说是基于ai模型(例如，ai广播/解说模型331)生成的，所述ai模型被训练以使用与对应观众感兴趣区相关的统计信息和事实为那些感兴趣区的对应场景构建解说(例如，关注最受欢迎的专业玩家)。统计信息和事实可以通过人工智能来选择，并用于构建解说和/或评论，如下面关于图6更全面地描述的。
135.通过对通过网络进行通信的游戏服务器和客户端装置的各种模块的详细描述，根据本公开的一个实施方案，现在关于图6的流程图600描述一种用于使用一个或多个ai模型为被识别为观众感兴趣的观众感兴趣区的场景构建和/或生成解说的方法，其中解说可以针对通过人工智能识别的场景的一个或多个相机视角进行定制。具体地，流程图600示出了在后端ai服务器处涉及的用于通过人工智能生成游戏的一个或多个渲染的操作过程和操作数据流，其中所述渲染可以流式传输到一个或多个观众。例如，流程图600的方法可以至少部分地由图1a、图2、图3a和图3d的云游戏服务器210处的广播员/解说员引擎220执行。
136.在610处，所述方法包括接收参与由参与单玩家或多玩家会话的一个或多个玩家正在玩的视频游戏的游戏会话的一个或多个玩家的游戏状态数据和用户数据。如前所述，在云游戏服务器处与游戏会话相关联地接收元数据(其部分地包括游戏状态和用户数据)。可以接收参与游戏会话的一个或多个玩家的用户数据。例如，游戏状态数据可以定义玩游戏过程中的对应点处的玩游戏过程状态(例如，游戏状态数据包括游戏角色、游戏对象、对象属性、图形覆盖、角色的资产、角色技能设置、角色在游戏应用程序中的任务成就历史、角色在游戏中环境中的当前地理位置、角色的玩游戏过程的当前状态等)。游戏状态可以允许生成存在于玩游戏过程中的对应点处的游戏中环境(例如，虚拟游戏世界)。用户保存的数据可以用于针对对应用户(例如，玩家)将游戏应用程序个性化，其中所述数据可以包括用于将玩游戏过程中的角色个性化的信息(例如，形状、外观、服装、武器、游戏难度、游戏关卡、角色属性、音乐、背景声音等)。如前所述，其他信息可以包括可能与游戏状态相关的随机种子数据。
137.在620处，所述方法包括识别游戏会话中的观众感兴趣区。观众感兴趣区与视频游戏的虚拟游戏世界的场景相关联。例如，场景可以包括在特定位置处或在角色的大致附近内的虚拟游戏世界，其中可从虚拟游戏世界中的一个或多个相机视角观看所述场景。例如，相机视角可以包括来自角色视角的视图、来自另一个玩家的视图、场景的俯视图、场景的对象或区的特写视图、瞄准镜视图等。
138.在一个实施方案中，可以通过人工智能来识别观众感兴趣区。具体地，观众感兴趣区可以使用经过训练以隔离一个或多个观众感兴趣区的ai模型(例如，感兴趣区模型311)来识别，所述一个或多个观众感兴趣区可能被一个或多个观众观看。例如，感兴趣区可以指示受欢迎的玩家何时进入游戏会话，或者两个专家玩家何时在游戏世界中彼此处于地理距离以内并很有可能会面，或者识别虚拟游戏世界中看到大量动作(例如，玩家失败、角色事故、角色死亡等)的区域等。每个所识别的感兴趣区都与游戏会话中的虚拟游戏世界的对应场景相关联。在场景中，可以生成一个或多个相机视角，诸如来自一个玩家的视图，或来自第二玩家的视图、俯视图、特写视图、瞄准镜视图等。例如，第一观众感兴趣区可以与虚拟游戏世界的第一场景相关联。
139.在另一个实施方案中，可以通过观众输入来识别观众感兴趣区。例如，观众可以主动选择要观看的感兴趣区。例如，选定的感兴趣区可以包括游戏会话中的特定玩家的游戏
动作。作为另一示例，选定的感兴趣区可以包括与虚拟游戏世界的特定部分交互的一个或多个玩家的游戏动作。每个选定的和所识别的感兴趣区与游戏会话中的虚拟游戏世界的对应场景相关联。在场景中，可以生成一个或多个相机视角，例如来自一个玩家的视图，或来自第二玩家的视图、俯视图、特写视图、瞄准镜视图等。另外，观众可能希望在选定的感兴趣区的视图内包括伴随的解说(例如，广播)，其中所述解说可以使用人工智能生成，如下面更全面地描述的。
140.在630处，所述方法包括使用ai模型(例如，统计信息/事实模型341和/或ai解说模型331)基于游戏状态数据和用户数据为游戏会话生成统计信息和事实，所述ai模型被训练以隔离一个或多个观众可能感兴趣的游戏状态数据和用户数据。隔离的游戏状态数据和用户数据可以通过人工智能变换成或用于生成统计信息和事实。具体地，统计信息和事实与对应的所识别的感兴趣区、与该感兴趣区相关联的场景相关，并且可能与该场景的一个或多个所识别的相机视角相关。另外，ai模型被配置为识别一个或多个观众非常感兴趣的事实和统计信息，如通过人工智能确定的。
141.在640处，所述方法包括使用另一个ai模型(例如，ai解说模型331)为观众感兴趣区的场景生成解说，所述ai模型被训练以选择先前为场景识别的统计信息和事实。在另一个实现方式中，被训练以选择统计信息和事实的ai模型不执行过滤，因为被训练以隔离一个或多个观众可能感兴趣的游戏状态数据和用户数据的先前所识别的ai模型也可以被训练以使用人工智能生成一个或多个观众可能感兴趣的统计信息和事实。在一个实现方式中，被训练以选择统计信息和事实的ai模型进一步过滤用于解说的统计信息和事实。也就是说，ai模型被训练以从使用被训练以隔离一个或多个观众可能感兴趣的游戏状态数据和用户数据的ai模型生成的统计信息和事实中选择统计信息和事实，其中选定的统计信息和事实具有最高的潜在观众兴趣，如由被训练以选择统计信息和事实的ai模型确定的。
142.另外，被训练以选择统计信息和事实的ai模型被配置为使用选定的统计信息和事实生成解说和/或评论。在一个实施方案中，使用适当模板为场景生成解说。模板可以基于视频游戏的视频游戏类型，或第一观众感兴趣区的感兴趣区类型(即，感兴趣区定义与特定模板相对应的特定场景或情境)。在一些实施方案中，模板考虑观看具有ai生成的解说的场景的目标或请求观众组。例如，模板可以考虑观众组偏好的评论风格(例如，兴奋或平静等)。
143.在其他实施方案中，对解说执行进一步过滤。例如，可以在考虑到目标观众组的文化风俗习惯的情况下过滤解说。例如，取决于组和与组相关联的地理区域，可能存在决定如何构建解说的文化偏好，如前所述。例如，一个组不会有包括针对场景主题的解说的问题，而另一组会反对将该主题包括在解说中。在一些实施方案中，过滤可以应用通信格式过滤器，其中通信格式可以是口语、非口语(手语)等。例如，过滤可以应用语言过滤器，使得解说是针对观众组偏好的特定语言而生成的。在一些实施方案中，当对非口语应用过滤器时，过滤后的风俗习惯应反映考虑到性别、手语变体、地理位置等的正确表达方式。
144.在一个实施方案中，考虑到一个或多个过滤器，同一场景可以流式传输到不同的观众组。例如，可以生成针对第一组观众和/或第一地理区域的一个或多个第一风俗习惯定制的针对场景的第一解说，其中以第一组偏好的第一语言生成第一解说。另外，可以生成针对第二组观众和/或第二地理区域的一个或多个第二风俗习惯定制的针对相同场景的第二
解说，其中以第二组偏好的第二语言生成第二解说。
145.在一个实施方案中，可以针对也流式传输到观众组的对应相机视角来定制解说。通过这种方式，解说可以紧密地关注也可以流式传输的渲染视图。例如，解说可以从获自第一玩家的视图的场景的第一视角移动，然后解说可以在内容上转移来以正在流式传输到观众组的场景的第二视角为中心。因而，场景的流式传输的相机视角与ai生成的解说之间存在良好的联系。
146.在一个实施方案中，生成解说以用于流式传输游戏会话的亮点，其中游戏会话可以是在游戏会话期间示出亮点的直播，或者其中游戏会话可能已经结束并正在通过记录观看，或使用游戏状态回放。亮点可以包括由在游戏会话期间发生的先前玩游戏过程的感兴趣区所识别的有趣场景(例如，赛事场景)。相机视角可能先前已由视频游戏生成，诸如针对游戏会话中的玩家，或者可以通过人工智能从被识别为一个或多个观众非常感兴趣的视角新生成。另外，解说是为流媒体亮点而构建的，并且可以针对场景和为场景流式传输的相机视角进行定制，其中解说包括通过人工智能识别为一个或多个观众非常感兴趣的统计信息和事实。通过这种方式，即使是低流量的游戏会话也可能具有包括ai解说的亮点，所述ai解说包括使用人工智能生成和识别的有趣统计信息和事实。
147.图7示出了根据本公开的实施方案的包括玩游戏应用程序的一个或多个玩家的游戏会话的亮点片段的生成，其中所述亮点片段是使用ai模型生成的，所述ai模型可以识别多个游戏应用程序的多个游戏会话中的观众感兴趣区以识别那些所识别的观众感兴趣区的有趣相机视角，并为那些所识别的观众感兴趣区的场景提供解说。图7中所示的过程流可以部分地由亮点引擎240实现。
148.具体地，可以为直播的游戏会话(例如，在游戏会话期间提供亮点)或为已经结束的游戏会话生成亮点片段，其中可以从游戏会话的记录或从使用游戏状态回放的游戏会话生成亮点片段。
149.因而，在游戏会话结束之后，可获得亮点报道。如前所述，可以基于ai选项自动生成亮点的此类报道。例如，包括感兴趣区、相机视角以及统计信息和事实的亮点报道可以基于观众在观看游戏会话时选择观看或回看的内容。例如，亮点报道可以包括在游戏会话中没有玩家被淘汰但是观众观看起来非常精彩的未遂事件。
150.另外，亮点报道可以包括未直播示出的场景的回放，或可能尚未在游戏会话期间生成的对应场景的相机视角的回放。例如，亮点报道可以示出多玩家游戏会话中未直播示出的有趣的玩家淘汰。或者，亮点报道可以示出可能非常受观众欢迎但在游戏会话期间未生成的相机视角。例如，在直播示出的玩家淘汰中，可以新生成新的俯视相机视角，其在一个视图中一起示出射击玩家和被淘汰玩家的视图。
151.在一个实施方案中，游戏会话的亮点报道可以持续比比赛本身更长的时间，其中游戏会话是针对比赛的(例如，正面交锋、最终幸存玩家等)。在一些实现方式中，比赛或游戏会话中较早淘汰的亮点报道可以在游戏会话结束之后继续。例如，在其中无法实时获得游戏会话的状态的情况下，可以扩展对游戏会话的报道以示出每次淘汰，这可能会将游戏会话的直播广播延长到超过对应比赛持续时间。
152.如图7所示，游戏会话中的玩家1-n的元数据702和玩家统计信息被输送到ai观众感兴趣区训练器310，其现在被配置为应用感兴趣区模型311。例如，训练器310可以被实现
为ai服务器260或在ai服务器内实现。感兴趣区模型311被配置为生成和/或识别一个或多个观众非常感兴趣的一个或多个观众感兴趣区。例如，感兴趣区可以关注非常受欢迎的专业玩家，使得一个或多个观众可能希望在游戏会话期间或在观看亮点时流式传输专业玩家的视图。
153.所识别的感兴趣区可以作为输入提供给ai相机视角训练器320，其现在被配置为应用相机视角模型321。例如，训练器320可以被实现为ai服务器260或在ai服务器内实现。相机视角模型321被配置为针对对应的感兴趣区生成一个或多个相机视角。相机视角可能在游戏会话期间由视频游戏生成，或者可能是新生成的以捕捉先前未示出但是观众非常感兴趣的有趣渲染视图(例如，示出射击玩家和被淘汰玩家的俯视图)。
154.所识别和/或所生成的相机视角作为输入提供给ai解说训练器330，其现在被配置为应用广播/解说模型331。例如，训练器330可以被实现为ai服务器260或在ai服务器内实现。广播/解说模型331被配置为针对对应的和所识别的感兴趣区的场景生成解说。具体地，广播/解说模型331被配置为通过人工智能为游戏会话中的场景选择相关的统计信息和事实。在一个实施方案中，统计信息和事实是从基于游戏会话的元数据和玩家统计信息生成的一组统计信息和事实中选择的。例如，游戏会话中的玩家1-n的元数据702和玩家统计信息被输送到ai游戏和玩家统计信息和事实训练器340，其现在被配置为应用统计信息/事实模型341以为所述游戏会话生成所有统计信息和事实。例如，训练器340可以被实现为ai服务器260或在ai服务器内实现。
155.在一个实施方案中，统计信息/事实模型341和/或解说模型331单独地或组合地被配置为针对一个或多个观众非常感兴趣的对应感兴趣区的对应场景识别和/或生成统计信息和事实。通过这种方式，选定的统计信息和事实可以用于使用人工智能生成解说335。例如，ai选定的统计信息和事实可以被编织到适当模板中以生成解说335，其中所述模板可以针对正在观看的特定场景，或者可以针对目标观众(例如，对精彩解说的偏好)。另外，可以对解说335执行一个或多个过滤过程。例如，文化过滤器可以应用于解说，其中文化过滤器适用于目标观众。另外，可以将语言过滤器应用于解说335，使得可以以优选语言提供评论和/或解说335。
156.如图所示，亮点片段生成器能够将游戏会话的所识别的感兴趣区的场景的渲染视图连同ai生成的解说打包在一起。亮点片段可以通过网络150流式传输到一个或多个观众720。通过这种方式，一个或多个观众720能够观看特定游戏会话的最精彩场景，所述特定游戏会话由为生成观众最大兴趣而构建的解说所支持，其中可以为直播游戏会话实时提供视图，或者可以为对应的游戏会话的回放生成视图，其中回放可以在游戏会话期间或在游戏会话结束之后流式传输。
157.在一个实施方案中，可以从游戏会话的另一个第一亮点片段生成第二亮点片段。也就是说，第一亮点片段作为输入提供给亮点引擎240，其中第二亮点片段被生成作为输出。也就是说，一个或多个回放渲染(例如，亮点片段)可以供其他观众观看。另外，可以从第二亮点片段生成其他后续亮点片段，使得可以生成亮点片段链。
158.在一个实施方案中，游戏会话的渲染视图或游戏会话的亮点片段可以在诸如电子竞技赛事等直播赛事的情景中提供，其中多玩家游戏会话在受众面前直播执行。具体地，多个观众可以在公共位置(例如，电子竞技竞技场)观看直播赛事，其中可能有一个或多个显
示器被设置为可供多个观众观看。另外，除了多个观众可观看的屏幕之外，观众还可以具有一个或多个个人屏幕供他们观看。每个观众可以使用本公开的实施方案主动控制在他们的个人屏幕上示出哪些赛事视图。也就是说，观众使用先前描述的ai模型来控制用于直播玩游戏过程的渲染的相机定位。例如，相机视角可以固定在空间中，或者关注各个玩家或团队，或者被配置为通过人工智能捕捉动作的各个有趣方面。
159.图8示出了可以用于执行本公开的各种实施方案的各方面的示例性装置800的部件。例如，图8示出了在本公开的实施方案中适用于通过人工智能(ai)生成游戏应用程序的场景的一个或多个渲染并且进一步适用于通过ai生成游戏应用程序的场景的解说和/或场景的渲染的示例性硬件系统。该框图示出了装置800，所述装置可以结合或可以是各自适合于实践本公开的实施方案的个人计算机、服务器计算机、游戏控制台、移动装置或其他数字装置。装置800包括用于运行软件应用程序和任选地运行操作系统的中央处理单元(cpu)802。cpu 802可以由一个或多个同构或异构处理核心构成。
160.根据各种实施方案，cpu 802是具有一个或多个处理核心的一个或多个通用微处理器。另外的实施方案可以使用具有特别适用于被配置用于在游戏执行期间的图形处理的应用程序中的高度平行和计算密集的应用程序(诸如媒体和交互式娱乐应用程序)的微处理器架构的一个或多个cpu来实现。
161.存储器804存储由cpu 802和gpu 816使用的应用程序和数据。存储装置806为应用程序和数据提供非易失性存储装置和其他计算机可读介质并且可以包括固定磁盘驱动器、可移除磁盘驱动器、快闪存储器装置和cd-rom、dvd-rom、蓝光光碟、hd-dvd或其他光学存储装置，以及信号传输和存储介质。用户输入装置808将用户输入从一个或多个用户传达到装置800，所述装置的示例可以包括键盘、鼠标、操纵杆、触摸板、触摸屏、静态或视频记录器/相机和/或传声器。网络接口814允许装置800经由电子通信网络与其他计算机系统进行通信，并且可以包括在局域网和诸如互联网等广域网上的有线或无线通信。音频处理器812适于从由cpu 802、存储器804和/或存储装置806提供的指令和/或数据生成模拟或数字音频输出。装置800的部件(包括cpu 802、包括gpu 816的图形子系统、存储器804、数据存储装置806、用户输入装置808、网络接口810和音频处理器812)经由一个或多个数据总线822连接。
162.根据本公开的一个实施方案，相机视角引擎230可以被配置在cpu 802内或与cpu 802分离为独立硬件，并且还被配置为识别先前由感兴趣区ai模型识别为观众感兴趣的感兴趣区的场景的相机视角，其中相机视角也被ai模型识别为观众感兴趣的。根据本公开的一个实施方案，广播员/解说员引擎220可以被配置在cpu 802内或与cpu 802分离为独立硬件，并且还被配置为使用ai模型为先前由感兴趣区ai模型识别为观众感兴趣的感兴趣区的场景生成解说，其中所生成的解说可以针对由ai相机视角模型识别的相机视角进行定制。ai服务器260可以被配置用于训练和/或实现ai相机视角模型以及用于训练和/或实现ai广播/解说模型。根据本公开的实施方案，亮点引擎240可以被配置在cpu 802内或与cpu 802分离为独立硬件，并且还被配置为生成包括玩游戏应用程序的一个或多个玩家的游戏会话的亮点片段，其中所述亮点片段是使用ai模型生成的，所述ai模型可以识别多个游戏应用程序的多个游戏会话中的观众感兴趣区以识别那些所识别的观众感兴趣区的有趣相机视角，并为那些所识别的观众感兴趣区的场景提供解说。
163.图形子系统814进一步与数据总线822和装置800的部件连接。图形子系统814包括
图形处理单元(gpu)816和图形存储器818。图形存储器818包括显示存储器(例如，帧缓冲器)，所述显示存储器用于存储输出图像的每个像素的像素数据。图形存储器818可以集成在与gpu 816相同的装置中、作为单独的装置与gpu 816连接和/或在存储器804内实现。像素数据可以直接从cpu 802提供到图形存储器818。替代地，cpu 802向gpu 816提供定义期望输出图像的数据和/或指令，gpu 816根据所述数据和/或指令生成一个或多个输出图像的像素数据。定义期望输出图像的数据和/或指令可以存储在存储器804和/或图形存储器818中。在一个实施方案中，gpu 816包括3d渲染能力，其用于根据指令和数据生成输出图像的像素数据，所述指令和数据定义场景的几何形状、照明、着色、纹理化、动作和/或相机参数。gpu 816还可以包括能够执行着色器程序的一个或多个可编程执行单元。
164.图形子系统814周期性地从图形存储器818输出图像的像素数据以显示在显示装置810上或者由投影系统840投影。显示装置810可以是能够响应于来自装置800的信号而显示视觉信息的任何装置，包括crt、lcd、等离子体和oled显示器。装置800可以向显示装置810提供例如模拟或数字信号。
165.用于优化图形子系统814的其他实施方案可以包括在多个应用程序之间共享gpu实例的多租户gpu操作，以及支持单个游戏的分布式gpu。图形子系统814可以被配置为一个或多个处理装置。
166.例如，在一个实施方案中，图形子系统814可以被配置为执行多租户gpu功能性，其中一个图形子系统可以为多个游戏实现图形和/或渲染管线。也就是说，图形子系统814在多个正在执行的游戏之间共享。
167.在其他实施方案中，图形子系统814包括多个gpu装置，它们被组合以对在对应cpu上执行的单个应用程序执行图形处理。例如，多个gpu可以在连续的帧周期中执行交替形式的帧渲染，其中gpu1渲染第一帧，并且gpu 2渲染第二帧，依此类推，直到到达最后一个gpu，然后初始gpu渲染下一视频帧(例如，如果只有两个gpu，则gpu 1渲染第三帧)。也就是说，gpu在渲染帧时旋转。渲染操作可重叠，其中gpu 2可在gpu 1完成渲染第一帧之前开始渲染第二帧。在另一个实现方式中，可以在渲染和/或图形管线中为多个gpu装置分配不同的着色器操作。主gpu正在执行主渲染和合成。例如，在包括三个gpu的组中，主gpu 1可以执行主渲染(例如，第一着色器操作)和合成来自从属gpu 2和从属gpu 3的输出，其中从属gpu2可以执行第二着色器(例如，流体效果，诸如河流)操作，从属gpu3可以执行第三着色器(例如，粒子烟雾)操作，其中主gpu 1合成来自gpu 1、gpu 2和gpu 3中的每一者的结果。通过这种方式，可以分配不同的gpu来执行不同的着色器操作(例如，挥旗、风、烟雾生成、火等)以渲染视频帧。在又一个实施方案中，三个gpu中的每一者可以被分配给与视频帧相对应的场景的不同对象和/或部分。在上述实施方案和实现方式中，这些操作可以在同一帧周期(同时并行)或在不同帧周期中(顺序并行)执行。
168.虽然已经提供了特定实施方案来演示通过人工智能(ai)生成游戏应用程序的场景的一个或多个渲染，和/或通过ai生成游戏应用程序的场景的解说和/或场景的渲染，但是阅读本公开的本领域技术人员将实现落入本公开的精神和范围内的附加实施方案。
169.应当注意，在广阔的地理区上传递的访问服务(诸如提供对当前实施方案的游戏的访问)经常使用云计算。云计算是一种计算方式，其中动态可扩展和通常虚拟化的资源通过互联网作为服务提供。用户不需要成为支持他们的“云”中技术基础设施方面的专家。云
计算可以分为不同的服务，例如基础设施即服务(iaas)、平台即服务(paas)和软件即服务(saas)。云计算服务通常提供在线的从web浏览器访问的常用应用程序(例如视频游戏)，而软件和数据则存储在云中的服务器上。基于计算机网络图中互联网的描绘方式，术语云被用作互联网的隐喻，并且是它所隐藏的复杂基础设施的抽象概念。
170.游戏处理服务器(gps)(或简称为“游戏服务器”)由游戏客户端使用来玩单玩家和多玩家视频游戏。互联网上进行的大多数视频游戏都是经由与游戏服务器的连接来操作的。通常，游戏使用专用的服务器应用程序，所述服务器应用程序从玩家收集数据并将其分发给其他玩家。这比对等布置更有效且高效，但它需要单独的服务器来托管服务器应用程序。在另一个实施方案中，gps在玩家与其相应的玩游戏装置之间建立通信以在不依赖于集中式gps的情况下交换信息。
171.专用gps是独立于客户端运行的服务器。这样的服务器通常在位于数据中心内的专用硬件上运行，从而提供更多的带宽和专用的处理能力。对于大多数基于pc的多玩家游戏，专用服务器是托管游戏服务器的优选方法。大型多玩家在线游戏在专用服务器上运行，所述服务器通常由拥有游戏名称的软件公司托管，从而允许它们控制和更新内容。
172.用户使用客户端装置访问远程服务，客户端装置至少包括cpu、显示器和i/o。客户端装置可以是pc、移动电话、上网本、pda等。在一个实施方案中，在游戏服务器上执行的网络辨识客户端使用的装置类型并调整所采用的通信方法。在其他情况下，客户端装置使用标准的通信方法(例如html)来通过互联网访问游戏服务器上的应用程序。
173.本公开的实施方案可以用包括手持式装置、微处理器系统、基于微处理器的或可编程的消费型电子产品、小型计算机、大型计算机等各种计算机系统配置来实践。本公开也可以在分布式计算环境中实践，其中由通过有线或无线网络链接的远程处理装置执行任务。
174.应理解，可以针对特定平台和特定相关联的控制器装置开发给定的视频游戏。然而，当通过本文中呈现的游戏云系统使此类游戏可用时，用户可能正在使用不同的控制器装置来访问视频游戏。例如，可能已经为游戏控制台及其相关联的控制器开发了游戏，而用户可能正在使用键盘和鼠标从个人计算机访问基于云的游戏版本。在这种情况下，输入参数配置可以定义从用户的可用控制器装置(在这种情况下为键盘和鼠标)生成的输入到执行视频游戏可接受的输入的映射。
175.在另一个示例中，用户可以经由平板计算装置、触摸屏智能手机或其他触摸屏驱动装置来访问云游戏系统。在这种情况下，客户端装置和控制器装置一起集成在同一装置中，其中输入通过检测到的触摸屏输入/手势来提供。对于这种装置，输入参数配置可以定义与视频游戏的游戏输入相对应的特定触摸屏输入。例如，在视频游戏的运行期间，按钮、方向盘或其他类型的输入元件可能被显示或覆盖，以指示用户可以触摸以生成游戏输入的触摸屏上的位置。例如在特定方向上的划动或特定触摸动作等手势也可以被检测为游戏输入。在一个实施方案中，可以(例如)在开始视频游戏的玩游戏过程之前向用户提供指示如何通过触摸屏提供输入以便玩游戏的指南，以便使用户适应在触摸屏上操作控件。
176.在一些实施方案中，客户端装置用作控制器装置的连接点。也就是说，控制器装置经由无线或有线连接与客户端装置通信，以将输入从控制器装置传输到客户端装置。客户端装置可以依次处理这些输入，然后经由网络(例如，经由例如路由器之类的本地联网装置
访问)将输入数据传输到云游戏服务器。然而，在其他实施方案中，控制器本身可以是联网装置，具有经由网络直接将输入传达到云游戏服务器的能力，而无需首先通过客户端装置传达这样的输入。例如，控制器可以连接到本地联网装置(例如上述路由器)以向云游戏服务器发送数据并从云游戏服务器接收数据。因此，尽管可能仍然需要客户端装置接收来自基于云的视频游戏的视频输出并将其渲染在本地显示器上，但是通过允许控制器通过网络直接将输入发送到云游戏服务器从而绕过客户端装置，可以减少输入等待时间。
177.在一个实施方案中，联网控制器和客户端装置可以被配置为将某些类型的输入从控制器直接发送到云游戏服务器，以及经由客户端装置发送其他类型的输入。例如，其检测不依赖于控制器本身以外的任何附加硬件或处理的输入可以经由网络从控制器直接发送到云游戏服务器，从而绕过客户端装置。这样的输入可以包括按钮输入、操纵杆输入、嵌入式运动检测输入(例如，加速度计、磁力计、陀螺仪)等。然而，利用附加硬件或需要客户端装置进行处理的输入可以由客户端装置发送到云游戏服务器。这些可能包括从游戏环境中捕获的视频或音频，这些视频或音频可以在发送到云游戏服务器之前由客户端装置进行处理。另外，来自控制器的运动检测硬件的输入可由客户端装置结合所捕获的视频进行处理，以检测控制器的位置和运动，随后客户端装置会将所述位置和运动传达到云游戏服务器。应理解，根据各种实施方案的控制器装置还可以从客户端装置或直接从云游戏服务器接收数据(例如，反馈数据)。
178.应理解，可以使用本文公开的各种特征将本文定义的各种实施方案组合或组装成具体的实现方式。因此，所提供的示例只是一些可能的示例，而不限于通过组合各种元素来定义更多实现方式而变得可能的各个实现方式。在一些示例中，在不脱离所公开的或等效的实现方式的精神的情况下，一些实现方式可以包括更少元素。
179.本公开的实施方案可以用包括手持式装置、微处理器系统、基于微处理器的或可编程的消费型电子产品、小型计算机、大型计算机等各种计算机系统配置来实践。还可以在分布式计算环境中实践本公开的实施方案，在所述分布式计算环境中，通过基于有线或无线网络链接的远程处理装置执行任务。
180.考虑到以上实施方案，应当理解，本公开的实施方案可以采用涉及存储在计算机系统中的数据的各种计算机实现的操作。这些操作是需要物理地操纵物理量的那些操作。形成本公开的实施方案的一部分的本文描述的任何操作都是有用的机器操作。本发明的实施方案还涉及用于执行这些操作的装置或设备。可以针对所需目的专门构造所述设备，或者所述设备可以是由存储在计算机中的计算机程序选择性地激活或配置的通用计算机。具体地，各种通用机器可与根据本文的教导编写的计算机程序一起使用，或者构造更专门的设备来执行所需操作可能更方便。
181.本公开也可以被体现为计算机可读介质上的计算机可读代码。计算机可读介质是可以存储数据的任何数据存储装置，该数据随后可以由计算机系统读取。计算机可读介质的示例包括硬盘驱动器、网络附接存储装置(nas)、只读存储器、随机存取存储器、cd-rom、cd-r、cd-rw、磁带以及其他光学和非光学数据存储装置。所述计算机可读介质可以包括分布在网络耦合的计算机系统上的计算机可读有形介质，使得以分布式方式存储和执行计算机可读代码。
182.尽管以具体的顺序描述了方法操作，但应理解，可在操作之间执行其他内务操作，
或者可以调整操作，使得它们在略微不同的时间发生，或者可以分布在允许以与处理相关联的各种间隔发生处理操作的系统中，只要覆盖操作的处理以期望的方式执行即可。
183.尽管为了清楚理解的目的，已经对前述公开进行了一些详细的描述，但是将显而易见的是，可在所附权利要求的范围内实践一些改变和修改。因此，本实施方案被认为是说明性的而非限制性的，并且本公开的实施方案不限于本文给出的细节，而是可以在所附权利要求的范围和等效范围内进行修改。