使用AI为新玩家自动选择武器的制作方法

使用ai为新玩家自动选择武器
技术领域
1.本技术总体上涉及技术上创新的非常规解决方案，这些解决方案必须源于计算机技术并产生具体的技术改进。


背景技术：

2.如本文所理解的，诸如计算机游戏之类的计算机模拟的玩家经常被要求选择在游戏中使用的虚拟武器。如本文进一步理解的，无经验的玩家通常不会做出最佳选择，从而导致挫败感。


技术实现要素：

3.因此，一种系统包括至少一个计算机模拟控制器和至少一个计算机模拟源，该至少一个计算机模拟源被配置为从计算机模拟控制器接收输入以控制呈现在至少一个显示器上的计算机模拟的呈现。计算机模拟源包括至少一个处理器和至少一个存储装置，至少一个存储装置可由处理器访问，具有可由处理器执行的指令以在至少一个先前进行的模拟中识别在模拟进行方面的至少第一成功进行。所述指令可执行以识别在成功进行期间使用的至少一个虚拟工具；并向计算机模拟的第二玩家呈现对该工具的推荐。
4.计算机模拟源可以包括通过计算机网络与计算机模拟控制器通信的网络服务器，和/或直接与计算机模拟控制器通信的计算机游戏控制台。
5.在一些示例中，指令可执行以至少部分地使用至少一种机器学习算法处理先前进行的模拟的图像来识别虚拟工具。在非限制性实施方案中，指令可执行以至少部分地使用至少一种机器学习算法处理与第二玩家有关的信息来将第二玩家识别为需要推荐的无经验的玩家。虚拟工具可以包括虚拟武器或虚拟车辆。指令可为可执行的以向第二玩家推荐使用虚拟工具的手。
6.在另一方面，一种方法包括将计算机模拟的玩家识别为在进行该模拟时需要辅助，并且响应于将该玩家识别为需要辅助，在至少一个显示器上向该玩家呈现关于模拟进行的推荐。
7.在该方法的非限制性示例中，推荐可以是视觉和/或可听的。在一些实施方案中，将玩家识别为需要辅助可以包括从至少一个用户界面(ui)接收对无经验的选择。在其他实施方案中，将玩家识别为需要辅助可以包括分析从模拟控制器输入的至少一些模拟命令。
8.在示例中，推荐可以包括关于要使用的工具的推荐，诸如虚拟武器或虚拟车辆。所述推荐可包括用于前进到所述模拟中的仿真目的地的至少一个指令。
9.在另一方面，一种设备包括至少一个计算机存储装置，该计算机存储装置不是瞬时信号，并且该计算机存储装置又包括可由至少一个处理器执行以进行以下项的指令：将计算机模拟的玩家识别为具有第一特性，并响应于将玩家识别为具有第一特性，使用至少一个显示器向玩家提供在进行模拟时的音频和/或视频帮助。
10.参考附图可最好地理解本技术的关于其结构和操作两者的细节，在附图中，相同
的附图标记指代相同的部分，并且在附图中：
附图说明
11.图1是包括根据本发明原理的示例的示例性系统的框图；
12.图2是示例性用户界面(ui)的屏幕截图，其使模拟玩家能够指示他是否无经验；
13.图3是基于游戏进行来识别玩家是否无经验的示例性逻辑的流程图；
14.图4和图5是用于推荐符合本发明原理的工具和动作的示例性逻辑的流程图；并且
15.图6是模拟进行期间的示例性推荐屏幕的屏幕截图。
具体实施方式
16.本公开总体上涉及计算机生态系统，其包括消费型电子(ce)装置网络以及独立计算机模拟系统的各个方面，所述ce装置网络诸如但不限于计算机模拟网络诸如计算机游戏网络。本文的系统可包括通过网络连接的服务器和客户端部件，使得可在客户端与服务器部件之间交换数据。客户端部件可以包括一个或多个计算装置，所述计算装置包括诸如sony或由微软(microsoft)或任天堂(nintendo)或其他制造商制作的游戏控制台等游戏控制台、虚拟现实(vr)头戴式耳机、增强现实(ar)头戴式耳机、便携式电视机(例如智能tv、支持互联网的tv)、便携式计算机(诸如膝上型计算机和平板计算机)以及其他移动装置(包括智能电话和下面讨论的附加示例)。这些客户端装置可在多种操作环境下操作。例如，一些客户端计算机可采用(例如)linux操作系统、来自微软的操作系统或unix操作系统、或由苹果计算机或谷歌生产的操作系统。可使用这些操作环境来执行一个或多个浏览程序，诸如由微软或谷歌或摩斯拉(mozilla)制作的浏览器、或可访问由下文论述的互联网服务器托管的网站的其他浏览器程序。此外，根据本发明原理的操作环境可以用于执行一个或多个计算机游戏程序。
17.服务器和/或网关可包括执行指令的一个或多个处理器，所述指令将服务器配置为通过诸如互联网的网络来接收和传输数据。或者，客户端和服务器可经由本地内联网或虚拟专用网络进行连接。服务器或控制器可由游戏控制台(诸如sony)、个人计算机等实例化。
18.信息可以在客户端和服务器之间通过网络进行交换。为此并且为了安全起见，服务器和/或客户端可包括防火墙、负载平衡器、临时存储装置和代理、以及用于可靠性和安全性的其他网络基础设施。一个或多个服务器可形成一种设备，所述设备实现向网络成员提供安全社区(诸如在线社交网站)的方法。
19.如本文使用，指令是指用于处理系统中的信息的计算机实现的步骤。指令可以在软件、固件或硬件中实现，并且包括由系统的部件执行的任何类型的编程步骤。
20.处理器可以是任何常规的通用单芯片或多芯片处理器，所述单芯片或多芯片处理器可借助于各种线(诸如地址线、数据线和控制线)以及寄存器和移位寄存器来执行逻辑。
21.通过本文的流程图和用户界面描述的软件模块可包括各种子例程、程序等。在不限制本公开的情况下，被陈述为由特定模块执行的逻辑可被再分配到其他软件模块和/或一起组合在单个模块中和/或使得在可共享库中可用。
22.本文描述的本发明原理可以实现为硬件、软件、固件或它们的组合；因此，说明性部件、框、模块、电路和步骤是依据它们的功能性进行阐述的。
23.除上文已经提到的内容之外，下文描述的逻辑块、模块和电路可以用被设计来执行本文描述的功能的通用处理器、数字信号处理器(dsp)、现场可编程门阵列(fpga)或其他可编程逻辑装置(诸如专用集成电路(asic))、离散门或晶体管逻辑、离散硬件部件或其任何组合来实现或执行。处理器可由控制器或状态机或计算装置的组合来实现。
24.下文所述的功能和方法当在软件中实现时可以诸如但不限于java、c#或c 的适当语言编写，并且可存储在计算机可读存储介质上或通过计算机可读存储介质传输，诸如随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、光盘只读存储器(cd-rom)或其他光盘存储装置(诸如数字通用光盘(dvd))、磁盘存储装置或包括可移除拇指驱动器的其他磁存储装置等。连接可建立计算机可读介质。此类连接可包括例如硬连线电缆，包括光纤和同轴线以及数字用户线(dsl)和双绞线。这样的连接可以包括无线通信连接，包括红外和无线电。
25.在一个实施方案中所包括的部件可以任何适当的组合用于其他实施方案中。例如，本文中所描述和/或在图中所描绘的各种部件中的任一者可被组合、互换或从其他实施方案排除。
[0026]“具有a、b和c中的至少一者的系统”(同样地，“具有a、b或c中的至少一者的系统”和“具有a、b、c中的至少一者的系统”)包括以下系统：仅具有a；仅具有b；仅具有c；同时具有a和b；同时具有a和c；同时具有b和c；和/或同时具有a、b和c等。
[0027]
现在具体地参考图1，示出了示例系统10，所述系统可包括根据本发明原理的上文所提及且下文进一步描述的示例装置中的一者或多者。系统10中包括的示例装置中的第一装置是消费型电子(ce)装置诸如音频视频装置(avd)12，诸如但不限于带有tv调谐器(等效地，控制tv的机顶盒)的支持互联网的tv。然而，替代地，avd 12可以是家电或家居用品，例如，计算机化的支持互联网的冰箱、洗涤器或干燥器。替代地，avd 12还可以是计算机化的支持互联网(“智能”)电话、平板计算机、笔记本计算机、可佩戴的计算机化装置，诸如例如计算机化的支持互联网手表、计算机化的支持互联网手镯、其他计算机化的支持互联网装置、计算机化的支持互联网音乐播放器、计算机化的支持互联网耳机、计算机化的支持互联网可植入装置(诸如可植入皮肤装置)等。无论如何，应理解，avd 12被配置为采取本发明的原理(例如，与其他ce装置通信以采取本发明的原理，执行本文描述的逻辑，以及执行本文描述的任何其他功能和/或操作)。
[0028]
因此，为了实施此类原理，avd 12可由图1所示的部件中的一些或全部建立。例如，avd 12可包括一个或多个显示器14，该一个或多个显示器可由高清晰度或超高清晰度“4k”或更高的平面屏幕实现，并且可支持触摸以用于经由显示器上的触摸来接收用户输入信号。avd 12可包括：一个或多个扬声器16，其用于根据本发明原理输出音频；以及至少一个额外的输入装置18(诸如例如音频接收器/传声器)，其用于例如向avd 12输入可听命令以控制avd 12。示例性avd 12还可包括一个或多个网络接口20，其用于在一个或多个处理器24的控制下通过至少一个网络22(诸如互联网、wan、lan等)进行通信。还可包括图形处理器24a。因此，接口20可以是但不限于wi-fi收发器，所述wi-fi收发器是无线计算机网络接口的示例，诸如但不限于网状网络收发器。将理解，处理器24控制avd 12来采用本发明原理，
包括本文描述的avd 12的其他元件，诸如例如控制显示器14以在显示器上呈现图像以及从显示器接收输入。此外，应注意，网络接口20可以是例如有线或无线调制解调器或路由器或其他适当接口，诸如例如无线电话收发器，或如上所提及的wi-fi收发器等。
[0029]
除前述内容之外，avd 12还可以包括一个或多个输入端口26，诸如例如用于物理地连接(例如，使用有线连接)到另一个ce装置的高清晰度多媒体接口(hdmi)端口或usb端口和/或用于将耳机连接到avd 12以用于通过耳机将来自avd 12的音频呈现给用户的耳机端口。例如，输入端口26可经由有线或以无线方式连接至音频视频内容的有线或卫星源26a。因此，源26a可以是例如单独的或集成的机顶盒或卫星接收器。或者，源26a可以是包含内容的游戏控制台或磁盘播放器，所述内容可以被用户视为用于下文进一步描述的信道分配目的的最喜爱之物。当被实施为游戏控制台时，源26a可以包括以下关于ce装置44描述的部件中的一些或全部。
[0030]
avd 12还可包括不是瞬时信号的一个或多个计算机存储器28，诸如基于磁盘的存储装置或固态存储装置，在一些情况下，所述一个或多个计算机存储器在avd的机壳中体现为独立装置，或者体现为在avd的机壳内部或外部的用于回放av节目的个人视频记录装置(pvr)或视频磁盘播放器，或者体现为可移除存储器介质。而且在一些实施方案中，avd 12可包括位置或定位接收器(诸如但不限于手机接收器、gps接收器和/或高度计30)，所述位置或定位接收器被配置为例如从至少一个卫星或手机塔接收地理位置信息并且向处理器24提供所述信息和/或联合处理器24一起确定avd 12所处的高度。然而，将理解，根据本发明原理，可以使用除手机接收器、gps接收器和/或高度计之外的另一个合适的位置接收器来(例如)确定avd 12在(例如)所有三个维度中的定位。
[0031]
继续avd 12的描述，在一些实施方案中，根据本发明原理，avd 12可包括一个或多个相机32，所述一个或多个相机可以是(例如)热成像相机、数字相机(诸如网络摄像头)和/或集成到avd 12中并且能够由处理器24控制以搜集图片/图像和/或视频的相机。在avd 12上还可包括蓝牙收发器34和其他近场通信(nfc)元件36，以用于分别使用蓝牙和/或nfc技术与其他装置进行通信。示例nfc元件可以是射频识别(rfid)元件。
[0032]
此外，avd 12可包括向处理器24提供输入的一个或多个辅助传感器37(例如，运动传感器诸如加速度计、陀螺仪、回转计或磁传感器、红外(ir)传感器、光学传感器、速度和/或节奏传感器、手势传感器(例如，用于感测手势命令等))。avd 12可包括空中tv广播端口38，以用于接收向处理器24提供输入的ota tv广播。除前述内容之外，应注意，avd 12还可包括红外线(ir)发射器和/或ir接收器和/或ir收发器42，诸如ir数据关联(irda)装置。可提供电池(未示出)以用于为avd 12供电。
[0033]
仍参考图1，除avd 12之外，系统10还可包括一个或多个其他ce装置类型。在一个示例中，第一ce装置44可用于经由直接发送到avd 12的命令和/或通过下面描述的服务器向avd 12发送计算机游戏音频和视频，而第二ce装置46可包括与第一ce装置44相似的部件。在所示的示例中，第二ce装置46可被配置为玩家47所佩戴的vr头戴式耳机，如图所示。在所示的示例中，示出仅两个ce装置44、46，应理解，可以使用更少或更大的装置。例如，下文的原理讨论在玩由游戏控制台向一个或多个avd 12提供的计算机游戏期间，多个玩家47通过各自的头戴式耳机彼此通信。
[0034]
在所示的示例中，为了说明本发明原理，假设所有三个装置12、44、46都是例如家
中娱乐网络的成员，或至少在诸如房屋的场所里彼此接近。然而，除非另有明确要求，否则本发明原理不限于虚线48所示的特定位置。
[0035]
示例性非限制性第一ce装置44可由上述装置(例如，便携式无线膝上型计算机或笔记本计算机或游戏控制器)中的任何一者来建立，并因此可具有在下文描述的部件中的一者或多者。第一ce装置44可以是用于例如向avd 12发出av播放和暂停命令的遥控器(rc)，或者它可以是更复杂的装置，诸如平板计算机、经由有线或无线链路与avd 12和/或游戏控制台通信的游戏控制器、个人计算机、无线电话等。
[0036]
因此，第一ce装置44可包括可支持触摸以用于经由显示器上的触摸来接收用户输入信号的一个或多个显示器50。第一ce装置44可包括：一个或多个扬声器52，其用于根据本发明原理输出音频；以及至少一个额外的输入装置54(诸如例如音频接收器/传声器)，其用于例如向第一ce装置44输入可听命令以控制装置44。示例性第一ce装置44还可包括一个或多个网络接口56，其用于在一个或多个ce装置处理器58的控制下通过网络22进行通信。还可包括图形处理器58a。因此，接口56可以是(非限制地)wi-fi收发器，所述wi-fi收发器是无线计算机网络接口的示例，包括网状网络接口。应理解，处理器58控制第一ce装置44来实施本发明原理，包括本文所述的第一ce装置44的其他元件，诸如例如控制显示器50来在显示器上呈现图像和从显示器接收输入。此外，应注意，网络接口56可以是例如有线或无线调制解调器或路由器或其他适当接口，诸如例如无线电话收发器，或如上所提及的wi-fi收发器等。
[0037]
除前述内容之外，第一ce装置44还可包括用于物理地连接(例如，使用有线连接)到另一个ce装置的一个或多个输入端口60(诸如例如hdmi端口或usb端口)和/或用于将耳机连接到第一ce装置44以用于通过耳机将来自第一ce装置44的音频呈现给用户的耳机端口。第一ce装置44还可包括一个或多个有形计算机可读存储介质62，诸如基于磁盘的存储装置或固态存储装置。而且在一些实施方案中，第一ce装置44可包括位置或定位接收器(诸如但不限于手机和/或gps接收器和/或高度计64)，所述位置或定位接收器被配置为(例如)使用三角测量从至少一个卫星和/或小区发射塔接收地理位置信息，并且向ce装置处理器58提供所述信息和/或联合ce装置处理器58一起确定第一ce装置44所处的高度。然而，应理解，根据本发明原理，可使用除手机和/或gps接收器和/或高度计之外的另一个合适的位置接收器来例如确定第一ce装置44在例如所有三个维度中的定位。
[0038]
继续对第一ce装置44的描述，在一些实施方案中，根据本发明原理，第一ce装置44可包括一个或多个相机66，所述一个或多个相机可以是(例如)热成像相机、数字相机(诸如网络摄像头)和/或集成到第一ce装置44中并且能够由ce装置处理器58控制以收集图片/图像和/或视频的相机。在第一ce装置44上还可包括蓝牙收发器68和其他近场通信(nfc)元件70，以用于分别使用蓝牙和/或nfc技术与其他装置进行通信。示例nfc元件可以是射频识别(rfid)元件。
[0039]
此外，第一ce装置44可包括向ce装置处理器58提供输入的一个或多个辅助传感器72(例如，运动传感器诸如加速度计、陀螺仪、回转计或磁传感器、红外(ir)传感器、光学传感器、速度和/或节奏传感器、手势传感器(例如，用于感测手势命令)等)。第一ce装置44可包括向ce装置处理器58提供输入的另外的其他传感器，诸如例如一个或多个气候传感器74(例如，气压计、湿度传感器、风传感器、光传感器、温度传感器等)和/或一个或多个生物识
别传感器76。除前述内容之外，应注意，在一些实施方案中，第一ce装置44还可包括红外(ir)发射器和/或ir接收器和/或ir收发器78，诸如ir数据关联(irda)装置。可提供电池(未示出)以用于为第一ce装置44供电。ce装置44可通过上述通信模式和有关部件中的任一者与avd 12进行通信。
[0040]
第二ce装置46可包括针对ce装置44示出的部件中的一些或全部。任一个或两个ce装置可由一个或多个电池供电。
[0041]
现在参考前面提到的至少一个服务器80，它包括至少一个服务器处理器82、至少一个有形的计算机可读存储介质84(诸如基于磁盘的存储装置或固态存储装置)、以及至少一个网络接口86，所述网络接口86在服务器处理器82的控制下，允许在网络22上与图1的其他装置通信，并且实际上可以根据本发明原理便于服务器和客户端装置之间的通信。应注意，网络接口86可以是(例如)有线或无线调制解调器或路由器、wi-fi收发器或其他适当接口(诸如例如无线电话收发器)。
[0042]
因此，在一些实施方案中，服务器80可以是互联网服务器或整个服务器“场”，并且可以包括并且执行“云”功能，使得系统10的装置可在例如网络游戏应用的示例实施方案中经由服务器80访问“云”环境。或者，服务器80可由与图1中示出的其他装置在同一房间或附近的一个或多个游戏控制台或其他计算机来实施。
[0043]
本文中的方法可以实现为由处理器、适当配置的专用集成电路(asic)或现场可编程门阵列(fpga)模块或如本领域技术人员将理解的任何其他便利方式执行的软件指令。在采用的情况下，软件指令可以体现在非暂时性装置(诸如cd rom或闪存驱动器)中。软件代码指令可以可替代地体现为诸如无线电或光学信号的瞬态布置，或者经由在互联网上的下载。
[0044]
现在参考图2，示出了可以在例如图1的显示器12上向诸如视频游戏的视频模拟的玩家呈现的用户界面(ui)200。模拟系统可以包括图1所示和上面描述的部件中的一些或全部。
[0045]
ui 200可以在开始计算机模拟时或基于某一其他触发来呈现。如图所示，ui 200可以包括欢迎消息202和玩家可选择以指示玩家不熟悉计算机模拟或换句话说在进行计算机模拟上没有经验的至少一个选择器204。这样的玩家可以通俗地称为“新手”。注意，ui 200可以被可听地呈现，从而会话式程序可以向玩家提出问题以确定玩家是否是“新手”。
[0046]
代替或除了允许玩家表明他或她是“新手”之外，图3示出了自动确定玩家无经验的示例性逻辑。在框300处开始，一个或多个神经网络(nn)(诸如但不限于卷积nn)在有经验的和无经验的玩家两者的地面实况先前模拟历史上进行训练。可以使用至例如模拟控制器的玩家输入命令的存储的记录来获得模拟历史。或者，可以通过分析已完成模拟的记录视频来获得模拟历史。“有经验的”玩家是那些在进行先前的模拟时达到成功阈值的玩家，诸如在模拟终止(由于例如玩家被“杀死”)之前玩了大于阈值的时间段。其他成功阈值可能是达到阈值数量的模拟点，或达到阈值水平的模拟复杂度等。“无经验”玩家是那些未能达到“有经验”阈值或未能达到低于“有经验”阈值的阈值的玩家，这意味着如果需要，可以在训练期间在有经验的玩家和无经验的玩家的能力之间建立显著的差距。
[0047]
在训练期间，可以针对任何特定模拟学习有经验和无经验的玩家的“第一步”。这只是成功模拟进行的详细属性的一个示例，并且认识到一个目标是帮助无经验的玩家在新
的模拟中生存一段时间，而不是在模拟进行的早期被终止。通过学习成功的玩家在进行过去的模拟时对游戏控制器所做的初始输入，可以更好地定制对“新手”的推荐，以使新手能够比其他方式更长时间地享受新的模拟。此外，通过学习缺乏必要成功度的玩家的第一步，有助于识别“新手”。
[0048]
一旦nn已经被训练，它就可以在框302处被用来跟踪当前模拟的玩家的第一步。如果在决策菱形框304处第一步指示玩家没有经验，则在框306处调用推荐引擎。否则，逻辑结束。
[0049]
图4和图5示出了一旦玩家被识别为无经验的玩家或“新手”则辅助无经验的玩家或“新手”的示例性逻辑。在图4的框400处，访问以上讨论的该模拟的过去玩法的历史，并在框402处选择最成功的玩法。前进到框404，对过去成功的玩法的视频进行图像分析或使用过去成功的玩法的玩家的输入记录或其他方式，由玩家选择和使用的工具(包括虚拟武器、虚拟车辆和使用虚拟武器的手)被识别。
[0050]
还可以识别成功玩法的其他属性。例如，对于每个帧或模拟片段或章节，不仅可以识别所使用的虚拟武器，而且还可以识别通过仿真模拟空间的玩家仿真运动。这样，不仅可以辅助“新手”通过模拟的第一章节或片段，还可以辅助“新手”通过后续章节或片段。
[0051]
图5示出了向被识别为新手的玩家推荐武器或其他提示的逻辑。在框500处开始，根据上述原理将玩家识别为新手。移动到框502，访问图4中识别的过去成功的玩法信息，然后在新手进行模拟时在视觉和/或可听和/或触觉显示器上向新手玩家做出推荐。
[0052]
推荐可以采取多种形式。在最简单的形式中，推荐可能是选择特定武器的消息。该推荐可能会进一步描述武器应该握在哪只仿真手上。该推荐可能会建议特定的虚拟车辆或其他工具。该建议可能会提供从最好到最差的武器使用排名列表。该推荐可能是将一种武器换成另一种武器的指令，或它可能只是对正确武器的提示。例如，如果正确的武器是一把剑，那么推荐可能是选择最好的切割工具。
[0053]
图6示出了使用文本和图形向新手推荐的示例，应当理解，也可以或可替代地提供音频和触觉反馈。如图所示，可以呈现显示玩家角色602的ui 600，并且如果需要，还可以显示玩家角色602正在移动的方向的指示604。在图6的非限制性示例中，玩家的角色602正在向危险606移动，在这种情况下，该危险是可能向或可能不向玩家隐藏的食人魔。
[0054]
上述推荐引擎相应地呈现消息608以获得系统所学习到的在该模拟的过去的成功进行期间为有效工具的虚拟武器，在所示示例中为斧头。推荐608不仅识别要使用的虚拟工具，它还在610处指示玩家的角色602必须返回以获得工具的位置。
[0055]
将了解，虽然已经参考一些示例实施方案描述了本发明原理，但是这些实施方案并不意图是限制性的，并且可使用各种替代布置来实现本文所要求保护的主题。