用于视频流分析的系统和方法与流程

用于视频流分析的系统和方法
1.相关申请的交叉引用
2.本技术要求2019年7月17日提交的美国临时专利申请第62/875,151号的权益。


背景技术：

3.在线视频游戏竞赛越来越受欢迎。单个在线视频游戏竞赛可以吸引大量的竞争玩家。例如，玩家可以在锦标赛中相互竞争，并且锦标赛的获胜者可以获得奖励。玩家可以使用诸如计算机、移动装置、流式智能tv或基于控制台的播放器的各种装置，在他们自己家中舒适地相互竞争。尽管越来越受欢迎，但在线游戏竞赛并没有向玩家提供理想的体验。例如，当前在线游戏竞赛可能经历低量的活跃玩家或者活跃玩家之间的低量的匹配。此外，一个以上的玩家可能选择从事非法行为，诸如作弊。当前在线游戏竞赛还可能难以证明获胜者，或者可能向玩家呈现混乱的用户界面。因此，需要改进在线游戏技术。


技术实现要素：

4.本公开总体上涉及视频流分析和在线游戏的领域。系统和方法可以适用于在对等和锦标赛式在线游戏上投注。说明性实施例采用基于软件的算法来确定给定比赛的获胜者，并且人工智能(ai)用于分数验证和确定玩家技能水平和投注赔率。
5.在各种实施例中，装置可以包括视频相机、一个以上的处理器、以及存储将由一个以上的处理器执行的指令的存储器。这种指令可以使计算系统或装置例如从视频相机接收与视频游戏流相关联的至少一个帧。基于所述至少一个帧，与视频游戏流相关联的数据指示，例如关于游戏的一个方面的数据。然后，基于数据指示，生成与视频游戏流相关联的分析，其中该分析包括游戏策略、行为信息、预测和推荐中的至少一个。然后，可以基于与视频游戏相关联的分析生成消息，并且向视频流的至少一个玩家发送消息。
6.以下描述本发明系统的其他特征。
附图说明
7.图1是示例性系统的框图。
8.图2是示例性数据流程图示。
9.图3是示例性数据流程图示。
10.图4是用于视频分析的示例性方法的流程图。
11.图5是示例性计算装置的框图。
具体实施方式
12.所公开的系统的一个目标是向在线游戏的玩家(“游戏玩家”)提供，例如实时的锦标赛。全球有数亿这种游戏玩家，使用计算机、移动装置、流式智能tv和基于控制台的播放器相互竞争。所公开的系统和方法可以应用于各种游戏系统以解决与当前在线游戏系统相关的多个问题，诸如低活跃玩家/比赛量、增加用户参与度、改进用户界面和交易、减少作弊
并且为所有用户创建公平的游戏场所，并且提供诸如比赛获胜者验证系统的获胜者证明。
13.如图1中所示，系统可以包括视频组件10，视频组件10包括硬件12和软件14。硬件包括视频相机。软件包括视频相机软件、视频传感器和视频检测器。视频传感器包括掩膜，并且视频检测器包括检测器工作器，检测器工作器又包括视频绘图仪、帧采样器和关注区域(roi)。该系统还包括在远程或本地服务器上运行的控制中心16，以及机器学习/数据报告模块18。
14.在游戏过程中，玩家可以与包括视频相机的硬件12以及其他玩家进行交互。由相机拍摄的图像可以由一个以上的软件模块进行处理，一个以上的软件模块针对诸如视频相机、视频传感器和视频检测器的方面。软件14还包括掩膜和检测器工作器，检测器工作器通过一个以上的计算机处理器交换关于视频绘图仪、帧采样器和关注区域的信息。与硬件12和软件14二者相关联的视频组件10用于处理包括游戏玩法的多个视频图像和场景。
15.如以下更进一步讨论的，游戏玩法数据和元数据可以与位于远程或本地服务器上的控制中心16进行交换或者可以是与远程和/或本地的多个服务器进行交换。控制中心16处理游戏玩法数据和元数据以生成一个以上的机器学习/数据报告18。这些报告可以指示玩家、游戏和投注趋势，能够用来改善玩家体验的见解。在示例中，游戏中玩家的动作可以与关于游戏玩法的一个以上的视频流相关联地分析。这种动作和交互能够被处理并且被应用于机器学习算法以提供关于，例如玩家的游戏能力、技能水平、得分、玩游戏趋势等的见解，如本文所讨论的。
16.图2示出根据本文讨论的实施例的关于数据处理的流程图。作为较高层次的概述，原数据(例如，视频数据)被处理以生成元数据，元数据随后可以被用于一个以上的ai和机器学习分析中，以生成游戏和玩家见解。在各种实施例中，原数据是视频数据20，如关于图1所讨论的。视频数据20可以包括一个以上的显示装置上的游戏数据，并且包括流游戏、比赛和事件内容。视频数据20可以来自twitch、youtube或其他内容流媒体或游戏服务。在示例中，例如pllay的公司能够直接向玩家提供内容、流化处理内容、未来开发自己的内容以及直接流化处理内容。
17.然后，对视频数据执行视频分析21以创建元数据，并且机器学习和ai解决方案将在边缘上(实时)摄取视频内容以解析成初始元数据桶。在实施例中，初始元数据桶是分数22a、玩家/参与者22b和场景信息22c。
18.分数桶22a涉及有关于特定游戏的得分数据。在实施例中，各个视频游戏在游戏的用户界面的特定区域中提供得分数据，并且这种信息被应用于ai和机器学习算法。在示例中，分数包括文本，诸如指示玩家在游戏中的分数的字母数字表示。可以使用例如文本分析、光学字符识别(ocr)、分数提取和多种其他方式从视频数据导出这种分数。
19.在实施例中，ai引擎用于理解该得分数据位于用户界面(ui)中的何处用于摄取。得分数据的位置可以基于游戏类型、用户输入等特定地分配或提取。
20.分数和得分事件不但对于获胜者证明非常重要，它们还可以在实施例中通过ai和机器学习方面被利用来提供关于游戏模式和见解的信息。在示例中，基于在比赛期间的任何给定时间赢得比赛的概率，投注增加事件能够被确定，提供给玩家，或者应用于游戏的其他方面，以改善整体游戏玩法。举例来说：“shawn你刚刚连续进了7个球；你想加倍投注吗？”21.在玩家/参与者桶22b中，信息可以由游戏平台内的用户提供，游戏平台可以是桌
面应用程序、移动应用程序或可以向玩家显示游戏的其他方式。用户可以针对与数据流中交互的各个平台存储他们的相关游戏玩家标签和/或用户名。这种示例可以包括关于twitch、xbox、ps4、paypal的用户名、化身和/或其他用户标识符。
22.在第三桶中，能够获得场景信息22c。这种场景信息涉及基于视频流和来自原数据的分析的行为监测和解析。如本文所讨论的，关于可以在其上实现本发明的各种计算和游戏系统，场景信息可以从视频流提取一个以上的特征或标识符，其指示关注项或将要追踪的项。
23.在示例中，场景信息可以与从一个以上的其他桶获得的信息重叠。场景信息可以采用游戏场景显示，游戏场景显示包括在场景显示(即视频流)上可视的用户分数或与用户游戏玩法相关的其他信息。这种视觉数据可以被获得并且应用于本文阐述的任何ai和机器学习算法。
24.继续图2的数据流程，关于分数桶22a和玩家/参与者桶22b，该信息可以被用于开发ai友好数据。换句话说，ai和机器学习技术可以利用元数据信息，并且追踪和学习用户在所有游戏条件下针对各种技能水平和投注模式如何玩视频游戏。该数据将用于提供帮助对等用户在短期内了解他们对手的习惯的鲁棒数据解析订阅服务。在中长期，平台将利用这些信息来第三方投注，将利用这些分析如同金融投资者使用数据购买股票期权一样。
25.以分数桶22a为例，这种得分信息可以用来分析时间序列事件数据23a。在示例中，可以基于玩游戏时间、玩游戏时长或其他类似的时间序列数据集，针对游戏中发生的特定事件分析在一段时间内的玩家分数。此外，给定从分数桶22a获得的得分数据，ai友好数据可以涉及特定事件发生的条件概率和关联。
26.这种ai/机器学习应用可以应用于从分数桶获得的各种游戏数据，并且包括诸如文本分析、提取的分数以及玩家游戏与他们的进度、分数或其他游戏测量之间的其他关联的方面。
27.关于玩家/参与者桶22b，条件概率数据分析23b还可以应用于元数据集。此外，算法能够识别关于一个以上玩家对游戏采取的某些动作的模式、趋势和见解。例如，该数据可以用于识别辅助(assists)23c。在一些示例中，这一点可以适用于当存在团队游戏，或者多个玩家正在玩和/或彼此交互的其他游戏事件时。
28.ai友好数据可以被进一步用来获得关于游戏事件的额外见解和趋势。关于来自分数桶22a的元数据的时间序列和事件数据23a应用，可以提供各种时间序列分析来了解得分模式。在示例中，可以针对一个以上的其他因素独立地和/或与一个以上的其他因素相关地确定得分模式，一个以上的其他因素诸如对手的分数、在游戏中花费的时间等。这种关于特定用户的游戏玩法的数据可以与其他玩家或其他因素(例如对手分数、时间等)进行比较的见解，可以提供对适用于该特定用户的游戏模式的更仔细的观察，并且甚至延伸到关于整体游戏活动的一般见解。
29.关于ai策略/教练/客户服务代理24a、24b，仅提供几个示例，平台可以利用实时和历史比赛、用户行为、投注数据中的至少一个以上来启用助手，诸如基于神经语音的助手。该助手将消除对相关数据或关键决策时刻的仅ui呈现的需要，这将允许用户在比赛中保持专注于游戏/投注任务。
30.图3详细描述了数据流程以及由视频分析模块31接收原视频数据30，并且生成元
数据以被进一步处理并提供见解的处理。在流程图所示的非限制性示例中，原视频数据创建三种类型的元数据，其包括与分数相关的文本32a；玩家32b；以及场景信息32c。这使得系统能够创建玩家行为数据33a；实时预测和推荐33b；以及辅助玩家的策略33c。
31.行为数据33a旨在分析玩家在玩游戏期间的行为。在示例中，使用诸如人类马尔可夫模型(hmm)的一个以上的模型的序列建模能够识别玩家行为。这种行为的识别可以基于从视频数据提取的视频流，并且被解析以生成可应用的元数据。此外，行为数据可以包括玩家档案和活动的聚类，例如，分析玩家关于其他玩家的一个以上的方面、其他玩家的动作、他们提供的用户标识符、其他识别信息、游戏活动以及类似信息。还能产生特征的a/b测试。
32.人工智能和机器学习方面还能够应用来解决预测与推荐，并且可以实时提供二者之一或两者。例如，强化学习可以用来优化后续步骤。在示例中，游戏期间的用户动作触发某些响应。这种数据可以由本系统和方法来分析，以优化后续步骤、用户游戏玩法、游戏体验以及用户游戏玩法和游戏处理的其他方面。自回归整合移动平均(arima)以及深度学习模块和方法也可以应用于从游戏视频流获得的元数据。多个计算机程序、算法和方法中的任一个可以用来优化本文讨论的实施例的元数据分析和实时应用。
33.在另一实施例中，可以在游戏期间实现诸如人工智能助手的ai策略以帮助玩家。ai助手可以习得用户游戏玩法、模式和行为，以进一步增强玩家体验。在这种示例中，可能存在人类和机器的增强，并且能够使用贝叶斯分析进行相关实现。因此，通过这种策略，能够改善用户体验、游戏玩法、甚至游戏事件的一个以上的方面的处理。
34.下表提供了关于本发明系统的各种组件的附加信息，包括数据流的方面。
35.表1示出关于能够发生在所公开的系统和方法的各个实施例中的视频获取、数据处理和机器学习/数据分析的各个方面。关于视频获取，这种实现可以是经由一个以上的网络在一个以上的计算系统和显示器上操作的多个视频系统、视频显示器、游戏控制台、视频类型、文件、流等中的任一个。应当理解，视频流、数据处理和机器学习/数据分析不限于下表中提供的示例，而可以包括本领域技术人员已知的多个视频和计算系统中的任一个。
36.表1
[0037][0038]
表2详细描述了上面讨论的机器学习和数据分析方法。如图3中所述，这种算法可以包括与行为机器学习、预测游戏时间并且提供人工智能辅助相关的方面。
[0039]
表2
[0040][0041][0042]
图4示出根据本文讨论的实施例的视频分析400的示例性方法。在实施例中，接收与视频游戏流相关联的至少一个帧(402)。该帧可以由相对于正在发生玩游戏的装置在本
地或在远程的计算系统接收到。基于所述至少一个帧，做出关于与视频游戏流相关联的数据指示的确定(404)。然后，与视频游戏流相关联的分析406发生。这种分析可以根据关于图2-3讨论的任何方式来实现，识别游戏玩法、用户信息等的方面。
[0043]
基于数据指示生成与视频游戏流相关联的分析。在示例中，这可以包括游戏策略、行为信息、预测或推荐中的至少一个。然后，生成将要经由游戏装置输出给用户的消息，例如视频游戏流。该消息基于与视频游戏相关联的分析，并且可以包括对一个以上的玩家的投注推荐、游戏玩法推荐或动作推荐。在示例中，消息可以是向玩家提供的音频文件、视频文件或其他视觉或触觉指示。
[0044]
在各种实施例中，与视频游戏流相关联的数据包括游戏分数、玩家信息和场景信息中的至少一个。场景信息能够进一步指示视频游戏流的至少一个玩家相对于各种技能水平的其他用户表现如何。在另一示例中，玩家信息包括视频游戏流的至少一个玩家的游戏玩家标签或用户名中的至少一个。在这些示例的每一个中，视频游戏流可以是直播流，尽管本发明不限于直播游戏流，但是可以应用于多种其他游戏系统、方法和类型。
[0045]
图5描述了可以用于各个方面的计算装置，诸如图1中描述的装置。图5中所示的计算机架构示出传统服务器计算机、工作站、台式计算机、笔记本电脑、平板电脑、网络应用计算机、pda、电子阅读器、数字蜂窝电话或其他计算节点，并且可以用来执行本文描述的计算机的任何方面，诸如实现图1中描述的方法。
[0046]
计算装置500可以包括基板或“主板”，其为多个组件或装置可以通过系统总线或其他电通信路径连接到其上的印刷电路板。一个以上的中央处理单元(cpu)504可以结合芯片组506操作。cpu 504可以是执行计算装置500的操作所需的算术和逻辑运算的标准可编程处理器。
[0047]
cpu 504可以通过操作区分和改变这些状态的开关元件从一种离散的物理状态转换到下一状态来执行必要操作。开关元件通常可以包括保持在两个二元状态中的一个的电子电路(诸如触发器)，以及基于一个以上的其它开关元件的状态的逻辑组合提供输出状态的电子电路(诸如逻辑门)。这些基本开关元件可以被组合以创建包括寄存器、加法器-减法器、算术逻辑单元、浮点单元等的更复杂的逻辑电路。
[0048]
cpu 504可以由诸如gpu 405的其他处理单元来扩充或替换。gpu 505可以包括专用于但并不必然限于诸如图形和其他可视化相关处理的高度并行计算的处理单元。
[0049]
可以在cpu 504与基板上的剩余组件和装置之间设置用户接口。该接口可以用来访问用作计算装置500中的主存储器的随机存取存储器(ram)508。该接口可以用来访问诸如只读存储器(rom)520或非易失性ram(nvram)(未示出)的计算机可读存储介质，用于存储能够帮助启动计算装置500并在各种组件与装置之间传输信息的基本例程。rom 520或nvram还可以根据本文描述的方面存储计算装置500的操作所需的其他软件组件。用户接口可以由诸如芯片组506的一个以上的电子组件来提供。
[0050]
计算装置500可以在使用通过局域网(lan)516逻辑连接到远程计算节点和计算系统的联网环境中操作。芯片组506可以包括通过诸如千兆以太网适配器的网络接口控制器(nic)522来提供网络连接的功能。nic 522可以通过网络516将计算装置500连接到其他计算节点。应当理解，计算装置500中可以存在将计算装置连接到其他类型的网络和远程计算机系统的多个nic522。
[0051]
计算装置500可以连接到为计算机提供非易失性存储的存储装置528。存储装置528可以存储系统程序、应用程序、其他程序模块和数据，这些已在本文中更详细地描述。存储装置528可以通过连接到芯片组506的存储控制器524连接到计算装置500。存储装置528可以由一个以上的物理存储单元组成。存储控制器524可以通过串行连接scsi(sas)接口、串行高级技术附件(sata)接口、光纤通道(fc)接口或用于在计算机与物理存储单元之间物理地连接和传输数据的其他类型的接口与物理存储单元对接。
[0052]
计算装置500可以通过转换物理存储单元的物理状态来反映所存储的信息，以将数据存储在存储装置528上。物理状态的具体转换可能取决于各种因素和本描述的不同实现。这种因素的示例可以包括但不限于用来实现物理存储单元的技术以及存储装置528是否被表征为主存储器或辅助存储器等。
[0053]
例如，计算装置500可以通过经由存储控制器524发出指令来改变磁盘驱动单元中特定位置的磁特性、光存储单元中特定位置的反射或折射特性、或者固态存储单元中特定电容器、晶体管或其他分立组件的电特性，将信息存储到存储装置528。前述提供的示例只是为了便于描述，在不脱离本描述的范围和精神的情况下，其他物理介质的转换是可能的。计算装置500可以通过检测物理存储单元中的一个以上的特定位置的物理状态或特性从存储装置528读取信息。
[0054]
除了本文所描述的存储装置528之外或可替代地，计算装置500可以访问其他计算机可读存储介质来存储并检索信息，诸如程序模块、数据结构或其他数据。本领域技术人员应当理解，计算机可读存储介质可以是提供非暂时性数据存储并且可以被计算装置500访问的任何可用介质。
[0055]
作为示例而非限制，计算机可读存储介质可以包括以任何方法或技术实现的易失性和非易失性、暂时性计算机可读存储介质和非暂时性计算机可读存储介质，以及可移动和不可移动介质。计算机可读存储介质包括但不限于ram、rom、可擦除可编程rom(“eprom”)、电可擦可编程rom(“eeprom”)、闪存或其他固态存储技术、光盘rom(“cd-rom”)、数字多功能盘(“dvd”)、高清晰度dvd(“hd-dvd”)、蓝光(blu-ray)或其他光存储、磁带盒、磁带、磁盘存储、其他磁存储装置或可以用于以非暂时性方式存储期望的信息的任何其他介质。
[0056]
诸如图5中描述的存储装置528的存储装置可以存储用来控制计算装置500的操作的操作系统。操作系统可以包括linux操作系统的版本。操作系统可以包括来自microsoft公司的windows server操作系统的版本。根据其他方面，操作系统可以包括unix操作系统的版本。还可以使用诸如ios和android的各种移动电话操作系统。应当理解，还可以利用其他操作系统。存储装置528可以存储被计算设备500使用的其他系统或应用程序和数据。
[0057]
存储装置528或其他计算机可读存储介质还可以利用计算机可执行指令来编码，当这些指令被加载到计算装置500中时，将计算装置从通用计算系统转换为能够实现本文描述的各方面的专用计算机。如本文所述，这些计算机可执行指令通过指定cpu 504如何在状态之间转换来转换计算装置500。计算装置500可以访问存储计算机可执行指令的计算机可读存储介质，当由计算装置500执行指令时，可以执行关于图4描述的方法。
[0058]
诸如图5中描述的计算装置500的计算装置还可以包括输入/输出控制器532，用于接收和处理来自诸如键盘、鼠标、触摸板、触摸屏、电子笔或其他类型的输入装置的多个输
入装置的输入。同样，输入/输出控制器532可以向诸如计算机监视器、平板显示器、数字投影仪、打印机、绘图仪或其他类型的输出装置的显示器提供输出。应当理解，计算装置500可以不包括图5所示的所有组件，可以包括图5中未明确示出的其他组件，或者可以使用与图5所示完全不同的架构。
[0059]
如本文所述，计算装置可以是诸如图5的计算装置500的物理计算装置。计算节点还可以包括虚拟机器主机处理和一个以上的虚拟机器实例。计算机可执行指令可以由计算装置的物理硬件通过解释和/或执行在虚拟机的上下文中存储和执行的指令来间接执行。
[0060]
尽管已经结合优选实施例和特定示例描述了方法和系统，但是由于本文的实施例在所有方面都是说明性的而非限制性的，所以这并不表示范围限于所阐述的特定实施例。
[0061]
除非另有明确说明，否则并不表示本文阐述的任何方法都被理解为要求以特定顺序执行其操作。因此，在方法权利要求没有实际陈述其操作所遵循的顺序，或者在权利要求或说明书中没有另外具体说明操作被限于特定顺序的情况下，无论从哪方面来说，都不表示推断出顺序。这适用于任何可能的非明示的解释基础，包括：关于步骤布置或操作流程的逻辑问题：源自语法组织或标点符号的简单含义；以及说明书中描述的实施例的数量或类型。
[0062]
在不脱离本公开的范围或精神的情况下，可以进行各种变型和变化，这对于本领域技术人员是显而易见的。考虑到本文描述的说明书和实践，其他实施例对于本领域技术人员来说是显而易见的。说明书和示例性附图仅被认为是示例性的，其真正的范围和精神由以下权利要求指出。