信息处理设备和图像共享方法与流程

1.本公开涉及用于在多个用户之间共享图像的技术。


背景技术：

2.ptl 1公开了一种图像共享系统，其中，在主机用户的信息处理设备和访客用户的信息处理设备不是经由服务器而是通过p2p(对等)连接的环境下，主机用户正在玩的游戏的图像与访客用户共享。在该图像共享系统中，准备了用于允许访客用户观看游戏图像的共享模式(共享屏幕)、用于允许访客用户代替主机用户玩游戏的共享模式(移交我的控制器)、以及用于允许访客用户作为新玩家参与游戏并允许主机用户和访客用户一起玩游戏的共享模式(移交另一控制器)。
3.[引用列表]
[0004]
[专利文献]
[0005]
[ptl 1]
[0006]
jp 2017-35298a


技术实现要素：

[0007]
[技术问题]
[0008]
游戏的网络服务起到了通信工具的作用。例如，如果参与同一聊天室的多个用户共享一个游戏图像，则预期可以建立更活跃的通信。因此，优选的是实现一种机制，用于允许正在玩游戏的用户以简单的方式与其他用户共享正在进行的游戏的图像。不仅在游戏中，而且在诸如多个信息处理设备连接的会议系统的网络服务中，如果实现了以简单方式共享图像的机制，则预期可以支持流畅的通信。
[0009]
因此，本发明的目的是提供一种用于共享图像的技术。
[0010]
[问题的解决方案]
[0011]
为了解决上述问题，根据本公开的特定方面的信息处理设备连接到管理参与一个房间的多个成员的状态的管理服务器和分发图像的分发服务器，该信息处理设备包括将图像发送到分发服务器的发送处理部分；状态信息获取部分，从管理服务器获取指示多个成员的状态的信息；以及房间图像生成部分，基于指示多个成员的状态的信息，生成成员显示区，其中关于发送图像的成员的信息和关于不发送图像的成员的信息被包括在不同的区域中，其中房间图像生成部分显示指示正在观看从发送处理部分发送到分发服务器的图像的成员的信息。
[0012]
本公开的另一方面是一种图像共享方法，包括将图像发送到分发图像的分发服务器的步骤，从管理参与一个房间的多个成员的状态的管理服务器获取指示多个成员的状态的信息的步骤，基于指示多个成员的状态的信息，生成成员显示区的步骤，其中关于发送图像的成员的信息和关于不发送图像的成员的信息被包括在不同的区域中，以及显示指示正在观看发送到分发服务器的图像的成员的信息的步骤。
[0013]
要注意的是，通过转化本公开中的上述组成元素或表达的任意组合而获得的方法、设备、系统、记录介质或计算机程序作为本公开的一个方面也是有效的。
附图说明
[0014]
图1是描绘根据本公开实施例的图像共享系统的图。
[0015]
图2是描绘信息处理设备的硬件配置的图。
[0016]
图3是描绘发送游戏图像的信息处理设备的功能块的图。
[0017]
图4是描绘游戏屏幕的一个示例的图。
[0018]
图5是描绘叠加在游戏图像上的系统图像的示例的图。
[0019]
图6是描绘分发服务器的功能块的图。
[0020]
图7是描绘叠加在游戏图像上的系统图像的示例的图。
[0021]
图8是描绘叠加在游戏图像上的系统图像的示例的图。
[0022]
图9是描绘在屏幕共享下接收游戏图像的信息处理设备的功能块的图。
[0023]
图10是描绘显示在输出设备上的游戏屏幕的一个示例的图。
[0024]
图11是描绘显示在输出设备上的消息的示例的图。
[0025]
图12是描绘叠加在游戏图像上的系统图像的示例的图。
[0026]
图13是描绘全屏显示格式的显示示例的图。
[0027]
图14是描绘画中画显示形式的显示示例的图。
[0028]
图15是描绘分屏显示形式的显示示例的图。
[0029]
图16是描绘叠加在游戏图像上的系统图像的示例的图。
[0030]
图17是描绘显示在输出设备上的消息的示例的图。
[0031]
图18是描绘叠加在游戏图像上的系统图像的示例的图。
[0032]
图19是描绘显示在输出设备上的系统图像的示例的图。
[0033]
图20是描绘用户正在玩的游戏的图像的图。
具体实施方式
[0034]
图1描绘了根据本公开实施例的图像共享系统1。图像共享系统1包括多个信息处理设备10a、10b、10c和10d(下文中，在它们没有被具体地彼此区分的情况下，称为“信息处理设备10”)、管理服务器5和分发服务器9，它们经由诸如因特网或lan(局域网)的网络3连接。
[0035]
信息处理设备10a、10b、10c和10d是由各个用户操作的终端设备，并且连接到输出设备4a、4b、4c和4d(在下文中，在它们没有被具体地彼此区分的情况下，称为“输出设备4”)。输出设备4可以是具有用于输出图像的显示器和用于输出声音的扬声器的电视机，或者可以是头戴式显示器。输出设备4可以经由有线电缆或无线地连接到相应的信息处理设备10。
[0036]
接入点(以下称为“ap”)8具有无线接入点功能和路由器功能。每个信息处理设备10无线或有线地连接到对应的ap 8，并且因此可通信地连接到网络3上的管理服务器5、分发服务器9和其他信息处理设备10。
[0037]
信息处理设备10与用户操作的输入设备6无线或有线连接。输入设备6向信息处理
设备10输出指示用户操作结果的操作信息。信息处理设备10从输入设备6接收操作信息，并且在系统软件或应用软件的处理中反映操作信息，以便通过输出设备4输出处理结果。在图像共享系统1中，信息处理设备10可以是执行游戏的游戏设备，并且输入设备6可以是诸如游戏控制器之类的用于向信息处理设备10提供用户操作信息的设备。输入设备6可以包括多个输入部分，包括多个按压式操作按钮、通过其可以输入模拟量的模拟杆和可转动按钮。
[0038]
辅助存储设备2是诸如hdd(硬盘驱动器)或ssd(固态驱动器)的存储器，并且可以是内置存储器，或者可以是通过usb(通用串行总线)等连接到信息处理设备10的外部存储器。作为图像捕获设备的照相机7被布置在输出设备4附近，并且捕获输出设备4的周围区域的图像。
[0039]
在图像共享系统1中，用户a、b、c和d是在同一聊天室中的房间成员。用户可以彼此进行文本聊天，并且如果用户具有耳机，则可以彼此进行语音聊天。聊天室由管理服务器5创建和管理。管理服务器5接收从每个用户发送的聊天数据(文本数据和/或语音数据)，并将聊天数据传送给房间中的其他用户。例如，管理服务器5将从用户a发送的聊天数据传送给房间中的用户b、c和d。
[0040]
在聊天室中，每个用户都可以与其他用户共享正在进行的游戏的图像。可以对加入聊天室的用户数量设置上限，但是对数量没有任何必要限制。应当注意，聊天室是在线用户聚集的虚拟房间或群组的一个示例。可以使用另一种类型的房间或组来代替。
[0041]
管理服务器5由图像共享系统1的管理实体维护和管理，并向图像共享系统1的用户提供包括聊天服务的网络服务。管理服务器5管理用于识别各个用户的网络账户。通过使用网络帐户，用户登录网络服务。在登录到网络服务之后，用户进入聊天室以便能够与其他房间成员通信。要注意的是，例如，在登录之后，用户可以在管理服务器5中保存关于游戏的数据。
[0042]
分发服务器9由图像共享系统1的管理实体维护和管理，并且向参与聊天室的另一用户提供用于分发关于用户正在玩的游戏的图像的流数据的服务。应当注意，流数据当然包括游戏声音，但是将省略对游戏声音的分发的解释。下文将主要给出游戏图像分发的解释。
[0043]
图2描绘了信息处理设备10的硬件配置。信息处理设备10包括主电源按钮20、通电led(发光二极管)21、待机led 22、系统控制器24、时钟26、设备控制器30、介质驱动器32、usb模块34、闪存36、无线通信模块38、有线通信模块40、子系统50和主系统60。
[0044]
主系统60包括主cpu(中央处理单元)、作为主存储器和存储器控制器的存储器、gpu(图形处理单元)等。gpu主要用于游戏程序的计算。这些功能可以通过片上系统来实现，并且可以形成在一个芯片上。主cpu具有执行记录在辅助存储设备2或rom(只读存储器)介质44中的游戏程序的功能。
[0045]
子系统50配备有子cpu、作为主存储器的存储器和存储器控制器等。，但是没有配备gpu，因此不具有执行游戏程序的功能。子cpu中的门电路数量少于主cpu中的门电路数量。子cpu中的操作功耗小于主cpu中的操作功耗。
[0046]
主电源按钮20是通过其输入用户操作的输入部分。主电源按钮20被布置在信息处理设备10的外壳的前表面上，并且被操作来打开/关闭信息处理设备10的主系统60的电源。当主电源按钮20打开时，电源led 21点亮。当主电源按钮20关闭时，待机led 22点亮。
[0047]
系统控制器24检测到用户按下了主电源按钮20。当主电源按钮20在主电源处于关闭状态时被按下时，系统控制器24将该按下操作视为“接通指令”另一方面，当主电源按钮20在主电源处于接通状态时被按下时，系统控制器24将按下操作视为“关闭指令”[0048]
作为实时时钟的时钟26产生当前日期和时间信息，并将该信息提供给系统控制器24、子系统50和主系统60。设备控制器30被形成为lsi(大规模集成电路),其像南桥一样在设备之间进行信息交换。如图所示，诸如系统控制器24、介质驱动器32、usb模块34、闪存36、无线通信模块38、有线通信模块40、子系统50和主系统60的设备连接到设备控制器30。设备控制器30吸收设备之间的电特性差异和数据发送速度差异，并控制数据发送定时。
[0049]
介质驱动器32由附在其上的rom介质44驱动。用于游戏等的应用软件和许可信息被记录在rom介质44中。介质驱动器32从rom介质44中读出程序和数据等。rom介质44可以是只读记录介质，例如光盘、磁光盘或蓝光盘。
[0050]
usb模块34经由usb电缆连接到外部设备。usb模块34可以经由usb电缆连接到辅助存储设备2和相机7。闪存36是构成内部存储器的辅助存储器。无线通信模块38例如根据诸如蓝牙(注册商标)协议或ieee(电气和电子工程师协会)802.11协议的通信协议与输入设备6无线通信。有线通信模块40执行与外部设备的有线通信，以经由ap 8连接到网络3。
[0051]
在图像共享系统1中，聊天室成员被允许使用三种共享模式来共享游戏图像。在下文中，分发游戏图像的用户被称为“主机”或“主机用户”，接收游戏图像分发的用户被称为“访客”或“访客用户”[0052]
《第一共享模式》
[0053]
在第一共享模式中，访客用户观看主机用户的游戏图像。这被称为“屏幕共享”。在屏幕共享中，主机用户的游戏图像经由分发服务器9与访客用户共享。即，主机用户的信息处理设备10将游戏图像发送到分发服务器9，并且访客用户的信息处理设备10从分发服务器9接收游戏图像。访客用户被允许观看主机用户的游戏图像，但是不允许在游戏中执行操作。
[0054]
《第二共享模式》
[0055]
在第二共享模式中，访客用户在观看主机用户的游戏图像的同时代替主机用户玩游戏。这被称为“辅助游戏”。在辅助游戏中，主机用户的游戏图像不通过分发服务器9与访客用户共享。即，建立主机用户的信息处理设备10和访客用户的信息处理设备10之间的p2p连接，从而共享游戏图像。主机用户不能在游戏中执行操作，而只有访客用户被允许在游戏中执行操作，因为主机用户将游戏操作权限给予访客用户。
[0056]
《第三共享模式》
[0057]
在第三共享模式中，访客用户作为新玩家加入游戏，与主机用户合作玩游戏，同时观看主机用户的游戏图像。这被称为“合作游戏”。在合作游戏中，主机用户的游戏图像不通过分发服务器9与访客用户共享。即，建立主机用户的信息处理设备10和访客用户的信息处理设备10之间的p2p连接，从而共享游戏图像。在合作游戏中，访客用户也使用主机用户侧的游戏资源，并且主机用户和访客用户分别成为玩家1和玩家2来参与游戏，从而允许主机用户和访客用户彼此合作地执行游戏中的操作。
[0058]
在第二和第三共享模式中，建立主机用户的信息处理设备10和访客用户的信息处理设备10之间的p2p连接，从而共享游戏图像，并且至少访客用户具有游戏权限。由于访客
用户被允许以第二和第三共享模式玩游戏，所以在某些情况下，第二和第三共享模式被统称为“共享游戏”。
[0059]
当分发用户正在玩的游戏的图像时，一个用户成为主机用户，并且当观看另一个人正在玩的游戏的图像时，进一步成为访客用户。因此，一个信息处理设备10包括成为主机用户的发送侧配置和成为访客用户的接收侧配置。在下文中，为了便于解释，假设用户a的信息处理设备10a具有发送游戏图像的发送侧配置，并且用户c的信息处理设备10c具有接收游戏图像的接收侧配置，使得游戏图像被共享。然而，应当理解，发送侧配置和接收侧配置都安装在每个信息处理设备10中。
[0060]
图3描绘了发送用户a正在玩的游戏的图像的信息处理设备10a的功能块。信息处理设备10a包括处理部分100a、通信部分102a和接收部分104a。处理部分100a包括执行部分110a、系统图像生成部分120a、图像处理部分140a、帧缓冲器150a和共享处理部分160a。
[0061]
系统图像生成部分120a包括报告生成部分122a和房间图像生成部分124a。帧缓冲器150a包括临时存储游戏图像数据的游戏缓冲器152a和临时存储系统图像数据的系统缓冲器154a。共享处理部分160a包括状态信息发送部分162a、状态信息获取部分164a、发送处理部分166a、邀请发送部分172a和连接处理部分174a。发送处理部分166a包括第一发送处理部分168a和第二发送处理部分170a。
[0062]
在图3中，被示出为用于执行各种处理的功能块的每个元件可以由电路块、存储器和任何其他lsi在硬件方面形成，并且可以由系统软件或加载在存储器中的游戏程序在软件方面来实现。因此，本领域技术人员将理解，这些功能块可以以各种配置来实现，例如仅包括硬件的配置、仅包括软件的配置以及它们的组合。对功能块的实现没有特别的限制。
[0063]
通信部分102a接收关于用户a在输入设备6的输入部分上执行的操作的操作信息。另外，通信部分102a从管理服务器5接收关于聊天室中的其他房间成员的聊天数据，并且还接收指示其他房间成员的状态的信息。
[0064]
通信部分102a向管理服务器5发送指示用户a的状态的信息。此外，通信部分102a将由处理部分100a生成的关于游戏图像和游戏声音的流数据发送到分发服务器9和/或单独的信息处理设备10。在下文中，用于再现游戏图像的流数据可以简称为游戏图像。作为通信部分102a的功能块被示出为具有图2中的无线通信模块38的功能和有线通信模块40的功能的配置。
[0065]
接收部分104a设置在通信部分102a和处理部分100a之间，并且与通信部分102a和处理部分100a交换数据或信息。当经由通信部分102a从输入设备6接收到操作信息时，接收部分104a将操作信息提供给处理部分100a中的指定功能块。
[0066]
执行部分110a执行游戏程序(下文中，在某些情况下简称为“游戏”)。这里表示为执行部分110a的功能块由诸如系统软件或游戏软件的软件或诸如gpu的硬件来实现。执行部分110a执行游戏程序以生成游戏图像数据和游戏声音数据。应当注意，游戏是应用的一个示例，并且执行部分110a可以执行不是游戏的任何应用。
[0067]
在用户a玩游戏期间，执行部分110a执行游戏程序，并且基于用户a输入到输入设备6的操作信息，进行用于在虚拟空间中产生游戏角色的运动的计算。在接收到虚拟空间中的计算结果之后，gpu基于虚拟空间中的视点(虚拟相机)生成游戏图像数据。
[0068]
图4描绘了显示在用户a的输出设备4a上的游戏屏幕的一个示例。用户a正在玩游
戏标题“特别足球”。执行部分110a生成游戏图像数据，并将游戏图像数据提供给图像处理部分140a。然后，图像处理部分140a将游戏图像数据临时存储在游戏缓冲器152a中，并从临时存储在帧缓冲器150a中的图像数据生成显示图像，并将显示图像提供给输出设备4a。因此，输出设备4a输出游戏图像。应当注意，实际上，输出设备4a另外输出由执行部分110a生成的游戏声音，并且用户a操作输入设备6来玩游戏标题“特别足球”,同时观看游戏图像并收听从输出设备4a输出的游戏声音。
[0069]
在共享处理部分160a中，状态信息发送部分162a向管理服务器5发送指示用户a的状态的信息。指示状态的信息包括指示用户是否正在玩游戏的信息，并且如果用户正在玩游戏，则还包括指示游戏标题、麦克风的开/关状态的信息以及关于图像共享的信息。关于图像共享的信息包括关于作为主机用户的用户a的信息和关于作为访客用户的用户a的信息。关于作为主机用户的用户a的信息包括指示用户a开始屏幕共享(第一共享模式)的信息，以及指示向房间成员发送协助游戏(第二共享模式)或合作游戏(第三共享模式)的邀请的信息。关于作为访客用户的用户a的信息包括关于由另一房间成员分发的游戏图像的共享模式的信息。具体地，为了允许另一个房间成员观看由分发服务器9分发的图像，状态信息发送部分162a向管理服务器5发送指示要观看图像的信息。为了接受来自另一个房间成员的协助游戏或合作游戏的邀请，状态信息发送部分162a向管理服务器5发送指示接受邀请的信息。
[0070]
状态信息发送部分162a的功能也安装在用户b至d的信息处理设备10b至10d的每一个中。因此，每个用户的信息处理设备10向管理服务器5发送指示用户状态的信息。优选地，当状态改变时，信息处理设备10立即向管理服务器5发送指示该改变的信息。管理服务器5从各个信息处理设备10获取指示用户状态的信息，并管理用户的各个当前状态。管理服务器5向属于同一聊天组的信息处理设备10发送指示用户的信息。信息处理设备10a的状态信息获取部分164a获取指示用户各自状态的信息。
[0071]
根据实施例的信息处理设备10提供了允许正在玩游戏的用户a以简单的方式共享图像的机制。当用户a在玩游戏期间短时间按下输入设备6上的规定按钮时，接收部分104a接收按钮操作，并将操作信息提供给系统图像生成部分120a。系统图像生成部分120a获取按钮操作信息作为系统图像显示请求，并调用状态信息获取部分164a。
[0072]
状态信息获取部分164a从管理服务器5获取指示用户状态的信息，并将该信息提供给系统图像生成部分120a。在系统图像生成部分120a中，房间图像生成部分124a生成指示用户a正在参与的聊天室的状态的系统图像数据，并将该系统图像数据提供给图像处理部分140a。图像处理部分140a将系统图像数据临时存储在系统缓冲器154a中，并且从临时存储在帧缓冲器150a中的图像数据生成显示图像，并且将显示图像提供给输出设备4a。具体地，图像处理部分140a通过组合临时存储在游戏缓冲器152a中的游戏图像数据和临时存储在系统缓冲器154a中的系统图像数据来生成显示图像，并将生成的显示图像提供给输出设备4a。因此，输出设备4a输出其中系统图像叠加在游戏图像上的显示图像。
[0073]
图5描绘了叠加在游戏图像上的系统图像200的示例。房间图像生成部分124a基于由状态信息获取部分164a获取的指示用户状态的信息来生成系统图像数据。在系统图像200中提供了成员显示区202，用于指示用户a正在参与的聊天室中的成员的状态。房间图像生成部分124a根据表示多个房间成员(用户)的状态的信息，生成包含成员信息的成员显示
区202。在图5所示的成员显示区202中，显示了指示用户图标、用户名、正在进行的游戏的标题以及麦克风是否打开/关闭的信息。指示共享游戏是否正在执行的信息可以另外包括在成员显示区202中。
[0074]
共享开始按钮204是允许用户a开始作为第一共享模式的屏幕共享的操作元件。当用户a操作共享开始按钮204时，状态信息发送部分162a向管理服务器5和分发服务器9发送指示用户a开始屏幕共享(第一共享模式)的信息。然后，第一发送处理部分168a向分发服务器9发送关于图像处理部分140a已经从游戏缓冲器152a读取的游戏图像的流数据。如上所述，流数据包括游戏声音数据。第一发送处理部分168a以规定的格式压缩流数据，并将压缩的数据发送到分发服务器9。
[0075]
这里，图像处理部分140a仅读出临时存储在游戏缓冲器152a中的游戏图像数据，并将游戏图像数据提供给第一发送处理部分168a，因此，避免将临时存储在系统缓冲器154a中的系统图像数据与游戏图像数据组合。结果，要分发的图像数据不包括系统图像数据，从而可以单独分发游戏图像数据。
[0076]
第一发送处理部分168a根据通信部分102a和分发服务器9之间的连接状态的质量，决定要发送到分发服务器9的游戏图像数据的分辨率。即，如果连接状态差，则第一发送处理部分168a决定降低游戏图像数据的分辨率。应注意，执行部分110a以60fps(帧/秒)或30fps的帧率生成游戏图像数据，但是如果相对于分发服务器9的连接状态非常差，则第一发送处理部分168a可以降低帧率以及分辨率。
[0077]
在具有1080p分辨率的游戏图像数据临时存储在游戏缓冲器152a中的情况下，如果连接状态良好，则图像处理部分140a将具有1080p分辨率的游戏图像数据提供给第一发送处理部分168a。然而，如果连接状态不好，则图像处理部分140a需要降低游戏图像的分辨率。当难以发送具有1080p分辨率的游戏图像时，图像处理部分140a将分辨率降低到720p。当难以发送具有720p分辨率的游戏图像时，图像处理部分140a将分辨率降低到540p。当难以发送具有540p分辨率的游戏图像时，图像处理部分140a将分辨率降低到360p。
[0078]
第一发送处理部分168a确定通信部分102a和分发服务器9之间的连接状态的质量，并向图像处理部分140a给出转换成适合于该质量的游戏图像分辨率的请求。因此，图像处理部分140a以请求的分辨率重新配置游戏图像数据，并且第一发送处理部分168a将重新配置的游戏图像数据发送到分发服务器9。要注意的是，第一发送处理部分168a可以不断地监控连接状态，并且如果连接状态改变，则第一发送处理部分168a可以向图像处理部分140a给出关于适合于改变的分辨率的指令。
[0079]
图6描绘了分发服务器9的功能块。分发服务器9包括控制部分300和通信部分302。控制部分300包括图像获取部分310、转换部分312和分发部分314。分发部分314保存关于聊天室成员的信息，并且当接收到来自成员的观看请求时，将游戏图像分发到同一聊天室中的某个成员的信息处理设备10。
[0080]
在图6中，图示为用于执行各种处理的功能块的每个元件可以由硬件方面的电路块、存储器和任何其他lsi形成，并且可以由软件方面的系统软件或加载在存储器中的游戏程序实现。因此，本领域技术人员将理解，这些功能块可以以各种配置来实现，例如仅包括硬件的配置、仅包括软件的配置以及它们的组合。对功能块的实现没有特别的限制。
[0081]
图像获取部分310从信息处理设备10a获取通过流发送的图像数据。根据信息处理
设备10a和分发服务器9之间的连接状态来动态设置图像数据的分辨率。这里，假设从信息处理设备10以1080p/60fps的分辨率发送游戏图像数据。转换部分312将获取的图像数据转换代码为某些可转换分辨率的图像数据。具体地，转换部分312将获取的图像数据转码为分辨率低于原始图像数据的分辨率的图像数据。
[0082]
根据实施例的转换部分312具有将图像数据转换成720p、540p和360p分辨率的功能。转换部分312将图像获取部分310获取的图像数据的分辨率转换成较低的分辨率。因此，当图像获取部分310获取1080p的图像数据时，转换部分312将1080p的图像数据转换为720p的图像数据、540p的图像数据和360p的图像数据。
[0083]
注意，当图像获取部分310获取720p的图像数据时，转换部分312将720p的图像数据转换为540p的图像数据和360p的图像数据。当图像获取部分310获取540p的图像数据时，转换部分312将540p的图像数据转换为360p的图像数据。不管是否分发图像数据，转换部分312都执行该转换，并且等待来自同一聊天室中的其他成员的观看请求。
[0084]
图7示出了叠加在用户a的游戏图像上的系统图像200的示例。房间图像生成部分124a基于由状态信息获取部分164a获取的指示用户状态的信息来生成系统图像数据。与图5中显示系统图像200的情况相比，用户a自己在聊天室中开始屏幕共享。要注意的是，由于信息处理设备10a侧可以识别用户a已经开始屏幕共享，所以状态信息获取部分164a可以获取指示用户a的状态的信息作为共享处理部分160a中的内部信息。
[0085]
房间图像生成部分124a基于关于多个用户的状态的信息，生成成员显示区202，其中关于发送图像的用户的信息和关于不发送图像的用户的信息被包括在不同的区域中。在图7所示的示例中，在系统图像200中提供了显示关于发送图像的用户的信息的主机显示区域206和显示关于不发送图像的用户的信息的非主机显示区域208。如图7所示，主机显示区域206和非主机显示区域208被可区分地提供为不同的区域。因此，用户a可以容易地辨别哪个成员正在执行屏幕共享，哪个成员没有执行屏幕共享。优选地，主机显示区域206位于非主机显示区域208之上，使得用户a可以优先看到主机显示区域206中的信息，因为系统图像200的显示区域是有限的。
[0086]
观看成员显示区域212是显示正在观看用户a的屏幕共享下的游戏图像的房间成员的区域。在图7所示的情况下，没有成员正在观看用户a的游戏图像
[0087]
共享游戏开始按钮210是用于允许用户a开始作为第二共享模式或第三共享模式的共享游戏的操作元件。房间图像生成部分124a向系统图像200添加共享游戏开始按钮210，用于执行邀请房间成员参加正在进行的游戏和屏幕共享的操作。当用户a操作共享游戏开始按钮210时，显示用于邀请其他房间成员共享游戏的窗口，使得用户a可以选择要被邀请的房间成员。
[0088]
图8描绘了叠加在用户a的游戏图像上的系统图像200的示例。与图7中的系统图像200相比，指示用户d的信息被放置在主机显示区域206中。这表明用户d正在执行屏幕共享。由于在系统图像200中提供了显示关于发送图像的用户的信息的主机显示区域206和显示关于不发送图像的用户的信息的非主机显示区域208，所以用户a可以容易地辨别哪个成员正在执行屏幕共享以及哪个成员没有执行屏幕共享。
[0089]
图9描绘了在屏幕共享下接收游戏图像的信息处理设备10c的功能块。信息处理设备10c包括处理部分100c、通信部分102c和接收部分104c。处理部分100c包括执行部分
110c、系统图像生成部分120c、图像处理部分140c、帧缓冲器150c和共享处理部分160c。
[0090]
系统图像生成部分120c包括报告生成部分122c和房间图像生成部分124c。帧缓冲器150c包括临时存储游戏图像数据的游戏缓冲器152c和临时存储系统图像数据的系统缓冲器154c。共享处理部分160c包括状态信息发送部分162c、状态信息获取部分164c、请求发送部分180c、接受发送部分184c和图像获取部分186c。图像获取部分186c包括第一图像获取部分188c和第二图像获取部分190c。
[0091]
在图9中，图示为用于执行各种处理的功能块的每个元件可以由硬件方面的电路块、存储器和任何其他lsi形成，并且可以由软件方面的系统软件或加载在存储器中的游戏程序实现。因此，本领域技术人员将理解，这些功能块可以以各种配置来实现，例如仅包括硬件的配置、仅包括软件的配置以及它们的组合。对功能块的实现没有特别的限制。图9中的部分可以与图3中的部分相同，如果它们具有相同的名称的话。
[0092]
通信部分102c接收关于用户c在输入设备6的输入部分上执行的操作的操作信息。另外，通信部分102c从管理服务器5接收由聊天室中的其他房间成员制作的聊天数据，并且还接收指示其他房间成员的状态的信息。此外，通信部分102c从分发服务器9和/或另一信息处理设备10接收关于游戏图像的流数据。另外，通信部分102c向管理服务器5发送指示用户c的状态的信息。作为通信部分102c的功能块被示为具有图2中的无线通信模块38和有线通信模块40两者的功能的配置。
[0093]
接收部分104c设置在通信部分102c和处理部分100c之间，并且在通信部分102c和处理部分100c之间交换数据或信息。当经由通信部分102c接收到关于在输入设备6上执行的操作的操作信息时，接收部分104c将该操作信息提供给处理部分100c的指定功能块。
[0094]
执行部分110c执行游戏程序。这里，被示为执行部分110c的功能块由诸如系统软件或游戏软件的软件实现，或者由诸如gpu的硬件实现。通过执行游戏程序，执行部分110c生成游戏图像数据和游戏声音数据。应当注意，游戏是应用的一个示例，并且执行部分110c可以执行不是游戏的任何应用。
[0095]
在用户c玩游戏期间，执行部分110c执行游戏程序，并且基于用户c输入到输入设备6的操作信息，进行用于在虚拟空间中产生游戏角色的运动的计算。在接收到虚拟空间中的计算结果之后，gpu基于虚拟空间中的视点(虚拟相机)生成游戏图像数据。
[0096]
图10描绘了显示在用户c的输出设备4c上的游戏屏幕的一个示例。用户c正在玩游戏标题“格斗场”。执行部分110c生成游戏图像数据，并将游戏图像数据提供给图像处理部分140c。然后，图像处理部分140c将游戏图像数据临时存储在游戏缓冲器152c中，并从临时存储在帧缓冲器150c中的图像数据生成显示图像，并将显示图像提供给输出设备4c。因此，输出设备4c输出游戏图像。应当注意，实际上，输出设备4c还输出由执行部分110c生成的游戏声音，并且用户c操作输入设备6来玩游戏标题“格斗场”,同时观看游戏图像并收听从输出设备4c输出的游戏声音。
[0097]
在共享处理部分160c中，状态信息发送部分162c向管理服务器5发送指示用户c的状态的信息。指示状态的信息包括指示用户是否正在玩游戏的信息，并且进一步地，如果用户正在玩游戏，则包括指示游戏标题和麦克风的开/关状态的信息，以及关于图像共享的信息。关于图像共享的信息包括关于作为主机用户的用户c的信息和关于作为访客用户的用户c的信息。关于作为主机用户的用户c的信息包括指示用户c开始屏幕共享(第一共享模
式)的信息，以及指示向房间成员发送协助游戏(第二共享模式)或合作游戏(第三共享模式)的邀请的信息。关于作为访客用户的用户c的信息包括关于由另一房间成员分发的游戏图像的共享模式的信息。具体地，为了允许另一个房间成员观看由分发服务器9分发的图像，状态信息发送部分162c向管理服务器5发送指示要观看图像的信息。为了接受来自另一个房间成员的帮助游戏或合作游戏的邀请，状态信息发送部分162c向管理服务器5发送指示接受邀请的信息。
[0098]
这里，将说明当除用户c之外的房间成员开始屏幕共享时信息处理设备10c的操作。参考图5，当用户a操作共享开始按钮204时，信息处理设备10a的状态信息发送部分162a向管理服务器5和分发服务器9发送指示用户a开始屏幕共享(第一共享模式)的信息。此外，第一发送处理部分168a向分发服务器9发送关于图像处理部分140a已经从游戏缓冲器152a读取的游戏图像的流数据。在用户a开始屏幕共享之后，管理服务器5向作为聊天室中的其他房间成员的用户b、c和d的信息处理设备10b、10c和10d发送指示用户a已经开始屏幕共享的报告。
[0099]
图11描绘了在用户c的输出设备4c上显示的消息220的示例。报告生成部分122c基于从管理服务器5发送的报告生成包括消息220的系统图像数据，并将该系统图像数据提供给图像处理部分140c。图像处理部分140c将系统图像数据临时存储在系统缓冲器154c中，并且从临时存储在帧缓冲器150c中的图像数据生成显示图像，并且将显示图像提供给输出设备4c。具体地，图像处理部分140c通过将临时存储在游戏缓冲器152c中的游戏图像数据与临时存储在系统缓冲器154c中的系统图像数据组合来生成显示图像，并将显示图像提供给输出设备4c。因此，输出设备4c输出显示图像，其中系统图像叠加在游戏图像上。用户c看到消息220，并且认识到用户a已经开始屏幕共享。注意，报告生成部分122c可以执行声音输出，以通知用户c用户a已经开始屏幕共享。
[0100]
当用户c在显示消息220的同时按下输入设备6上的规定按钮时，请求发送部分180c向管理服务器5发送包括用于识别用户a的信息的观看请求。注意，请求发送部分180c可以向分发服务器9发送包括用于识别用户a的信息的观看请求。
[0101]
应当注意，例如，消息220仅显示五秒钟。在消息220消失之后，用户c可以显示系统图像，以向管理服务器5或分发服务器9发送观看由用户a分发的游戏图像的请求。当用户c短时间按下输入设备6上的规定按钮时，接收部分104c接收按钮操作，并将操作信息提供给系统图像生成部分120c。系统图像生成部分120c获取按钮操作信息作为系统图像显示请求，并调用状态信息获取部分164c。
[0102]
状态信息获取部分164c从管理服务器5获取指示用户状态的信息，并将该信息提供给系统图像生成部分120c。在系统图像生成部分120c中，房间图像生成部分124c生成指示用户c正在参与的聊天室的状态的系统图像数据，并将该系统图像数据提供给图像处理部分140c。图像处理部分140c将系统图像数据临时存储在系统缓冲器154c中，并从临时存储在帧缓冲器150c中的图像数据生成显示图像，并将显示图像提供给输出设备4c。具体地，图像处理部分140c通过将临时存储在游戏缓冲器152c中的游戏图像数据与临时存储在系统缓冲器154c中的系统图像数据组合来生成显示图像，并将显示图像提供给输出设备4c。因此，输出设备4c输出显示图像，其中系统图像叠加在游戏图像上。
[0103]
图12描绘了叠加在游戏图像上的系统图像200的示例。房间图像生成部分124c基
于由状态信息获取部分164c获取的指示用户状态的信息来生成系统图像数据。在系统图像200中提供指示用户已经参与的聊天室中的成员状态的成员显示区202。房间图像生成部分124c基于指示成员状态的信息，生成包括关于多个房间成员(用户)的信息的成员显示区202。在图12中，在成员显示区202中显示用户图标、用户名、正在进行的游戏的标题以及指示麦克风的开/关状态的信息。此外，指示共享游戏是否正在执行的信息等可以包括在成员显示区202中。
[0104]
房间图像生成部分124c基于关于多个用户的状态的信息，生成成员显示区202，其中关于发送图像的用户的信息和关于不发送图像的用户的信息被包括在不同的区域中。在图12的示例中，在系统图像200中提供了显示关于发送图像的用户的信息的主机显示区域206和显示关于不发送图像的用户的信息的非主机显示区域208。如图12所示，主机显示区域206和非主机显示区域208被可区分地提供为不同的区域。因此，用户c可以容易地辨别哪个成员正在执行屏幕共享，哪个成员没有执行屏幕共享。
[0105]
当用户c通过使用输入设备6选择用户a的显示区时，接收部分104c接收选择发送图像的用户的操作。然后，请求发送部分180c向管理服务器5发送包括用于识别所选用户的信息的观看请求。在接收到观看请求之后，管理服务器5将观看请求发送到分发服务器9，以便报告用户c希望观看用户a的游戏图像。应当注意，请求发送部分180c可以将观看请求直接发送到分发服务器9。
[0106]
第一图像获取部分188c根据通信部分102c和分发服务器9之间的连接状态的质量来决定要从分发服务器9接收的游戏图像数据的分辨率，并将要接收的图像的分辨率添加到观看请求中。即，如果连接状态差，则第一图像获取部分188c决定接收低分辨率游戏图像数据。在分发服务器9中，转换部分312以多种分辨率生成图像数据，并且分发部分314将具有适合于相对于信息处理设备10c的连接状态的分辨率的图像数据分发到信息处理设备10c。
[0107]
这里，假设已经从用户a的信息处理设备10a发送了具有1080p分辨率的游戏图像数据，并且转换部分312已经生成了具有720p分辨率的图像数据、具有540p分辨率的图像数据和具有360p分辨率的图像数据。当分发服务器9和信息处理设备10c之间的连接状态良好时，第一图像获取部分188c请求具有1080p分辨率的游戏图像数据，并且分发部分314将具有1080p分辨率的游戏图像数据分发到信息处理设备10c。然而，当连接状态不好时，分发部分314分发分辨率低于1080p的游戏图像数据。
[0108]
返回参考图9，第一图像获取部分188c从分发服务器9获取游戏图像数据。在信息处理设备10c中，确定用于在屏幕共享下显示游戏图像的格式。在该实施例中，准备了三种显示格式：(1)全屏显示，(2)画中画显示，以及(3)分屏显示。用户c预先确定任何一种显示格式。
[0109]
在从第一图像获取部分188c接收到图像数据之后，图像处理部分140c根据所确定的显示格式将图像数据临时存储在系统缓冲器154c中，根据临时存储在帧缓冲器150c中的图像数据生成显示图像，并将显示图像提供给输出设备4c。
[0110]
图13描绘了全屏显示格式的显示图像。在设置了全屏显示格式的情况下，图像处理部分140c在系统缓冲器154c中临时存储由第一图像获取部分188c获取的图像数据，根据临时存储的图像数据生成显示图像，并将显示图像提供给输出设备4c。因此，输出设备4c执
行由用户a分发的游戏图像的全屏显示
[0111]
图14描绘了画中画显示格式的显示示例。在设置了画中画显示格式的情况下，图像处理部分140c缩小由第一图像获取部分188c获取的图像数据并将缩小的图像数据临时存储在系统缓冲器154c中，并且通过将临时存储在游戏缓冲器152a中的用户c的游戏图像数据与临时存储在系统缓冲器154c中的用户a的游戏图像数据组合来生成显示图像，并且将该显示图像提供给输出设备4c。因此，输出设备4c输出显示图像，其中用户a分发的游戏图像的显示区域230叠加在用户c正在玩的游戏的图像上。应当注意，显示区域230的位置和大小可以由用户c以画中画显示格式自由设置。
[0112]
图15描绘了分屏显示格式中的显示示例。在设置了分屏显示格式的情况下，图像处理部分140c缩小由第一图像获取部分188c获取的图像数据，并将缩小的图像数据临时存储在系统缓冲器154c中，并且缩小由执行部分110c生成的游戏图像数据，并将游戏图像数据临时存储在游戏缓冲器152c中。图像处理部分140c通过将临时存储在游戏缓冲器152a中的用户c的游戏图像数据与临时存储在系统缓冲器154c中的用户a的游戏图像数据组合来生成显示图像，并将该显示图像提供给输出设备4c。在分屏显示中，输出设备4c的屏幕被分割，使得用户c正在玩的游戏的图像和用户a分发的游戏图像被并排显示。应当注意，在分屏显示中，显示区域232的大小可以由用户c自由设置
[0113]
在画中画显示或分屏显示中，图像处理部分140c在显示器的一部分上显示从分发服务器9分发的游戏图像。在显示器的一部分上显示分布式图像，使得用户c可以在播放标题“格斗场”的同时观看用户a的比赛的视频
[0114]
应注意，在画中画显示或分屏显示中，用户a的游戏图像的分辨率不需要很高，因为图像被缩小，然后显示在显示器的一部分上。为此，请求发送部分180c可以请求发送分辨率低于1080p的游戏图像数据。在这种情况下，分发服务器9的分发部分314以适合于信息处理设备10c中的显示模式的分辨率向信息处理设备10c分发图像数据。因此，可以有效地使用通信资源。
[0115]
返回参考图3，当用户a在玩游戏期间短时间按下输入设备6上的规定按钮时，接收部分104a接收按钮操作，并将操作信息提供给系统图像生成部分120a。系统图像生成部分120a获取按钮操作信息作为系统图像显示请求，并调用状态信息获取部分164a。
[0116]
状态信息获取部分164a从管理服务器5获取指示用户状态的信息，并将该信息提供给系统图像生成部分120a。房间图像生成部分124a生成指示用户a正在参与的聊天室的状态的系统图像数据，并将该系统图像数据提供给图像处理部分140a。图像处理部分140a将系统图像数据临时存储在系统缓冲器154a中，根据临时存储在帧缓冲器150a中的图像数据生成显示图像，并将显示图像提供给输出设备4a。
[0117]
图16描绘了叠加在用户a的游戏图像上的系统图像200的示例。与图8中描绘的系统图像200相比，指示用户c正在观看用户a的屏幕共享下的游戏图像的信息被显示在观看成员显示区域212中。用户a看到观看成员显示区域212，并且可以识别出有成员正在观看用户a已经分发的游戏图像。
[0118]
如上所述，共享游戏开始按钮210被提供用于允许用户a开始作为第二共享模式或第三共享模式的共享游戏，并且是用于执行邀请成员加入正在进行的游戏的操作的操作元件。当用户a操作共享游戏开始按钮210来选择与用户a执行共享游戏的成员时，邀请发送部
分172a向管理服务器5发送指示所选择的成员被邀请共享游戏的信息。管理服务器5向所选成员的信息处理设备10发送共享游戏的邀请。在该实施例中，用户a邀请用户c共享游戏。
[0119]
图17描绘了在用户c的输出设备4c上显示的消息222的示例。应当注意，图像处理部分140c在显示区域230中执行由用户a分发的游戏图像的画中画显示
[0120]
报告生成部分122c基于从管理服务器5发送的报告生成包括消息222的系统图像数据，并将该系统图像数据提供给图像处理部分140c。图像处理部分140c将系统图像数据临时存储在系统缓冲器154c中，根据游戏图像数据和临时存储在帧缓冲器150c中的系统图像数据生成显示图像，并将显示图像提供给输出设备4c。用户c看到消息222，并且认识到用户a已经邀请用户c共享游戏。注意，报告生成部分122c可以执行语音输出，以通知用户c用户a已经邀请用户c共享游戏。
[0121]
当用户c在显示消息222的同时按下输入设备6上的规定按钮时，接受发送部分184c向管理服务器5发送用于识别用户c的信息，以及指示接受邀请的信息。
[0122]
应当注意，例如，消息222仅显示五秒钟。在消息222消失之后，用户c可以显示系统图像以接受用户a发送的邀请。当用户c短时间按下输入设备6上的指定按钮时，接收部分104c接收按钮操作，并将操作信息提供给系统图像生成部分120c。系统图像生成部分120c获取按钮操作信息作为系统图像显示请求，并调用状态信息获取部分164c。
[0123]
状态信息获取部分164c从管理服务器5获取指示用户状态的信息，并将该信息提供给系统图像生成部分120c。在系统图像生成部分120c中，房间图像生成部分124c生成指示用户c正在参与的聊天室的状态的系统图像数据，并将该系统图像数据提供给图像处理部分140c。图像处理部分140c将系统图像数据临时存储在系统缓冲器154c中，根据临时存储在帧缓冲器150c中的游戏图像数据和系统图像数据生成显示图像，并将显示图像提供给输出设备4c。
[0124]
图18示出了叠加在用户c的游戏图像上的系统图像200的示例。与图12中的系统图像200相比，由于用户c已经被邀请参与共享游戏，所以指示用户a已经邀请用户c参与共享游戏的信息被显示在共享游戏主机显示区域216中。用户c看到共享游戏主机显示区域216，并且识别出用户a已经邀请用户c参与共享游戏。
[0125]
共享游戏参与按钮214被提供用于允许用户c加入共享游戏，并且是用户c执行接受由用户a发送的邀请的操作的操作元件。当用户c操作共享游戏参与按钮214时，接受发送部分184c向管理服务器5发送指示接受由用户a发送的游戏邀请的信息。管理服务器5向用户a的信息处理设备10a给出指示用户c已经接受邀请的报告
[0126]
返回参考图3，当接收部分104a接收到指示用户c已经接受邀请的信息时，连接处理部分174a执行用于建立与用户c的信息处理设备10c的p2p连接的处理。在建立p2p连接之后，第二发送处理部分170a向p2p连接的信息处理设备10c发送关于图像处理部分140a已经从游戏缓冲器152a读取的游戏图像的流数据。也就是说，第二发送处理部分170a将用于游戏的游戏图像发送到已经接受邀请的用户c的信息处理设备10c，而不是经由分发服务器9。要发送的流数据可以与发送到分发服务器9的流数据相同。要注意，如果通信部分102a和分发服务器9之间的连接状态不同于通信部分102a和信息处理设备10c之间的连接状态，则可以以适合于连接状态的相应分辨率发送流数据。
[0127]
图19描绘了在用户c的输出设备4c上显示的系统图像的示例。在图18中的系统图
像200中，当用户c操作共享游戏参与按钮214时，在后台执行用于在信息处理设备10c和信息处理设备10a之间建立p2p连接的处理。因此，系统图像生成部分120c生成诸如图19所示的系统图像，使得用户c认识到连接已经建立，直到游戏开始。
[0128]
应注意，图像处理部分140c在显示区域230中连续显示从分发服务器9获取的游戏图像，直到游戏准备好。结果，当等待游戏开始时，用户c可以观看用户a的游戏。要注意的是，表述“直到游戏准备好”意味着从p2p连接完成到从第二发送处理部分170a发送关于游戏图像的流数据的时间段。
[0129]
应注意，同样在分发图像不是以画中画显示格式而是以分屏显示显示的情况下，图像处理部分140c可以在显示区域232中连续显示从分发服务器9获取的游戏图像，直到游戏准备好。在分发的图像显示在显示器的一部分上的同时用户c操作共享-游戏参与按钮214的情况下，图像处理部分140c以这种方式连续显示分发的图像，使得用户c即使在等待建立连接时也可以观看由用户a分发的图像。
[0130]
在p2p连接建立之后，第二发送处理部分170a将用于游戏的游戏图像发送到已经接受邀请的用户c的信息处理设备10c。在信息处理设备10c中，第二图像获取部分190c不经由分发服务器9从信息处理设备10a获取用于游戏的游戏图像。
[0131]
图20描绘了用户c正在玩的游戏的图像。因为消息224叠加在游戏图像上，所以用户c认识到共享游戏开始了。图像处理部分140c在系统缓冲器154c中临时存储由第二图像获取部分190c获取的图像数据，根据临时存储的图像数据生成显示图像，并将显示图像提供给输出设备4c。因此，输出设备4c显示由用户a分发的游戏图像。用户c在观看所显示的游戏图像的同时执行共享游戏。到目前为止，已经基于实施例解释了本公开。这个实施例是说明性的。本领域技术人员将理解，可以对组成元件的组合或过程的组合进行许多修改，并且这些修改也包括在本公开的范围内。
[0132]
[工业适用性]
[0133]
本公开适用于在多个用户之间共享图像的技术。
[0134]
[参考符号列表]
[0135]
1：图像共享系统
[0136]
4：输出设备
[0137]
5：管理服务器
[0138]
6：输入设备
[0139]
9：分发服务器
[0140]
10a、10b、10c、10d：信息处理设备
[0141]
20：主电源按钮
[0142]
100a、100c：处理部分
[0143]
102a、102c：通信部分
[0144]
104a、104c：接收部分
[0145]
110a、110c：执行部分
[0146]
120a、120c：系统图像生成部分
[0147]
122a、122c：报告生成部分
[0148]
124a、124c：房间图像生成部分
[0149]
140a、140c：图像处理部分
[0150]
150a、150c：帧缓冲器
[0151]
152a、152c：游戏缓冲器
[0152]
154a、154c：系统缓冲区
[0153]
160a、160c：共享处理部分
[0154]
162a、162c：状态信息发送部分
[0155]
164a、164c：状态信息获取部分
[0156]
166a：发送处理部分
[0157]
168a：第一发送处理部分
[0158]
170a：第二发送处理部分
[0159]
172a：邀请发送部分
[0160]
174a：连接处理部分
[0161]
180c：请求发送部分
[0162]
182c：邀请接收部分
[0163]
184c：接受发送部分
[0164]
186c：图像采集部分
[0165]
188c：第一图像获取部分
[0166]
190c：第二图像获取部分
[0167]
300：控制部分
[0168]
302：通信部分
[0169]
310：图像采集部分
[0170]
312：转换部分
[0171]
314：分发部分