图像发送/接收系统、图像发送装置、图像接收装置、图像发送/接收方法和程序与流程

1.本发明涉及图像发送/接收系统、图像发送装置、图像接收装置、图像发送/接收方法和程序。


背景技术：

2.在近年来备受关注的云游戏服务技术中，当玩视频游戏的用户操作能够与配置为运行视频游戏程序的云服务器通信的终端时，基于该操作的操作信号从终端发送到云服务器。然后，云服务器执行包括基于操作信号的处理的视频游戏处理，从而生成描绘视频游戏中的情况的玩打图像。然后，云服务器将基于玩打图像的图像数据发送到终端，终端显示基于图像数据生成的图像。重复执行这一系列处理阶段，以便在终端上显示描绘视频游戏中的情况的运动图像。


技术实现要素：

3.技术问题
4.随着从云服务器到终端的图像数据发送的频率增加，可以在终端上显示更高的帧速率和更平滑的运动图像，但是云服务器和终端之间的通信量增加。
5.这里，为了减少通信量，同时防止显示的运动图像的平滑度下降，可以设想降低图像数据的发送频率，并且对于未发送的图像数据，通过在终端中基于所讨论的图像数据估计要生成的图像来生成图像。
6.然而，例如，在玩打图像之间存在突然场景切换的情况下，或者在生成的玩打图像包括过去未出现的对象的情况下，终端难以基于未发送的图像数据估计要生成的图像。在这种情况下，存在显示与应该要显示的图像不同的虚假运动图像的风险。请注意，这不仅适用于云游戏服务，也适用于基于图像的一般数据发送。
7.本发明是鉴于上述情况而作出的，其目的是提供一种图像发送/接收系统、图像发送装置、图像接收装置、图像发送/接收方法和程序，其实现图像数据通信量的减少，同时降低显示与应该显示的图像不同的错误运动图像的风险。
8.问题的解决方案
9.为了解决上述问题，根据本发明，提供了一种包括图像发送装置和图像接收装置的图像发送/接收系统。图像发送装置包括图像生成单元，其被配置为生成第一图像并在生成第一图像之后生成第二图像；图像数据发送单元，其被配置为发送基于第一图像生成的第一图像数据；以及发送控制单元，其被配置为控制是否发送基于第二图像生成的第二图像数据。图像接收装置包括图像数据接收单元，其被配置为接收第一图像数据；待显示图像生成单元，其被配置为基于第一图像数据生成第一待显示图像；替代图像生成单元，其被配置为，通过基于第一图像数据，估计由待显示图像生成单元基于第二图像数据生成的第二待显示图像，来生成替代图像；以及显示控制单元，其被配置为，在显示第一待显示图像之
后，取决于第二图像数据的接收是否成功，显示基于第二图像数据和替代图像生成的第二待显示图像中的任何一个。发送控制单元基于替代图像生成单元基于第一图像数据成功估计第二待显示图像的可能性来控制是否发送第二图像数据。
10.在本发明的一个方面中，发送控制单元基于替代图像生成单元基于第一图像数据成功估计第二待显示图像的可能性来控制是否发送第二图像数据，该可能性是基于第一图像的特征量和第二图像的特征量确定的。
11.在该方面，发送控制单元可以基于替代图像生成单元基于第一图像数据成功估计第二待显示图像的可能性来控制是否发送第二图像数据，该可能性是基于包括第一图像的特征量和第二图像的特征量的特征量的时间顺序确定的。
12.此外，在本发明的一个方面中，发送控制单元基于替代图像生成单元基于第一图像数据成功估计第二待显示图像的可能性来控制是否发送指示缩小图像的第二图像数据，该可能性是基于包括用于编码通过缩小第二图像而获得的缩小图像的参数的特征量确定的。
13.可替代地，图像数据发送单元发送指示通过缩小第一图像获得的第一缩小图像的第一图像数据，以及发送控制单元基于替代图像生成单元基于第一图像数据成功估计第二待显示图像的可能性来控制是否发送指示第二缩小图像的第二图像数据，该可能性是基于包括用于编码第一缩小图像的参数的特征量和包括用于编码通过缩小第二图像获得的第二缩小图像的参数的特征量确定的。
14.这里，特征量可以指示指示图像的特征点、图像的边缘强度、包括在图像中的像素的深度、图像的纹理类型、图像中的光流以及图像中矩形区域的移动方向和速度的多条信息中的至少任何一个。
15.此外，发送控制单元可以执行将指示特征量的特征量数据发送到图像接收装置优先于发送指示图像的图像数据的控制。
16.此外，在本发明的一个方面中，发送控制单元基于第二图像是否包括关键帧来控制是否发送第二图像数据。
17.此外，在本发明的一个方面中，发送控制单元基于第二图像中的场景是否从第一图像中的场景切换来控制是否发送第二图像数据。
18.此外，在本发明的一个方面中，发送控制单元基于第二图像是否包括没有出现在第一图像中的对象的图像来控制是否发送第二图像数据。
19.此外，在本发明的一个方面中，在检查第二图像数据的接收是否成功之前，替代图像生成单元基于第一图像数据开始生成替代图像。
20.此外，在本发明的一个方面中，在图像发送装置的发送速度高于预定速度的情况下，发送控制单元执行发送第二图像数据的控制，而不管替代图像生成单元基于第一图像数据成功估计第二待显示图像的可能性。
21.此外，根据本发明，提供了一种图像发送装置，包括：图像生成单元，其被配置为生成第一图像并在生成第一图像之后生成第二图像；图像数据发送单元，其被配置为将基于第一图像生成的第一图像数据发送到图像接收装置，该图像接收装置包括图像数据接收单元，其被配置为接收第一图像数据；待显示图像生成单元，其被配置为基于第一图像数据生成第一待显示图像；替代图像生成单元，其被配置为，通过基于第一图像数据，估计由待显
示图像生成单元基于第二图像生成的第二待显示图像，来生成替代图像；以及显示控制单元，其被配置为，在显示第一待显示图像之后，取决于第二图像数据的接收是否成功，显示基于第二图像数据和替代图像生成的第二待显示图像中的任何一个；以及发送控制单元，其被配置为基于替代图像生成单元基于第一图像数据成功估计第二待显示图像的可能性来控制是否将基于第二图像生成的第二图像数据发送到图像接收装置。
22.此外，根据本发明，提供了一种图像接收装置，包括图像数据接收单元，其被配置为从图像发送装置接收第一图像数据；待显示图像生成单元，其被配置为基于第一图像数据生成第一待显示图像；替代图像生成单元，其被配置为，通过基于第一图像数据，估计由待显示图像生成单元基于第二图像数据生成的第二待显示图像，来生成替代图像；以及显示控制单元，其被配置为，在显示第一待显示图像之后，取决于第二图像数据的接收是否成功、基于替代图像生成单元基于第一图像数据成功估计第二待显示图像的可能性是否发送由图像发送装置控制的第二图像数据，显示基于第二图像数据和替代图像生成的第二待显示图像中的任何一个。
23.此外，根据本发明，提供了一种图像发送/接收方法，包括：通过图像发送装置的第一图像生成步骤，生成第一图像；通过图像发送装置的第二图像生成步骤，在生成第一图像之后生成第二图像；通过图像发送装置的图像数据发送步骤，发送基于第一图像生成的第一图像数据；通过图像发送装置的发送控制步骤，控制是否发送基于第二图像生成的第二图像数据；通过图像接收装置的图像数据接收步骤，接收第一图像数据；通过图像接收装置的待显示图像生成步骤，基于第一图像数据生成第一待显示图像；通过图像接收装置的替代图像生成步骤，通过基于第一图像数据，估计在待显示图像生成步骤中基于第二图像数据生成的第二待显示图像，来生成替代图像；以及通过图像接收装置的显示控制步骤，在显示第一待显示图像之后，取决于第二图像数据的接收是否成功，显示基于第二图像数据和替代图像生成的第二待显示图像中的任何一个。在发送控制步骤中，图像发送装置基于在替代图像生成步骤中基于第一图像数据成功估计第二待显示图像的可能性来控制是否发送第二图像数据。
24.此外，根据本发明，提供了一种程序用于使得计算机执行：第一图像生成过程，生成第一图像；第二图像生成过程，在生成第一图像之后生成第二图像；图像数据发送过程，将基于第一图像生成的第一图像数据发送到图像接收装置，该图像接收装置包括图像数据接收单元，其被配置为接收第一图像数据；待显示图像生成单元，其被配置为基于第一图像数据生成第一待显示图像；替代图像生成单元，其被配置为，通过基于第一图像数据，估计由待显示图像生成单元基于第二图像生成的第二待显示图像，来生成替代图像；以及显示控制单元，其被配置为，在显示第一待显示图像之后，取决于第二图像数据的接收是否成功，显示基于第二图像数据和替代图像生成的第二待显示图像中的任何一个；以及发送控制过程，基于替代图像生成单元基于第一图像数据成功估计第二待显示图像的可能性来控制是否将基于第二图像生成的第二图像数据发送到图像接收装置。
25.此外，根据本发明，提供了另一程序用于使得计算机执行：图像数据接收过程，从图像发送装置接收第一图像数据；待显示图像生成过程，基于第一图像数据生成第一待显示图像；替代图像生成过程，通过基于第一图像数据，估计由待显示图像生成单元基于第二图像数据生成的第二待显示图像，来生成替代图像；以及显示控制过程，在显示第一待显示
图像之后，取决于第二图像数据的接收是否成功、基于在替代图像生成过程中基于第一图像数据成功估计第二待显示图像的可能性是否发送由图像发送装置控制的第二图像数据，显示基于第二图像数据和替代图像生成的第二待显示图像中的任何一个。
附图说明
26.图1是示出了根据本发明实施例的云游戏系统的示例性整体配置的图。
27.图2是示出了根据本发明实施例的在云游戏系统中实施的示例性功能的功能框图。
28.图3是示出了根据本发明实施例的在云服务器中执行的示例性处理流程的流程图。
29.图4是示意性地示出了示例性成功估计可能性确定模型的图。
30.图5是示意性地示出了图4所示的成功估计可能性确定模型的示例性学习的图。
31.图6是示出了根据本发明实施例在终端中执行的示例性处理流程的流程图。
32.图7是示意性地示出了示例性放大模型的图。
33.图8是示意性地示出了图7所示的放大模型的示例性学习的图。
34.图9是示意性地示出了示例性替代图像生成模型的图。
35.图10是示意性地示出了图9所示的替代图像生成模型的示例性学习的图。
36.图11是示意性地示出了示例性替代图像更新模型的图。
37.图12是示意性地示出了图11所示的替代图像更新模型的示例性学习的图。
38.图13是示出了根据本发明实施例在终端中执行的另一示例性处理流程的流程图。
39.图14是示意性地示出了另一示例性放大模型的图。
40.图15是示意性地示出了图14所示的放大模型的示例性学习的图。
41.图16是示意性地示出了另一示例性替代图像生成模型的图。
42.图17是示意性地示出了图16所示的替代图像生成模型的示例性学习的图。
43.图18是示意性地示出了示例性特征量数据更新模型的图。
44.图19是示意性地示出了图18所示的特征量数据更新模型的示例性学习的图。
45.图20是示意性地示出了另一示例性替代图像更新模型的图。
46.图21是示意性地示出了图20所示的替代图像更新模型的示例性学习的图。
具体实施方式
47.图1是示出了根据本发明实施例的云游戏系统1的示例性整体配置的图。如图1所示，根据本实施例的云游戏系统1包括云服务器10和终端12，其各自主要包括计算机。云服务器10和终端12连接到诸如因特网的计算机网络14，使得云服务器10和终端12可以彼此通信。
48.根据本实施例的云服务器10例如是被配置为执行基于云游戏服务的视频游戏程序的服务器计算机。云服务器10向玩视频游戏的用户使用的终端12传送描绘视频游戏中的情况的运动图像。
49.如图1所示，云服务器10包括例如处理器10a、存储单元10b、通信单元10c和编码/解码单元10d。
50.处理器10a例如是诸如中央处理单元(cpu)的程序控制设备，并且根据存储单元10b中存储的程序执行各种类型的信息处理。根据本实施例的处理器10a还包括图形处理单元(gpu)，其被配置为基于从cpu提供的图形命令或数据在帧缓冲器中绘制图像。
51.存储单元10b例如是诸如只读存储器(rom)或随机存取存储器(ram)或硬盘驱动器的存储元件。存储单元10b存储例如由处理器10a执行的程序。此外，根据本实施例的存储单元10b具有包括在处理器10a中的gpu在其中绘制图像的帧缓冲区。
52.通信单元10c例如是用于经由计算机网络14向/从诸如终端12的计算机发送/接收数据的通信接口。
53.编码/解码单元10d包括例如被配置为编码图像以生成图像数据的编码器和被配置为解码图像数据以生成图像的解码器。
54.根据本实施例的终端12例如是由使用云游戏服务的用户使用的计算机，例如视频游戏控制台、个人计算机、平板设备或智能手机。
55.如图1所示，终端12包括例如处理器12a、存储单元12b、通信单元12c、编码/解码单元12d、操作单元12e和显示单元12f。
56.处理器12a例如是诸如cpu的程序控制设备，并且根据存储单元12b中存储的程序执行各种类型的信息处理。根据本实施例的处理器12a还包括被配置为基于从cpu提供的图形命令或数据在帧缓冲器中绘制图像的gpu。
57.存储单元12b例如是诸如rom或ram或硬盘驱动器的存储元件。存储单元12b存储例如由处理器12a执行的程序。此外，根据本实施例的存储单元12b具有包括在处理器12a中的gpu在其中绘制图像的帧缓冲区。
58.通信单元12c例如是用于经由计算机网络14向/从诸如云服务器10的计算机发送/接收数据的通信接口。
59.编码/解码单元12d包括例如编码器和解码器。编码器对输入图像进行编码以生成指示图像的图像数据。此外，解码器解码输入图像数据以输出由图像数据指示的图像。
60.操作单元12e例如是对处理器12a进行操作输入的操作部件。
61.显示单元12f例如是诸如液晶显示器或有机电致发光(el)显示器的显示设备。
62.当通过操作单元12e执行与视频游戏相关的操作时，根据本实施例的终端12向云服务器10发送指示该操作的操作信号。然后，云服务器10根据操作信号执行视频游戏处理。然后，生成描述受操作信号影响的视频游戏中的情况的玩打图像。在本实施例中，以预定帧速率(例如，60fps)执行视频游戏处理和玩打图像生成。注意，在本实施例中，视频游戏处理和玩打图像生成可以以可变帧速率执行。
63.这里，在本实施例中，不是指示玩打图像的图像数据，而是指示通过缩小玩打图像而获得的图像的图像数据被从云服务器10发送到终端12。在下文中，将缩小前的玩打图像称为“原始图像”，将缩小原始图像得到的图像称为“缩小图像”。这里，原始图像可以是4k图像，缩小后的图像可以是2k图像。
64.然后，终端12基于从云服务器10接收到的图像数据，以高于上述缩小图像的分辨率生成图像。在下文中，以比缩小图像更高的分辨率的这种方式生成的图像被称为“放大图像”然后，在终端12的显示单元12f上显示放大的图像。重复执行该系列处理阶段，以便在终端12上显示包括该系列放大图像的运动图像。
65.随着从云服务器10到终端12的图像数据发送的频率增加，可以在终端12上显示更高的帧速率和更平滑的运动图像，但是云服务器10和终端12之间的通信量增加。
66.这里，为了减少通信量，同时防止显示的运动图像的平滑度下降，可以设想降低图像数据的发送频率，并且对于未发送的图像数据，通过在终端12中基于所讨论的图像数据估计要生成的图像(以下称为“替代图像”)来生成图像。
67.然而，例如，在玩打图像之间存在突然场景切换的情况下，或者在生成的玩打图像包括过去未出现的对象的情况下，终端12难以基于未发送的图像数据估计要生成的图像。在这种情况下，存在显示与应该要显示的图像不同的虚假运动图像的风险。
68.因此，在本实施例中，如下所述，基于终端12成功地估计要生成的上述图像的可能性来控制图像数据的发送，从而可以减少图像数据通信量，同时减少显示与应该显示的图像不同的虚假运动图像的风险。
69.现在，主要在图像数据发送控制处理方面进一步描述根据本实施例的云游戏系统1的功能和在云游戏系统1中执行的处理。
70.图2是示出了在根据本实施例的云游戏系统1中实施的示例性功能的功能框图。注意，在根据本实施例的云游戏系统1中，不一定实施图2中所示的所有功能，并且可以实施图2中所示功能以外的功能(例如，基于操作信号的视频游戏处理功能等)。
71.如图2所示，根据本实施例的云服务器10在功能上包括，例如，原始图像生成单元20、缩小单元22、编码处理单元24、特征量数据生成单元26、特征量数据存储单元28、发送控制单元30以及数据发送单元32。
72.原始图像生成单元20、缩小单元22和发送控制单元30主要由处理器10a实施。编码处理单元24主要由编码/解码单元10d实施。特征量数据生成单元26主要由处理器10a和存储单元10b实施。特征量数据存储单元28主要由存储单元10b实施。数据发送单元32主要由通信单元10c实施。本实施例的云服务器10起到被配置为发送图像数据的图像发送装置的作用。
73.上述功能由执行包括与上述功能相对应的指令的程序的处理器10a来实施，该程序已安装在作为计算机的云服务器10上。程序通过计算机可读信息存储介质(例如光盘、磁盘、磁带、磁光盘或闪存)或经由例如互联网提供给云服务器10。
74.此外，如图2中所示，根据本实施例的终端12在功能上包括例如数据接收单元40、解码处理单元42、放大单元44、图像存储单元46、替代图像生成单元48和显示控制单元50。数据接收单元40主要由通信单元12c实施。解码处理单元42主要由编码/解码单元12d实施。放大单元44和替代图像生成单元48主要由处理器12a和存储单元12b实施。图像存储单元46主要由存储单元12b实施。显示控制单元50主要由处理器12a和显示单元12f实施。本实施例的终端12起到被配置为接收图像数据的图像接收装置的作用。
75.上述功能由执行包括与上述功能相对应的指令的程序的处理器12a来实施，该程序已安装在作为计算机的终端12上。程序通过计算机可读信息存储介质(例如光盘、磁盘、磁带、磁光盘或闪存)或经由例如互联网提供给终端12。
76.本实施例的原始图像生成单元20生成例如上述原始图像。如上所述，原始图像例如是描述视频游戏中的情况的玩打图像。
77.本实施例的缩小单元22例如通过缩小由原始图像生成单元20生成的原始图像来
生成缩小图像。
78.本实施例的编码处理单元24生成例如指示通过缩小原始图像而获得的缩小图像的图像数据。例如，编码处理单元24对由缩小单元22生成的缩小图像进行编码，以生成指示缩小图像的图像数据。这里，在缩小图像的编码中，可以压缩缩小图像，从而可以生成小于缩小图像的图像数据。用于缩小图像编码的编码方法的示例包括mpeg
‑
4高级视频编解码(avc)/h.264/和高效视频编解码(hevc)/h265。
79.本实施例的特征量数据生成单元26生成例如特征量数据，该特征量数据指示由原始图像生成单元20生成的原始图像的特征量和与用于缩小图像编码的参数相对应的特征量中的至少一个。特征量数据是仅从指示缩小图像的图像数据中无法识别的数据。
80.然后，本实施例的特征量数据生成单元26例如将生成的特征量数据存储在特征量数据存储单元28中。这里，例如，特征量数据可以与指示已经生成特征量数据的定时的时间戳、指示特征量数据在生成顺序中的位置的信息等相关联地存储在特征量数据存储单元28中。这样，在本实施例中，对于存储在特征量数据存储单元28中的多条特征量数据中的每一条，特征量数据已经生成的定时和特征量数据在生成顺序中的位置是可识别的。
81.这里，上述特征量可指示指示原始图像的特征点或边缘强度、包括在原始图像中的每个像素的深度、原始图像的纹理类型或光流以及图像中矩形区域的移动方向和速度的多条信息中的至少一个。例如，特征量数据生成单元26可以提取原始图像的特征量，以生成指示提取的特征量的特征量数据。特征量数据可以包括例如指示原始图像的纹理类型的数据(例如，指示边缘区域、平坦区域、高密度区域、细节区域和人群区域的位置的数据)。此外，特征量数据可以包括指示harris角特征点的位置或原始图像的边缘强度的数据。此外，特征量数据可以包括指示原始图像中的光流的数据。此外，特征量数据可以包括指示原始图像中包括的每个像素的深度的深度数据。
82.此外，特征量数据生成单元26可以对原始图像执行对象识别处理。此外，特征量数据可以包括指示原始图像的特征量的数据，包括指示由对象识别处理识别的原始图像中的对象的数据。
83.此外，特征量数据生成单元26可以生成指示与编码处理单元24用于编码的参数相对应的特征量的特征量数据。特征量数据可以包括例如指示图像中矩形区域的移动方向和速度的运动估计(me)信息数据。此外，特征量数据可以包括关于以cu单位大小为单位的cu单位分配信息的数据，该cu单位分配信息指示cu单位大小的cu单位已经被分配到的位置。此外，特征量数据可以包括指示感兴趣区域(roi)的数据，感兴趣区域(roi)是已经被分配高比特率以实现更高图像质量的区域。此外，特征量数据可以包括指示量化参数值的数据。此外，特征量数据可以包括指示是否存在场景切换的数据或者指示帧是否是关键帧(i帧)的数据。
84.此外，例如，特征量数据生成单元26可以生成指示原始图像的特征量和与编码处理单元24用于编码的参数相对应的特征量的特征量数据。此外，例如，特征量数据生成单元26可以生成特征量数据，该特征量数据包括基于指示原始图像的特征量的数据和指示与编码处理单元24用于编码的参数相对应的特征量的数据而生成的数据。例如，特征量数据生成单元26可以基于指示原始图像的特征量的数据和指示与编码处理单元24用于编码的参数相对应的特征量的数据来决定是否执行超分辨率处理。然后，特征量数据生成单元26可
以生成包括指示是否执行超分辨率处理的数据的特征量数据。
85.本实施例的特征量数据存储单元28存储例如由特征量数据生成单元26生成的特征量数据。
86.本实施例的发送控制单元30控制例如是否将由编码处理单元24生成的图像数据发送到终端12。这里，例如，发送控制单元30控制数据发送单元32以控制是否向终端12发送图像数据。
87.本实施例的数据发送单元32例如向终端12发送由编码处理单元24生成的图像数据。在本实施例中，数据发送单元32根据发送控制单元30的控制向终端12发送或不发送图像数据。这里，数据发送单元32可以丢弃不发送到终端12的图像数据。
88.本实施例的数据接收单元40接收例如从云服务器10发送的上述图像数据。
89.在本实施例中，重复执行数据发送单元32的图像数据发送和数据接收单元40进行的图像数据接收。
90.本实施例的解码处理单元42对例如由数据接收单元40接收的图像数据进行解码以生成图像。在下文中，以这种方式生成的图像被称为“解码图像”在本实施例中，解码图像是与缩小图像(例如，2k图像)具有相同分辨率的图像。在缩小图像以不可逆转的方式编码的情况下，解码图像通常与缩小图像不同。
91.本实施例的放大单元44例如基于由数据接收单元40接收的图像数据生成显示在显示单元12f上的待显示图像。这里，例如，作为待显示图像，生成比由缩小单元22生成的缩小图像具有更高分辨率的放大图像。放大图像可以是与原始图像具有相同分辨率的图像(例如，4k图像)。在本实施例中，在基于原始图像的图像数据的基础上，生成与原始图像相同或相似的待显示图像。稍后描述放大图像生成处理的细节。
92.本实施例的图像存储单元46存储例如在终端12中生成的图像。这里，图像存储单元46可以存储由放大单元44生成的放大图像。此外，图像存储单元46可以存储由替代图像生成单元48生成的替代图像，如下所述。
93.本实施例的替代图像生成单元48例如基于在第一定时接收的第一图像数据生成与预定在第一定时之后的第二定时接收的第二图像数据相对应的替代图像。例如，假设原始图像生成单元20生成第一原始图像，并且在生成第一原始图像之后生成第二原始图像。然后，基于第一原始图像生成第一图像数据，并且基于第二原始图像生成第二图像数据。在这种情况下，替代图像生成单元48可以基于第一图像数据，通过基于第二图像数据估计将由放大单元44生成的放大图像来生成替代图像。此外，替代图像生成单元48可以通过基于第一图像数据估计第二原始图像来生成替代图像。
94.这里，例如，本实施例的替代图像生成单元48可以在检查是否已经成功接收第二图像数据之前，基于第一图像数据开始生成对应于第二图像数据的替代图像。这里，例如，基于接收到的第一图像数据，可以生成与预定在第一图像数据之后接收的第二图像数据对应的替代图像。替代图像可以是比缩小图像具有更高分辨率的图像(例如，与放大图像具有相同分辨率的图像(例如，4k图像))。稍后描述替代图像生成处理的细节。
95.本实施例的显示控制单元50显示例如基于第一图像数据生成的第一待显示图像。之后，本实施例的显示控制单元50例如根据是否已经成功接收第二图像数据，显示基于第二图像数据生成的第二待显示图像和基于第一图像数据的替代图像中的任何一个。这里，
例如，显示控制单元50可以根据是否已经成功接收第二图像数据，显示基于第二图像数据生成的第二待显示图像和基于上述第一图像数据生成的替代图像中的任何一个。这里，例如，显示控制单元50使终端12的显示单元12f显示放大图像和替代图像中的任何一个。
96.这里，参考图3的流程图描述在根据本实施例的云服务器10中执行的图像数据生成和发送处理的示例性流程。以预定帧速率(例如，60fps)重复执行图3所示的s101至s108中的处理。注意，可以以可变帧速率重复执行s101到s108中的处理。
97.首先，原始图像生成单元20生成帧中的原始图像(s101)。这里，如上所述，可以生成描绘受从终端12接收的操作信号影响的视频游戏中的情况的帧中的原始图像。
98.然后，缩小单元22对在s101的处理中生成的原始图像执行缩小处理，以生成缩小图像(s102)。
99.然后，编码处理单元24对在s102的处理中生成的缩小图像执行编码处理，以生成图像数据(s103)。
100.然后，特征量数据生成单元26生成特征量数据(s104)。例如，在s104的处理中，特征量数据生成单元26可以生成指示在s101的处理中生成的原始图像的特征量的特征量数据。这里，例如，可以生成指示从在s101的处理中生成的原始图像中提取的特征量的特征量数据。此外，例如，特征量数据生成单元26可以生成指示与在s103中用于编码的参数相对应的特征量的特征量数据。此外，例如，特征量数据生成单元26可以生成特征量数据，该特征量数据指示从在s101的处理中生成的原始图像中提取的特征量和与在s103中用于编码的参数对应的特征量二者。
101.然后，特征量数据生成单元26将在s104的处理中生成的特征量数据存储在特征量数据存储单元28中(s105)。
102.然后，发送控制单元30确定替代图像生成单元48基于在紧接前一帧中发送的图像数据成功地估计该帧中的放大图像的可能性(s106)。这里，可以标识指示可能性的评估值。例如，在成功可能性高的情况下可以标识评估值“1”，在成功可能性低的情况下可以标识评估值“0”。
103.在确定图像之间存在突然场景切换或者生成的图像包括过去没有出现过的对象的图像的情况下，发送控制单元30可以标识评估值“0”，否则可以识别评估值“1”。这里，例如，发送控制单元30可以基于与帧中用于缩小图像编码的参数相对应的特征量来确定上述可能性，该特征量由在s104的处理中生成的特征量数据指示。例如，在帧中的特征量数据包括指示是否存在场景切换的数据或指示帧是关键帧(i帧)的数据的情况下，可以标识评估值“0”，否则可以标识评估值“1”。此外，例如，在编码处理中生成的图像数据的大小大于预定大小的情况下，可以标识评估值“0”，否则可以标识评估值“1”。
104.此外，发送控制单元30可以基于例如作为紧接前一帧中的特征量数据的第一特征量数据和作为所讨论的帧中的特征量数据的第二特征量数据来评估上述可能性，第一特征量数据和第二特征量数据被存储在特征量数据存储单元28中。这里，例如，第一特征量数据可以是指示紧接前一帧中的原始图像的特征量的数据，第二特征量数据可以是指示所讨论的帧中的原始图像的特征量的数据。此外，第一特征量数据可以是指示与在紧接前一帧中用于缩小图像编码的参数相对应的特征量的数据。第二特征量数据可以是指示与所讨论的帧中用于缩小图像编码的参数相对应的特征量的数据。
105.例如，在对应于第二特征量数据的直方图和对应于第一特征量数据的直方图之间的差值大于预定差值的情况下，可以标识评估值“0”，否则可以标识评估值“1”。此外，例如，在第二特征量数据指示的对象包括第一特征量数据未指示的对象的情况下，可以标识评估值“0”，否则可以标识评估值“1”。
106.然后，数据发送单元32检查在s106的处理中是否已确定替代图像生成单元48基于在紧接前一帧中发送的图像数据成功地估计替代图像的可能性低(s107)。
107.在已经确定替代图像生成单元48在估计中成功的可能性高的情况下(例如，在标识评估值为“1”的情况下)(s107：n)，处理返回到s101的处理。在这种情况下，数据发送单元32不将在s103的处理中生成的图像数据发送到终端12。
108.在已经确定替代图像生成单元48在估计中成功的可能性低的情况下(例如，在标识评估值为“0”的情况下)(s107：y)，数据发送单元32将在s103的处理中生成的图像数据发送到终端12(s108)，并且处理返回到s101的处理。
109.这里，在云服务器10的发送速度高于预定速度的情况下，发送控制单元30可以执行发送第二图像数据的控制，而与基于第一图像数据成功估计第二待显示图像的可能性无关。在这种情况下，数据发送单元32可以发送第二图像数据，而与基于第一图像数据成功估计第二待显示图像的可能性无关。
110.例如，发送控制单元30可以始终基于从云服务器10到终端12的数据发送的结果来测量云服务器10的发送速度。然后，在当前发送速度高于预定速度的情况下，发送控制单元30可以执行发送第二图像数据的控制，而与s106的处理中的确定的结果无关。在这种情况下，执行s108的处理，与s106的处理中的确定结果无关。
111.如上所述，发送控制单元30可以在替代图像生成单元48基于第一图像数据成功估计第二待显示图像的可能性的基础上，控制是否将第二图像数据发送到终端12。
112.终端12基于第一图像数据成功估计第二原始图像的可能性可以基于第一原始图像的特征量和第二原始图像的特征量来确定。可替代地，可以基于与用于通过缩小原始图像而获得的缩小图像的编码的参数相对应的特征量来确定可能性。例如，可以基于通过缩小第一原始图像获得的缩小图像的上述特征量和通过缩小第二原始图像获得的缩小图像的上述特征量来确定可能性。
113.此外，在第二图像是关键帧的情况下，替代图像生成单元48基于第一图像数据成功估计第二待显示图像的可能性低。基于此，发送控制单元30可以基于第二图像是否是关键帧来控制是否发送第二图像数据。在这种情况下，可以基于上述第二特征量数据来确定第二图像是否是关键帧。
114.此外，在第二图像中的场景从第一图像中的场景切换的情况下，替代图像生成单元48基于第一图像数据成功估计第二待显示图像的可能性低。基于此，发送控制单元30可以基于第二图像中的场景是否从第一图像中的场景切换来控制是否发送第二图像数据。在这种情况下，可以基于第一图像和第二图像来确定第二图像中的场景是否从第一图像中的场景切换。可替代地，可以基于上述第一特征量数据和第二特征量数据中的至少一个来确定第二图像中的场景是否从第一图像中的场景切换。
115.此外，在第二图像包括没有出现在第一图像中的对象的图像的情况下，由替代图像生成单元48基于第一图像数据成功估计第二待显示图像的可能性低。基于此，发送控制
单元30可以基于第二图像是否包括没有出现在第一图像中的对象的图像来控制是否发送第二图像数据。在这种情况下，可以基于第一图像和第二图像来确定第二图像是否包括没有出现在第一图像中的对象的图像。可替代地，可以基于上述第一特征量数据和第二特征量数据中的至少一个来确定第二图像是否包括没有出现在第一图像中的对象的图像。
116.此外，在上述示例性处理中的s106的处理中，可以使用作为图4中例示的训练机器学习模型的成功估计可能性评估模型60来执行上述确定。这里，成功估计可能性评估模型60可以采用深度学习。成功估计可能性评估模型60可以包括关于包括在神经网络中的节点的耦合拓扑信息和耦合强度参数信息。
117.在这种情况下，存储在特征量数据存储单元28中的作为紧接前一帧中的特征量数据的第一特征量数据和作为所讨论的帧中的特征量数据的第二特征量数据被输入到成功估计可能性评估模型60。然后，成功估计可能性评估模型60基于输入输出成功估计可能性数据。这里，例如，在成功估计的可能性高的情况下可以输出值为1的成功估计可能性数据，并且在成功估计的可能性低的情况下可以输出值为0的成功估计可能性数据。这里，成功估计可能性评估模型60例如包括在发送控制单元30中。
118.图5是示意性地示出了图4所示的成功估计可能性评估模型60的示例性学习的图。例如，通过成功估计可能性评估模型60，执行使用多条学习数据的学习。学习数据包括例如包括第一学习输入特征量数据和第二学习输入特征量数据的学习输入数据和作为要与从成功估计可能性评估模型60输出的成功估计可能性数据进行比较的训练数据的成功估计可能性训练数据。
119.通过类似于上述处理的处理，可以生成第一学习输入特征量数据，该第一学习输入特征量数据是与用作给定运动图像中包括的第一帧图像的高分辨率图像(例如，4k图像)对应的特征量数据。然后，通过类似于上述处理的处理，可以生成第二学习输入特征量数据，该第二学习输入特征量数据是对应于第二帧图像的特征量数据，该第二帧图像是上述给定运动图像中的第一帧图像旁边的帧中的帧图像。然后，可以生成包括第一学习输入特征量数据和第二学习输入特征量数据的学习输入数据。
120.然后，用户可以决定与学习输入数据相对应的成功估计可能性训练数据的值。例如，用户可以用他的/她的眼睛检查第一帧图像和第二帧图像之间的比较，或者检查由替代图像生成单元48基于第一帧图像和第二帧图像生成的替代图像之间的比较，从而确定成功估计可能性训练数据的值。此外，例如，用户可以根据经验法则决定成功估计可能性训练数据的值。然后，可以生成包括具有以这种方式确定的值的成功估计可能性训练数据和与成功估计可能性训练数据相对应的学习输入数据的学习数据。
121.通过使用基于多个运动图像和多个帧图像以这种方式生成的多条学习数据的监督学习，可以执行成功估计可能性评估模型60的学习。例如，当包括在学习数据中的学习输入数据被输入到成功估计可能性评估模型60时输出的成功估计可能性数据和包括在所讨论的学习数据中的成功估计可能性训练数据可以相互比较。然后，基于比较的结果，可以通过反向传播更新成功估计可能性评估模型60的参数，以便可以执行成功估计可能性评估模型60的学习。
122.注意，成功估计可能性评估模型60的学习不限于上述方法。例如，成功估计可能性评估模型60的学习可以通过无监督学习或强化学习来执行。
123.此外，成功估计可能性评估模型60可以接收作为第一特征量数据基础的紧接前一帧中的原始图像和作为第二特征量数据基础的所讨论的帧中的原始图像中的至少一个作为输入。在这种情况下，可以使用包括第一帧图像和第二帧图像中的至少一个的学习数据来执行成功估计可能性评估模型60的学习，该学习数据对应于对成功估计可能性评估模型60的输入。
124.接下来，参考图6的流程图描述在根据本实施例的终端12中执行的放大图像或替代图像显示控制处理的示例性流程。以预定帧速率(例如，60fps)重复执行图6所示的s201至s212中的处理。注意，可以以可变帧速率重复执行s201到s212中的处理。
125.首先，数据接收单元40在s108的处理中接收从云服务器10发送的图像数据(s201)。
126.然后，解码处理单元42对在s201的处理中接收到的图像数据执行解码处理，以生成解码图像(s202)。
127.然后，放大单元44检查帧中所有图像数据的接收是否成功(s203)。在终端12尚未接收到图像数据的情况下，或者在终端12仅接收到损坏的图像数据的情况下，在s203的处理中确认帧中的所有图像数据的接收失败。此外，在s202的处理中尚未生成解码图像的情况下，可以在s203的处理中确认帧中的所有图像数据的接收失败。此外，这里，在所有图像数据的接收失败的情况下，数据接收单元40可以将所有图像数据的接收失败通知放大单元44。然后，当放大单元44接收到通知时，可以在s203的处理中确认帧中的所有图像数据的接收失败。
128.假设在s203的处理中确认帧中的所有图像数据的接收已经成功(s203：y)。在这种情况下，放大单元44对在s202的处理中生成的解码图像执行放大处理，以生成放大图像(s204)。这里，执行使用放大模型62的放大处理，该放大模型62是图7中例示的经过训练的机器学习模型。这里，放大模型62可以采用深度学习。放大模型62可以包括关于包括在神经网络中的节点的耦合拓扑信息和耦合强度参数信息。
129.在s204的处理中，例如，将在s202的处理中生成的帧中的解码图像输入到放大模型62。然后，放大模型62基于输入输出放大的图像。这里，例如，放大模型62包括在放大单元44中。
130.图8是示意性地示出了图7所示的放大模型62的示例性学习的图。例如，通过放大模型62，执行使用多条学习数据的学习。学习数据包括例如包括学习输入图像的学习输入数据和作为要与从放大模型62输出的放大图像进行比较的训练数据的放大训练图像。
131.例如，通过对高分辨率图像(例如4k图像)执行上述缩小处理、上述编码处理和上述解码处理，可以生成作为低分辨率图像(例如2k图像)的学习输入图像。
132.然后，可以生成包括上述学习输入图像和作为上述高分辨率图像的放大训练图像的学习数据。然后，通过使用基于多个高分辨率图像以这种方式生成的多条学习数据的监督学习，可以执行放大模型62的学习。例如，当包括在学习数据中的学习输入数据被输入到放大模型62时输出的放大图像和包括在所讨论的学习数据中的放大训练图像可以相互比较。然后，基于比较的结果，可以通过反向传播更新放大模型62的参数，以便可以执行放大模型62的学习。
133.注意，放大模型62的学习不限于上述方法。例如，放大模型62的学习可以通过无监
督学习或强化学习来执行。
134.当s204的处理结束时，替代图像生成单元48基于根据在s201的处理中接收到的图像数据生成的图像作为用于替代图像生成的基本图像开始生成下一帧的替代图像(s205)。这里，例如，放大单元44可以将在s204的处理中生成的放大图像作为基本图像存储在图像存储单元46中。此外，例如，放大单元44可以将在s202的处理中生成的解码图像作为基本图像存储在图像存储单元46中。然后，替代图像生成单元48可以基于存储在图像存储单元46中的基本图像开始替代图像生成。
135.这里，开始使用替代图像生成模型64执行替代图像生成处理，该替代图像生成模型64是图9中例示的经过训练的机器学习模型。这里，替代图像生成模型64可以采用深度学习。替代图像生成模型64可以包括关于包括在神经网络中的节点的耦合拓扑信息和耦合强度参数信息。
136.在s205的处理中，例如，将帧中存储在图像存储单元46中的基本图像输入到替代图像生成模型64。然后，替代图像生成模型64基于输入输出替代图像。这里，替代图像生成模型64例如包括在替代图像生成单元48中。
137.图10是示意性地示出了图9所示的替代图像生成模型64的示例性学习的图。例如，通过替代图像生成模型64，执行使用多条学习数据的学习。学习数据包括例如包括学习输入图像的学习输入数据和作为要与从替代图像生成模型64输出的替代图像进行比较的训练数据的替代训练图像。
138.例如，假设基本图像是解码图像。在这种情况下，可以对作为包括在给定运动图像中的帧图像的高分辨率图像(例如，4k图像)执行上述缩小处理、上述编码处理和上述解码处理。由此，可以生成作为低分辨率图像(例如，2k图像)的学习输入图像。此外，例如，假设基本图像是放大图像。在这种情况下，可以对作为包括在运动图像中的帧图像的高分辨率图像(例如，4k图像)执行上述缩小处理、上述编码处理、上述解码处理和上述放大处理。由此，可以生成作为高分辨率图像的学习输入图像。
139.然后，可以生成学习数据，该学习数据包括包含上述学习输入图像的学习输入数据，并且包括作为与上述给定运动图像中的学习输入图像对应的帧图像旁边的帧中的帧图像的替代训练图像。然后，通过使用基于多个运动图像和多个帧图像以这种方式生成的多条学习数据的监督学习，可以执行替代图像生成模型64的学习。例如，当包括在学习数据中的学习输入数据被输入到替代图像生成模型64时输出的替代图像和包括在所讨论的学习数据中的替代训练图像可以相互比较。然后，基于比较的结果，可以通过反向传播来更新替代图像生成模型64的参数，以便可以执行替代图像生成模型64的学习。
140.注意，替代图像生成模型64的学习不限于上述方法。例如，替代图像生成模型64的学习可以通过无监督学习或强化学习来执行。
141.然后，替代图像生成单元48将在s205中开始的处理中生成旁边的帧的替代图像存储在图像存储单元46中(s206)。
142.然后，显示控制单元50使显示单元12f显示在s204的处理中生成的放大图像(s207)，并且处理返回到s201的处理。
143.假设在s203的处理中确认帧中的所有图像数据的接收失败(s203：y)。在这种情况下，替代图像生成单元48检查帧中的部分图像数据的接收是否成功(s208)。在终端12接收
到的部分图像数据损坏的情况下，在s208的处理中确认帧中的部分图像数据的接收失败。此外，在s202的处理中生成的解码图像具有缺失部分的情况下，可以在s208的处理中确认帧中的部分图像数据的接收失败。此外，这里，在部分图像数据的接收失败的情况下，数据接收单元40可以将部分图像数据的接收失败通知替代图像生成单元48。然后，当替代图像生成单元48接收到通知时，可以在s208的处理中确认帧中的部分图像数据的接收失败。
144.假设在s208的处理中确认帧中的部分图像数据的接收已经成功(s208：y)。在这种情况下，替代图像生成单元48基于在帧中接收到的部分图像数据来更新该帧的替代图像(s209)。在s209的处理中，在帧中接收的部分图像数据被反映在该帧的替代图像中。这里，执行使用替代图像更新模型66的替代图像更新处理，该替代图像更新模型66是图11中例示的经过训练的机器学习模型。这里，替代图像更新模型66可以采用深度学习。替代图像更新模型66可以包括关于包括在神经网络中的节点的耦合拓扑信息和耦合强度参数信息。
145.在s209的处理中，例如，将在紧接前一帧中的s206的处理中存储的第一替代图像和作为在所讨论的帧中接收到的图像数据的一部分的部分图像数据输入到替代图像更新模型66。然后，替代图像更新模型66基于输入输出第二替代图像。这样，将在紧接前一帧中的s206的处理中存储的第一替代图像更新为第二替代图像。这里，替代图像更新模型66例如包括在替代图像生成单元48中。
146.图12是示意性地示出了图11所示的替代图像更新模型66的示例性学习的图。例如，通过替代图像更新模型66，执行使用多条学习数据的学习。学习数据包括例如包括学习输入图像和学习输入部分图像数据的学习输入数据和作为要与从替代图像更新模型66输出的替代图像进行比较的训练数据的替代训练图像。
147.例如，假设基本图像是解码图像。在这种情况下，可以对作为包括在给定运动图像中的帧图像的高分辨率图像(例如，4k图像)执行上述缩小处理、上述编码处理和上述解码处理。由此，可以生成作为低分辨率图像(例如，2k图像)的学习输入图像。此外，例如，假设基本图像是放大图像。在这种情况下，可以对作为包括在运动图像中的帧图像的高分辨率图像(例如，4k图像)执行上述缩小处理、上述编码处理、上述解码处理和上述放大处理。由此，可以生成作为高分辨率图像的学习输入图像。
148.然后，可以生成作为通过对与上述给定运动图像中的学习输入图像相对应的帧图像旁边的帧中的帧图像执行上述缩小处理和上述编码处理而生成的图像数据的一部分的学习输入部分图像数据。
149.然后，可以生成学习数据，该学习数据包括包含上述学习输入图像和上述学习输入部分图像数据的学习输入数据和替代训练图像，该替代训练图像是与上述给定运动图像中的学习输入图像相对应的帧图像旁边的帧中的帧图像。然后，通过使用基于多个运动图像和多个帧图像以这种方式生成的多条学习数据的监督学习，可以执行替代图像更新模型66的学习。例如，当包括在学习数据中的学习输入数据被输入到替代图像更新模型66时输出的替代图像和包括在所讨论的学习数据中的替代训练图像可以相互比较。然后，基于比较的结果，可以通过反向传播来更新替代图像更新模型66的参数，以便可以执行替代图像更新模型66的学习。
150.注意，替代图像更新模型66的学习不限于上述方法。例如，替代图像更新模型66的学习可以通过无监督学习或强化学习来执行。
151.在s209的处理结束或者在s208的处理中确认帧中的部分图像数据的接收尚未成功的情况下(s208：n)，替代图像生成单元48开始生成下一帧的替代图像(s210)。这里，在s209的处理结束的情况下，替代图像生成单元48可以将在s209的处理中更新的替代图像作为基本图像存储在图像存储单元46中。然后，替代图像生成单元48可以基于基本图像开始生成下一帧的替代图像。此外，在s208的处理中，帧中的部分图像数据的接收尚未成功的情况下，在紧接前一帧中的s206的处理中存储的替代图像可以作为基本图像存储在图像存储单元46中。然后，替代图像生成单元48可以基于基本图像开始生成下一帧的替代图像。
152.这里，执行使用替代图像生成模型64的替代图像生成处理，该替代图像生成模型64是图9中例示的经过训练的机器学习模型。这里，替代图像生成模型64可以采用深度学习。
153.然后，替代图像生成单元48将在s210中开始的处理中生成旁边的帧的替代图像存储在图像存储单元46中(s211)。
154.然后，显示控制单元50使显示单元12f显示帧的替代图像(s212)，并且处理返回到s201的处理。
155.在该处理示例中，假设在第n帧中确认第n帧中的所有图像数据的接收已经成功(s203：y)。在这种情况下，显示基于在第n帧中接收的图像数据生成的放大图像(s207)。此外，在这种情况下，在第n帧中，基于放大图像生成第(n 1)帧的替代图像(s205和s206)。
156.假设在第n帧中确认第n帧中的所有图像数据的接收失败，但是第n帧中的部分图像数据的接收成功(s203：n和s208：y)。在这种情况下，在第n帧中，更新在第(n
‑
1)帧中生成的第n帧的替代图像(s209)。然后，显示第n帧的更新的替代图像(s212)。此外，在这种情况下，在第n帧中，基于第n帧的更新的替代图像生成第(n 1)帧的替代图像(s210和s211)。
157.假设在第n帧中确认第n帧中的所有图像数据的接收失败，并且第n帧中的部分图像数据的接收尚未成功(s203：n和s208：y)。在这种情况下，在第n帧中，显示在第(n
‑
1)帧中生成的第n帧的替代图像(s212)。此外，在这种情况下，在第n帧中，基于在第(n
‑
1)帧中生成的第n帧的替代图像来生成第(n 1)帧的替代图像(s210和s211)。
158.此外，在该处理示例中，在开始生成下一帧的替代图像并且结束存储下一帧的替代图像之前，可以执行放大图像的显示或所讨论的帧的替代图像的显示。
159.此外，替代图像更新模型66可以输出确定值，该确定值指示与应该显示的图像不同的错误图像是否被输出为第二替代图像。例如，在与应该显示的图像不同的错误图像被输出为第二替代图像的情况下，可以输出确定值“1”，并且在应该显示的图像被输出为第二替代图像的情况下，可以输出确定值“0”。在这种情况下，替代图像更新模型66的学习可以使用训练数据来执行，该训练数据包括基于学习输入数据的给定学习确定值，该学习输入数据与在接收学习输入数据时从替代图像更新模型66输出的确定值相比较。在这种情况下，在s209的处理中，替代图像更新模型66也可以输出确定值。
160.然后，基于确定值，在s212的处理中，显示控制单元50可以控制是否使显示单元12f显示在帧中生成的替代图像。例如，在替代图像更新模型66输出确定值“1”的情况下，显示控制单元50可以执行防止替代图像的显示的控制。此外，在替代图像更新模型66输出确定值“0”的情况下，显示控制单元50可以执行显示替代图像的控制。
161.此外，以类似方式，替代图像生成模型64可以输出确定值，该确定值指示是否将与
应该显示的图像不同的错误图像输出为替代图像。例如，在与应该显示的图像不同的错误图像被输出为替代图像的情况下，可以输出确定值“1”，并且在应该显示的图像被输出为替代图像的情况下，可以输出确定值“0”。在这种情况下，替代图像生成模型64的学习可以使用训练数据来执行，该训练数据包括基于学习输入数据的给定学习确定值，该学习输入数据与在接收学习输入数据时从替代图像生成模型64输出的确定值相比较。在这种情况下，在s205或s210的处理中，替代图像生成模型64也可以输出确定值。
162.然后，基于确定值，在下一帧的s212的处理中，显示控制单元50可以控制是否使显示单元12f显示在所讨论的帧中生成的替代图像。例如，在替代图像生成模型64输出确定值“1”的情况下，显示控制单元50可以执行防止替代图像的显示的控制。此外，在替代图像生成模型64输出确定值“0”的情况下，显示控制单元50可以执行显示替代图像的控制。
163.这里，例如，在替代图像生成模型64和替代图像更新模型66中的任何一个输出确定值“1”的情况下，显示控制单元50可以执行防止替代图像的显示的控制。
164.此外，在图3的s108的处理中，数据发送单元32可以向终端12发送在s103的处理中生成的图像数据和在s104的处理中已生成的并且与图像数据相关联的特征量数据。在这种情况下，发送控制单元30可以执行将特征量数据到终端12的发送优先于图像数据的发送的控制。在这种情况下，数据发送单元32可以将特征量数据到终端12的发送优先于图像数据的发送。例如，可以利用服务质量(qos)或优先级控制技术，将特征量数据到终端12的发送优先于图像数据的发送。
165.这里，参考图13的流程图描述在图像数据和特征量数据被发送到终端12的情况下在终端12中执行的放大图像或替代图像显示控制处理的示例流程。以预定的帧速率(例如，60fps)重复执行图13所示的s301到s314中的处理。注意，可以以可变帧速率重复执行s301到s314中的处理。
166.首先，数据接收单元40接收在s108的处理中从云服务器10发送的图像数据和与图像数据相关联的特征量数据(s301)。
167.然后，解码处理单元42对在s301的处理中接收到的图像数据执行解码处理，以生成解码图像(s302)。
168.然后，放大单元44检查帧中的所有图像数据和特征量数据的接收是否成功(s303)。在终端12尚未接收到图像数据和特征量数据的情况下，或者在终端12仅接收到损坏的图像数据和特征量数据的情况下，在s303的处理中确认帧中的所有图像数据和特征量数据的接收失败。此外，在s302的处理中尚未生成解码图像的情况下，可以在s303的处理中确认帧中的所有图像数据和特征量数据的接收失败。此外，这里，在所有图像数据和特征量数据的接收失败的情况下，数据接收单元40可以将所有图像数据和特征量数据的接收失败通知放大单元44。然后，当放大单元44接收到通知时，可以在s303的处理中确认帧中的所有图像数据的接收失败。
169.假设在s203的处理中确认帧中的所有图像数据和特征量数据的接收已经成功(s303：y)。在这种情况下，放大单元44对在s302的处理中生成的解码图像执行放大处理，以生成放大图像(s304)。这里，执行使用放大模型68的放大处理，该放大模型62是图14中例示的经过训练的机器学习模型。这里，放大模型68可以采用深度学习。放大模型68可以包括关于包括在神经网络中的节点的耦合拓扑信息和耦合强度参数信息。
170.在s304的处理中，例如，将在s302的处理中生成的解码图像和在s301的处理中接收的特征量数据输入到放大模型68。然后，放大模型68基于输入输出放大的图像。这里，例如，放大模型68包括在放大单元44中。
171.图15是示意性地示出了图14所示的放大模型68的示例性学习的图。例如，通过放大模型68，执行使用多条学习数据的学习。学习数据包括例如包括学习输入图像和学习输入特征量数据的学习输入数据和作为要与从放大模型68输出的放大图像进行比较的训练数据的放大训练图像。
172.例如，通过对高分辨率图像(例如4k图像)执行上述缩小处理、上述编码处理和上述解码处理，可以生成作为低分辨率图像(例如2k图像)的学习输入图像。然后，通过与上述处理类似的处理，可以生成作为对应于高分辨率图像的特征量数据的学习输入特征量数据。
173.然后，可以生成学习数据，该学习数据包括包含上述学习输入图像和上述学习输入特征量数据的学习输入数据和作为上述高分辨率图像的放大训练图像。然后，通过使用基于多个高分辨率图像以这种方式生成的多条学习数据的监督学习，可以执行放大模型68的学习。例如，当包括在学习数据中的学习输入数据被输入到放大模型68时输出的放大图像和包括在所讨论的学习数据中的放大训练图像可以相互比较。然后，基于比较的结果，可以通过反向传播更新放大模型68的参数，以便可以执行放大模型68的学习。
174.注意，放大模型68的学习不限于上述方法。例如，放大模型68的学习可以通过无监督学习或强化学习来执行。
175.当s304的处理结束时，替代图像生成单元48基于基本图像和与基本图像对应的特征量数据开始生成下一帧的替代图像(s305)。这里，例如，放大单元44可以将基本图像和与基本图像相对应的特征量数据彼此关联地存储在图像存储单元46中。这里，基本图像例如是基于在s301的处理中接收到的图像数据生成的要用于替代图像生成的图像。这里，例如，在s304的处理中生成的放大图像可以作为基本图像存储在图像存储单元46中。此外，例如，在s302的处理中生成的解码图像可以作为基本图像存储在图像存储单元46中。此外，存储在图像存储单元46中的特征量数据可以是例如与在s301的处理中接收的图像数据相关联的特征量数据。然后，替代图像生成单元48可以基于存储在图像存储单元46中的基本图像和与基本图像相对应的特征量数据开始生成替代图像。
176.这里，开始使用替代图像生成模型70执行替代图像生成处理，该替代图像生成模型64是图16中例示的经过训练的机器学习模型。这里，替代图像生成模型70可以采用深度学习。替代图像生成模型70可以包括关于包括在神经网络中的节点的耦合拓扑信息和耦合强度参数信息。
177.在s305的处理中，例如，将帧中存储在图像存储单元46中的基本图像和已经发送到帧并且与基本图像相关联的特征量数据输入到替代图像生成模型70。然后，替代图像生成模型70基于输入输出替代图像。这里，替代图像生成模型70例如包括在替代图像生成单元48中。
178.图17是示意性地示出了图16所示的替代图像生成模型70的示例性学习的图。例如，通过替代图像生成模型70，执行使用多条学习数据的学习。学习数据包括例如包括学习输入图像和学习输入特征量数据的学习输入数据和作为要与从替代图像生成模型70输出
的替代图像进行比较的训练数据的替代训练图像。
179.例如，假设基本图像是解码图像。在这种情况下，可以对作为包括在给定运动图像中的帧图像的高分辨率图像(例如，4k图像)执行上述缩小处理、上述编码处理和上述解码处理。由此，可以生成作为低分辨率图像(例如，2k图像)的学习输入图像。此外，例如，假设基本图像是放大图像。在这种情况下，可以对作为包括在运动图像中的帧图像的高分辨率图像(例如，4k图像)执行上述缩小处理、上述编码处理、上述解码处理和上述放大处理。由此，可以生成作为高分辨率图像的学习输入图像。然后，通过与上述处理类似的处理，可以生成作为对应于高分辨率图像的特征量数据的学习输入特征量数据。
180.然后，可以生成学习数据，该学习数据包括包含上述学习输入图像和上述学习输入特征量数据的学习输入数据和替代训练图像，该替代训练图像是与上述给定运动图像中的学习输入图像相对应的帧图像旁边的帧中的帧图像。然后，通过使用基于多个运动图像和多个帧图像以这种方式生成的多条学习数据的监督学习，可以执行替代图像生成模型70的学习。例如，当包括在学习数据中的学习输入数据被输入到替代图像生成模型70时输出的替代图像和包括在所讨论的学习数据中的替代训练图像可以相互比较。然后，基于比较的结果，可以通过反向传播来更新替代图像生成模型70的参数，以便可以执行替代图像生成模型70的学习。
181.注意，替代图像生成模型70的学习不限于上述方法。例如，替代图像生成模型70的学习可以通过无监督学习或强化学习来执行。
182.然后，替代图像生成单元48将在s305中开始的处理中生成旁边的帧的替代图像存储在图像存储单元46中(s306)。此外，在s306的处理中，替代图像生成单元48还将在s305的处理中用于替代图像生成的特征量数据作为下一帧的特征量数据存储在图像存储单元46中。
183.然后，显示控制单元50使显示单元12f显示在s304的处理中生成的放大图像(s307)，并且处理返回到s301的处理。
184.假设在s203的处理中确认帧中的所有图像数据和特征量数据的接收失败(s303：y)。在这种情况下，替代图像生成单元48检查帧中的部分特征量数据的接收是否成功(s308)。在终端12接收到的部分特征量数据损坏的情况下，在s308的处理中确认帧中的部分特征量数据的接收失败。此外，在s302的处理中生成的解码图像具有缺失部分的情况下，可以在s308的处理中确认帧中的部分特征量数据的接收失败。此外，这里，在部分特征量数据的接收失败的情况下，数据接收单元40可以将部分特征量数据的接收失败通知替代图像生成单元48。然后，当替代图像生成单元48接收到通知时，可以在s308的处理中确认帧中的部分特征量数据的接收失败。
185.假设在s308的处理中确认帧中的部分特征量数据的接收已经成功(s308：y)。在这种情况下，替代图像生成单元48基于在帧中接收到的部分特征量数据来更新该帧的特征量数据(s309)。在s309的处理中，在帧中接收的特征量数据被反映在帧的特征量数据中。这里，执行使用特征量数据更新模型72的特征量数据更新处理，该特征量数据更新模型72是图18中例示的经过训练的机器学习模型。这里，特征量数据更新模型72可以采用深度学习。特征量数据更新模型72可以包括关于包括在神经网络中的节点的耦合拓扑信息和耦合强度参数信息。
186.在s309的处理中，例如，将在紧接前一帧的s306的处理中存储的第一特征量数据和作为在该帧中接收的特征量数据的一部分的部分特征量数据输入到特征量数据更新模型72。然后，特征量数据更新模型72基于输入输出第二特征量数据。这样，将在紧接前一帧中的s306的处理中存储的第一特征量数据更新为第二特征量数据。这里，特征量数据更新模型72例如包括在替代图像生成单元48中。
187.图19是示意性地示出了图18所示的特征量数据更新模型72的示例性学习的图。例如，通过特征量数据更新模型72，执行使用多条学习数据的学习。学习数据包括例如包括学习输入特征量数据和学习输入部分特征量数据的学习输入数据和作为要与从特征量数据更新模型72输出的特征量数据进行比较的训练数据的特征量训练数据。
188.例如，通过类似于上述处理的处理，可以生成学习输入特征量数据，该学习输入特征量数据是与作为给定运动图像中包括的第一帧图像的高分辨率图像(例如，4k图像)对应的特征量数据。然后，通过类似于上述处理的处理，可以生成学习输入部分特征量数据，该学习输入部分特征量数据是对应于第二帧图像的特征量数据的一部分，该第二帧图像是上述给定运动图像中的第一帧图像旁边的帧中的帧图像。
189.然后，可以生成学习数据，该学习数据包括包含上述学习输入特征量数据和上述学习输入部分特征量数据的学习输入数据和作为与通过类似于上述处理的处理生成的第二帧图像对应的特征量数据的特征量训练数据。然后，通过使用基于多个运动图像和多个帧图像以这种方式生成的多条学习数据的监督学习，可以执行特征量数据更新模型72的学习。例如，当包括在学习数据中的学习输入数据被输入到特征量数据更新模型72时输出的特征量数据和包括在所讨论的学习数据中的特征量训练数据可以相互比较。然后，基于比较的结果，可以通过反向传播来更新特征量数据更新模型72的参数，以便可以执行特征量数据更新模型72的学习。
190.注意，特征量数据更新模型72的学习不限于上述方法。例如，特征量数据更新模型72的学习可以通过无监督学习或强化学习来执行。
191.假设s309的处理结束，或者在s308的处理中确认帧中的部分特征量数据的接收失败(s308：y)。在这些情况下，替代图像生成单元48检查帧中的部分图像数据的接收是否成功(s310)。在终端12接收到的部分图像数据损坏的情况下，在s310的处理中确认帧中的部分图像数据的接收失败。此外，在s302的处理中生成的解码图像具有缺失部分的情况下，可以在s310的处理中确认帧中的部分图像数据的接收失败。此外，这里，在部分图像数据的接收失败的情况下，数据接收单元40可以将部分图像数据的接收失败通知替代图像生成单元48。然后，当替代图像生成单元48接收到通知时，可以在s310的处理中确认帧中的部分图像数据的接收失败。
192.假设在s310的处理中确认帧中的部分图像数据的接收已经成功(s310：y)。在这种情况下，替代图像生成单元48基于在帧中接收到的部分图像数据来更新该帧的替代图像(s311)。这里，例如，在帧中接收的部分图像数据被反映在该帧的替代图像中。这里，执行使用替代图像更新模型74的替代图像更新处理，该替代图像更新模型74是图20中例示的经过训练的机器学习模型。这里，替代图像更新模型74可以采用深度学习。替代图像更新模型74可以包括关于包括在神经网络中的节点的耦合拓扑信息和耦合强度参数信息。
193.在s311的处理中，例如，将在紧接前一帧中的s306的处理中存储的第一替代图像、
作为在所讨论的帧中接收到的图像数据的一部分的部分图像数据和特征量数据输入到替代图像更新模型74。这里，在执行s309中的处理的情况下，将帧的更新特征量数据输入到替代图像更新模型74。另一方面，在未执行s309中的处理的情况下，将存储在紧接前一帧中的帧的特征量数据输入到替代图像更新模型74。然后，替代图像更新模型74基于输入输出第二替代图像。由此，将在紧接前一帧中的s306的处理中存储的第一替代图像更新为第二替代图像。这里，替代图像更新模型74例如包括在替代图像生成单元48中。
194.图21是示意性地示出了图20所示的替代图像更新模型74的示例性学习的图。例如，通过替代图像更新模型74，执行使用多条学习数据的学习。学习数据包括例如包括学习输入图像、学习输入部分图像数据和学习输入特征量数据的学习输入数据和作为要与从替代图像更新模型74输出的替代图像进行比较的训练数据的替代训练图像。
195.例如，假设基本图像是解码图像。在这种情况下，可以对作为包括在给定运动图像中的帧图像的高分辨率图像(例如，4k图像)执行上述缩小处理、上述编码处理和上述解码处理。由此，可以生成作为低分辨率图像(例如，2k图像)的学习输入图像。此外，例如，假设基本图像是放大图像。在这种情况下，可以对作为包括在运动图像中的帧图像的高分辨率图像(例如，4k图像)执行上述缩小处理、上述编码处理、上述解码处理和上述放大处理。由此，可以生成作为高分辨率图像的学习输入图像。
196.然后，可以生成作为通过对第二帧图像执行上述缩小处理和上述编码处理而生成的图像数据的一部分的学习输入部分图像数据，该第二帧图像是与上述给定运动图像中的学习输入图像相对应的第一帧图像旁边的帧中的帧图像。然后，通过与上述处理类似的处理，可以生成作为与第一帧图像对应的特征量数据的学习输入特征量数据。注意，通过基于对应于第二帧图像的特征量数据更新对应于第一帧图像的特征量数据而获得的特征量数据可以用作学习输入特征量数据。
197.然后，可以生成学习数据，该学习数据包括包含上述学习输入图像、上述学习输入部分图像数据和上述学习输入特征量数据的学习输入数据和作为上述第二帧图像的替代训练图像。然后，通过使用基于多个运动图像和多个帧图像以这种方式生成的多条学习数据的监督学习，可以执行替代图像更新模型74的学习。例如，当包括在学习数据中的学习输入数据被输入到替代图像更新模型74时输出的替代图像和包括在所讨论的学习数据中的替代训练图像可以相互比较。然后，基于比较的结果，可以通过反向传播来更新替代图像更新模型74的参数，以便可以执行替代图像更新模型74的学习。
198.注意，替代图像更新模型74的学习不限于上述方法。例如，替代图像更新模型74的学习可以通过无监督学习或强化学习来执行。
199.在s311的处理结束或者在s310的处理中确认帧中的部分图像数据的接收尚未成功的情况下(s310：n)，替代图像生成单元48开始生成下一帧的替代图像(s312)。这里，在s311的处理结束的情况下，替代图像生成单元48可以将在s311的处理中更新的替代图像作为基本图像存储在图像存储单元46中。此外，在s310的处理中，帧中的部分图像数据的接收尚未成功的情况下，在紧接前一帧中的s306的处理中存储的替代图像可以作为基本图像存储在图像存储单元46中。此外，在执行s309的处理的情况下，替代图像生成单元48可以将更新的特征量数据与基本图像相关联地存储在图像存储单元46中。此外，在不执行s309的处理的情况下，替代图像生成单元48可以将帧的特征量数据与基本图像相关联地存储在图像
存储单元46中。然后，替代图像生成单元48可以基于基本图像和与基本图像相关联的特征量数据开始生成下一帧的替代图像。
200.这里，开始使用替代图像生成模型70执行替代图像生成处理，该替代图像生成模型70是图16中例示的经过训练的机器学习模型。这里，替代图像生成模型70可以采用深度学习。
201.然后，替代图像生成单元48将在s312中开始的处理中生成旁边的帧的替代图像存储在图像存储单元46中(s313)。这里，在执行s309的处理的情况下，替代图像生成单元48将更新后的特征量数据与替代图像相关联地存储在图像存储单元46中，作为下一帧的特征量数据。此外，在不执行s309的处理的情况下，替代图像生成单元48将所讨论的帧的特征量数据与替代图像相关联地存储在图像存储单元46中，作为下一帧的特征量数据。
202.然后，显示控制单元50使显示单元12f显示在帧中生成的替代图像(s314)，并且处理返回到s301的处理。
203.在该处理示例中，假设在第n帧中确认第n帧中的所有图像数据和特征量数据的接收已经成功(s303：y)。在这种情况下，显示基于在第n帧中接收的图像数据和特征量数据生成的放大图像(s307)。此外，在这种情况下，在第n帧中，基于放大图像和特征量数据生成第(n 1)帧的替代图像(s305和s306)。
204.假设在第n帧中，第n帧中的所有图像数据的接收失败(s303：n)并且确认第n帧中的部分图像数据的接收已经成功(s310：y)。在这种情况下，在第n帧中，更新在第(n
‑
1)帧中生成的第n帧的替代图像(s311)。然后，显示第n帧的更新的替代图像(s314)。此外，在这种情况下，在第n帧中，基于第n帧的更新的替代图像和第n帧的特征量数据，生成第(n 1)帧的替代图像(s312和s313)。
205.假设在第n帧中，第n帧中的所有图像数据的接收失败(s303：n)并且确认第n帧中的部分图像数据的接收尚未成功(s310：y)。在这种情况下，在第n帧中，显示在第(n
‑
1)帧中生成的第n帧的替代图像(s314)。此外，在这种情况下，在第n帧中，基于在第(n
‑
1)帧中生成的第n帧的替代图像和第n帧的特征量数据，生成第(n 1)帧的替代图像(s312和s313)。
206.此外，在第n帧中已经成功接收部分特征量数据的情况下(s308：y)，更新在第(n
‑
1)帧中生成的第n帧的特征量数据(s309)。
207.在部分特征量数据包括me信息数据、光流数据等的情况下，可以生成基于对图像中对象的运动的预测的替代图像。此时，还利用由部分特征量数据指示的其他特征量来提高预测精度。通过利用部分特征量数据，不仅可以提高放大图像的质量，而且还可以提高替代图像中图像内对象在紧接前一帧的时间方向上的变化的再现性。
208.此外，在该处理示例中，在开始生成下一帧的替代图像并且结束存储下一帧的替代图像之前，可以执行放大图像的显示或所讨论的帧的替代图像的显示。
209.此外，在一些情况下，图像数据的接收失败，但是与图像数据相关联的所有特征量数据的接收成功。例如，在这种情况下，替代图像生成单元48可以基于与第一图像数据和第二图像数据相关联的特征量数据生成替代图像。
210.此外，在发送控制单元30执行防止第二图像数据的发送的控制的情况下，可以将指示不发送图像数据的通知发送到终端12。在这种情况下，数据发送单元32向终端12发送指示不发送图像数据的通知。此外，在这种情况下，放大单元44可以基于由数据接收单元40
接收到的指示不发送图像数据的通知，检查在s203或s303的处理中是否成功接收到通信帧中的所有图像数据。
211.此外，替代图像更新模型74可以输出确定值，该确定值指示与应该显示的图像不同的错误图像是否被输出为第二替代图像。例如，在与应该显示的图像不同的错误图像被输出为第二替代图像的情况下，可以输出确定值“1”，并且在应该显示的图像被输出为第二替代图像的情况下，可以输出确定值“0”。在这种情况下，替代图像更新模型74的学习可以使用训练数据来执行，该训练数据包括基于学习输入数据的给定学习确定值，该学习输入数据与在接收学习输入数据时从替代图像更新模型74输出的确定值相比较。在这种情况下，在s311的处理中，替代图像更新模型74也可以输出确定值。
212.然后，基于确定值，在s314的处理中，显示控制单元50可以控制是否使显示单元12f显示在帧中生成的替代图像。例如，在替代图像更新模型74输出确定值“1”的情况下，显示控制单元50可以执行防止替代图像的显示的控制。此外，在替代图像更新模型74输出确定值“0”的情况下，显示控制单元50可以执行显示替代图像的控制。
213.此外，以类似方式，替代图像生成模型70可以输出确定值，该确定值指示是否将与应该显示的图像不同的错误图像输出为替代图像。例如，在与应该显示的图像不同的错误图像被输出为替代图像的情况下，可以输出确定值“1”，并且在应该显示的图像被输出为替代图像的情况下，可以输出确定值“0”。在这种情况下，替代图像生成模型70的学习可以使用训练数据来执行，该训练数据包括基于学习输入数据的给定学习确定值，该学习输入数据与在接收学习输入数据时从替代图像生成模型70输出的确定值相比较。在这种情况下，在s305或s312的处理中，替代图像生成模型70也可以输出确定值。
214.然后，基于确定值，在下一帧的s314的处理中，显示控制单元50可以控制是否使显示单元12f显示在所讨论的帧中生成的替代图像。例如，在替代图像生成模型70输出确定值“1”的情况下，显示控制单元50可以执行防止替代图像的显示的控制。此外，在替代图像生成模型70输出确定值“0”的情况下，显示控制单元50可以执行显示替代图像的控制。
215.这里，例如，在替代图像生成模型70和替代图像更新模型74中的任何一个输出确定值“1”的情况下，显示控制单元50可以执行防止替代图像的显示的控制。
216.如上所述，在本实施例中，云服务器10基于终端12成功估计要生成的待显示图像的可能性来执行图像数据发送控制。因此，根据本实施例，可以减少图像数据通信量，同时减少显示与应该显示的图像不同的错误运动图像的风险。
217.注意，本发明不限于上述实施例。
218.例如，基于包括上述第一特征量数据和上述第二特征量数据的特征量数据的时间顺序，可以确定由替代图像生成单元48基于第一图像数据成功估计第二待显示图像的可能性。
219.这里，例如，成功估计可能性评估模型60可以实现为递归神经网络(rnn)。
220.在这种情况下，在s106的处理中，成功估计可能性评估模型60可以接收包括帧中的特征量数据并存储在特征量数据存储单元28中的特征量数据的时间顺序作为输入。然后，成功估计可能性评估模型60可以基于输入输出成功估计可能性数据。
221.这里，在成功估计可能性评估模型60的学习中，可以生成学习输入特征量数据的时间顺序，该学习输入特征量数据的时间顺序是对应于一系列高分辨率图像(例如，4k图
像)的特征量数据的时间顺序(高分辨率图像的时间顺序)。
222.然后，用户可以用他的/她的眼睛检查一系列高分辨率图像之间的比较或一系列高分辨率图像与由替代图像生成单元48生成的替代图像之间的比较，从而确定成功估计可能性训练数据的值。此外，例如，用户可以根据经验法则决定成功估计可能性训练数据的值。
223.然后，可以生成包括包含上述学习输入特征量数据的时间顺序的学习输入数据和上述成功估计可能性训练数据的学习数据。
224.然后，通过使用基于多个运动图像和多个帧图像以这种方式生成的多条学习数据的监督学习，可以执行成功估计可能性评估模型60的学习。例如，当包括在学习数据中的学习输入数据被输入到成功估计可能性评估模型60时输出的成功估计可能性数据和包括在所讨论的学习数据中的成功估计可能性训练数据可以相互比较。然后，基于比较的结果，可以通过反向传播更新成功估计可能性评估模型60的参数，以便可以执行成功估计可能性评估模型60的学习。
225.此外，例如，放大模型62可以实施为rnn。在这种情况下，终端12的放大单元44可以存储在s202的处理中生成的解码图像。
226.在这种情况下，在s204的处理中，可以将包括最新解码图像的解码图像的时间顺序输入到放大模型62。然后，放大模型62可以基于输入输出放大的图像。
227.这里，在放大模型62的学习中，通过对一系列高分辨率图像(例如，4k图像)(高分辨率图像的时间顺序)执行上述缩小处理、编码处理和解码处理，可以生成作为低分辨率图像(例如，2k图像)的学习输入图像的时间顺序。
228.然后，可以生成学习数据，该学习数据包括包含上述学习输入图像的时间顺序的学习输入数据和作为上述高分辨率图像的按时间顺序最后的图像的放大训练图像。然后，通过使用基于多个高分辨率图像的时间顺序以这种方式生成的多条学习数据的监督学习，可以执行放大模型62的学习。例如，当包括在学习数据中的学习输入数据被输入到放大模型62时输出的放大图像和包括在所讨论的学习数据中的放大训练图像可以相互比较。然后，基于比较的结果，可以通过反向传播更新放大模型62的参数，以便可以执行放大模型62的学习。
229.此外，例如，替代图像生成模型64可以实施为rnn。在这种情况下，终端12的替代图像生成单元48可以存储基本图像。
230.在这种情况下，在s205或s210的处理中，可以将包括最新基本图像的基本图像的时间顺序输入到替代图像生成模型64。然后，替代图像生成模型64可以基于输入输出替代图像。
231.例如，假设基本图像是解码图像。在这种情况下，在替代图像生成模型64的学习中，通过对包括在给定运动图像中的一系列高分辨率图像(例如4k图像)(高分辨率图像的时间顺序)执行上述缩小处理、编码处理和解码处理，可以生成作为低分辨率图像(例如，2k图像)的学习输入图像的时间顺序。此外，例如，假设基本图像是放大图像。
232.在这种情况下，在替代图像生成模型64的学习中，可以对包括在给定运动图像中的一系列高分辨率图像(例如4k图像)执行上述缩小处理、编码处理、解码处理和放大处理。由此，可以生成作为高分辨率图像的学习输入图像的时间顺序。
233.然后，可以生成学习数据，该学习数据包括包含上述学习输入图像的时间顺序的学习输入数据和作为上述给定运动图像中的上述一系列高分辨率图像旁边的帧中的帧图像的替代训练图像。然后，通过使用基于多个运动图像和多个帧图像以这种方式生成的多条学习数据的监督学习，可以执行替代图像生成模型64的学习。例如，当包括在学习数据中的学习输入数据被输入到替代图像生成模型64时输出的替代图像和包括在所讨论的学习数据中的替代训练图像可以相互比较。然后，基于比较的结果，可以通过反向传播来更新替代图像生成模型64的参数，以便可以执行替代图像生成模型64的学习。
234.此外，例如，替代图像更新模型66可以实施为rnn。在这种情况下，终端12的替代图像生成单元48可以存储替代图像。
235.在这种情况下，替代图像更新模型66可以接收包括紧接前一帧中的替代图像的替代图像的时间顺序和作为在所讨论的帧中接收的图像数据的一部分的部分图像数据作为输入。然后，替代图像更新模型66可以基于输入输出第二替代图像。
236.例如，假设基本图像是解码图像。在这种情况下，在替代图像更新模型66的学习中，通过对包括在给定运动图像中的一系列高分辨率图像(例如4k图像)(高分辨率图像的时间顺序)执行上述缩小处理、编码处理和解码处理，可以生成作为低分辨率图像(例如，2k图像)的学习输入图像的时间顺序。此外，例如，假设基本图像是放大图像。在这种情况下，在替代图像更新模型66的学习中，可以对包括在给定运动图像中的一系列高分辨率图像(例如4k图像)执行上述缩小处理、编码处理、解码处理和放大处理。由此，可以生成作为高分辨率图像的学习输入图像的时间顺序。
237.然后，可以生成作为通过对上述给定运动图像中的上述一系列高分辨率图像旁边的帧中的帧图像执行上述缩小处理和编码处理而生成的图像数据的一部分的学习输入部分图像数据。
238.然后，可以生成学习数据，该学习数据包括包含上述学习输入图像和学习输入部分图像数据的时间顺序的学习输入数据和作为上述给定运动图像中的一系列高分辨率图像旁边的帧中的帧图像的替代训练图像。然后，通过使用基于多个运动图像和多个帧图像以这种方式生成的多条学习数据的监督学习，可以执行替代图像更新模型66的学习。例如，当包括在学习数据中的学习输入数据被输入到替代图像更新模型66时输出的替代图像和包括在所讨论的学习数据中的替代训练图像可以相互比较。然后，基于比较的结果，可以通过反向传播来更新替代图像更新模型66的参数，以便可以执行替代图像更新模型66的学习。
239.此外，例如，放大模型68可以实施为rnn。在这种情况下，终端12的放大单元44可以存储在s302的处理中生成的解码图像和在s301的处理中接收的特征量数据。
240.在这种情况下，在s304的处理中，放大模型68可以接收包括最新解码图像的解码图像的时间顺序和包括最新特征量数据的特征量数据的时间顺序作为输入。然后，放大模型68可以基于输入输出放大的图像。
241.这里，在放大模型68的学习中，通过对一系列高分辨率图像(例如，4k图像)(高分辨率图像的时间顺序)执行上述缩小处理、编码处理和解码处理，可以生成作为低分辨率图像(例如，2k图像)的学习输入图像的时间顺序。然后，通过类似于上述处理的处理，可以生成作为对应于一系列高分辨率图像的特征量数据的时间顺序的学习输入特征量数据的时
间顺序。
242.然后，可以生成学习数据，该学习数据包括包含上述学习输入图像的时间顺序和学习输入特征量数据的时间顺序的学习输入数据和作为上述高分辨率图像的按时间顺序最后的图像的放大训练图像。然后，通过使用基于多个高分辨率图像的时间顺序以这种方式生成的多条学习数据的监督学习，可以执行放大模型68的学习。例如，当包括在学习数据中的学习输入数据被输入到放大模型68时输出的放大图像和包括在所讨论的学习数据中的放大训练图像可以相互比较。然后，基于比较的结果，可以通过反向传播更新放大模型68的参数，以便可以执行放大模型68的学习。
243.此外，例如，替代图像生成模型70可以实施为rnn。在这种情况下，终端12的替代图像生成单元48可以存储基本图像和与基本图像相关联的特征量数据。
244.在这种情况下，替代图像生成模型70可以接收包括最新基本图像的基本图像的时间顺序和包括最新特征量数据的特征量数据的时间顺序作为输入。然后，替代图像生成模型70可以基于输入输出替代图像。
245.例如，假设基本图像是解码图像。在这种情况下，在替代图像生成模型64的学习中，通过对包括在给定运动图像中的一系列高分辨率图像(例如4k图像)(高分辨率图像的时间顺序)执行上述缩小处理、编码处理和解码处理，可以生成作为低分辨率图像(例如，2k图像)的学习输入图像的时间顺序。此外，例如，假设基本图像是放大图像。在这种情况下，在替代图像生成模型70的学习中，可以对包括在给定运动图像中的一系列高分辨率图像(例如4k图像)执行上述缩小处理、编码处理、解码处理和放大处理。由此，可以生成作为高分辨率图像的学习输入图像的时间顺序。然后，通过与上述处理类似的处理，可以生成与高分辨率图像的时间顺序对应的学习输入特征量数据的时间顺序。
246.然后，可以生成学习数据，该学习数据包括包含上述学习输入图像的时间顺序和学习输入特征量数据的时间顺序的学习输入数据和作为一系列高分辨率图像旁边的帧中的帧图像的替代训练图像。然后，通过使用基于多个运动图像和多个帧图像以这种方式生成的多条学习数据的监督学习，可以执行替代图像生成模型70的学习。例如，当包括在学习数据中的学习输入数据被输入到替代图像生成模型70时输出的替代图像和包括在所讨论的学习数据中的替代训练图像可以相互比较。然后，基于比较的结果，可以通过反向传播来更新替代图像生成模型70的参数，以便可以执行替代图像生成模型70的学习。
247.此外，例如，特征量数据更新模型72可以实施为rnn。在这种情况下，终端12的替代图像生成单元48可以存储特征量数据。
248.在这种情况下，特征量数据更新模型72可以接收特征量数据的时间顺序作为输入，该特征量数据包括紧接前一帧中的特征量数据和作为所讨论的帧中接收的特征量数据的一部分的部分特征量数据。然后，特征量数据更新模型72可以基于输入输出第二特征量数据。
249.在特征量数据更新模型72的学习中，通过与上述处理类似的处理，可以生成学习输入特征量数据的时间顺序，该学习输入特征量数据的时间顺序是对应于包括在给定运动图像中的一系列高分辨率图像(例如，4k图像)的特征量数据的时间顺序。然后，通过类似于上述处理的处理，可以生成学习输入的部分特征量数据，该学习输入部分特征量数据是与第二帧图像对应的特征量数据的一部分，该第二帧图像是一系列高分辨率图像旁边的帧中
的帧图像。
250.然后，可以生成学习数据，该学习数据包括包含上述学习输入特征量数据和学习输入部分特征量数据的时间顺序的学习输入数据和作为与上述第二帧图像对应的特征量数据的特征量训练数据。然后，通过使用基于多个运动图像和多个帧图像以这种方式生成的多条学习数据的监督学习，可以执行特征量数据更新模型72的学习。例如，当包括在学习数据中的学习输入数据被输入到特征量数据更新模型72时输出的特征量数据和包括在所讨论的学习数据中的特征量训练数据可以相互比较。然后，基于比较的结果，可以通过反向传播来更新特征量数据更新模型72的参数，以便可以执行特征量数据更新模型72的学习。
251.此外，例如，替代图像更新模型74可以实施为rnn。在这种情况下，终端12的替代图像生成单元48可以存储替代图像和特征量数据。
252.在这种情况下，替代图像更新模型74可以接收包括紧接前一帧中的替代图像的替代图像的时间顺序、与包括紧接前一帧中的替代图像的替代图像的时间顺序相对应的特征量数据的时间顺序，以及作为在所讨论的帧中接收的图像数据的一部分的部分图像数据作为输入。然后，替代图像更新模型74可以基于输入输出第二替代图像。
253.例如，假设基本图像是解码图像。在这种情况下，在替代图像更新模型74的学习中，通过对包括在给定运动图像中的一系列高分辨率图像(例如4k图像)(高分辨率图像的时间顺序)执行上述缩小处理、编码处理和解码处理，可以生成作为低分辨率图像(例如，2k图像)的学习输入图像的时间顺序。此外，例如，假设基本图像是放大图像。在这种情况下，在替代图像更新模型74的学习中，可以对包括在给定运动图像中的一系列高分辨率图像(例如4k图像)执行上述缩小处理、编码处理、解码处理和放大处理。由此，可以生成作为高分辨率图像的学习输入图像的时间顺序。此外，通过与上述处理类似的处理，可以生成与高分辨率图像的时间顺序对应的学习输入特征量数据的时间顺序。
254.然后，可以生成作为通过对上述给定运动图像中的上述一系列高分辨率图像旁边的帧中的帧图像执行上述缩小处理和编码处理而生成的图像数据的一部分的学习输入部分图像数据。
255.然后，可以生成学习数据，该学习数据包括包含上述学习输入图像的时间顺序、上述学习输入特征量数据的时间顺序和学习输入部分图像数据的学习输入数据和作为上述一系列高分辨率图像旁边的帧中的帧图像的替代训练图像。然后，通过使用基于多个运动图像和多个帧图像以这种方式生成的多条学习数据的监督学习，可以执行替代图像更新模型74的学习。例如，当包括在学习数据中的学习输入数据被输入到替代图像更新模型74时输出的替代图像和包括在所讨论的学习数据中的替代训练图像可以相互比较。然后，基于比较的结果，可以通过反向传播来更新替代图像更新模型74的参数，以便可以执行替代图像更新模型74的学习。
256.如上所述，在本实施例中，通过使用被配置为接收数据的时间顺序作为输入的机器学习模型，机器学习模型基于过去帧数据的时间顺序输出考虑对帧变化的预测的数据。因此，可以更加提高机器学习模型的输出结果的准确性。
257.此外，在本实施例中，例如，成功估计可能性评估模型60可以实施为生成对抗网络(generative adversarial network，gan)。此外，例如，放大模型62可以实施为gan。此外，例如，替代图像生成模型64可以实施为gan。此外，例如，替代图像更新模型66可以实施为
gan。此外，例如，放大模型68可以实施为gan。此外，例如，替代图像生成模型70可以实施为gan。此外，例如，特征量数据更新模型72可以实施为gan。此外，例如，替代图像更新模型74可以实施为gan。
258.此外，例如，终端12的放大单元44可以基于特征量数据中包含的指示是否执行超分辨率处理的数据来决定是否执行超分辨率处理。然后，在放大单元44决定不执行超分辨率处理的情况下，放大单元44可以执行防止执行放大处理的控制。此外，在放大单元44决定不执行超分辨率处理的情况下，放大单元44可以控制替代图像生成单元48不执行替代图像生成处理。在这种情况下，显示控制单元50可使显示单元12f显示解码图像或在紧接前一帧中显示的图像。
259.此外，例如，终端12的替代图像生成单元48可以基于基本图像来决定是否生成替代图像。这里，可以使用经训练的替代图像生成模型64来决定是否生成替代图像，该替代图像生成模型64被配置为输出指示是否生成替代图像的信息，该信息已通过类似于上述方法的方法学习。此外，替代图像生成单元48可以基于基本图像和与基本图像相关联的特征量数据来决定是否生成替代图像。这里，可以使用经训练的替代图像生成模型70来决定是否生成替代图像，该替代图像生成模型64被配置为输出指示是否生成替代图像的信息，该信息已通过类似于上述方法的方法学习。然后，当决定不生成替代图像时，显示控制单元50可使显示单元12f显示解码图像或在紧接前一帧中显示的图像。
260.此外，例如，要缩小的玩打图像可以被划分为多个部分图像。这里，例如，可以将玩打图像划分为多个部分图像，每个部分图像对应于例如大小为8
×
8像素或32
×
32像素的矩形区域。此外，例如，可以水平划分玩打图像，使得可以将玩打图像划分成包括多行(例如，32行)的多个条带形状(条状)的部分图像。在这种情况下，部分图像对应于上述原始图像。在包括部分图像的原始图像上，可以执行图3所示的s102到s108和图6所示的s201到s212中的一系列处理阶段。可替代地，在包括部分图像的原始图像上，可以执行图3所示的s102到s108和图13所示的s301到s314中的一系列处理阶段。
261.此外，无论玩打图像对应于原始图像还是部分图像对应于原始图像，都可以用比原始图像更小的粒度执行s204、s206、s209、s211、s304、s306、s311和s313中的处理。例如，可以针对每个8
×
8像素图像或每个32
×
32像素图像执行s204、s206、s304和s306中的处理。这里，当解码图像具有1920
×
1088像素分辨率并且对每个32
×
32像素图像执行上述处理时，执行60
×
24次处理。在这种情况下，用于机器学习模型的学习的学习输入图像可以是与在处理中输入到机器学习模型的图像具有相同形状和大小的图像。
262.此外，可以以比特征量数据更小的粒度执行s304、s309、s311和s313中的处理。在这种情况下，用于机器学习模型的学习的学习输入部分特征量数据或学习输入特征量数据可以是与在处理中输入到机器学习模型的数据具有相同大小的数据。
263.此外，放大单元44可以执行超分辨率处理或外推以生成放大图像。此外，替代图像生成单元48可以执行外推以生成替代图像。
264.此外，放大模型62、替代图像生成模型64、替代图像更新模型66、放大模型68、替代图像生成模型70、特征量数据更新模型72和替代图像更新模型74可以是单独的机器学习模型，或者可以部分或全部集成为集成的机器学习模型。
265.此外，本发明的范围不限于云游戏服务。本发明一般适用于图像数据的发送/接
收。
266.这里，例如，可以将图像数据或图像数据和特征量数据从云服务器10重复发送到传送服务器，该传送服务器被配置为传送描绘视频游戏中的情况的运动图像。然后，传送服务器可以存储对应于一系列玩打图像并且具有顺序信息的图像数据或图像数据和特征量数据。稍后，响应于来自由观看描绘视频游戏中情况的运动图像的用户使用的终端的请求，传送服务器可随后根据与数据相关联的顺序向终端发送存储在传送服务器中的图像数据或图像数据和特征量数据。然后，在终端中，可以执行与图1所示的终端12中的处理类似的处理。
267.此外，在视频游戏流中，上述传送服务器可以在接收图像数据或图像数据和特征量数据时，将图像数据或图像数据和特征量数据实时发送到由观看描绘视频游戏中情况的运动图像的用户使用的终端。然后，在终端中，可以执行与图1所示的终端12中的处理类似的处理。
268.这里，云服务器10还可以用作配置成向终端发送图像数据或图像数据和特征量数据的上述递送服务器。此外，在终端12中，可以执行与图1所示的云服务器10中的处理类似的处理，并且可以将对应于一系列玩打图像的图像数据或图像数据和特征量数据从终端12重复发送到传送服务器。
269.此外，上述具体字符串和数值以及附图中的具体字符串和数值是说明性的，并且本发明不限于这些字符串和数值。