在服务器处重叠编码与传输的制作方法

技术特征：
1.一种用于云游戏的方法，其包括：在服务器处执行视频游戏时生成视频帧；将所述视频帧逐个扫描线扫描输入到所述服务器处的编码器；在所述编码器处将一个或多个编码器切片编码为一个或多个编码切片，其中每个编码切片以编码器填充率被传送到缓冲区；从所述缓冲区排出第一编码切片，以通过网络以缓冲区排出率将所述第一编码切片流式传输到客户端，其中在完全编码所述视频帧的所述一个或多个切片之前，通过所述网络流式传输所述第一编码切片。2.如权利要求1所述的方法，其中在整个视频帧被编码之前，所述服务器排出所述视频帧的至少一个编码切片。3.如权利要求1所述的方法，其还包括：其中编码切片被打包成一个或多个网络通信数据包，在所述编码器处将所述一个或多个网络通信数据包中的每一个调整大小为小于或等于最大传输单元(mtu)；以及将所述一个或多个网络通信数据包通过所述网络以所述排出率流式传输到所述客户端。4.如权利要求3所述的方法，其还包括：将所述一个或多个编码切片中的每一个调整大小为所述mtu或更小，使得每个编码切片被打包成单个对应网络通信数据包。5.如权利要求1所述的方法，其还包括：测量所述客户端的最大接收带宽；以及将所述排出率动态调整成大约等于所述最大接收带宽，使得所述一个或多个编码切片的传输基于所述客户端的所测量最大接收带宽间隔开，其中所述缓冲区排出率与所述编码器填充率解耦。6.如权利要求1所述的方法，其还包括：生成一个或多个前向纠错(fec)切片，用于校正所述一个或多个编码切片；以及在流式传输时在所述一个或多个编码切片内交织所述一个或多个fec切片，其中所述一个或多个fec切片和所述一个或多个编码切片中的每一个被打包成大小等于或小于最大传输单元(mtu)的对应数据包。7.如权利要求1所述的方法，其还包括：在与所述客户端的会话期间，响应于由所述服务器以流式传输模式处理视频游戏，在所述服务器处生成多个视频帧；在所述编码器处将所述多个视频帧编码成多个压缩视频帧，每个压缩视频帧包括一个或多个编码切片；以及通过网络将所述多个压缩视频帧发送到所述客户端。8.如权利要求7所述的方法，其中所述客户端被配置为接收并解压缩所述多个压缩视频帧，以用于渲染到与所述客户端相关联的显示器。9.一种存储执行用于云游戏的方法的计算机程序的非暂时性计算机可读介质，所述计算机可读介质包括：
用于在服务器处执行视频游戏时生成视频帧的程序指令；用于将所述视频帧逐个扫描线扫描输入到所述服务器处的编码器的程序指令；用于在所述编码器处将一个或多个编码器切片编码为一个或多个编码切片的程序指令，其中每个编码切片以编码器填充率被传送到缓冲区；用于从所述缓冲区排出第一编码切片以通过网络以缓冲区排出率将所述第一编码切片流式传输到客户端的程序指令，其中在完全编码所述视频帧的所述一个或多个切片之前，通过所述网络流式传输所述第一编码切片。10.如权利要求9所述的非暂时性计算机可读介质，其中所述服务器在编码整个视频帧之前排出所述视频帧的至少一个编码切片。11.如权利要求9所述的非暂时性计算机可读介质，其还包括：其中在所述方法中，编码切片被打包成一个或多个网络通信数据包，用于在所述编码器处将所述一个或多个网络通信数据包中的每一个调整大小为小于或等于最大传输单元(mtu)的程序指令；以及用于将所述一个或多个网络通信数据包通过所述网络以所述排出率流式传输到所述客户端的程序指令。12.如权利要求11所述的非暂时性计算机可读介质，其还包括：用于将所述一个或多个编码切片中的每一个调整大小为所述mtu或更小，使得每个编码切片被打包成单个对应网络通信数据包的程序指令。13.如权利要求9所述的非暂时性计算机可读介质，其还包括：用于测量所述客户端的最大接收带宽的程序指令；以及用于将所述排出率动态调整为大约等于所述最大接收带宽，使得所述一个或多个编码切片的传输基于所述客户端的所测量最大接收带宽间隔开的程序指令，其中所述缓冲区排出率与所述编码器填充率解耦。14.如权利要求9所述的非暂时性计算机可读介质，其还包括：用于生成一个或多个前向纠错(fec)切片的程序指令，所述fec切片用于校正所述一个或多个编码切片；以及用于在流式传输时在所述一个或多个编码切片内交织所述一个或多个fec切片的程序指令，其中所述一个或多个fec切片和所述一个或多个编码切片中的每一个被打包成大小等于或小于最大传输单元(mtu)的对应数据包。15.如权利要求9所述的非暂时性计算机可读介质，其还包括：用于在与所述客户端的会话期间响应于由所述服务器以流式传输模式处理视频游戏而在所述服务器处生成多个视频帧的程序指令；用于在所述编码器处将所述多个视频帧编码成多个压缩视频帧的程序指令，每个压缩视频帧包括一个或多个编码切片；以及用于通过网络将所述多个压缩视频帧发送到所述客户端的程序指令。16.如权利要求15所述的非暂时性计算机可读介质，其中在所述方法中，所述客户端被配置为接收并解压缩所述多个压缩视频帧，以用于渲染到与所述客户端相关联的显示器。17.一种计算机系统，其包括：
处理器；以及耦接到所述处理器并在其中存储指令的存储器，所述指令如果由所述计算机系统执行，则使所述计算机系统执行用于云游戏的方法，所述方法包括：在服务器处执行视频游戏时生成视频帧；将所述视频帧逐个扫描线扫描输入到所述服务器处的编码器；在所述编码器处将一个或多个编码器切片编码为一个或多个编码切片，其中每个编码切片以编码器填充率被传送到缓冲区；从所述缓冲区排出第一编码切片，以通过网络以缓冲区排出率将所述第一编码切片流式传输到客户端，其中在完全编码所述视频帧的所述一个或多个切片之前，通过所述网络流式传输所述第一编码切片。18.如权利要求17所述的计算机系统，其中在所述方法中，所述服务器在编码整个视频帧之前排出所述视频帧的至少一个编码切片。19.如权利要求17所述的计算机系统，所述方法还包括：其中编码切片被打包成一个或多个网络通信数据包，在所述编码器处将所述一个或多个网络通信数据包中的每一个调整大小为小于或等于最大传输单元(mtu)；以及将所述一个或多个网络通信数据包通过所述网络以所述排出率流式传输到所述客户端。20.如权利要求19所述的计算机系统，所述方法还包括：将所述一个或多个编码切片中的每一个调整大小为所述mtu或更小，使得每个编码切片被打包成单个对应网络通信数据包。21.一种云游戏的方法，其包括：在客户端处接收视频帧的一个或多个编码切片，其中在服务器处执行视频游戏时生成所述视频帧，并且所述视频帧由所述服务器处的编码器编码成所述一个或多个编码切片；以及在完全接收所述视频帧的所述一个或多个编码切片之前，在所述客户端的解码器处解码第一编码切片。22.如权利要求21所述的方法，其中客户端vsync信号和服务器vsync信号被同步和偏移，以使得能够减少解码切片的显示等待时间。23.如权利要求21所述的方法，其中所述一个或多个编码切片中的每一个被打包成一个或多个网络通信数据包，其中所述一个或多个网络通信数据包中的每一个在所述编码器处被调整大小为小于或等于最大传输单元(mtu)。24.如权利要求23所述的方法，其中所述一个或多个编码切片中的每一个被调整大小为所述mtu或更小，使得每个编码切片被打包成单个对应网络通信数据包。25.如权利要求21所述的方法，其中在与所述客户端的会话期间响应于由所述服务器以流式传输模式处理视频游戏，在所述服务器处生成多个视频帧，其中所述多个视频帧在所述编码器处被编码成多个压缩视频帧，每个对应压缩视频帧
包括一个或多个对应编码切片，其中所述多个压缩视频帧通过网络被传输到所述客户端。26.如权利要求25所述的方法，其还包括：接收所述多个压缩视频帧；以及解压缩所述多个压缩视频帧以用于渲染到与所述客户端相关联的显示器。27.如权利要求21所述的方法，其还包括：确定所述视频帧的所述一个或多个编码切片的第一编码切片在从所述服务器到所述客户端的传输期间丢失；以及生成填料切片作为由所述解码器解码的所述第一编码切片的替代，其中所述解码器插入对应于所述第一编码切片的显示器的像素的跳过宏块。28.如权利要求27所述的方法，其还包括：执行参考帧失效以修复对应于所述第一编码切片的所述像素的所述跳过宏块。29.如权利要求21所述的方法，其还包括：确定所述视频帧的所述一个或多个编码切片的第一编码切片在从所述服务器到所述客户端的传输期间丢失；接收与丢失的所述第一编码切片对应的前向纠错(fec)切片；以及使用所述fec切片重新生成所述第一编码切片。30.如权利要求21所述的方法，其还包括：确定所述视频帧的所述一个或多个编码切片的第一编码切片在从所述服务器到所述客户端的传输期间丢失；以及使用先前视频帧的颜色值用于对应于所述第一编码切片的像素。31.一种存储执行用于云游戏的方法的计算机程序的非暂时性计算机可读介质，所述计算机可读介质包括：用于在客户端处接收视频帧的一个或多个编码切片的程序指令，其中在服务器处执行视频游戏时生成所述视频帧，并且所述视频帧由所述服务器处的编码器编码成所述一个或多个编码切片；以及用于在完全接收所述视频帧的所述一个或多个编码切片之前，在所述客户端的解码器处解码第一编码切片的程序指令。32.如权利要求31所述的非暂时性计算机可读介质，其中在所述方法中，客户端vsync信号和服务器vsync信号被同步和偏移，以使得能够减少解码切片的显示等待时间。33.如权利要求31所述的非暂时性计算机可读介质，其中在所述方法中，所述一个或多个编码切片中的每一个被打包成一个或多个网络通信数据包，其中在所述方法中，所述一个或多个网络通信数据包中的每一个在所述编码器处被调整大小为小于或等于最大传输单元(mtu)，其中在所述方法中，将所述一个或多个编码切片中的每一个调整大小为所述mtu或更小，使得每个编码切片被打包成单个对应网络通信数据包。34.如权利要求31所述的非暂时性计算机可读介质，其中在所述方法中，在与所述客户端的会话期间响应于由所述服务器以流式传输模式
处理视频游戏，在所述服务器处生成多个视频帧，其中在所述方法中，所述多个视频帧在所述编码器处被编码成多个压缩视频帧，每个对应压缩视频帧包括一个或多个对应编码切片，其中在所述方法中，所述多个压缩视频帧通过网络传输到所述客户端。35.如权利要求34所述的非暂时性计算机可读介质，其还包括：用于接收所述多个压缩视频帧的程序指令；以及用于解压缩所述多个压缩视频帧以用于渲染到与所述客户端相关联的显示器的程序指令。36.如权利要求31所述的非暂时性计算机可读介质，其还包括：用于确定所述视频帧的所述一个或多个编码切片的第一编码切片在从所述服务器到所述客户端的传输期间丢失的程序指令；用于生成填料切片作为由所述解码器解码的所述第一编码切片的替代的程序指令，其中所述解码器插入对应于所述第一编码切片的显示器的像素的跳过宏块；以及用于执行参考帧失效以修复对应于所述第一编码切片的所述像素的所述跳过宏块的程序指令。37.如权利要求31所述的非暂时性计算机可读介质，其还包括：用于确定所述视频帧的所述一个或多个编码切片的第一编码切片在从所述服务器到所述客户端的传输期间丢失的程序指令；用于接收对应于丢失的所述第一编码切片的前向纠错(fec)切片的程序指令；以及用于使用所述fec切片重新生成所述第一编码切片的程序指令。38.一种计算机系统，其包括：处理器；以及耦接到所述处理器并在其中存储指令的存储器，所述指令如果由所述计算机系统执行，则使所述计算机系统执行用于云游戏的方法，所述方法包括：在客户端处接收视频帧的一个或多个编码切片，其中在服务器处执行视频游戏时生成所述视频帧，并且所述视频帧由所述服务器处的编码器编码成所述一个或多个编码切片；以及在完全接收所述视频帧的所述一个或多个编码切片之前，在所述客户端的解码器处解码第一编码切片。39.如权利要求38所述的计算机系统，其中在所述方法中，客户端vsync信号和服务器vsync信号被同步和偏移，使得能够减少解码切片的显示等待时间。40.如权利要求38所述的计算机系统，其中所述一个或多个编码切片中的每一个被打包成一个或多个网络通信数据包，其中所述一个或多个网络通信数据包中的每一个在所述编码器处被调整大小为小于或等于最大传输单元(mtu)。

技术总结
一种用于云游戏的方法。方法包括在服务器处执行视频游戏时生成视频帧。方法包括将视频帧逐个扫描线扫描输入到服务器处的编码器。方法包括在编码器处将一个或多个编码器切片编码为一个或多个编码切片，其中每个编码切片以编码器填充率传送到缓冲区。方法包括从缓冲区排出第一编码切片，以通过网络以缓冲区排出率将第一编码切片流式传输到客户端，其中在完全编码视频帧的一个或多个切片之前，通过网络流式传输第一编码切片。式传输第一编码切片。式传输第一编码切片。


技术研发人员：K.M.扬 M.E.塞尔尼
受保护的技术使用者：索尼互动娱乐股份有限公司
技术研发日：2020.09.29
技术公布日：2022/7/10