用于实时内容和控制流传输的方法和系统与流程
本公开一般涉及网络通信。具体地,本公开涉及使用改进的网络通信协议和技术来实现实时或接近实时的输入和媒体流传输。
背景技术:
1、实时传输媒体内容(例如,视频和音频流)以及控制信号/输入在一些应用和对等通信中扮演重要角色,尤其是在其中一个对等端位于远程或远离另一对等端的场景中。作为示例,实时或接近实时的音频和视频流传输以及控制输入在与诸如机器人、无人机、自主车辆等的远程机器通信时可能是有用的。产品需要对诸如视频的媒体进行实时远程控制。不存在高性能、可扩展的解决方案来解决这个问题。当前的解决方案最多可以实现大约200ms的响应。作为另一示例,实时或接近实时的音频和视频流传输以及控制输入对于云游戏可能是有用的,其中用户将他们的控制输入发送到云或游戏服务器并且在他们的终端设备上接收游戏玩法的实况馈送。作为又一示例,实时或近实时音频和视频流传输以及控制输入可用于经由远程桌面的远程计算。
2、对于控制输入来说,数据可靠性很重要。通常优选的是,提供确认或某种反馈以确保在另一侧成功地接收包括控制输入的数据。因此,控制输入应该被可靠地传输。对于诸如音频和视频流的媒体内容,可以避免反馈回路,并且通常优选具有最小延迟的更快通信。这样,媒体内容应当经由提供具有低延迟的更快通信的通信协议来传输。
3、传输控制协议(tcp)和用户数据报协议(udp)是两种主要的通信协议,它们已经被广泛地用于网络上的数据通信。tcp通过确保发送的每个数据包被另一侧接收并且没有包丢失来提供可靠的数据通信。具体地,对于在发送机设备和接收机设备之间交换的每个包,这两个设备彼此共享确认和/或反馈以确保包已被成功发送或接收。尽管tcp提供可靠性,但是反馈回路(例如,多次握手、彼此之间确认的共享)在网络中引入了延迟。
4、另一方面,udp通过消除设备之间的反馈回路来减少这个延迟。udp通过发送数据报来工作,并且通常是单向的。具体地,udp可以用于向接收方设备发送一系列数据报,并且不等待来自设备的确认。udp可以用于不需要反馈和/或确认的情况,并且接收方可以容忍一些数据丢失。尽管udp提供更快的通信,但是反馈回路的消除使得经由udp的通信不可靠。
5、如上所述,tcp和udp都提供了一些有趣的东西,并且每个协议都具有其优点和缺点。例如,tcp提供可靠的通信,但具有增加的延迟。tcp可以用于传输控制信号或输入,但不适合于实时媒体流传输。相反,udp以可靠性为代价提供具有减少的延迟的更快的通信,即udp是不可靠的。udp可用于传输媒体内容,但不适合于控制输入,因为它们需要可靠性。
6、因此,在本领域需要一种改进的通信协议和/或技术,其提供可靠的和不可靠的通信手段,并且能够对诸如例如视频的媒体内容进行远程控制。换句话说,需要一种改进的通信协议和/或技术,其能够在网络上实时或接近实时地传输媒体内容以及控制输入。此外,需要这种改进的通信协议和/或技术,以便能够集成到用于web相关应用和关联通信的web浏览器中。
技术实现思路
1、本文描述的特定实施例涉及用于通过网络实时流式传输控制信号/输入和媒体流传输内容的改进的通信协议和/或技术。更具体地,本文讨论的改进的通信协议和/或技术实现了以低延迟在本机应用或web浏览器之间实时地传输视频和音频流以及控制输入。在一个实施例中,本文描述的技术能够实现显著低或接近实时的延迟(例如,10-15ms延迟),以便在同时递送媒体流时可靠地传输控制信号。
2、为了实现在两个端点或设备之间以低延迟传输媒体内容以及控制输入的目标,本文讨论的技术可以在第一设备和第二设备之间建立单个加密连接(例如,quic连接)。在单个加密连接内,可以形成一个或多个可靠流(例如,quic流)和一个或多个不可靠的数据报(例如,quic数据报)。在特定实施例中,可靠流可用于数据(例如,控制数据)的可靠传输或通信,而不可靠数据报可用于媒体流传输数据的较快传输。作为示例而非限制,由于可靠性对于控制输入很重要,因此可以使用可靠的流来传输控制输入。由于媒体流中丢弃的帧对于大多数应用通常是不重要的,因此本文所述的协议和/或技术向用户提供经由不可靠的数据报来传输媒体流的选项,这涉及不需要确认包的接收和/或重新发送的单向通信。这样的能力对于应用可以是有用的,诸如例如云游戏、经由远程桌面的远程计算、音频/视频流传输、控制和接收来自远程机器(例如,机器人、无人机、自主车辆等)的数据、远程监视(例如,虚拟监视器、工业监督等)以及应用流传输(例如,远程视频生产、应用的试用/演示、视觉云应用等)。
3、在高层面,本文讨论的改进的通信协议和/或技术允许在第一设备和第二设备之间使用单个加密连接。如稍后将讨论的,可以响应于两个设备之间的成功握手来建立单个加密连接。在单个加密连接中,可以建立多个信道,并且对于每个信道,数据可以作为(一个或多个)可靠流或(一个或多个)不可靠数据报在信道上发送。在特定实施例中,本文所讨论的改进的通信协议的(一个或多个)可靠流可以用于在第一设备与第二设备之间双向地传输控制数据。不可靠的数据报可以用于从第一设备向第二设备单向地传输媒体流传输内容(例如音频数据、视频数据、字幕、元数据等) (或者反之亦然)。为了传输流,可以提供若干替代协议。例如,可以(1)通过单个quic/webtransport流(最简单)可靠地、(2)每组图片使用一个quic/webtransport流、(3)使用不可靠的quic/webtransport数据报、或者(4)使用不可靠的quic/webtransport数据报以及前向纠错(fec)中的至少一个来传输视频流。应当注意,可以实现其他协议,每个协议具有其自己的优点和缺点。
4、这里讨论的第一设备可以是远离第二设备的远程设备或机器。例如,第一设备可以是服务器、云计算机、无人机、机器人、虚拟计算机、远程桌面等。本文所讨论的第二设备可以是与和第一设备交互的终端用户相关联的客户端设备。例如,客户端设备可以是智能电话、台式机、膝上型计算机、平板计算机、智能手表、手持设备、游戏控制台、自主车辆等。在一些实施例中,客户端设备可以包括与第一设备交互的客户端应用,诸如web浏览器。
5、在特定实施例中,本文讨论的控制数据可以包括来自第二设备(例如,客户端设备)的数据,该数据被用于控制可以位于远程或远离第二设备的第一设备(例如,无人机、远程桌面、虚拟机)。例如,控制数据可以包括经由第二设备的一个或多个输入组件(例如,鼠标、键盘、网络摄像头等)接收的用户输入。由于确保与控制远程机器有关的控制输入在传输期间不丢失并且以正确的顺序接收是重要的,因此使用quic协议的可靠流来发送这样的控制输入、数据或信号,使得发送的包被确认并且如果需要的话被重新发送。
6、对于媒体流传输(例如,音频、视频、字幕、元数据等),数据可靠性不是最重要的,并且一些数据丢失是可接受的。因此,媒体流传输内容可以可选地作为数据报使用不可靠的信道来发送,其中不需要接收确认,并且不重发丢失的数据包。尽管数据可靠性对于实时媒体流传输内容不是相当重要,但是期望具有用于改进可靠性的一些措施。这里讨论的技术将前向擦除纠正或前向纠错(fec)添加到在quic协议的不可靠流上发送的数据报。使用fec,数据报的接收方可以确定经由不可靠的数据报发送的任何包(例如,音频/视频包)是否被破坏。如果一个或多个包看起来被破坏,则接收方可以使用fec (例如,使用校验和信息)来重构包。如果重建不可能,则接收方将释放数据报并继续移动,而不请求重传损坏的数据。
7、在特定实施例中,可以使用webtransport应用编程接口(api)将这里讨论的改进的通信协议和技术的功能并入web浏览器中。换句话说,webtransport api使得web浏览器能够经由quic进行通信。作为示例而非限制,当用户通过连接到游戏服务器的web浏览器进行云游戏时,可使用webtransport api。在这种场景下,为了能够将数据(例如,实时游戏)作为数据报通过quic的不可靠信道从游戏服务器传送到web浏览器,这可以经由webtransport api来实现。
8、以下编号的实施例代表本公开的实施方案。
9、示例1 一种方法,包括通过第一设备的计算系统:响应于在第一设备和第二设备之间执行成功的握手,建立与第二设备的单个加密连接;处理从所述第二装置接收的配置数据,其中所述配置数据至少包含用于控制数据通信的可靠流的数目的指示及用于媒体数据通信的不可靠数据报的数目的指示;基于所述配置数据,在所述单个加密连接内建立一个或多个可靠流和一个或多个不可靠数据报;经由所述一个或多个可靠流在所述第一设备与所述第二设备之间传送控制数据和对应的确认;以及经由所述一个或更多个不可靠数据报在所述第一装置与所述第二装置之间单向地传送媒体流传输数据。
10、示例2 示例1的方法,其中,媒体流传输数据包括一个或多个媒体包,并且其中,该方法进一步包括:经由所述一个或多个不可靠的数据报,在所述第一设备和所述第二设备之间单向地传送一个或更多个奇偶校验包,其中所述一个或多个奇偶校验包被用于在所述第二设备处重构一个或更多个丢失或损坏的媒体包。
11、示例3 示例2的方法,其中在第二设备不能重构一个或更多个丢失或损坏的媒体包的情况下,该方法进一步包括从第二设备接收请求以重传所述一个或更多个丢失或损坏的媒体包;或者忽略所述一个或更多个丢失或损坏的媒体包。
12、示例4 示例1的方法,其中,传送控制数据和对应的确认包括经由所述一个或多个可靠流从第二设备接收控制数据以控制第一设备;以及经由所述一个或多个可靠流向所述第二设备发送对所述控制数据的确认或接收。
13、示例5 示例1的方法,其中,媒体流传输数据包括一个或更多个媒体包,并且其中,传送媒体流传输数据包括经由一个或更多个不可靠的数据报从第一设备向第二设备连续地发送一个或更多个媒体包,而不等待来自第二设备的所述一个或更多个媒体包的确认或接收。
14、示例6 示例1的方法,其中所述单个加密连接包括一个或更多个信道。
15、示例7 示例6的方法,其中,所述一个或更多个可靠流和所述一个或多个不可靠数据报与所述一个或更多个信道相关联。
16、示例8 示例1到7中的任一项的方法,其中,所述一个或更多个可靠流和所述一个或更多个不可靠的数据报与quic传输层网络协议相关联。
17、示例9 示例1至8中任一的方法,其中,所述第一设备包括无人机、机器人、远程桌面、云服务器和云计算机中的一个,并且所述第二设备包括智能电话、桌面、膝上型计算机、平板计算机、智能手表、手持设备和游戏控制台中的一个。
18、示例10 示例1至9中任一项的方法,其中,所述控制数据包括经由与所述第二设备相关联的一个或更多个输入组件的用于控制所述第一设备的一个或更多个用户输入,并且其中,所述媒体流传输数据包括视频、音频、字幕或元数据中的一个或更多个。
19、示例11 在一些方面,本文描述的技术涉及体现软件的一个或更多个计算机可读非暂态存储介质,当由计算系统执行时,该软件可操作以执行示例1至10中的任一项的方法。
20、示例12 在一些方面,本文描述的技术涉及一种计算系统,包括:一个或更多个处理器;以及一个或更多个计算机可读非暂态存储介质,其耦合到所述一个或更多个处理器并且包括指令,该指令在由所述一个或更多个处理器执行时可操作以使所述计算系统执行示例1至10中的任一项的方法。
21、在此公开的实施例仅是示例,并且本公开的范围不限于它们。特定实施例可以包括这里公开的实施例的组件、元件、特征、功能、操作或步骤中的所有,一些,或者不包括这些组件、元件、特征、功能、操作或步骤。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com