一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种通信方法及装置与流程

2021-12-07 23:59:00 来源:中国专利 TAG:


1.本技术实施例涉及通信技术领域,尤其涉及一种通信方法及装置。


背景技术:

2.在视频处理领域,由于压缩方式的不同,会导致不同视频帧压缩后的尺寸相差很多。其中,基准帧,又称为i帧,其压缩后的视频帧的尺寸最大。p帧和b帧压缩后的尺寸次之。由于i帧尺寸太大,所以在传输时被传输控制协议/网际互连协议(transmission control protocol/internet protocol,tcp/ip)层或以太层分割成多个分片,再交给无线通信网络传输。例如,典型的i帧被划分成64个ip包。由于对于接收方的应用层而言,其解码每个视频帧的时间有一定的时间限制。例如,接收方的应用层解码每个视频帧的时间不能超过扩展时延。此时,接收方如何对同一个视频帧的多个数据包进行处理,是当前待解决的技术问题。


技术实现要素:

3.本技术实施例提供一种通信方法及装置,以解决接收方对同一个视频帧的多个数据包进行处理的技术问题。
4.第一方面,提供一种通信方法,该方法包括:通信装置获取扩展时延预算;通信装置接收第一业务的数据包;通信装置根据所述扩展时延预算,处理所述数据包。
5.可选的,扩展时延预算还可称为spread delay budget。扩展时延预算可以是预配置的,或者,协议规定的等,不作限定。若为预配置的,通信装置可接收第一信息,第一信息可直接指示扩展时延的大小,或者间接指示扩展时延预算的大小,例如,第一信息指示业务类型或解码类型等。其中,业务类型与解码类型可与扩展时延预算存在对应关系。通信装置可根据第一信息,确定扩展时延预算。
6.在一种可能的设计中,通信装置可以为接入网设备,第一方面的方案可应用于下行视频传输过程中,接入网设备根据所述扩展时延预算,处理数据包的过程,可包括:接入网设备根据扩展时延预算和n个数据包的数据量,确定向终端设备传输n个数据包的时机。且上述时机上,向终端设备发送n个数据包,从而可避免终端设备接收或处理n个数据的时延超过扩展时延预算,提高终端设备的解码成功率。或者,第一方面的方案可应用于上行视频传输过程中,接入网设备可根据扩展时延预算和n个数据包的数据量,确定n个数据包的传输时机。且向终端设备发送调度信息,用于调度终端设备在上述传输时机上,向网络设备传输n个数据包,从而可减少接收或处理n个数据包的时延超过扩展时延预算的概率,提高视频服务器的解码成功率。
7.在另一种可能的设计中,通信装置可以为终端设备。终端设备的接入层可根据扩展时延预算,向上层递交n个数据包,从而减少上层的解码器处理n个数据包的时延超过扩展时延预算的概率,提高解码成功的概率。
8.在一种可能的设计中,通信装置可以接收第一业务中属于同一视频帧的n个数据
包。例如,n可以小于或等于一个视频帧所包括数据包的数量。例如,当一个视频帧包括64个数据包时,n的取值可为小于或等于64的正整数。
9.在一种可能的设计中,n个数据中的首包即第一数据包中可携带有帧起始标识,或者,通信装置可接收独立的帧起始标识和第一数据包,不限定帧起始标识和第一数据包的先后顺序。或者,第一数据包的前一个数据包中携带有帧结束标识,或者,通信装置可接收到独立的帧结束标识和前一帧的最后一个数据包。或者,通信装置在一段时间t内没有收到任何数据包,之后收到的数据包,可认为是第一数据包等。所述t的值可以是预配置的,或者协议规定的,或者通信装置自行确认的等。接收到首包之外,通信装置可继续接收n个数据包的其它数据包。接收其它数据包的方式可通过预设时长实现,或者通过预设数量或预设数据量等实现,不作限定。
10.在一种可能的设计中,n个数据包中的尾包即第二数据包中可携带有帧结束标识。通信装置可确定帧结束标识之间的其它数据包与后一个帧结束标识所对应的尾包组成n个数据包。
11.在一种可能的设计中,n个数据包中可携带有相同的指示信息。通信装置可确定携带有相同指示信息的数据包,为n个数据包等,不作限定。
12.在一种可能的设计中,当通信装置为接入网设备时,接入网设备可根据扩展时延预算,安排数据调度。如此,接入网设备在接收到一个视频帧的尾包之后,需要计算视频帧中所有数据包的数据量之和。可选的,可在每个视频帧即n数据包的首包中携带有n个数据包大小的指示信息。这样接入网设备在接收到首包时,即可确定n个数据包的大小,可开始寻找时机传输上述n个数据包,提高视频帧的传输效率。可替代的,上述“n个数据包大小的指示信息”还可替代为“n个数据包中平均数据包大小的指示信息”。
13.第二方面,提供一种通信方法,包括:接入层接收第一数据包,所述第一数据包为视频帧的首个数据包;所述接入层接收与所述第一数据包属于同一个视频帧的其它数据包;所述接入层在预设时间到期或属于所述同一视频帧的n个数据包都被接收到时,向上层递交所述n个数据包,所述n个数据包中包括所述第一数据包和所述其它数据包。
14.在一种可能的实现方式中,可预配置上述预设时间,或者,协议规定上述预设时间。可选的,可通过定时器实现上述方案。比如,接入层在接收到一视频帧的首包时,即开启定时器;在定时器结束时,即向上层递交所接收到的数据包。或者,接入层可接收接入网设备,核心网网元或视频数据源发送的指示信息,根据该指示信息,确定预设时间。该指示信息可指示具体的预设时间大小。或者,该指示信息可指示扩展时延预算。根据该扩展时延预算,可确定预设时间,预设时间可小于或等于扩展时延预算等。在一种方案中,接入层每接收到一个数据包,即递交到上层。这样可能会导致上层接收视频帧的首包至尾包的时间间隔超过扩展时延预算的限制,使得上层解码器解码失败。而在该实现方式中,接入层不再每接收到一个数据包即向上层递交,而是将一段时间(即预设时间)连续所接收到的数据包,统一递交到上层,这样可减少上层中每个视频帧的时延超过扩展时延预算的概率。当然,如果上述预设时间设置的合适,上层可将一个视频帧的全部数据包统一递交到上层,这样就可以保证上层每个视频帧的扩展时延均不超过扩展时延预算,保证上层解码器成功解码。
15.在另一种可能的实现方式中,接入层可在n个数据包均被接收到时,统一向上层递交n个数据包。所述n可小于或等于一个视频帧所包括数据包的数量。例如,一个视频帧包括
64个数据包,则n的取值可小于或等于64等。在该实现方式中,接入层统一向上层递交n个数据包。相对于,接入层一个个向上层递交数据包的方式,同样可减少上层视频帧的扩展时延超时扩展时延预算限制的概率,降低解码失败的概率。当然,如果n的取值等于一个视频帧全部数据包的数量,那么接入层可将一视频帧的全部数据包统一递交到上层,可以保证上层每个视频帧的扩展时延不超过扩展时延预算,使得上层解码器成功解码。
16.在另一种可能的实现方式中,当接入层接收到一视频帧的尾包时,可认为本视频帧的全部数据包均收到,且向上层递交全部数据包,否则不向上层递交数据包。接入层判断一数据包为尾包的方式很多,比如,可在尾包中携带视频帧结束标识,或者,可在尾包中携带尾数据包的指示信息等,或者,可单独发送视频帧结束标识或尾数据包的指示信息等,不作限定。可选的,在另一种方式中,ue可依靠基站pdcp层为每个数据包分配的pdcp序列号(serial number,sn),判断本视频帧所有数据包是否都收齐。可选的,如果ue始终未能收齐第i视频帧的所有数据包,且收到第i 1帧的首数据包,则ue可丢弃第i帧的数据包,不再向上层递交。
17.第三方面,提供一种装置,包括用于执行上述第一方面或第二方面所包括的各个步骤的单元或手段(means)。
18.第四方面,提供一种装置,包括处理器和接口电路,所述处理器用于通过接口电路与其它装置通信,并执行上述第一方面或第二方面所提供的方法,该处理器包括一个或多个。
19.第五方面,提供一种装置,包括处理器,用于与存储器相连,用于调用所述存储器中存储的程序,以执行上述第一方面或第二方面所提供的方法,该存储器可以位于该装置之内,也可以位于该装置之外,且该处理器包括一个或多个。
20.第六方面,提供一装置,包括至少一个处理器和至少一个存储器,所述至少一个处理器用于执行上述第一方面或第二方面所提供的方法。
21.第七方面,提供一种程序,该程序在被处理器执行时用于执行以上第一方面或第二方面所提供的方法。
22.第八方面,提供一种程序产品,例如计算机可读存储介质,包括上述第一方面或第二方面的程序。
23.第九方面,提供一种计算机可读存储介质,包括程序,当程序被处理器运行时,上述第一方面或第二方面所提供的方法被执行。
24.以上装置可以是一个芯片,处理器可以通过硬件来实现也可以通过软件来实现,当通过硬件实现时,该处理器可以是逻辑电路、集成电路等;当通过软件来实现时,该处理器可以是一个通用处理器,通过读取存储器中存储的软件代码来实现,该存储器可以集成在处理器中,可以位于该处理器之外,独立存在。以上处理器为一个或多个,存储器为一个或多个。存储器可以与处理器集成在一起,或者存储器与处理器分离设置。在具体实现过程中,存储器可以与处理器集成在同一块芯片上,也可以分别设置在不同的芯片上,本技术实施例对存储器的类型以及存储器与处理器的设置方式不做限定。
附图说明
25.图1为本技术实施例提供的视频帧的示意图;
26.图2为本技术实施例提供的不同传输方案的示意图;
27.图3为本技术实施例提供的网络架构的示意图;
28.图4至图7为本技术实施例提供的通信方法的流程图;
29.图8为本技术实施例提供的接收方协议栈的示意图;
30.图9和图10为本技术实施例提供的通信方法的流程图;
31.图11和图12为本技术实施例提供的通信装置的结构示意图。
具体实施方式
32.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行描述。其中,在本技术的描述中,除非另有说明,“/”表示前后关联的对象是一种“或”的关系,例如,a/b可以表示a或b;本技术中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况,其中a,b可以是单数或者复数。并且,在本技术的描述中,除非另有说明,“多个”是指两个或多于两个。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。另外,为了便于清楚描述本技术实施例的技术方案,在本技术的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
33.此外,本技术实施例描述的网络架构以及业务场景是为了更加清楚的说明本技术实施例的技术方案,并不构成对于本技术实施例提供的技术方案的限定,本领域普通技术人员可知,随着网络架构的演变和新业务场景的出现,本技术实施例提供的技术方案对于类似的技术问题,同样适用。
34.对于视频业务,基本的处理是将视频划分为每秒n个画面,每个画面作为一个视频帧进行编码。对每个视频帧,可以从色彩、亮度两个方面进行编码,形成数字信息。但是,由于每个视频帧包含的像素较多,所以编码形成的数字信息,其尺寸相当大,直接传输会占用很大的带宽。所以,可以对视频业务进行压缩再传输。
35.由于视频业务的天然性,只要镜头不切换,相邻的几个帧之间,通常大部分画面的内容是相同的,只有少量内容不同。所以,可以将视频帧分组,每组的第一帧是基准帧,后续的帧是依赖帧。压缩时,对基准帧进行帧内压缩,即压缩时只参考帧内自身的码流,不参考其它帧。这样,解压缩方接收到一个基准帧,不需要其它的帧,就可以独立解压缩;对基准帧后面的依赖帧,则参照基准帧进行帧间压缩,即压缩时既参考帧内自身的码流,也参考其它帧,比如参照基准帧等。这样,压缩时可以大大提升压缩率,减少压缩后的数据尺寸。
36.由于上述的压缩方式,会导致压缩后的各个视频帧的尺寸相差很大。如图1所示,基准帧(又称为i帧),其尺寸最大。依赖帧即图中的p帧(解码时只依赖前面的帧)和b帧(解码时不仅依赖前面的帧,也依赖后面的帧),其尺寸较小。
37.因为i帧的尺寸太大,所以在传输时,通常被传输控制协议/网际互连协议(transmission control protocol/internet protocol,tcp/ip)层或以太层分割成多个ip包,再递交给通信网络传输。典型的i帧会被划分成64个ip包。从基站(例如,gnb)的角度,
会集中收到几十个ip包,然后再继续收到后面的p帧和b帧。可选的,p帧和b帧因为尺寸较小,每个帧可包括一个或多个ip包。
38.参见图2,基站(例如gnb)传输视频帧的方案可包括以下三种传输方案。可选的,该传输方案可用于传输i帧、b帧或p帧等。以下以传输i帧的ip包为例进行描述:
39.传输方案一,对应的是理想情况。gnb的空口负载很轻,gnb很快就把i帧的ip包传输给终端设备。终端设备收到后,马上对i帧的ip包进行解码,时延很小,扩展时延也很小,两者均未超出限制。
40.传输方案二,对应的是gnb的空口负载很重的情况,gnb有其它更紧急的数据要传输,导致很晚才调度i帧的ip包。这样可能会导致,直至i帧的时延预算超出了,gnb也没有调度完i帧的所有ip包。从gnb侧的角度,只有一部分ip包没有按时到达接收方,服务质量(quality of service,qos)还是满足的。但在接收方视频解码器的角度,i帧超出了时延预算,不仅影响i帧本身的解码,还会影响后面的p帧和b帧的解码。
41.传输方案三,对应的gnb的空口负载中等的情况。但是由于gnb不知道上述几十个ip包属于同一个i帧,可能会导致i帧的扩展时延太大。虽然i帧的所有ip包在时延预算之前到达了接收方,但i帧的扩展时延太大超出了扩展时延预算的限制,不符合视频解码器的要求。
42.其中,时延预算,还可称为delay budget;扩展时延预算,还可称为spread delay budget,两者是不同的。时延预算定义了核心网网元和终端设备之间数据包传输时延的时间上限,或者说,是指核心网网元接收到一个数据包至递交到终端设备的时间限制,递交至终端设备例如是指递交至终端设备的非接入层,核心网网元为用于用户面控制的核心网网元,例如用户面功能(user plane function,upf)网元。所述扩展时延预算可指视频解码器对接收的视频帧的首包至尾包的时间间隔的时间上限。可选的,对于视频解码器,若在达到上述扩展时延预算时,还没有收齐i帧的所有ip包,则视频解码器会丢弃前面收到的ip包,导致i帧的解码失败。
43.基于上述,本技术实施例提供一种通信方法及装置,该方法可为:通信装置获取扩展时延预算;通信装置接收第一业务的数据包;通信装置根据所述扩展时延预算,处理上述接收的数据包。例如,上述通信装置可为接入网设备,接入网设备可根据i帧的扩展时延预算,分配合理的传输时机,向终端设备发送从核心网接收到的i帧的数据包,从而减少i帧数据包到达终端设备的接入层时超过扩展时延预算的限制,解决对i帧解码失败的技术问题。
44.如图3所示,提供一种网络架构,包括:接入网和核心网。
45.其中,接入网用于实现无线接入有关的功能,接入网设备是为终端设备提供接入的设备。接入网设备包括无线接入网(radio access network,ran)设备和/或接入网(access network,an)设备。ran设备可以是3gpp中定义的接入网设备。an设备可以是非3gpp(non-3gpp)定义的接入网设备。
46.ran设备,主要负责空口侧的无线资源管理、服务质量(quality of service,qos)管理、数据压缩和安全处理等。所述ran设备可以包括各种形式的基站。例如,宏基站、微基站(小站)、中继站或接入点等。ran设备包括但不限于:5g中的下一代基站(generation nodeb,gnb)、演进型节点b(evolved node b,enb)、无线网络控制器(radio network controller,rnc)、节点b(node b,nb)、基站控制器(base station controller,bsc)、基站
收发台(base transceiver station,bts)、家庭基站(例如,home evolved nodeb,或home node b,hnb)、基带单元(baseband unit,bbu)、收发点(transmitting and receiving point,trp)、发射点(transmitting point,tp)、或移动交换中心等。ran设备还可以是云无线接入网络(cloud radio access network,cran)场景下的无线控制器、集中单元(centralized unit,cu),和/或分布单元(distributed unit,du),或者ran设备可以为中继站、接入点、车载设备、终端设备、可穿戴设备以及未来6g网络中的接入网设备或者未来演进的公用陆地移动通信网络(public land mobile network,plmn)网络中的接入网设备等。
47.an设备,用于使得终端设备与3gpp核心网之间可采用非3gpp技术互联互通。所述非3gpp技术包括但不限于:无线保真(wireless fidelity,wifi)、全球微波互联接入(worldwide interoperability for microwave access,wimax)、码分多址(code division multiple access,cdma)网络技术等。
48.其中,核心网设备主要用于对终端设备进行管理并提供与外网通信的网关。核心网设备例如可以为不同网络制式中的核心网网元,例如可包括以下中的一个或多个网元:接入和移动管理功能(access and mobility management function,amf)网元、会话管理功能(session management function,smf)网元、用户面功能(user plane function,upf)网元、策略控制功能(policy control function,pcf)网元、应用功能(application function,af)网元、统一数据管理(unified data management,udm)网元、认证服务器功能(authentication server function,ausf)网元、网络切片选择功能(network slice selection function,nssf)网元。
49.amf网元:主要负责移动网络中的移动性管理,如用户位置更新、用户注册网络、用户切换等。smf网元:主要负责移动网络中的会话管理,如会话建立、修改、释放。具体功能如为用户分配ip地址、选择提供报文转发功能的upf网元等。upf网元:主要负责用户数据的转发和接收。在下行传输中,upf网元可以从数据网络(data network,dn)接收用户数据,通过接入网设备传输给终端设备;在上行传输中,upf网元可以通过接入网设备从终端设备接收用户数据,向dn转发该用户数据。可选的,upf网元中为终端设备提供服务的传输资源和调度功能可以由smf网元管理控制。pcf网元:主要支持提供统一的策略框架来控制网络行为,提供策略规则给控制层网络功能,同时负责获取与策略决策相关的用户签约信息。af网元:主要支持与3gpp核心网交互来提供服务,例如影响数据路由决策,策略控制功能或者向网络侧提供第三方的一些服务。udm网元,主要用于生成认证信任状,用户标识处理(如存储和管理用户永久身份等),接入授权控制和签约数据管理等。ausf网元,主要用于在终端设备接入网络时执行认证,包括接收安全锚点功能(security anchor function,seaf)发送的鉴权请求,选择鉴权方法,以及向鉴权存储和处理功能(authentication repository and processing function,arpf)请求鉴权向量等。nssf网元,主要用于为终端设备选择网络切片实例,确定允许的网络切片选择辅助信息(network slice selection assistance information,nssai)、配置nssai和确定服务终端设备的amf集。
50.可选的,图3所示的网络架构中,还可包括:终端设备。终端设备可以简称为终端,是一种具有无线收发功能的设备,终端设备可以部署在陆地上,包括室内或室外、手持或车载;也可以部署在水面上(如轮船等);还可以部署在空中(例如飞机、气球和卫星上等)。所
述终端设备可以是手机(mobile phone)、平板电脑(pad)、带无线收发功能的电脑、虚拟现实(virtual reality,vr)终端设备、增强现实(augmented reality,ar)终端设备、工业控制(industrial control)中的无线终端设备、无人驾驶(self driving)中的无线终端设备、远程医疗(remote medical)中的无线终端设备、智能电网(smart grid)中的无线终端设备、运输安全(transportation safety)中的无线终端设备、智慧城市(smart city)中的无线终端设备、或智慧家庭(smart home)中的无线终端设备等。终端设备还可以是蜂窝电话、无绳电话、会话启动协议(session initiation protocol,sip)电话、无线本地环路(wireless local loop,wll)站、个人数字助理(personal digital assistant,pda)、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、车载设备、可穿戴设备,未来第五代(the 5th generation,5g)网络中的终端设备或者未来演进的公用陆地移动通信网络(public land mobile network,plmn)中的终端设备等。终端设备有时也可以称为用户设备(user equipment,ue)、接入终端设备、车载终端设备、工业控制终端设备、ue单元、ue站、移动站、移动台、远方站、远程终端设备、移动设备、无线通信设备、ue代理或ue装置等。终端设备也可以是固定的或者移动的。本技术实施例对此并不限定。作为示例而非限定,在本技术实施例中,终端设备可以是可穿戴设备。可穿戴设备也可以称为穿戴式智能设备,是应用穿戴式技术对日常穿戴进行智能化设计、开发出可以穿戴的设备的总称,如眼镜、手套、手表、服饰及鞋等。可穿戴设备即直接穿在身上,或是整合到用户的衣服或配件的一种便携式设备。可穿戴设备不仅仅是一种硬件设备,更是通过软件支持以及数据交互、云端交互来实现强大功能的设备。广义穿戴式智能设备包括功能全、尺寸大、可不依赖智能手机实现完整或者部分的功能,例如:智能手表或智能眼镜等,以及只专注于某一类应用功能,需要和其它设备如智能手机配合使用,如各类进行体征监测的智能手环、智能首饰等。在本技术中,终端设备可以是物联网(internet of things,iot)系统中的终端,iot是未来信息技术发展的重要组成部分,其主要技术特点是将物品通过通信技术与网络连接,从而实现人机互连,物物互连的智能化网络。本技术中的终端设备可以是机器类型通信(machine type communication,mtc)中的终端设备。本技术的终端设备可以是作为一个或多个部件或者单元而内置于车辆的车载模块、车载模组、车载部件、车载芯片或者车载单元,车辆通过内置的所述车载模块、车载模组、车载部件、车载芯片或者车载单元可以实施本技术的方法。因此,本技术实施例可以应用于车联网,例如车辆外联(vehicle to everything,v2x)、车间通信长期演进技术(long term evolution vehicle,lte-v)、车到车(vehicle to vehicle,v2v)等。
51.可选的,在图3所示的网络架构中,还可包括:数据网络(data network,dn)。dn可以是为用户提供数据业务服务的服务网络。例如,dn可以是ip多媒体业务(ip multi-media service)网络或互联网(internet)等。其中,终端设备可以建立从终端设备到dn的协议数据单元(protocol data unit,pdu)会话,来访问dn。
52.需要说明的是,在不同的通信系统中,上述核心网中的网元可以有不同的名称。在上述图3所示的示意图中,是以第五代移动通信系统为例进行说明的,并不作为对本技术的限定。例如,在lte通信系统中,核心网设备可以包括以下中的一个或多个网元:移动性管理实体(mobility management entity,mme)和服务网关(serving gateway,s-gw)等。进一步,上述图3中的核心网网元仅为示意性说明,并不作为对本技术实施例的限定。比如,在图
1所示的网络架构中,核心网网元还可包括:网络开放功能(network exposure function,nef)、网络存储器功能(network repository function,nrf)、或业务控制点(service control point,scp)等中的一个或多个网元等。
53.如图4所示,本技术实施例提供一种通信方法的流程图,该流程包括但不限于:
54.步骤401,通信装置获取扩展时延预算。
55.可选的,所述扩展时延预算可采用以下描述中的任一种:
56.1、扩展时延预算用于所述通信装置对一个视频帧的所有数据包的处理进行时间限制。
57.2、扩展时延预算是指通信装置对一个视频帧的所有数据包进行处理的一个时间限制,例如,一个视频帧的所有数据包的最大处理时延、容忍时间或最大解码持续时间等。举例而言,一个视频帧通常可以被拆分为多个数据包。通信装置视频解码器可利用该扩展时延预算对一个视频帧的所有数据包的处理时间进行限制。例如,通信装置视频解码器从接收视频帧的第一数据包开始计时,或从对视频帧的第一数据包进行处理开始计时;如果超时上述扩展时延预算的限制后,解码器仍没有收齐或解码成功所有的数据包,则对视频帧解码失败,解码器可以丢弃已经收到的数据包;如果在上述扩展时延预算的限制内,收齐或解码成功所有的数据包,则对视频帧解码成功。当然可以理解的是,以上收齐或解码成功可以替换为向上层递交。
58.在一种可能的实现方式中,上述扩展时延预算可以为预配置的,或者,协议规定的等,不作限定。如果为预配置的,通信装置可接收第一信息,根据第一信息,确定所述扩展时延预算。所述第一信息可直接指示扩展时延预算的大小。或者,所述第一信息可间接指示扩展时延预算的大小。例如,上述第一信息可指示业务类型,通信装置根据业务类型与扩展时延预算的对应关系,确定扩展时延预算。比如,动画类视频对应的扩展时延预算可以为20ms,风景类视频对应的扩展时延预算可以为15ms,动作片类视频对应的扩展时延预算可以为10ms。或者,上述第一信息可指示视频帧的解码类型,不同解码类型可对应不同的扩展时延预算。通信装置可根据视频帧的解码类型与扩展时延预算的对应关系,确定上述扩展时延预算等,不作限定。其中,上述通信装置可为接入网设备,接入网设备可从核心网网元接收上述第一信息。例如,smf网元可通过amf网元将所述第一信息发送给接入网设备。或者,上述通信装置可以为终端设备,终端设备可从接入网设备接收上述第一信息。比如,接入网设备可先从核心网网元获取第一信息,之后透明传输给终端设备。可选的,上述接入网设备获取的第一信息可以是直接指示的,也可以是间接指示的;传输到终端设备的第一信息也可以是直接指示的,或者间接指示的等,不作限定。其中,第一信息可以携带于应用层数据包中,该应用层数据包由接入网设备发送给终端设备,终端设备通过解析该应用层数据包即可获取第一信息,该应用层数据包可以由应用层提供给接入层,接入层不做解析传输给终端设备。或者,第一信息可以作为接入层控制信元,由接入网设备发送给终端设备等。
59.本实施例和以下实施例中的预配置,是指预先配置给通信装置,至于携带配置的内容的消息,本技术实施例不做任何限制。
60.步骤402,通信装置接收第一业务的数据包。例如,通信装置可接收同一个视频帧的n个数据包,所述n个数据包可以为同一个视频帧的全部或部分数据包。例如,对于基准
帧,即i帧而言,设定一个i帧包括64个ip包,那么n的取值可以为小于或等于64的正整数。可选的,同一个视频帧的n个数据包,还可称为一簇(cluster)数据。所述数据包还可称为ip包,两者不作区分。
61.在本技术实施例中,通信装置可采用以下方式确定接收的第一数据包为视频帧的首数据包。例如,第一数据包中携带有帧起始标识,或者,通信装置可接收独立的帧起始标识和第一数据包,不限定帧起始标识和第一数据包的先后顺序。或者,第一数据包的前一个数据包中携带有帧结束标识,或者,通信装置可接收到独立的帧结束标识和前一帧的最后一个数据包。或者,通信装置在一段时间t内没有收到任何数据包,之后收到的数据包,可认为是第一数据包等。所述t的值可以是预配置的,或者协议规定的,或者通信装置自行确认的等。在以下描述中,帧起始标识,还可称为首数据包的指示信息,或者,第一指示信息等。帧结束标识,还可称为尾数据包的指示信息,或第二指示信息等,不作限定。通信装置除了接收视频帧的首数据包,还可以接收该视频帧中的其它数据包。
62.在一种可能的实现方式中,通信装置可接收第一数据包,称为数据包p1,所述数据包p1为n个数据包中的首个数据包,所述数据包p1中可携带有用于指示首个数据包的第一指示信息。通信装置在预设时间内接收到的其它数据包与数据包p1属于同一个视频帧。在一种可能的实现方式中,可以通过定时器实现上述功能。通信装置在接收到数据包p1时,可开启第一定时器。在第一定时器的运行期间所接收到的其它数据包可为n个数据包中的剩余数据包。所述定时器可以为协议规定的,或者,预配置的,不作限定。或者,上述数据包p1和第一指示信息两者可独立发送,两者的前后顺序不作限定。
63.在一种可能的实现方式中,通信装置接收第一数据包,称为数据包p1,数据包p1为n个数据包中的首个数据包,所述数据包p1中可携带有第一指示信息,第一指示信息用于指示所述数据包p1为n个数据包中的首个数据包。通信装置所接收到的预设数量的其它数据包与数据包p1属于同一视频帧,所述预设数量可以为协议规定的;或预配置的,例如利用应用层配置信息进行配置或利用接入层信息进行配置;或携带于首个数据包中,例如首个数据包包括指示预设数量的信息和第一指示信息,该信息和第一指示信息为独立的信元,或者第一指示信息即可以指示预设数量又可以指示视频帧的首包。例如,在一种可能的实现方式中,通信装置在接收到数据包p1之后,可再接收预设数量的其它数据包,认为该其它数据包与数据包p1属于同一个视频帧。例如,上述预配置的,或者,协议规定的预设数量可为n。通信装置在接收到同一视频帧的首个数据包即数据包p1之后,可根据上述预设数量再继续接收n-1个数据包等。同理,在该实现方式中,第一指示信息与数据包p1还可为相互独立发送的,且两者的先后顺序不作限定,此时,指示预设数量的信息可以跟第一指示信息携带在同一个消息中,或者第一指示信息既可以指示预设数量又可以指示视频帧的首包。
64.以上预设数量可以是包括首包的一个视频帧的总数量,或者,可以是一个视频帧中除去首包的数据包的数量。
65.在另一种可能的实现方式中,通信装置接收第一数据包,称为数据包p1,数据包p1为n个数据包中的首个数据包,所述数据包p1中可携带有第一指示信息,第一指示信息用于指示数据包p1为n个数据包中的首个数据包。通信装置所接收到的预设数据量的其它数据包与数据包p1属于同一视频帧,所述预设数据量可以为协议规定的;或预配置的,例如利用应用层配置信息进行配置或利用接入层信息进行配置;或携带于首个数据包中,例如首个
数据包包括指示预设数据量的信息和第一指示信息,该信息和第一指示信息为独立的信元,或者第一指示信息即可以指示预设数据量又可以指示视频帧的首包,所述预设数据量的单位可以为字节(byte)等。例如,在一种可能的实现方式中,通信装置在接收到数据包p1之后,可再接收预设数据量的其它数据包,认为该预设数据量的其它数据包与数据包p1属于同一个视频帧。例如,一视频帧的数据量为1500字节,可将上述1500字节预配置给通信装置。通信装置在接收到一视频帧的首个数据包时,可确定首个数据包的数据量。之后,在接收到第二个数据包之后,确定首个数据包 第二个数据包的数据量之和。同理,在接收到第三个数据包之后,确定首个数据包 第二个数据包 第三个数据包之和。直至所接收到的多个数据包的数据量之和达到1500字节,则停止接收当前视频帧的数据包,且认为上述多个数据包是属于同一视频帧的。后续,通信装置可继续接收下一视频帧的数据包。同理,在该实现方式中,第一指示信息与数据包p1还可为相互独立发送的,且两者的先后顺序不作限定,此时,指示预设数据量的信息可以跟第一指示信息携带在同一个消息中,或者第一指示信息既可以指示预设数据量又可以指示视频帧的首包。
66.以上预设数据量可以是包括首包的一个视频帧的总数据量,或者,可以是一个视频帧中除去首包数据量的剩余数据量。
67.在另一种可能的实现方式中,通信装置接收第一数据包,称为数据包p1,数据包p1为n个数据包中的首个数据包,数据包p1中可携带有第一指示信息,第一指示信息用于指示数据包p1为n个数据包中的首个数据包。通信装置在数据包p1与数据包p2(又可以称为第二数据包)期间所接收到的其它数据包与数据包p1属于同一个视频帧,数据包p2为下一视频帧的首个数据包。在该方式时,通信装置可通过指示每个视频帧的首数据包,区分不同的视频帧。同理,在该实现方式中,第一指示信息与数据包p1还可为相互独立发送的,且两者的先后顺序不作限定。
68.在另一种可能的实现方式中,通信装置接收数据包pn(可以称为第三数据包),数据包pn为n个数据中的最后一个数据包,数据包pn中携带有第二指示信息,第二指示信息用于指示数据包pn为n个数据包中的尾数据包,即最后一个数据包。通信装置在上一视频帧的尾数据包至当前视频帧的尾数据包(即数据包pn)期间所接收到的其它数据包与数据包pn属于同一个视频帧。在该方式中,通信装置可通过指示每个视频帧的尾数据包,区分不同的视频帧。
69.例如,通信装置可接收数据包pm,所述数据包pm中可携带有尾数据包的指示信息。之后,通信装置接收没有携带尾数据包指示信息的其它数据包。再之后,通信装置可接收数据包pn,该数据包pn中携带有尾数据包的指示信息。终端设备在可确定在上述数据包pm与数据包pn期间所接收的其它数据包,与上述数据包pn属于同一个视频帧。可选的,第二指示信息与数据包pn还可单独发送,且不限定两者的先后顺序。
70.在另一种可能的实现方式中,通信装置接收同一帧的n个数据包,n个数据包中的每个数据包中均携带有对应视频帧的第三指示信息,其中携带有相同第三指示信息的数据包属于同一个视频帧。举例说明,通信装置接收到n1个数据包,该n1个数据包中每个数据包均携带有指示信息1,则通信装置根据指示信息1,确定上述n1个数据包属于同一个视频帧。之后,通信装置接收到n2个数据包,该n2个数据包中每个数据包中均携带有指示信息0,则通信装置可根据指示信息0,确定上述n2个数据包属于同一个视频帧。之后类推,通信装置
接收n3个数据包,该n3个数据包中每个数据包均携带指示信息1等。
71.以上第一指示信息用于指示一个视频帧的首个数据包;第二指示信息用于指示一个视频帧的最后一个数据包,即尾数据包;第三指示信息可以理解为同一视频帧的指示,即携带有相同第三指示信息的数据包属于同一个视频帧。以上第一指示信息和第二指示信息可以结合使用,给出另一种实现方式,即在携带有第一指示信息的数据包到携带有第二指示信息的数据包之间(包括首数据包和尾数据包)的数据包属于同一个视频帧。
72.此外,以上第二指示信息可以替换第一指示信息,结合预设数量或预设数据量使用,例如在接收到尾数据包时,将该尾数据包之前预设数量的数据包或预设数据量的数据包理解为与该尾数据包属于同一个视频帧。
73.步骤403,通信装置根据扩展时延预算,处理所述数据包。例如,通信装置可根据n个数据包的数据量以及扩展时延预算,确定传输或递交n个数据包的时机。可选的,由于通信装置根据同一视频帧中n个数据包的数据量,确定传输时机。因此,可在上述n个数据包中的首个数据包中携带n个数据包数据量的指示信息。如此,通信装置在接收到每个视频帧的首个数据包时,即可确定整个视频帧的数据量,可开始寻找时机传输上述视频帧。或者,也可在上述每个视频帧的首个数据包中携带其所包括n数据包的平均数据量,通信装置根据n个数据包的平均数据量,也可确定整个视频帧的数据量大小。
74.可选的,也可以不发送该指示n个数据包数据量的指示信息,而由协议规定的,或通过独立于首个数据包的信息进行指示。
75.在一种可能的实现方式中,通信装置可以为接入网设备。上述图4所示的方案可应用于下行视频传输,上述403中,接入网设备可根据扩展时延预算和n个数据包的数据量,确定接入网设备向终端设备传输n个数据包的时机,在上述时机,向终端设备发送上述n个数据包,从而可减少终端设备接收或处理n个数据包的时延超过扩展时延预算,提高终端设备的解码成功率。或者,上述图4所示的方案可应用于上行视频传输,在上述403中,接入网设备可根据扩展时延预算和n个数据包的数据量,确定n个数据包的传输时机。且向终端设备发送调度信息,用于调度终端设备在上述传输时机上,向网络设备传输n个数据包,从而可减少接收或处理n个数据包的时延超过扩展时延预算,提高视频服务器的解码成功率。可选的,在上行视频传输方案中,终端设备可将上行视频业务传输给接入网设备,接入网设备将通过upf网元将上行视频业务传输给视频服务器,由视频服务器对上行视频业务进行解码。
76.在另一种可能的实现方式中,上述通信装置可以为终端设备。终端设备的接入层可根据扩展时延预算,向上层递交n个数据包,从而减少上层的解码器处理n个数据包的时延超过扩展时延预算,提高解码成功的概率。
77.可选的,上述图4流程的方案,可应用于对包括多个数据包的视频帧进行处理。例如,对i帧、p帧或b帧等,不作限定。
78.图5示出了通信方法的一流程图,该流程可应用于下行视频传输中,包括但不限于:
79.步骤501,smf网元向amf网元发送第一信息,所述第一信息可用于直接指示第一业务的扩展时延预算大小;或者,所述第一信息用于指示第一业务的类型,或者,第一信息可用于指示第一业务的解码类型等,以间接指示第一业务的扩展时延预算大小。上述第一信息可以为smf网元生成的,或者,上述第一信息可以是smf网元从其它网元获取的。例如,udm
网元、pcf网元或视频应用服务器等。
80.步骤502,amf网元向gnb发送第一信息。可选的,gnb根据第一信息,可确定第一业务的扩展时延预算。其中,第一信息可直接指示扩展时延预算的大小,或者,第一信息可间接指示扩展时延预算的大小。例如,第一信息可指示第一业务的类型,或者,可指示第一业务的解码类型等,不作限定。
81.步骤503,应用服务器向upf网元发送同一个视频帧的n个数据包。在一种可能的实现方式中,应用服务器可通过dn向upf网元发送同一个视频帧的n个数据包。
82.步骤504,upf网元向gnb发送同一个视频帧的n个数据包。
83.在一种可能的实现方式中,每个视频帧的首个数据包中可携带有第一指示信息,所述第一指示信息用于指示一个视频帧的首个数据包。gnb可根据上述第一指示信息,区分不同视频帧所包括的数据包。可选的,第一指示信息和首数据包还可单独发送,且不限定两者的先后顺序。
84.1、gnb在接收到每个视频帧的首个数据包时,可启动定时器。所述定时器可为协议规定或预配置的。upf网元在定时器运行期间,所接收到的来自upf网元的其它数据包与上述首个数据包,属于同一个视频帧。即上述其它数据包与上述首个数据包,共同构成了同一个视频帧的n个数据包。
85.2、gnb除了接收到每个视频帧的首个数据包,还接收来自upf网元预设数量或预设数据量的其它数据包,预设数量或预设数据量可以为协议规定的,或者,预配置的,或携带于首个数据包中等,不作限定。关于预设数量或预设数据量在所述首个数据包中的携带方式,可参见上述图4中的记载,在此不再说明。
86.3、gnb可确定两个首数据包之间的其它数据包,与前一个首数据包,构成同一个视频帧。举例来说,gnb接收来自upf网元的第i视频帧的首个数据包。之后,接收来自upf网元的其它数据包。再之后,接收来自upf网元的第i 1视频帧的首个数据包。gnb可确定上述其它数据包与第i视频帧的首个数据包,共同构成第i视频帧,所述i为大于或等于1的正整数。
87.在另一种可能的实现方式中,每个视频帧的最后一个数据包中可携带有第二指示信息,所述第二指示信息用于指示一个视频帧的尾数据包。gnb可根据上述第二指示信息,区分不同视频帧所包括的数据包。
88.1、gnb可确定两个尾数据包之间的其它数据包,与后一个尾数据包,构成同一个视频帧。举例来说,gnb接收来自upf网元的第i视频帧的尾数据包。之后,接收来自upf网元的其它数据包。再之后,接收来自upf网元的第i 1视频帧的尾数据包。gnb可确定上述其它数据包与第i 1视频帧的尾数据包,共同构成第i 1视频帧。
89.在另一种可能的实现方式中,不同视频帧的数据包中可携带不同的指示信息,用于指示各自对应的视频帧。gnb可通过上述指示信息,确定每个视频帧所包括的数据包。
90.步骤505,gnb根据同一个视频帧n个数据包的数据量与扩展时延预算,确定开始传输n个数据包的传输时机。可选的,上述传输时机的数量可为一个或多个。当传输时机的数量为一个时,gnb在该传输时机上传输完n个数据包。而当传输时机的数量为多个时,gnb可将n个数据包拆分成多份,且在每个传输时机上分别传输对应的数据包。
91.在一种可能的实现方式中,gnb可根据扩展时延预算,安排数据调度,如此,gnb在接收到一个视频帧的尾包之后,计算该视频帧所有数据包的数据量之和。再安排一段连续
或非连续的传输资源,传输上述视频帧的所有数据包。可选的,可在视频帧的数据包中,增加“视频帧尺寸大小的指示信息”,并将该指示信息通知给gnb。理论上,可在一视频帧的任一个数据包中增加上述“视频帧尺寸大小的指示信息”。可选的,可在视频帧的首包中增加上述“视频帧尺寸大小的指示信息”,这样gnb不必等到接收到一个视频帧的尾包之后,再计算该视频帧所有数据包的数据量之和。之后,再安排一段连续或非连续的传输资源,用于传输上述视频帧的所有数据包。而是gnb在接收到每个视频帧的首包时,即可确定每个视频帧的尺寸大小,即可开始寻找时机传输视频帧,提高了视频帧的传输效率。
92.可选的,上述“视频帧尺寸大小的指示信息”还可替代为“视频帧中所有数据包的平均尺寸大小的指示信息”。gnb根据数据包的平均尺寸大小以及视频帧中所包括数据包的数量,也可估算出视频帧的总尺寸。
93.图6示出了通信方法的另一流程,该流程同样可应用于下行视频传输中。与上述图5流程不同的是,由视频数据源(例如应用服务器)通知gnb扩展时延预算。
94.步骤601,视频接收方向视频数据源上报以下参数中的任一个或多个:视频接收方缓存尺寸、视频接收方缓存时间、压缩解压缩算法、压缩解压缩参数,视频类型(例如,动画,风景,人物等)。可选的,对于下行传输方案,上述视频接收方可具体为ue。
95.步骤602,视频数据源根据上述参数,确定视频业务的扩展时延预算。
96.在一种可能的实现方式中,若视频数据源需要根据上述“视频接收方缓存尺寸”,确定上述视频业务的扩展时延预算。则视频接收方可按照以下方式上报上述视频接收方缓存尺寸。
97.1、为每个业务配置不同的接收方缓存尺寸。视频接收方,例如ue,可获取当前业务配置的接收方缓存尺寸。在上述步骤601中上报该尺寸。
98.2、为每个业务配置相同的接收方缓存尺寸。由于每个视频业务的接收方缓存尺寸都相同。那么接收方可预先将上述尺寸上报给视频数据源。无论何种类型的业务,视频数据源均按照上述尺寸,确定扩展时延预算。
99.3、配置一个统一的接收方缓存尺寸,多个业务共享。视频数据源根据视频接收方同时接收的视频业务数量,确定每一个视频业务的缓存尺寸,保证不大于总的尺寸限制就可以。视频数据源在确定每个业务的扩展时延预算之前,可能需要与视频接收方进行商榷。通过商榷,视频数据源可获取接收方共享的缓存尺寸,以及当前同时接收视频业务的数量。根据两者,视频数据源确定一个合适的缓存尺寸。之后,根据该合适的缓存尺寸,确定当前业务的扩展时延预算。
100.步骤603,视频数据源向gnb发送第一信息,第一信息可直接指示扩展时延预算的大小。或者,第一信息可间接指示扩展时延预算的大小。例如,第一信息可指示视频业务类型或解码类型等。视频业务类型或解码类型可与扩展时延预算存在对应关系。gnb可根据视频业务类型或解码类型,确定扩展时延预码。可选的,除了视频业务类型,终端设备可能还要考虑终端设备能力。例如,终端设备缓存尺寸,缓存时间等。终端设备结合视频业务类型和终端设备能力,总共决定扩展时延预算。
101.步骤604,upf网元向gnb发送同一视频帧的n个数据包。关于gnb接收来自upf网元的同一个视频帧的n个数据包的方式,可参见上述图5或图4中的记载,不再说明。
102.步骤605,gnb根据扩展时延预算以及n个数据包的数据量,确定传输n个数据包的
时机,从而使得视频帧的首数据包至尾数据包间的时延不超过扩展时延预算的限制。
103.上述图5和图6所示的方法,是针对下行视频传输的。在实际网络中,大部分视频传输是下行的,但也存在上行视频传输。比如,网络直播业务,主播需要将实时视频上传到视频服务器,视频服务器再将直播视频下传到各个观众。对上行视频业务,可能也存在扩展时延预算的问题。参见图7,提供通信方法的一具体流程,该流程可应用于上行视频传输,包括但不限于:
104.步骤701,smf网元向amf网元发送第一信息。第一信息可直接指示扩展时延预算的大小,或者间接指示扩展时延预算的大小,不作限定。可选的,扩展时延预算可为上行扩展时延预算,例如某个会话(session)数据对应的上行扩展时延预算等。
105.步骤702,amf网元向gnb发送第一信息。
106.可选的,在图7的流程中,是以核心网网元通知gnb扩展时延预算为例进行说明的。除此之外,还可采用图6中视频数据源通知gnb扩展时延预算的方式,不作限定。
107.步骤703,ue向gnb发送通知消息,所述通知消息用于通知gnb有上行视频帧待传输。可选的,通知消息中还可包括一个上行视频帧的数据量的指示信息。可选的,ue上层可通知接入层有视频帧待传输,然后由接入层向gnb发送通知消息。或者,ue的上层可直接将视频帧的首包传输到接入层,接入层在接收到视频帧的首包时,向gnb发送上述通知消息。
108.在一种可能的实现方式中,ue可通过缓存状态报告(buffer status report,bsr)通知gnb。例如,bsr中可携带有通知消息。或者,ue可通过除bsr外的,其它媒体接入控制控制元素(media access control control element,mac ce)通知gnb,所述mac ce可携带有通知消息。或者,ue可通过sdap层、pdcp层、或rlc层生成控制信令,通知gnb。或者,ue可在传输其它数据时,通过sdap层、pdcp层或rlc层的协议数据单元(protocol data unit,pdu)头的保留字段,通知gnb。即上述保留字段中可携带有通知消息。在一种更具体的实现方式中,ue中存在多个待传输的视频帧,不同视频帧的扩展时延预算可相同或不同。当上述多个待传输视频帧的扩展时延预算不同时,ue可通过不同的bsr上报不同视频帧的通知消息。例如,通过bsr上报通知消息的一示例为:“有一5000字节的视频帧要传输,且希望在30ms的时延内传输完上述视频帧”。gnb可根据ue的要求以及该视频帧对应的扩展时延预算,为该视频帧分配传输资源。
109.步骤704,gnb收到上述通知消息,确定调度行为,确保在扩展时延预算内为ue分配足够的上行资源,完成视频帧的上行数据传输。例如,gnb在接收到通知消息时,可根据上行视频帧的数据量以及扩展时延预算,为ue分配合适的时机。且gnb向ue发送下行控制信息(down control information,dci),所述dci用于为ue分配上行数据传输的资源。ue根据dci分配的上行资源,向gnb传输上行视频帧。
110.可选的,上述dci中可包括上行授权(uplink grant,ul grant)。gnb可通过一个或多个ul grant为ue分配上行资源。当gnb通过多个ul grant为ue分配上行授权时,在首个ul grant中可携带有指示信息,该指示信息可指示后续会继续为ue分配上行资源。例如,所述指示可具体指示:在未来t时间内,gnb还会分配x比特资源给ue。进一步的,ue接收到该指示信息时,可优化逻辑信道优先级划分(logical channel prioritization,lcp))行为。比如,针对该视频业务对应的逻辑信道,ue可暂时提高该视频业务的保证比特速率(guaranteed bit rate,gbr)的值,或者暂时提高该视频业务的优先级,保证在lcp时尽量
多传输一些当前视频帧的数据,进一步确保当前视频帧的时延不超过上行扩展时延预算的限制。
111.进一步的,若ue决定优化当前视频业务的传输。例如,暂时提高当前视频业务的gbr值,或暂时提高当前视频业务的优先级。则何时结束这种优待,有以下几种实现方式:ue决定。例如,ue可在传输完当前帧的视频业务时,即结束上述优待。或者,gnb决定。例如,gnb为ue分配上行资源时,可增加说明。例如,当前分配的上行资源,希望倾向传输视频业务。如此,ue做lcp时,可优待该视频业务的传输。或者,gnb可通过指示信息,通知ue结束上述优待。所述指示信息可携带在dci、mac ce或无线资源控制(radio resource control,rrc)中。例如,若gnb采用动态调度的方式为ue分配上行资源,则gnb可通过dci通知ue,结束优待。或者,若gnb采用半静态调度的方式为ue分配上行资源,则gnb可通过rrc或mac ce通知ue,结束优待。
112.通过上述图7描述的方法,ue通知gnb,待传输上行视频数据的数据量,且上述视频数据属于同一帧视频业务。则gnb在调度时可参考上述信息。保证上行视频帧在传输中不超过扩展时延预算的限制。
113.图8示出了视频接收方(例如,终端设备)协议栈的一示意图。在一种可能的实现方式中,视频接收方的协议栈,由上至下可包括:应用(application,app)层、业务数据适配协议(service data adapt protocol,sdap)层、分组数据汇聚协议(packet data convergence protocol,pdcp)层、无线链路控制(radio link control,rlc)层、媒体接入控制(media access control,mac)层和物理层(physical,phy)层。可选的,本技术实施例所提及的“接入层”可包括:sdap层、pdcp层、rlc层、mac层或phy层中的一个或多个;上层可包括app层。接入层和上层之间可为相邻的协议层,也可为非相邻的协议层,不作限定。比如,在上层和接入层之间还可ip层、tcp层或用户数据报协议(user datagram protocol,udp)层等,不作限定。
114.如图9所示,提供一种通信方法的流程图。可选的,可在视频接收方(例如,终端设备)执行该流程的方法。包括但不限于:
115.步骤901,接入层接收第一数据包,所述第一数据包为视频帧的首个数据包。
116.在本技术实施例中,接入层可采用以下方式确定接收的第一数据包为视频帧的首数据包。例如,第一数据包中携带有帧起始标识,或者,接入层收到独立的帧起始标识和第一数据包,不限定帧起始标识和第一数据包的先后顺序。或者,第一数据包的前一个数据包中携带有帧结束标识,或者,接入层收到独立的帧结束标识和前一帧的最后一个数据包,不限定两者的先后顺序。或者,接入层在一段时间t内没有收到任何数据包,之后收到的数据包,可认为是第一数据包。所述t的值可以是预配置的,或者,协议规定的,或者ue自行确认的等。
117.步骤902,接入层接收与第一数据包属于同一个视频帧的其它数据包。
118.步骤903,接入层在预设时间到期或属于同一视频帧的n个数据包都被接收到时,向上层递交n个数据包,所述n个数据包中包括第一数据包和其它数据包。
119.在一种可能的实现方式中,可预配置上述预设时间,或者,协议规定上述预设时间。可选的,可通过定时器实现上述方案。比如,接入层在接收到一视频帧的首包时,即开启定时器;在定时器结束时,即向上层递交所接收到的数据包。或者,接入层可接收接入网设
备,核心网网元或视频数据源发送的指示信息,根据该指示信息,确定预设时间。该指示信息可指示具体的预设时间大小。或者,该指示信息可指示扩展时延预算。根据该扩展时延预算,可确定预设时间,预设时间可小于或等于扩展时延预算等。在一种方案中,接入层每接收到一个数据包,即递交到上层。这样可能会导致上层接收视频帧的首包至尾包的时间间隔超过扩展时延预算的限制,使得上层解码器解码失败。而在该实现方式中,接入层不再每接收到一个数据包即向上层递交,而是将一段时间(即预设时间)连续所接收到的数据包,统一递交到上层,这样可减少上层中每个视频帧的时延超过扩展时延预算的概率。当然,如果上述预设时间设置的合适,上层可将一个视频帧的全部数据包统一递交到上层,这样就可以保证上层每个视频帧的扩展时延均不超过扩展时延预算,保证上层解码器成功解码。
120.本实施例中,确定数据包是否属于同一个视频帧的方式可以采用以上实施例的任一种方式,再此不再赘述。
121.在另一种可能的实现方式中,接入层可在n个数据包均被接收到时,统一向上层递交n个数据包。所述n可小于或等于一个视频帧所包括数据包的数量。例如,一个视频帧包括64个数据包,则n的取值可小于或等于64等。在该实现方式中,接入层统一向上层递交n个数据包。相对于,接入层一个个向上层递交数据包的方式,同样可减少上层视频帧的扩展时延超时扩展时延预算限制的概率,降低解码失败的概率。当然,如果n的取值等于一个视频帧全部数据包的数量,那么接入层可将一视频帧的全部数据包统一递交到上层,可以保证上层每个视频帧的扩展时延不超过扩展时延预算,使得上层解码器成功解码。
122.在另一种可能的实现方式中,当接入层接收到一视频帧的尾包时,可认为本视频帧的全部数据包均收到,且向上层递交全部数据包,否则不向上层递交数据包。接入层判断一数据包为尾包的方式很多,比如,可在尾包中携带视频帧结束标识,或者,可在尾包中携带尾数据包的指示信息等,或者,可单独发送视频帧结束标识或尾数据包的指示信息等,不作限定。可选的,在另一种方式中,ue可依靠基站pdcp层为每个数据包分配的pdcp序列号(serial number,sn),判断本视频帧所有数据包是否都收齐。可选的,如果ue始终未能收齐第i视频帧的所有数据包,且收到第i 1帧的首数据包,则ue可丢弃第i帧的数据包,不再向上层递交。
123.可选的,上述图9所示的方法,与上述图4至图7所示的方法,可相结合使用。例如,在一种可能的实现方式中,gnb可根据扩展时延预算,为n个数据包分配传输时机,以使得n个数据包的传输满足时延扩展预算的要求。进一步的,ue的接入层在接收到n个数据包时,接入层可将n个数据包,统一递交到上层。
124.如图10所示,提供一种通信方法的流程图,包括但不限于:
125.步骤1000,smf网元向ue发送第一信息。可选的,smf可通过amf网元、gnb向ue发送第一信息。第一信息可直接指示扩展时延预算的大小,或者,间接指示扩展时延预算的大小。
126.步骤1001,upf网元接收来自同一视频帧的n个数据包。例如,视频数据源可通过dn向upf网元发送同一视频帧的n个数据包。
127.步骤1002,upf网元向gnb发送同一视频帧的n个数据包。关于gnb确定同一视频帧的n个数据包的方式,可参见上述记载。
128.步骤1003,gnb向ue发送同一视频帧的n个数据包。
129.步骤1004,ue的接入层在等到n个数据包全部收齐时,再向上层统一递交。
130.同理,gnb向ue发送的同一视频帧的n个数据包中携带有首包的指示信息,或者,携带有尾包的指示信息,或者,携带有不同视频帧的指示信息。因此,ue的接入层在接收到数据包时,可区分每个视频帧包括哪些数据包。不同与现有方案的是,ue的接入层将同一视频帧的所有数据包,统一递交给上层。在一种具体的实现方式中,ue的接入层在接收到一个数据包时。如果发现是属于当前视频帧内的包,则暂时不向上层递交,而是缓存起来。等到收到当前视频帧的全部数据包,再集中向上层递交。可选的,如果ue采用指示信息用于不同视频帧的数据包,那么ue可确定携带相同指示信息的数据包属于同一个视频帧。而当ue接收到不同指示信息的数据包时,ue可确定当前视频帧的数据包已经全部收到,此时可向上层统一递交。
131.在本技术实施例中,为了防止扩展时延预算超时,视频接收方(例如ue)收齐同一视频帧的全部数据包,再集中向上层递交。
132.可以理解的是,上述流程中的方案可各自单独使用,也可相结合使用,不作限定。比如,在一种可能的方式中,在下行视频传输中,gnb可根据扩展时延预算为不同的视频帧,分配不同的传输时机,且利用上述传输时机,向ue发送不同的视频帧。而ue侧在接收到视频帧之后,可确定每个视频帧所包括的数据包,将每个视频帧的所有数据包统一递交到上层。
133.以上结合图1至图10详细说明了本技术实施例所提供的方法。以下结合图11和图12详细说明本技术实施例所提供的装置。应理解,装置与方法实施例的描述相互对应,装置中未详细描述的内容可参见上文方法实施例中的描述。
134.图11是本技术实施例提供的装置1100的示意性框图,用于实现上述方法中接入网设备或终端设备的功能。例如,该装置可以为软件单元或芯片系统。所述芯片系统可以由芯片构成,也可以包括芯片和其它分立器件。该装置包括通信单元1101,还可包括处理单元1102。通信单元1101,可以与处部进行通信。处理单元1102,用于进行处理。通信单元1101,还可以称为通信接口、收发单元、输入\输出接口等。
135.在一种示例中,装置1100可实现上述方法实施例中接入网设备执行的步骤,所述装置1100可以是接入网设备,或者配置于接入网设备中的芯片或电路。通信单元1101执行上文方法实施例中接入网设备的收发操作,处理单元1102用于执行上文方法实施例中接入网设备侧的处理相关操作。或者,装置1100可实现上文方法实施例中由终端设备执行的步骤,所述装置1100可以是终端设备,或者配置于终端设备中的芯片或电路。通信单元1101执行上文方法实施例中终端设备的收发操作,处理单元1102用于执行上文方法实施例中终端设备的处理相同操作。
136.比如,处理单元1102,用于获取扩展时延预算,所述扩展时延预算用于所述通信装置对一个视频帧的所有数据包的处理进行时间限制;通信单元1101,用于接收第一业务的数据包;处理单元1102,还用于根据所述扩展时延预算,处理所述数据包。
137.可选的,所述扩展时延预算为预配置的;或者预配置的。例如,通信单元1101可从核心网网元接收用于指示所述扩展时延预算的第一信息;或者,从接入网设备接收用于指示所述扩展时延预算的第一信息。
138.可选的,所述第一信息用于指示所述第一业务的业务类型时,处理单元1102获取扩展时延预算,包括:根据所述第一信息,确定所述第一业务的业务类型;根据业务类型与
扩展时延预算的对应关系,确定所述扩展时延预算。
139.可选的,通信单元1101接收第一业务的数据包,包括:接收所述第一业务中属于同一视频帧的n个数据包,所述n为大于1的整数;处理单元1102根据所述扩展时延预算,处理所述数据包,包括:根据所述n个数据包的数据量以及所述第一业务的扩展时延预算,确定传输或递交所述n个数据包的时机。
140.可选的,通信单元1101接收所述第一业务中属于同一视频帧的n个数据包,包括:接收第一数据包,所述第一数据包中携带有第一指示信息,所述第一指示信息用于指示所述第一数据包为所述n个数据包中的首个数据包;在预设时间内接收到的其它数据包与所述第一数据包属于同一视频帧。
141.可选的,通信单元1101接收所述第一业务中属于同一视频帧的n个数据包,包括:接收第一数据包,所述第一数据包中携带有第一指示信息,所述第一指示信息用于指示所述第一数据包为所述n个数据包中的首个数据。所接收的预设数量或预设数据量的其它数据包与所述第一数据包属于同一视频帧。
142.可选的,通信单元1101接收所述第一业务中属于同一视频帧的n个数据包,包括:接收第一数据包,所述第一数据包中携带有第一指示信息,所述第一指示信息用于指示所述第一数据包为所述n个数据包中的首个数据包;在所述第一数据包与第二数据包期间所接收的其它数据包与所述第一数据包属于同一个视频帧,所述第二数据包为下一视频帧的首个数据包。
143.可选的,通信单元1101接收所述第一业务中属于同一个视频帧的n个数据包,包括:接收第三数据包,所述第三数据包中携带有第二指示信息,所述第二指示信息用于指示所述第三数据包为所述n个数据包中的尾数据包;在上一帧的尾数据包与所述第三数据包期间所接收到的其它数据包与所述第三数据包属于同一个视频帧。
144.可选的,所述n个数据包中的首个数据包中携带有第三指示信息,所述第三指示信息用于指示所述第一业务中视频帧的数据量大小;或者,所述n个数据包中的首个数据包中携带有第四指示信息,所述第四指示信息用于指示所述第一业务中视频帧所包括数据包的平均数据量大小。
145.可选的,所述第一业务的扩展时延预算是根据以下参数中的一个或多个所确定的:视频接收方的缓冲空间,视频接收方的缓存时长,视频接收方的解压缩算法,视频接收方的解压缩参数,所述第一业务的视频类型。
146.本技术实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,另外,在本技术各个实施例中的各功能单元可以集成在一个处理器中,也可以是单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
147.可以理解的是,上述实施例中的通信单元的功能可以由收发器实现,处理单元的功能可以由处理器实现。收发器可以包括发射器和/或接收器等,分别用于实现发送单元和/或接收单元的功能。以下结合图12举例进行说明。
148.图12是本技术实施例提供的装置1200的示意性框图,图12所示的装置1200可以为图11所示的装置的一种硬件电路的实现方式。该装置可执行上述方法实施例中接入网设备或终端设备的功能。为了便于说明,图12仅示出该通信装置的主要部件。
149.图12所示的通信装置1200包括至少一个处理器1201。通信装置1200还可以包括至少一个存储器1202,用于存储程序指令和/或数据。存储器1202和处理器1201耦合。本技术实施例中的耦合是装置、单元或模块之间的间接耦合或通信连接,可以是电性、机械性或其它的形式,用于装置、单元或模块之间的信息交互。处理器1201可以和存储器1202协同操作,处理器1201可以执行存储器1202中存储的程序指令,所述至少一个存储器1202中的至少一个可以包括于处理器1201中。
150.装置1200还可以包括通信接口1203,用于通过传输介质和其它设备进行通信,从而用于通信装置1200可以和其它设备进行通信。在本技术实施例中,通信接口可以是收发器、电路、总线、模块或其它类型的通信接口。在本技术实施例中,通信接口为收发器时,收发器可以包括独立的接收器、独立的发射器;也可以集成收发功能的收发器、或者是接口电路。
151.应理解,本技术实施例中不限定上述处理器1201、存储器1202以及通信接口1203之间的连接介质。本技术实施例在图12中以存储器1202、处理器1201以及通信接口1203之间通过通信总线1204连接,总线在图12中以粗线表示,其它部件之间的连接方式,仅是示意性说明,并不作为限定。所述总线可以包括地址总线、数据总线、控制总线等。为了便于表示,图12中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线等。
152.在一种示例中,装置1200用于实现上文方法实施例中接入网设备执行的步骤。通信接口1203用于执行上文方法实施例中接入网设备的收发相关操作,处理器1201用于执行上文方法实施例中接入网设备侧的处理相关操作。或者,装置1200用于实现上文方法实施例中终端设备执行的步骤。通信接口1203用于执行上文方法实施例中终端设备的收发相关操作,处理器1201用于执行上文方法实施例中终端设备侧的处理相关操作。
153.例如,处理器1201,用于获取扩展时延预算,所述扩展时延预算用于所述通信装置对一个视频帧的所有数据包的处理进行时间限制;通信接口1203,用于接收第一业务的数据包;处理器1201,还用于根据所述扩展时延预算,处理所述数据包。
154.可选的,所述扩展时延预算为预配置的;例如,通信接口1203,可从核心网网元接收用于指示所述扩展时延预算的第一信息,或者从接入网设备接收用于指示所述扩展时延预算的第一信息。
155.可选的,所述第一信息用于指示所述第一业务的业务类型时,处理器1201获取扩展时延预算,包括:根据所述第一信息,确定所述第一业务的业务类型;根据业务类型与扩展时延预算的对应关系,确定所述扩展时延预算。
156.可选的,通信接口1203接收第一业务的数据包,包括:接收所述第一业务中属于同一视频帧的n个数据包,所述n为大于1的整数;处理器1201根据所述扩展时延预算,处理所述数据包,包括:根据所述n个数据包的数据量以及所述第一业务的扩展时延预算,确定传输或递交所述n个数据包的时机。
157.可选的,通信接口1203接收所述第一业务中属于同一视频帧的n个数据包,包括:接收第一数据包,所述第一数据包中携带有第一指示信息,所述第一指示信息用于指示所述第一数据包为所述n个数据包中的首个数据包;在预设时间内接收到的其它数据包与所述第一数据包属于同一视频帧。
158.可选的,通信接口1203接收所述第一业务中属于同一视频帧的n个数据包,包括:
接收第一数据包,所述第一数据包中携带有第一指示信息,所述第一指示信息用于指示所述第一数据包为所述n个数据包中的首个数据包;所接收的预设数量或预设数据量的其它数据包与所述第一数据包属于同一视频帧。
159.可选的,通信接口1203接收所述第一业务中属于同一视频帧的n个数据包,包括:接收第一数据包,所述第一数据包中携带有第一指示信息,所述第一指示信息用于指示所述第一数据包为所述n个数据包中的首个数据包;在所述第一数据包与第二数据包期间所接收的其它数据包与所述第一数据包属于同一个视频帧,所述第二数据包为下一视频帧的首个数据包。
160.可选的,通信接口1203接收所述第一业务中属于同一个视频帧的n个数据包,包括:接收第三数据包,所述第三数据包中携带有第二指示信息,所述第二指示信息用于指示所述第三数据包为所述n个数据包中的尾数据包;在上一帧的尾数据包与所述第三数据包期间所接收到的其它数据包与所述第三数据包属于同一个视频帧。
161.可选的,所述n个数据包中的首个数据包中携带有第三指示信息,所述第三指示信息用于指示所述第一业务中视频帧的数据量大小;或者,所述n个数据包中的首个数据包中携带有第四指示信息,所述第四指示信息用于指示所述第一业务中视频帧所包括数据包的平均数据量大小。
162.可选的,所述第一业务的扩展时延预算是根据以下参数中的一个或多个所确定的:视频接收方的缓冲空间,视频接收方的缓存时长,视频接收方的解压缩算法,视频接收方的解压缩参数,所述第一业务的视频类型。
163.进一步的,本技术实施例还提供一种装置,所述装置用于执行上文方法实施例中的方法。一种计算机可读存储介质,包括程序,当所述程序被处理器运行时,上文方法实施例中的方法被执行。一种计算机程序产品,所述计算机程序产品包括计算机程序代码,当所述计算机程序代码在计算机上运行时,使得计算机实现上文方法实施例中的方法。一种芯片,包括:处理器,所述处理器与存储器耦合,所述存储器用于存储程序或指令,当所述程序或指令被所述处理器执行时,使得装置执行上文方法实施例中的方法。一种系统,包括执行上文方法实施例的接入网设备、终端设备、核心网网元或应用服务器中的至少一个。
164.本技术实施例中,处理器可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
165.在本技术实施例中,存储器可以是非易失性存储器,比如硬盘(hard disk drive,hdd)或固态硬盘(solid-state drive,ssd)等,还可以是易失性存储器(volatile memory),例如随机存取存储器(random-access memory,ram)。存储器是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。本技术实施例中的存储器还可以是电路或者其它任意能够实现存储功能的装置,用于存储程序指令和/或数据。
166.本技术实施例提供的方法中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计
算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、网络设备、用户设备或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,简称dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机可以存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,数字视频光盘(digital video disc,简称dvd))、或者半导体介质(例如,ssd)等。
167.显然,本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的范围。这样,倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内,则本技术也意图包含这些改动和变型在内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献