利用实时上行链路流式传输框架(FLUS)和5G应用功能(AF)的基于网络的媒体处理(NBMP)部署的制作方法

利用实时上行链路流式传输框架(flus)和5g应用功能(af)的基于网络的媒体处理(nbmp)部署
1.引用并入
2.本公开内容要求于2021年9月10日提交的题为“network-based media processing(nbmp)deployment with framework for live uplink streaming(flus)and 5g application function(af)”的美国专利申请第17/472,297号的优先权，该美国专利申请要求于2020年12月4日提交的题为“deployment methods of nbmp with flus and 5g application function”的美国临时申请第63/121,830号的优先权。在先申请的公开内容通过引用整体并入本文。
技术领域
3.本公开内容涉及利用5g媒体流式传输(5g media streaming，5gms)架构上的实时上行链路流式传输框架(framework for live uplink streaming，flus)的基于网络的媒体处理(network-based media processing，nbmp)。


背景技术：

4.本文中提供的背景描述是为了总体上呈现本公开内容的上下文。就本背景技术部分中描述的工作的程度而言，目前署名的发明人的工作以及在提交时可能在其他方面不符合现有技术的描述的方面既没有明确地也没有隐含地被承认为针对本公开内容的现有技术。
5.多媒体服务提供商面临着使其服务适应多个云和网络服务提供商以满足其客户的挑战。这些云和网络服务提供商经常定义他们自己的应用编程接口(application programing interface，api)来向其客户分配计算资源。正在开发基于网络的媒体处理(nbmp)标准，以解决碎片化问题并提供在任何云平台和任何ip网络上执行媒体处理的统一方式。nbmp定义了可以使用现成的媒体处理功能的实现并将它们组合在一起以创建媒体处理工作流的工作流管理器。
6.第三代合作伙伴计划(3rd generation partnership project，3gpp)已经开发了用于5g媒体流式传输(5g media streaming，5gms)架构的标准。5gms架构可以支持包括移动网络运营商(mobile network operator，mno)和第三方下行链路和上行链路媒体流式传输服务的服务。5gms架构提供相关的网络和用户设备(user equipment，ue)功能和api。
7.3gpp还开发了实时上行链路流式传输框架(flus)，该flus可以用于建立使得终端用户能够将实时馈送流式传输至网络中或另一个终端用户的服务。


技术实现要素：

8.本公开内容的各方面提供了一种基于网络的媒体处理(nbmp)部署的方法，该方法利用实时上行链路流式传输框架(flus)和第五代媒体流式传输(5gms)应用功能(application function，af)。该方法可以包括：由5gms应用提供商与5gms af创建提供会
话，其中，5gms应用提供商将5gms af配置为用于基于网络的媒体处理；由5gms af将flus接收端(sink)配置为用于基于网络的媒体处理；在flus源发现过程期间由flus源选择flus接收端；由flus源创建与flus接收端的flus会话；以及由flus源开始向flus接收端的上行链路流式传输，在flus接收端处，利用基于网络的媒体处理来处理上行链路流式传输的媒体内容。
9.在实施方式中，5gms应用提供商可以利用与基于网络的媒体处理对应的nbmp工作流描述文档(workflow description document，wdd)来配置5gms af。在示例中，由5gms af配置flus接收端可以包括：配置flus接收端；以及基于与基于网络的媒体处理对应的nbmp wdd在flus接收端中实例化nbmp工作流。在实施方式中，由5gms af配置flus接收端包括：由5gms af向flus接收端提供flus源的地址和与基于网络的媒体处理对应的nbmp wdd，其中，在flus接收端处没有执行用于基于网络的媒体处理的nbmp工作流的实例化。
10.在实施方式中，flus源发现过程可以包括：由5gms af将flus接收端发布至flus接收端发现服务器；以及由flus源在flus接收端发现服务器上列出的一个或更多个flus接收端中发现flus接收端，其中，flus源基于flus接收端发现服务器上的flus接收端能够执行基于网络的媒体处理的信息来选择flus接收端。
11.在实施方式中，由flus源创建与flus接收端的flus会话包括：由在用户设备(ue)处的5gms感知应用请求对用于基于网络的媒体处理的nbmp工作流的实例化；以及由在ue处的flus源向flus接收端传输对用于基于网络的媒体处理的nbmp工作流的实例化的请求，其中，在该请求中包括与nbmp工作流对应的nbmp wdd。
12.在实施方式中，由flus源创建与flus接收端的flus会话包括：当flus接收端通过5gms af被配置有flus源的地址和与基于网络的媒体处理对应的nbmp wdd时，响应于来自flus源的用于创建flus会话的请求，由flus接收端基于nbmp wdd实例化nbmp工作流，该请求包括flus源的地址。
13.本公开内容的各方面提供了nbmp部署的另一种方法，该方法利用flus和5gms af。该方法可以包括在flus源处从5gms应用提供商接收flus接收端被配置为用于基于网络的媒体处理的信令；由flus源创建与flus接收端的flus会话；以及由flus源开始与flus接收端的上行链路媒体流式传输会话以将媒体内容从flus源流式传输至flus接收端，在flus接收端处，利用基于网络的媒体处理来处理媒体内容。
14.本公开内容的各方面提供了nbmp部署的另一种方法，该方法利用flus和5gms af。该方法可以包括：在flus接收端处从5gms af接收用于基于网络的媒体处理的配置；响应于接收到来自在用户设备(ue)处的flus源的请求，在该flus源与flus接收端之间创建flus会话；以及在flus接收端处从flus源接收上行链路媒体流式传输的媒体内容。利用基于网络的媒体处理来处理上行链路媒体流式传输的媒体内容。
附图说明
15.根据以下详细描述和附图，所公开的主题的另外的特征、性质和各种优点将变得更加明显，在附图中：
16.图1示出了根据本公开内容的实施方式的示例性的基于网络的媒体处理(nbmp)系统(100)。
17.图2示出了根据本公开内容的实施方式的示例工作流。
18.图3示出了第五代媒体流式传输(5gms)系统(300)的示例。
19.图4示出了用于提供上行链路流式传输服务的实时上行链路流式传输框架(flus)系统(400)的示例。
20.图5示出了根据本公开内容的实施方式的基于网络的媒体处理系统(500)。
21.图6示出了根据本公开内容的实施方式的基于网络的媒体处理的过程(600)。
22.图7示出了根据本公开内容的实施方式的利用flus和5gms应用功能(af)的nbmp部署的过程(700)。
23.图8示出了根据本公开内容的实施方式的利用flus和5gms af的nbmp部署的过程(800)。
24.图9示出了根据本公开内容的实施方式的利用flus和5gms af的nbmp部署的过程(900)。
25.图10示出了适于实现所公开的主题的某些实施方式的计算机系统(1000)。
具体实施方式
26.运动图像专家组(moving picture experts group，mpeg)基于网络的媒体处理(nbmp)项目已经为基于网络的媒体处理开发了标准：iso/iecjtc1/sc29/wg11/n19062，2020年1月，比利时，布鲁塞尔，fdis/23090-8，基于网络的媒体处理。该nbmp标准通过引用整体并入本文。
27.第三代合作伙伴计划(3gpp)已经开发了指定5g媒体流式传输架构(5g media streaming architecture，5gmsa)的标准：3gpp ts 26.501、5g媒体流式传输(5gms)、一般描述和架构(版本16.4.0，发行版16)。该5gmsa标准通过引用整体并入本文。5gmsa提供了用于从5g网络至设备以及从设备至5g网络的下行链路和上行链路媒体流式传输的通用架构。
28.3gpp还开发了指定实时上行链路流式传输框架(flus)的标准：3gpp ts 26.238，上行链路流式传输(版本16.2.0，发行版16)。该flus标准通过引用整体并入本文。flus在5g网络中为ip多媒体子系统的多媒体电话服务(multimedia telephony service for ip multimedia subsystem，mtsi)终端和非mtsi终端提供上行链路流式传输。
29.在nbmp系统中，nbmp源可以是向工作流管理器提供工作流描述以创建、运行、管理和查看媒体工作流的实体。nbmp源和工作流管理器之间的交互是通过nbmp操作api的集合。在5gmsa中，媒体流的源设备可以与网络中的应用功能/应用服务器(application function/application server，af/as)对创建上行链路会话。接收设备也与af/as对创建下行链路会话以从网络流式传输/下载内容。在flus系统中，flus协议可以提供用于将多媒体内容从源设备上行链路流式传输至网络并将该内容发送/分发至一个或更多个目的地的机制。
30.本公开内容描述了使用利用flus和5g应用功能(例如，5gms af)的基于网络的媒体处理的各种部署场景。
31.i.基于网络的媒体处理
32.nbmp指定用于在任何云或边缘计算平台上建立和管理媒体处理工作流的抽象层。nbmp使得内容和服务提供商能够在网络/云中描述、部署和控制其内容的媒体处理。nbmp工
作流由多个媒体处理任务组成，这些任务被连接以建立有向无环图来处理来自媒体源的传入媒体和元数据并产生经处理的媒体和元数据流，该经处理的媒体和元数据流随后被发布用于媒体接收端消费。
33.nbmp框架可以用于初始化和控制网络中(例如，云平台上)的媒体处理。例如，nbmp源描述了所请求的媒体处理，并且提供了关于媒体数据的性质和格式的信息。作为响应，nbmp工作流管理器可以创建媒体处理工作流，并且通知nbmp源工作流准备就绪，并且可以开始所请求的媒体处理。媒体源然后可以开始将媒体传输至网络以进行处理。
34.nbmp工作流可以理解为媒体处理任务的连接图，媒体处理任务中的每个执行定义明确的媒体处理操作。工作流管理器通过配置和查看每个任务以及工作流输出来确保工作流的正确操作。工作流管理器负责基于从nbmp源所接收的工作流描述来选择媒体处理功能并将所选择的功能实例化为任务。
35.图1示出了根据本公开内容的实施方式的示例性nbmp系统(100)。nbmp系统(100)可以支持现有的媒体传送方法，诸如流式传输、文件传送、基于推送的渐进下载、混合传送、多路径和异构网络环境。nbmp系统(100)还可以通过提供各种基于云的媒体处理能力来实现新兴媒体应用，基于云的媒体处理能力诸如网络辅助的媒体质量增强(例如，虚拟现实(virtual reality，vr)拼接、视频放大、用于自适应流式传输的移动边缘编码和内容感知云转码)、网络辅助的媒体分发(例如，实时媒体摄取、在线转码和媒体感知缓存)、网络辅助的媒体合成(例如，增强视频流式传输和定制媒体合成)、沉浸式媒体处理(例如，网络聚合点云媒体)等。
36.如图所示，nbmp系统(100)可以包括nbmp源(101)、nbmp工作流管理器(103)、功能储存库(105)、媒体源(111)、数据处理实体(mpe)(113)和媒体接收端(115)。nbmp系统(100)可以包括附加的媒体源、媒体接收端和/或mpe。
37.nbmp源(101)可以描述或以其他方式指示要由媒体处理实体(113)执行的媒体处理操作。功能储存库(105)可以存储各种媒体处理功能。nbmp源(101)和nbmp工作流管理器(103)可以从功能储存库(105)检索媒体处理功能。媒体处理功能或功能可以用于执行特定的媒体处理过程，诸如360视频流式传输服务中的拼接过程、视频传送服务中基于人工智能(artificial intelligence，ai)的视频放大过程等。
38.媒体处理任务或任务可以是由mpe(113)执行的功能的运行时实例。nbmp工作流或工作流可以由实现所请求的媒体处理的一个或更多个连接的任务的图(例如，有向无环图(directed acyclic graph，dag))来表示。nbmp工作流管理器(103)或工作流管理器(103)可以提供任务并连接任务以例如基于工作流描述文档(wdd)创建、控制、管理以及查看工作流。
39.媒体源(111)可以提供要由工作流处理的媒体内容(例如，媒体数据、补充信息)。补充信息可以包括与媒体数据相关的元数据或辅助信息。媒体源(111)可以向工作流提供输入。媒体接收端(115)可以消费工作流的输出。mpe(113)可以运行一个或更多个媒体处理任务来处理媒体内容。
40.如图1所示，nbmp系统(100)中的不同实体(例如，nbmp源(101)、工作流管理器(103)和mpe(113))可以使用api来触发和响应媒体服务请求。api可以包括nbmp工作流api(或工作流api)、功能发现api和任务api。工作流api可以提供nbmp源(101)与工作流管理器
(103)之间的接口。任务api可以提供工作流管理器(103)与媒体处理任务之间的接口。功能发现api可以提供工作流管理器(103)/nbmp源(101)与功能储存库(105)之间的接口。
41.以上描述的nbmp接口可以用于创建和控制网络中的媒体处理工作流。nbmp系统(100)可以划分成控制平面和媒体平面(或媒体数据平面)。控制平面可以包括工作流api、功能发现api和任务api。
42.nbmp源(101)可以使用工作流api来创建和控制媒体处理工作流。nbmp源(101)可以使用工作流api与工作流管理器(103)通信，以用于配置和控制网络中的媒体处理。当nbmp源(101)通过在工作流api的操作中包括工作流资源(workflow resource，wr)来向工作流管理器(103)发送请求时，工作流管理器(103)可以对wr、包括的wdd和相应的描述符进行解析，并且根据所请求的操作采取适当的动作。然后，工作流管理器(103)可以通过响应来确认该请求。工作流api操作可以包括创建工作流(例如，createworkflow)、更新工作流(例如，updateworkflow)、删除工作流(例如，deleteworkflow)、检索工作流(例如，retrieveworkflow)等。
43.功能发现api可以提供用于使工作流管理器(103)和/或nbmp源(101)发现可以作为媒体处理工作流的一部分而被加载的媒体处理功能的方式。
44.工作流管理器(103)可以使用任务api来配置和查看运行时的任务(例如，由mpe(113)运行的任务1和任务2)。例如在mpe(113)中分配用于任务的资源之后，任务api可以定义用于由工作流管理器(103)配置媒体处理任务的接口。任务api操作可以包括创建任务(例如，createtask)、更新任务(例如，updatetask)、获取任务(例如，gettask)、删除任务(例如，deletetask)等。
45.在媒体平面上，可以定义nbmp源(111)与任务之间以及任务之间的媒体格式、元数据和补充信息格式。
46.工作流描述(workflow description，wd)可以从nbmp源(101)传递至工作流管理器(103)。wd可以描述诸如针对工作流的输入数据和输出数据、功能和其他要求的信息。
47.工作流管理器(103)可以从nbmp源(101)接收wdd，并且可以针对所请求的媒体处理建立工作流。在工作流过程中，可以例如从功能储存库(105)中选择媒体处理功能，并且然后可以将相应的媒体处理任务配置并分发给一个或更多个mpe的集合(例如，包括mpe(113))。
48.由功能储存库(105)提供的功能的集合可以由nbmp源(101)和工作流管理器(103)读取。在实施方式中，nbmp源(101)使用功能储存库(105)中的功能的集合来请求工作流的创建。因此，nbmp源(101)被配置成针对工作流选择功能。nbmp源(101)可以如下所述请求工作流的创建。nbmp源(101)可以使用要创建工作流的媒体处理任务的描述，并且可以指定连接映射来定义媒体处理任务的输入和输出的连接。当工作流管理器(103)从nbmp源(101)接收到以上信息时，工作流管理器(103)可以基于对应的功能名称来实例化媒体处理任务，并且可以根据连接映射来连接媒体处理任务。
49.可替选地，nbmp源(101)可以使用关键字的集合来请求工作流的创建，工作流管理器(103)可以通过关键字的集合来构建工作流。因此，nbmp源(101)可能不知道要插入至工作流中的功能的集合。nbmp源(101)可以如下所述请求工作流的创建。nbmp源(101)可以使用关键字的集合，工作流管理器(103)可以通过关键字的集合找到适当的功能，并且可以使
用适当的工作流描述来指定工作流的要求。
50.当工作流管理器(103)从nbmp源(101)接收到以上信息(例如，关键字的集合)时，工作流管理器(103)可以通过使用例如在处理描述符中指定的关键字搜索适当的功能来创建工作流。工作流管理器(103)然后可以使用工作流描述中的其他描述符来提供媒体处理任务，并且连接媒体处理任务以创建最终工作流。
51.下面描述工作流管理器(103)的处理模型。
52.工作流管理器(103)可以如下发现可用的媒体处理功能。nbmp功能储存库(105)可以提供功能发现接口(或api)，以使得外部实体能够查询可以完成所请求的处理的媒体处理功能。工作流管理器(103)可以访问提供媒体处理功能的可搜索列表的目录服务。工作流管理器(103)可以使用工作流描述中的媒体处理任务的描述来找到针对工作流的适当功能。
53.针对工作流的媒体处理任务的选择可以描述如下。当从nbmp源(101)接收到针对媒体处理的请求时，工作流管理器(103)可以搜索功能储存库(105)以找到可以实现工作流的所有可用功能的列表。使用来自nbmp源(101)的工作流描述，工作流管理器(103)可以从功能储存库(105)找到实现工作流的功能，这可以根据来自nbmp源(101)的用于媒体处理的信息。用于媒体处理的信息可以包括输入和输出描述、所请求的处理的描述以及针对功能目录(105)中的功能的其他描述符中的信息。将源请求映射至要包括在工作流中的适当媒体处理任务可以是网络中nbmp的实现的一部分。为了在任务创建时使用输入端口名和输出端口名来引用和链接输入源，可以使用输入端口和输出端口来引用输入流。
54.可以由工作流管理器(103)使用功能发现api来执行对要实例化为任务的适当功能的搜索。可替选地，工作流管理器(103)可以使用功能发现api来检索功能储存库(105)中一些或所有合适功能的详细信息。工作流管理器(103)然后可以将来自nbmp源(101)的用于媒体处理的信息与每个功能的不同描述符进行比较。
55.可以在工作流中配置所选择的媒体处理任务。当要包括在工作流中的功能被识别时，nbmp工作流管理器(103)可以将该功能实例化为对应的任务，并且配置这些任务，使得这些任务可以被添加至工作流。nbmp工作流管理器(103)可以从来自nbmp源(101)的媒体处理信息中提取配置数据，并且配置相应的任务。任务的配置可以使用任务api(例如，nbmp任务api)来执行。
56.任务分配和分发描述如下。工作流管理器(103)可以使用工作流来执行处理部署并配置媒体处理实体。在示例中，针对计算密集型媒体处理请求，工作流管理器(103)可以建立多个计算实例，并且在多个计算实例之间分配工作负载。因此，工作流管理器(103)可以根据需要连接并配置多个计算实例。在示例中，工作流管理器(103)将相同的任务分配给多个实例，并且使用所选择的调度机制提供负载平衡器来在多个实例之间分配工作负载。在替选示例中，工作流管理器(103)将同一任务的不同操作分配给不同的实例(例如，并行操作)。在以上描述的两个示例中，工作流管理器(103)可以建立实例之间的工作流路径，并且因此可以成功实现合适的工作负载。工作流管理器(103)可以配置任务以将经处理的媒体数据/流推送(或通过拉机制使它们可用)至工作流图中的下一个任务。
57.当工作流管理器(103)从nbmp源(101)接收到wdd时，工作流管理器(103)可以执行要插入至工作流中的媒体处理功能的选择。当要包括在工作流中的任务列表被编译时，工
作流管理器(103)然后可以连接任务以准备工作流。
58.工作流管理器(103)可以生成例如由图(例如，dag)表示的工作流。图2示出了根据本公开内容的实施方式的图(例如，dag)(200)的示例。dag(200)可以包括多个节点(t1)至(t6)和多个链路(或连接)(202)至(208)。在示例中，dag(200)表示工作流(200)。
59.dag(200)的每个节点可以表示工作流(200)中的媒体处理任务。将dag(200a)中的第一节点(例如，节点(t1))连接至第二节点(例如，节点(t2))的链路(例如，链路(202))可以表示将第一节点(例如，节点(t1))的输出作为输入传输至第二节点(例如，节点(t2))。
60.一般地，工作流可以包括任何合适数量的输入(或工作流输入)和任何合适数量的输出(或工作流输出)。工作流输入可以连接至媒体源(111)、其他工作流等，并且工作流输出可以连接至媒体接收端(115)、其他工作流等。工作流(200)具有输入(201)和输出(209)和(210)。在一些实施方式中，工作流(200)可以具有来自中间节点的一个或更多个输出。
61.ii.5g媒体流式传输(5gms)系统
62.5g媒体流式传输(5gms)系统可以支持包括mno和第三方下行链路或上行链路媒体流式传输服务的服务。5gms系统可以提供相关的网络和ue功能以及api。5gms系统可以在功能上被划分为独立的组件，使得能够在5g mno和内容提供商之间进行具有不同集成程度的不同部署。
63.总体上，在本公开内容的上下文中的流式传输可以被定义为作为主要媒体的时间连续媒体内容的传送。媒体内容可以主要在单个方向上发送并在接收时消费。另外，媒体内容可以在其被产生时被流式传输，称为实时流式传输。如果被流式传输的内容是已经产生的，则称为点播流式传输。
64.图3示出了5gms系统(300)的示例。系统(300)可以包括用户设备(ue)(301)和数据网络(data network，dn)(302)。系统(300)可以是应用功能(af)、应用服务器(as)以及支持下行链路媒体流式传输服务或上行链路媒体流式传输服务或两者的接口的组合。针对下行链路流式传输，dn(302)是媒体的来源，并且ue(301)充当消费设备。针对上行链路流式传输，ue(301)是媒体的来源，并且dn(302)充当消费实体。在图3的示例中，系统(300)被示为支持上行链路媒体流式传输服务的系统。系统(300)的组件可以由作为5gs的一部分的mno和/或由5gms应用提供商提供。
65.在一些示例中，ue(301)可以包括5gms(5gms)感知应用(310)和5gms客户端(320)。5gms客户端(320)可以包括媒体会话处理器(321)和媒体流式传输器(322)。dn(302)可以包括5gms应用提供商(330)、5gms应用功能(af)(340)和5gms应用服务器(as)(350)。系统(300)还可以包括两个5g功能(例如，由3gpp 5g标准指定)：网络暴露功能(network exposure function，nef)(361)和策略控制功能(policy control function，pcf)(362)。这些元件如图3所示耦接在一起。
66.5gms应用提供商(330)将5gms系统(300)用于流式传输服务。5gms应用提供商(330)提供在ue(301)上的5gms感知应用(310)或与ue(301)上的5gms感知应用(310)相关联，以使用5gms系统(300)中定义的接口和api来使用5gms客户端(320)和网络功能(340和350)。例如，5gms客户端(320)通常由5gms感知应用(310)(例如，app)控制，5gms感知应用(310)实现应用或内容服务提供商特定的逻辑并使得能够创建媒体会话。例如，5gms应用提供商(330)可以是使用5gms系统(300)来从5gms感知应用对媒体进行流式传输的应用或内
容特定的媒体功能(例如，媒体存储、消费、转码和重新分发)。
67.5gms af(340)可以是类似于3gpp ts 23.501，“system architecture for the 5g system(5gs)”，条款6.2.10中定义的并且专用于5g媒体流式传输的af。例如，5gms af(340)可以是向ue上的媒体会话处理器(321)和/或向5gms应用提供商提供各种控制功能的应用功能。5gms af(340)还可以中继或发起对不同策略或计费功能(policy or charging function，pcf)处理的请求，或者经由nef(361)与其他网络功能交互。在部署中可能存在多个5gms af并驻留在dn(302)内，每个5gms af暴露一个或更多个api。
68.5gms as(350)可以是专用于5g媒体流式传输的as，诸如承载媒体功能的应用服务器。在各种示例中，可以存在5gms as的不同实现，例如内容传送网络(content delivery network，cdn)。5gms af(340)和5gms as(350)是数据网络(dn)功能，并通过ts 23.501中定义的n6接口与ue(301)通信。
69.5gms客户端(320)可以是专用于5g媒体流式传输的ue内部功能。例如，5gms客户端(320)可以是5gms上行链路服务的发起者，该5gms上行链路服务可以通过明确定义的接口/api来访问。
70.5gms媒体流式传输器(322)可以是ue功能，该ue功能使得能够将流媒体内容上行链路传送至5gms应用提供商(330)的as功能(350)。5gms媒体流式传输器(322)可以与5gms感知应用(310)交互以进行媒体捕获和后续流式传输，以及与媒体会话处理器(321)交互以进行媒体会话控制。例如，5gms媒体流式传输器捕获所提供的输入设备上的媒体。5gms媒体流式传输器向5gms感知应用(310)暴露某些基本控制，诸如捕获、暂停和停止。在示例中，5gms af(340)可以与nef(361)交互以用于启用nef的api访问。例如，5gms af(340)可以使用nef(361)与pcf(362)交互。
71.媒体会话处理器(321)可以是在ue(301)上与5gms af(340)通信以创建、控制和支持媒体会话的传送的功能。媒体会话处理器(321)暴露可以由5gms感知应用(310)使用的api。
72.在一些示例中，针对系统(300)中的5g上行链路媒体流式传输定义以下接口：
[0073]-m1(5gms提供api)：外部api，由5gms af(340)暴露以提供5g媒体流上行链路流式传输系统的使用并获得反馈。
[0074]-m2(5gms发布api)：可选外部api，由5gms as(350)暴露，当选择可信dn中的5gms as(350)来接收流式传输服务的内容时被使用。
[0075]-m3(内部api)：内部api，用于交换在可信dn内的5gms as(350)上承载的内容的信息。
[0076]-m4(上行链路媒体流式传输api)：由5gms as(350)向媒体流式传输器(322)暴露的api，用于流式传输媒体内容。
[0077]-m5(媒体会话处理api)：由5gms af(340)向媒体会话处理器(321)暴露的api，用于媒体会话处理、控制和辅助，其还包括适当的安全机制(例如，授权和认证，以及qoe度量报告)。
[0078]-m6(ue媒体会话处理api)：可以由媒体会话处理器(321)向5gms感知应用暴露的api，用于使用5gms功能。
[0079]-m7(ue媒体流式传输器api)：可以由媒体流式传输器(322)向5gms感知应用(310)
和媒体会话处理器(321)暴露的api，用于使用媒体流式传输器(322)，包括要测量和记录的qoe度量的配置，以及度量测量记录的收集。
[0080]-m8(应用api)：应用接口，用于5gms感知应用(310)和5gms应用提供商(330)之间的信息交换，以例如向5gms感知应用提供服务访问信息。
[0081]
在各种示例中，ue(301)可以包括可以由5gms感知应用(310)单独使用或单独控制的许多详细子功能。
[0082]
5gms感知应用(310)可以包括许多功能。示例包括外围发现、通知和社交网络集成。5gms感知应用(310)还可以包括与5gms客户端(320)提供的功能等同的功能，并且可以仅使用5gms客户端功能的子集。
[0083]
例如，媒体流式传输器(322)可以包括以下功能：
[0084]-媒体捕获：将模拟媒体信号转换为数字媒体数据的设备，诸如摄像机或麦克风。
[0085]-媒体编码器：压缩媒体数据。
[0086]-度量测量和记录：由媒体流式传输器(322)根据度量配置执行qoe度量测量和记录。
[0087]-媒体上行客户端：封装编码的媒体数据并将其上行推送。在一些示例中，媒体上行客户端功能映射至3gpp ts 26.238：“上行链路流式传输”中指定的flus源中的flus媒体功能。
[0088]
例如，媒体会话处理器(321)可以包括以下功能：
[0089]-度量收集和报告：由媒体会话处理器(321)根据度量配置执行来自媒体流式传输器(322)的qoe度量测量记录的收集，以向5gms af(340)进行后续度量报告。
[0090]-网络辅助：由网络以比特率推荐(或吞吐量估计)和/或传送增强(delivery boost)的形式向5gms客户端(320)和媒体流式传输器(322)提供的上行链路流式传输传送辅助功能。网络辅助功能可以由5gms af(340)或基于接入网比特率推荐(access network bitrate recommendation，anbr)的ran信令机制支持。在示例中，该功能映射至3gpp ts 26.238：“上行链路流式传输”中指定的flus辅助功能。
[0091]-媒体远程控制：从5gms af(340)接收控制命令。
[0092]-核心功能：将5gms as(350)配置为用于上行链路流式传输接收。在示例中，该功能映射至3gpp ts 26.238：“上行链路流式传输”中指定的flus源中的flus控制功能。
[0093]
在上行链路媒体流式传输的过程中，系统(300)的用户可以在5gms客户端(320)和5gms as(350)之间创建、修改、删除会话。在示例中，5gms af(340)可以选择5gms as(350)并与5gms as(350)交互以进行资源预留。例如，5gms as(350)可以分配m2和m4资源，并将资源标识符传输回5gms af(340)。5gms af(340)向5gms应用提供商(330)提供与用于媒体会话处理、排出(egest)和上行链路流式传输的提供资源有关的信息(以资源标识符的形式)。在示例中，用于媒体会话处理和上行链路流式传输的资源标识符被提供给5gmsu客户端以访问所选择的特征。
[0094]
在示例中，5gms客户端(320)可以通过激活其上行链路流式传输会话来开始上行链路流式传输。上行链路流式传输会话从5gms感知应用(310)激活上行链路流式传输服务的传输的时间直至传输终止是激活的。
[0095]
在示例中，5gms感知应用(310)在传输上行链路流媒体之前从5gms应用提供商
(330)接收应用元数据。应用元数据可以包括服务访问信息，其充当5gms客户端(320)开始上行链路流式传输会话的入口点。5gms客户端(320)可以从5gms应用提供商(330)接收服务访问信息(使用非标准化接口)或用于远程控制会话的指令。例如，当远程控制被激活时，5gms客户端(320)由5gms af(350)远程配置和控制。
[0096]
在实施方式中，可以如下执行使用系统(300)的上行链路流式传输过程。在第一步骤中，5gms应用提供商(330)创建提供会话并开始提供系统(300)的使用。在创建阶段期间，协商所使用的特征，并且在系统(300)内的元件之间交换详细配置。5gms应用提供商(330)接收用于m5(媒体会话处理)的服务访问信息，并且当协商媒体内容接收时，接收用于m2(排出)和m4(上行链路流式传输)的服务访问信息。5gms客户端(320)需要该信息来访问服务。根据提供，可以仅提供远程配置信息。
[0097]
在第二步骤中，当5gms af(340)和5gms as(350)由同一提供商(例如，mno)操作时，在5gms af(340)和5gms as(350)之间可能存在交互，例如，以分配5gms排出和上行链路流式传输资源。5gms as(340)将所分配资源的资源标识符提供给5gms af(340)，5gms af(340)然后将该信息提供给5gms应用提供商(330)。在第三步骤中，5gms应用提供商将服务通告信息提供给5gms感知应用(310)。这可以包括手动输入参数。服务通告可以包括完整的服务访问信息(即媒体会话处理(m5)和媒体流式传输访问(m4)的细节)或仅包括远程配置和控制地址(5gms af url)。在后一种情况下，5gms客户端(320)在后面的步骤中检索服务访问信息。
[0098]
在第四步骤中，5gms感知应用(310)配置并启动5gms客户端(320)。在第五步骤中，当5gms感知应用决定激活流式传输服务传输时，将服务访问信息提供给5gms客户端(320)。当远程配置和控制被激活时，则5gms af远程配置和控制5gms客户端。在第六步骤中，根据配置，5gms客户端(320)向5gms af(340)使用媒体会话处理api。媒体会话处理api用于请求不同的策略和计费处理或基于5gms af的网络辅助。在第七步骤中，5gms客户端(320)开始激活上行链路流式传输会话。在最后的步骤中，5gms as(350)向5gms应用提供商发布内容。
[0099]
在示例中，媒体流式传输器(322)和5gms as(350)之间的上行链路流式传输会话可以如下创建。在提供期间，向媒体流式传输器(322)提供诸如5gms af和5gms as地址的基本信息。针对一些设备，仅提供远程控制信息，并且从远程控制器检索所有附加参数。5gms感知应用(310)开始上行链路媒体流式传输，并且在一些示例中，向媒体流式传输器(322)提供媒体流式传输入口。
[0100]
当提供远程控制时，创建用于远程控制的传输会话。5gms客户端(320)开始等待传入的远程控制命令。5gms客户端(320)接收远程控制命令以开始上行链路流式传输(现在或带有时间戳)。远程控制命令可以包含5gms as(350)的细节等。5gms客户端创建上行链路传输会话。5gms客户端(320)创建上行链路媒体流式传输会话。
[0101]
当提供客户端辅助时，5gms客户端(320)创建至所提供的5gms af的辅助通道。当期望服务器辅助时(例如，用于qos或计费)，5gms as(350)创建与5gms af(340)的辅助会话。
[0102]
在一些示例中，5gms应用提供商(330)可以请求对其媒体数据执行媒体处理。这可以实例化为上行链路或下行链路流式传输的一部分。针对上行链路，在示例中，3gpp ts 26.238指定的flus提供了将所需媒体处理描述为flus会话创建请求的一部分的措施。媒体
处理可以由5gms as的集合执行，5gms as可以组合在一起以建立复杂的媒体处理工作流。5gms af(340)可以协调媒体处理并确保为会话提供适当的qos和业务处理。
[0103]
在一些示例中，flus用于上行链路媒体处理提供。在示例中，flus用于由flus源向flus接收端提供媒体处理。flus接收端可以由flus 5gms af和flus 5gms as组成。5gms af指示5gms as根据所提供的媒体处理文档(例如，nbmp wdd)执行媒体的处理。可替选地，5gms af可以控制在多个5gms as之间共享媒体处理负载。
[0104]
在示例中，基于上行链路网络的媒体处理过程可以包括以下步骤。在第一步骤中，建立上行链路流式传输配置。5gms应用提供商(330)向5gms af(340)发送开始flus会话的请求。该请求包含要由5gms as(350)执行的媒体处理的描述。根据配置，可以涉及一个或多个5gms as。
[0105]
在第二步骤中，提供5gmsu as。5gms af(340)解析媒体处理描述并提供将执行所请求的处理的5gms as(350)。如果所请求的处理不被接受，则会话创建失败。在第三步骤中，5gms as(350)准备就绪。5gms as(350)确认正确的配置并通知5gms af(340)其准备就绪接收和处理所请求的媒体。
[0106]
在第四步骤中，5gms af(340)向5gms应用提供商(330)确认上行链路流式传输配置的成功创建。在第五步骤中，上行链路流式传输会话开始。在5gms客户端中触发会话(320)。在第六步骤中，媒体内容从5gms客户端(320)流式传输至5gms as(350)。5gms as(350)基于所提供的媒体处理来处理所接收的媒体。
[0107]
iii.实时上行链路流式传输框架(flus)
[0108]
实时上行链路流式传输框架(flus)使得能够进行从源实体至接收端实体的实时媒体流式传输。flus提供了基于ip多媒体子系统(ip multimedia subsystem，ims)和基于非ims的实例化。基于ims/mtsi的实例化使得能够在运营商网络内和跨运营商网络在两个ue之间或者在源实体和接收端实体之间创建实时媒体流式传输。与使用针对语音或视频媒体的有限类型的qos的mtsi相比，flus可以提供例如在最大延迟、可用带宽或目标丢包率方面的更广泛范围的qos操作。在基于非ims的实例化中，可以将flus操作为通过restful api控制并支持其他媒体平面协议(即，不基于ims或mtsi)的更通用的框架。
[0109]
flus源实体和flus接收端实体可以通过媒体处理(例如，信令、传输、丢包处理和适配)支持语音/音频、视频和文本的点对点传输。flus可以提供具有可预测媒体质量的可靠并且可互操作的服务，同时允许服务提供的灵活性。flus源实体可以嵌入在单个ue中，或者分布在ue和单独的视听捕获设备之间，可以支持该文档中指定的特征的全部或子集。
[0110]
当用作通用框架时，使用用于创建flus会话的flus控制平面(flus control plane，f-c)过程。例如，媒体格式和编解码器的配置可以遵循对应服务的要求。当作为3gpp ims/mtsi服务的一部分提供时，flus源实体和flus接收端实体可以支持ims控制平面和媒体平面过程。例如，服务质量可以由mtsi服务策略来确定。
[0111]
图4示出了用于提供上行链路流式传输服务的flus系统(400)的示例。系统(400)可以包括ue(401)和数据网络(402)。ue(401)可以包括flus源(410)和捕获设备(460)。flus源(410)可以包括控制源(411)、媒体源(412)和远程控制目标(413)。数据网络(402)可以包括接收端发现服务器(420)、flus接收端(430)、远程控制器(440)、处理功能(451)和分发功能(452)。flus接收端(430)可以包括控制接收端(431)和媒体接收端(432)。这些元件如图4
所示耦接在一起。此外，图4中的功能或元件不需要位于同一物理设备中，并且可以分布在多个物理设备上并经由其他接口互连。
[0112]
在示例中，flus源(410)从一个或更多个捕获设备(460)接收媒体内容。捕获设备(460)可以是ue(401)的一部分或连接至ue(401)。flus接收端(430)可以将媒体内容转发至处理功能(451)或分发功能(452)。在一些示例中，flus接收端(430)可以充当媒体网关功能(media gateway function，mgw)和/或5g应用功能(af)。接收端发现服务器可以为flus源(410)提供发现可用flus接收端的功能。flus接收端(430)提供查询其能力和flus会话的功能。在示例中，flus源(410)和flus接收端(430)可以相互认证和彼此授权。
[0113]
在一些示例中，控制源(411)和控制接收端(431)的控制平面功能包括由flus接收端(430)对上载的媒体进行相关联的处理，以用于随后的下行分发、flus媒体实例化选择，以及用于媒体会话的静态元数据的配置。flus源(410)上的远程控制目标(413)可以从远程控制器(440)接收控制消息。消息影响flus源(410)中的媒体源(412)的行为。发布至远程控制目标(413)的命令的示例是开始或停止flus源(410)中的媒体上行过程。flus用户平面功能包括建立一个或更多个媒体会话和随后的经由媒体流的媒体数据传输。
[0114]
在一些示例中，控制源(411)可以被配置成选择flus媒体实例化，提供与flus会话中存在的每个媒体会话相关联的静态元数据，以及发现、选择和配置处理和分发子功能(451和452)。远程控制器(440)可以被配置成向flus源提供媒体接收端信息、选择flus媒体实例化、以及确定捕获设备设置和其他flus源参数。
[0115]
可以为一个flus会话创建多个媒体流。媒体流可以包含单个内容类型(例如，音频)的媒体分量，或者不同内容类型(例如，音频和视频)的媒体分量。flus会话可以由包含相同内容类型的一个以上媒体流(例如，多个视频媒体流)组成。
[0116]
总体上，当flus接收端位于ue中，并且ue直接呈现所接收的媒体内容时，flus会话可以隐含地存在。例如，flus接收端可以通过ims/mtsi实现。当flus接收端位于网络侧并提供媒体网关功能时，flus会话用于选择媒体会话实例化并配置任何处理和分发相关的子功能。在一些示例中，mpeg nbmp工作流描述文档(wdd)可以用于描述在flus接收端处要对从flus源所接收的媒体分量执行的媒体处理任务。
[0117]
在示例中，flus会话创建过程可以创建flus会话资源，然后通过flus会话更新过程来配置该flus会话资源，从而例如选择媒体会话实例化。flus会话更新过程包括以下flus会话配置参数：媒体会话实例化的选择、会话特定元数据的提供、设置flus接收端要执行的媒体数据的处理的描述(例如，nbmp wdd)，以及媒体数据的分发和存储选项的配置。
[0118]
在示例中，flus源(410)可以发现flus接收端(430)的能力。flus接收端(430)的能力可以包括各种处理能力和分发能力。处理能力的示例包括：
[0119]-所支持的输入格式、编解码器和编解码器配置文件/级别、分辨率、帧速率，
[0120]
–
以多种格式、输出编解码器、编解码器配置文件/级别、比特率等的转码，
[0121]-以输出格式重新格式化，
[0122]-输入媒体流的组合(例如，基于网络的拼接、混合)，
[0123]-识别或合成媒体。
[0124]
分发能力的示例包括：
[0125]-存储能力，
[0126]-cdn初始能力和cdn初始服务器基本url，
[0127]
转发，包括所支持的转发协议和相关联的安全过程。
[0128]
在一些示例中，flus支持不同的源系统。源系统描述包含关于捕获的媒体源及其相互关系的元数据，并且可用于flus接收端，使得flus接收端可以正确地解释和处理所接收的媒体流。源系统由唯一标识符标识。在flus会话创建和/或更新过程期间，该标识符和相应的源系统描述被提供给flus接收端。flus源和flus接收端之间的交互可以基于基于http的restful api请求/响应机制。
[0129]
mpeg nbmp工作流描述文档(wdd)可以用于描述在flus接收端(430)处要对从flus源(410)所接收的媒体分量执行的媒体处理任务。可以用信号发送nbmp wdd，作为flus接收端配置属性的一部分。例如，控制源(411)可以首先使用获取flus接收端配置属性过程来获取当前flus接收端配置。控制源(411)修改flus接收端配置资源的属性。该过程可以使得能够修改单个属性或所有属性。响应于接收到接收端配置资源，控制接收端(431)更新由flus接收端配置的id标识的资源。
[0130]
iv.利用实时上行链路流式传输框架(flus)和5g应用功能(af)的nbmp部署
[0131]
图5示出了根据本公开内容的实施方式的基于网络的媒体处理系统(500)。系统(500)可以基于5gms系统(300)、flus系统(400)和nbmp系统(100)。在系统(500)中，5gms架构、flus架构和nbmp框架被组合在一起以实现基于网络的媒体处理的部署。这三种架构或框架的协议可以在不同的级别上操作。低级别协议可以向高级别协议提供服务。
[0132]
系统(500)可以包括ue(501)和dn(502)。ue可以包括5gms感知应用(510)和5gms客户端520。5gms客户端(520)可以包括媒体会话处理器521和flus源(522)。dn(502)可以包括5gms应用提供商(530)、5gms af(540)、flus接收端(550)和媒体接收端(560)。flus接收端(550)可以包括媒体处理服务(media processing service，mps)模块(551)。这些元件可以如图5所示耦接在一起。
[0133]
在各种部署场景中，flus源(522)的功能可以以多种方式实现。在示例中，flus源(522)被实现为诸如媒体流式传输器(322)的媒体流式传输器的一部分。在示例中，flus源(522)被实现为媒体流式传输器，并执行与媒体流式传输器(322)的功能类似的功能。在示例(图5中未示出)中，flus源(522)的功能分布在媒体流式传输器(例如，媒体流式传输器(322))和媒体会话处理器(例如，媒体会话处理器(321))中。
[0134]
类似地，在各种部署场景中，flus接收端(550)的功能可以以多种方式实现。在示例中，flus接收端(550)被实现为诸如5gms as(350)的5g应用服务器(5g application server，5gas)的一部分。在示例中，flus接收端(550)或flus接收端(550)的一部分被实现为5gas。在示例中，flus接收端(550)的功能可以分布在5gms af(例如，5gaf(340))和5gms as(例如，5gms as(350))中。
[0135]
在一些示例中，系统(500)中的元件(501/502/510/520/521/522/530/540/550)可以对应地与图3示例中的元件(301/302/310/320/321/322/330/340/350)类似地起作用和操作。例如，针对5gms架构定义的协议和api可以在系统500中使用以支持flus相关操作和nbmp相关操作。
[0136]
在一些示例中，系统(500)中的元件(522)和(550)可以对应地与图4示例中的元件(410)和(430)类似地起作用和操作。例如，针对flus架构定义的协议和api可以在系统
(500)中用于flus相关操作。在一些示例中，系统(500)中的mps模块(551)和媒体接收端(560)可以对应地与图1示例中的媒体处理实体(113)和媒体接收端(115)类似地起作用和操作。
[0137]
图6示出了根据本公开内容的实施方式的基于网络的媒体处理的过程(600)。过程(600)可以包括从(s610)至(s670)的步骤。过程(600)可以在基于网络的媒体处理系统(609)中的元件的集合之间执行。这些元件可以包括5gms应用提供商(601)、flus源(602)、5gms af(603)、flus接收端(604)和flus接收端发现服务器(605)。
[0138]
在示例中，元件(601)至(604)可以分别与元件(530/522/540/550)对应，并且如图5所示被部署。在其他示例中，元件(601)至(604)可以与图5所示的不同地部署。例如，flus源(602)的子功能可以分布在媒体会话处理器和flus源中。flus接收端(604)的子功能可以分布在5gaf和5gaf中。mps模块可以与flus接收端(604)分离，该flus接收端(604)不同于包括mps模块(551)的flus接收端(550)。
[0139]
在(s610)处，5gms应用提供商(601)可以与5gms af(603)创建提供会话以配置5gms af(603)。例如，可以将与qos要求相关的参数提供给5gms af(603)。可以将处理模板提供给5gms af(603)。例如，处理模板可以指定对应的基于网络的媒体处理所需的资源(例如，cpu、存储器等)。另外地并且可选地，可以向5gms af(603)提供预期的基于网络的媒体处理的描述。在示例中，该描述可以采用nbmp wdd的形式。
[0140]
在(s620)处，5gms af(603)可以基于从5gms应用提供商(601)所接收的配置来配置flus接收端(604)。例如，基于从5gms应用提供商(601)所接收的qos配置，5gms af(603)可以命令对应的5g功能准备用于将媒体内容从flus源(602)传输至flus接收端(604)的网络资源。基于处理模板，5gms af(603)可以命令flus接收端(604)为预期的基于网络的媒体处理准备计算资源。在各种部署场景中，可以存在不同的选项以配置flus接收端(604)。
[0141]
在第一种情况下，5gms af(603)可以配置单个flus接收端(例如，flus接收端(604))并在flus接收端(604)中实例化nbmp工作流。例如，可以在flus接收端(604)处从5gms af(603)或5gms应用提供商(601)接收nbmp wdd。基于该nbmp wdd，可以在flus接收端中的mps模块处启动nbmp工作流(604)。
[0142]
在第二种情况下，5gms af(603)可以配置一个或更多个flus接收端。然而，没有从5gms af接收到nbmp wdd(603)，并且没有在一个或更多个flus接收端处实例化nbmp工作流。
[0143]
在第三种情况下，5gms af(603)可以配置一个或更多个flus接收端，并向多个flus接收端中的每个提供flus源(602)的地址。然而，没有在这些flus接收端中实例化nbmp工作流。nbmp wdd可以被配置到那些flus接收端。
[0144]
在第四种情况下，与不同的ue组对应，可以利用与第一种情况、第二种情况和第三种情况对应的方法来配置多个flus接收端。例如，针对第一组ue，可以对每个ue执行第一种情况下的配置。可以经由相应ue中的5gms应用与5gms应用提供商(601)之间的通信或者通过flus接收端发现服务器(605)向相应ue通知所配置的flus接收端的地址。
[0145]
针对第二组ue，第二种情况下的配置可以在多个flus接收端上执行，这些接收端随后可以被发布在flus接收端发现服务器(605)上。第二组ue中的每个ue可以从flus接收端发现服务器上列出的多个候选中发现并选择一个flus接收端(605)。
[0146]
针对第三组ue，类似于第二组ue，可以在多个flus接收端上执行第三种情况下的配置，这些flus接收端随后可以被发布在flus接收端发现服务器(605)上。第三组ue中的每个ue可以从flus接收端发现服务器上列出的多个候选中发现并选择一个flus接收端(605)。
[0147]
在(s630)处，5gms af(603)可以将可用接收端发布至flus接收端发现服务器(605)。例如，已经配置的flus接收端可以在flus接收端发现服务器(605)上列出。可以为每个列出的flus接收端提供能力和/或配置。
[0148]
在(s640)处，5gms应用提供商(601)可以向承载flus源(602)的ue中的5gms应用(图6中未示出)发出信号通知flus接收端准备就绪以启动基于网络的媒体处理过程，并且可以启动flus会话。
[0149]
在(s650)处，5gms flus源(602)可以执行flus接收端发现过程，以从在flus接收端发现服务器(605)上列出的候选flus接收端中选择flus接收端。例如，5gms flus源(602)可以查询flus接收端发现服务器(605)以获取能力和/或配置信息。基于该信息，可以选择候选flus接收端。
[0150]
在(s660)处，5gms flus源(602)可以与所选择的flus接收端创建连接(会话)。根据系统(609)的部署和配置场景，可以执行不同的操作。
[0151]
与在(s620)处的第一种情况对应的第一种场景下，已经由5gms af(603)在flus接收端(604)处实例化了nbmp工作流。例如，由5gms应用提供商(601)控制，nbmp工作流能够对从flus源(602)流式传输的媒体内容进行预期的媒体处理。flus源(602)可以基于flus协议创建与flus接收端(604)的会话，而无需用于传输nbmp wdd或实例化nbmp工作流的附加操作。
[0152]
与在(s620)处的第二种情况对应的第二种场景下，配置flus接收端(604)，并且已经分配了用于媒体处理的资源。然而，没有实例化nbmp工作流。在这种场景下，当创建与flus接收端(604)的会话时，flus源(602)可以请求nbmp工作流的实例化。nbmp wdd可以包括在请求中。作为响应，flus接收端(604)可以基于所接收的nbmp wdd来实例化nbmp工作流。
[0153]
当在(s620)处第二种情况下配置多个flus接收端并将flus接收端列在flus接收端发现服务器(605)中时，在(s650)处flus接收端发现过程期间，flus源(602)可以选择多个列出的flus接收端中的一个来创建会话。
[0154]
与在(s620)处的第三种情况对应的第三种场景下，flus接收端(604)已经具有先前配置给它的flus源(602)的地址以及与该地址相关联的nbmp wdd。当在flus源(602)和flus接收端(604)之间创建会话时，flus源(602)可以将flus源的地址提供给flus接收端(604)，而不用发出信号通知nbmp wdd。在接收到flus源(602)的地址时，flus接收端(604)可以使用与flus源(602)的地址相关联的可用nbmp wdd来实例化nbmp工作流。
[0155]
当比较以上三种部署场景时，可能存在不同的技术优点和缺点。第一种场景具有较高的响应速度(因为激活的媒体处理工作流立即可用)和简化的api(没有nbmp wdd的信令)，然而，代价是计算资源占用(即使没有用户也总是被占用)。第二种场景具有较低水平的计算资源占用、更复杂的api和较低的响应速度。第三种场景具有简化的api或信令协议(地址用于指示所需的媒体处理而没有nbmp wdd的信令)，较低级别的计算资源以及较低的
响应速度。
[0156]
此外，第一种场景部署可以用于为特定ue在特定flus接收端处提供基于网络的媒体处理。相反，在第二种部署场景和第三部署场景中，可以预先配置多个flus接收端并将flus接收端列在flus接收端发现服务器中。多个ue可以各自选择合适的flus接收端来请求预期的基于网络的媒体处理。
[0157]
在(s670)处，flus源(602)开始上行链路媒体流式传输会话，以将媒体内容从flus源(602)流式传输至flus接收端(604)。媒体内容被输入至nbmp工作流，并用预期的基于网络的媒体处理来处理。来自nbmp工作流的输出随后可以被分发至多个媒体接收端(例如，ue)，或者被传输至5gms应用提供商(601)。过程(600)可以在(s670)之后终止。
[0158]
图7示出了根据本公开内容的实施方式的利用flus和5gms af的nbmp部署的过程(700)。过程(700)可以从(s701)开始，并且前进至(s710)。
[0159]
在(s710)处，可以由5gms应用提供商与5gms af创建提供会话。在提供过程期间，5gms应用提供商将5gms af配置为用于基于网络的媒体处理。例如，5gms应用提供商可以向5gms af提供qos参数和处理模板。在示例中，5gms应用提供商向5gms af提供nbmp工作流描述文档(wdd)，用于通过5gms af建立基于网络的媒体处理。在示例中，5gms应用提供商通过提供与基于网络的媒体处理对应的nbmp wdd来请求5gms af配置媒体处理，并且5gms af配置flus接收端并基于nbmp wdd在flus接收端中实例化nbmp工作流。
[0160]
在(s720)处，可以由5gms af将flus接收端配置为用于基于网络的媒体处理。在示例中，5gms应用提供商利用与基于网络的媒体处理对应的nbmp工作流描述文档(wdd)来配置5gms af。5gms af因此配置flus接收端，并基于与基于网络的媒体处理对应的nbmp wdd在flus接收端中实例化nbmp工作流。
[0161]
在另一个示例中，5gms af向flus接收端提供flus源的地址和与基于网络的媒体处理对应的nbmp wdd。然而，在flus接收端处不执行用于基于网络的媒体处理的nbmp工作流的实例化。
[0162]
在(s730)处，在flus源发现过程期间由flus源选择flus接收端。例如，能够进行nbmp媒体处理的flus接收端可以由5gms af发布至flus接收端发现服务器。flus源可以在flus接收端发现服务器上列出的一个或更多个flus接收端中发现flus接收端。flus源基于flus接收端发现服务器上的信息选择flus接收端，该信息表明flus接收端能够执行基于网络的媒体处理。
[0163]
在(s740)处，可以由flus源创建与flus接收端的flus会话。在示例中，在ue处的5gms感知应用可以通过flus源请求对用于基于网络的媒体处理的nbmp工作流的实例化。因此，在ue处的flus源可以向flus接收端传输对用于基于网络的媒体处理的nbmp工作流的实例化的请求，其中，在该请求中与nbmp工作流对应的nbmp wdd。响应于从flus源接收到请求，flus接收端可以基于nbmp wdd实例化nbmp工作流。
[0164]
在另一个示例中，flus接收端通过5gms af被配置有flus源的地址和与基于网络的媒体处理对应的nbmp wdd。在这种配置下，响应于来自flus源的用于创建flus会话的请求，该请求包括flus源的地址，flus接收端可以基于nbmp wdd来实例化nbmp工作流。
[0165]
在(s750)处，可以由flus源开始向flus接收端的上行链路流式传输。在flus接收端处，可以用基于网络的媒体处理来处理上行链路流式传输的媒体内容。过程(700)可以前
进至(s799)并终止于(s799)处。
[0166]
图8示出了根据本公开内容的实施方式的利用flus和5gms af的nbmp部署的过程(800)。过程(800)可以由flus源执行。过程(800)可以从(s801)开始，并且前进至(s810)。
[0167]
在(s810)处，可以在flus源处从5gms应用提供商接收信令。信令可以指示flus接收端被配置为用于基于网络的媒体处理。
[0168]
在(s820)处，可以由flus源创建与flus接收端的flus会话。在一些示例中，可以在flus接收端处基于nbmp wdd来实例化nbmp工作流，以执行基于网络的媒体处理。
[0169]
在(s830)处，可以由flus源开始与flus接收端的上行链路媒体流式传输会话，以将媒体内容从flus源流式传输至flus接收端。在flus接收端处利用基于网络的媒体处理来处理媒体内容。过程(800)可以前进至(s899)并终止于(s899)处。
[0170]
图9示出了根据本公开内容的实施方式的利用flus和5gms af的nbmp部署的过程(900)。过程(900)可以由flus接收端执行。过程(900)可以从(s901)开始，并且前进至(s910)。
[0171]
在(s910)处，可以在flus接收端处从5gms af接收用于基于网络的媒体处理的配置。
[0172]
在(s920)处，响应于从flus源接收到请求，可以在ue处的flus源与flus接收端之间创建flus会话。
[0173]
在(s930)处，可以在flus接收端处从flus源接收上行链路媒体流式传输的媒体内容。可以用基于网络的媒体处理来处理上行链路媒体流式传输的媒体内容。过程(900)可以前进至(s999)并终止于(s999)处。
[0174]
v.计算机系统
[0175]
本文公开的方法、实施方式、实体或功能可以由处理电路(例如，一个或更多个处理器或一个或更多个集成电路)来实现。在一个示例中，一个或更多个处理器执行存储在非暂态计算机可读介质中的程序，以执行本文公开的方法、实施方式或功能。该程序可以使用任何合适的机器代码或计算机语言来进行编码，该机器代码或计算机语言可以经过汇编、编译、链接等机制来创建包括指令的代码，该指令可以由一个或更多个cpu、gpu等直接执行，或者通过解释、微代码执行等来执行。指令可以在各种类型的计算机或其组件上执行，包括例如个人计算机、平板计算机、服务器、智能电话、游戏设备、物联网设备等。
[0176]
图10示出了适于实现所公开的主题的某些实施方式的计算机系统(1000)。图10中所示的用于计算机系统(1000)的组件在本质上是示例性的，并且不旨在暗示对实现本公开内容的实施方式的计算机软件的使用范围或功能的任何限制。组件的配置也不应当被解释为具有与计算机系统(1000)的示例性实施方式中示出的组件中的任何一个组件或组件的组合有关的任何依赖性或要求。
[0177]
计算机系统(1000)可以包括某些人机接口输入设备。这种人机接口输入设备可以响应于由一个或更多个人类用户通过例如触觉输入(诸如，键击、轻扫、数据手套移动)、音频输入(诸如，语音、拍手)、视觉输入(诸如，姿势)、嗅觉输入(未描绘)的输入。人机接口设备还可以用于捕获不一定与人类有意识的输入直接有关的某些媒体，诸如音频(诸如，语音、音乐、环境声音)、图像(诸如，扫描图像、从静态图像摄像装置获得的摄影图像)、视频(诸如，二维视频、包括立体视频的三维视频)。
[0178]
输入人机接口设备可以包括以下中的一个或更多个(每个仅描绘一个)：键盘(1001)、鼠标(1002)、触控板(1003)、触摸屏(1010)、数据手套(未示出)、操纵杆(1005)、麦克风(1006)、扫描仪(1007)、摄像机(1008)。
[0179]
计算机系统(1000)还可以包括某些人机接口输出设备。这种人机接口输出设备可以通过例如触觉输出、声音、光和气味/味道来刺激一个或更多个人类用户的感官。这种人机接口输出设备可以包括触觉输出设备(例如，通过触摸屏(1010)、数据手套(未示出)或者操纵杆(1005)的触觉反馈，但也可以存在不充当输入设备的触觉反馈设备)、音频输出设备(诸如，扬声器(1009)、头戴式耳机(未描绘))、视觉输出设备(诸如，包括crt屏幕、lcd屏幕、等离子屏幕、oled屏幕的屏幕(1010)，各自具有或者不具有触摸屏输入能力，各自具有或者不具有触觉反馈能力，其中一些可以输出二维视觉输出或者通过诸如立体图形输出的方式输出多于三维输出；虚拟现实眼镜(未描绘)、全息显示器和烟箱(未描绘))、以及打印机(未描绘)。
[0180]
计算机系统(1000)还可以包括人类可访问的存储设备及其相关联的介质，诸如包括具有cd/dvd等介质(1021)的cd/dvd rom/rw(1020)的光学介质、拇指驱动器(1022)、可移动硬盘驱动器或固态驱动器(1023)、传统磁介质例如磁带和软盘(未描绘)、基于专用rom/asic/pld的设备诸如安全软件狗(未描绘)等。
[0181]
本领域技术人员还应当理解，结合目前公开内容的主题使用的术语“计算机可读介质”不包含传输介质、载波或者其他暂态信号。
[0182]
计算机系统(1000)还可以包括至一个或更多个通信网络(1055)的接口(1054)。网络可以例如是无线的、有线的、光的。网络还可以是局域的、广域的、城市的、车载的和工业的、实时的、延迟容忍的等。网络的示例包括局域网，诸如以太网、无线lan、蜂窝网络(包括gsm、3g、4g、5g、lte等)、电视有线或无线广域数字网络(包括有线电视、卫星电视和地面广播电视)、车载的和工业的(包括canbus)等。某些网络一般需要附接至某些通用数据端口或外围总线(1049)(诸如，例如计算机系统(1000)的usb端口)的外部网络接口适配器；其他网络一般通过附接至如下所述的系统总线集成至计算机系统(1000)的核中(例如，集成至pc计算机系统中的以太网接口或集成至智能电话计算机系统中的蜂窝网络接口)。使用这些网络中的任何网络，计算机系统(1000)可以与其他实体进行通信。这种通信可以是单向仅接收(例如，广播电视)、单向仅发送(例如，至某些canbus设备的can总线)、或双向的，例如至使用局域数字网络或广域数字网络的其他计算机系统。可以在本文所描述的这些网络和网络接口的每个上使用某些协议和协议栈。
[0183]
上述人机接口设备、人类可访问的存储设备和网络接口可以附接至计算机系统(1000)的核(1040)。
[0184]
核(1040)可以包括一个或更多个中央处理单元(central processing unit，cpu)(1041)、图形处理单元(graphics processing unit，gpu)(1042)、现场可编程门阵列(field programmable gate area，fpga)(1043)形式的专用可编程处理单元、用于某些任务的硬件加速器(1044)、图形适配器(1050)等。这些设备连同只读存储器(read-only memory，rom)(1045)、随机存取存储器(1046)、内部大容量存储装置诸如内部非用户可访问的硬盘驱动器、ssd等(1047)，可以通过系统总线(1048)连接。在一些计算机系统中，可以以一个或更多个物理插头的形式访问系统总线(1048)，以使得能够通过附加的cpu、gpu等进
行扩展。外围设备可以直接地或通过外围总线(1049)附接至核的系统总线(1048)。在示例中，屏幕(1010)可以连接至图形适配器(1050)。用于外围总线的架构包括pci、usb等。
[0185]
cpu(1041)、gpu(1042)、fpga(1043)和加速器(1044)可以执行某些指令，这些指令可以组合构成上述的计算机代码。该计算机代码可以存储在rom(1045)或ram(1046)中。过渡数据也可以存储在ram(1046)中，而永久数据可以存储在内部大容量存储装置(1047)中。可以通过使用高速缓存存储器来实现针对存储器设备中的任何存储器设备的快速存储及检索，该高速缓存存储器可以与一个或更多个cpu(1041)、gpu(1042)、大容量存储装置(1047)、rom(1045)、ram(1046)等紧密相关联。
[0186]
计算机可读介质上可以具有计算机代码，该计算机代码用于执行各种由计算机实现的操作。介质和计算机代码可以针对本公开内容的目的而专门设计和构建，或者介质和计算机代码可以是对计算机软件领域的技术人员公知且可用的类型。
[0187]
作为示例而非限制的方式，具有架构(1000)特别是核(1040)的计算机系统可以通过处理器(包括cpu、gpu、fpga、加速器等)执行包含在一个或更多个有形计算机可读介质中的软件来提供功能。这种计算机可读介质可以是与如上文介绍的用户可访问型大容量存储装置相关联的介质，以及具有非暂态性质的核(1040)的某些存储装置，诸如核内大容量存储装置(1047)或rom(1045)。可以将实现本公开内容的各种实施方式的软件存储在这种设备中并且由核(1040)执行。根据特定需要，计算机可读介质可以包括一个或更多个存储器设备或芯片。软件可以使核(1040)——特别是其中的处理器(包括cpu、gpu、fpga等)——执行以上描述的特定处理或特定处理的特定部分，包括定义存储在ram(1046)中的数据结构以及根据由软件定义的处理修改这种数据结构。另外地或作为替选方式，计算机系统可以通过逻辑硬连线或以其他方式体现在电路(例如，加速器(1044))中来提供功能，其可以代替软件或与软件一起操作，以执行本文描述的特定处理或特定处理的特定部分。在适当的情况下，对软件的提及可以包含逻辑，反之对逻辑的提及也可以包含软件。在适当的情况下，对计算机可读介质的提及可以包含存储用于执行的软件的电路(例如，集成电路(integrated circuit，ic))、体现用于执行的逻辑的电路或上述两者。本公开内容包含硬件与软件的任何合适的组合。尽管本公开内容已经描述了若干示例性实施方式，但是存在落入本公开内容的范围内的改变、置换和各种替换等效物。因此能够理解，本领域技术人员能够设想出多种系统和方法，这些系统和方法虽然在本文中没有明确示出或描述，但体现公开内容的原理并且因此落入公开内容的精神和范围内。