使用网络边缘的体三维会话服务的方法和装置与流程

1.本发明大体上涉及体三维(volumetric)处理装置和方法。更具体地，本公开涉及用于使用网络边缘的体三维会话服务的系统和方法。


背景技术：

2.为了满足自部署4g通信系统以来增加的无线数据业务的需求，已经努力开发了改进的5g或前5g通信系统。因此，5g或前5g通信系统也被称为“后4g网络”或“后lte系统”。5g通信系统被认为是在较高频率(mmwave)频带中实现的，例如60ghz频带，以便实现较高的数据速率。为了降低无线电波的传播损耗，增加传输距离，在5g通信系统中，讨论了波束成形、大规模多输入多输出(mimo)、全维mimo(fd-mimo)、阵列天线、模拟波束成形、大规模天线技术。此外，在5g通信系统中，正在进行基于高级小小区、云无线接入网络(ran)、超密集网络、设备到设备(d2d)通信、无线回程、移动网络、协作通信、协调多点(comp)、接收端干扰消除等的系统网络改进的开发。在5g系统中，作为高级编码调制(acm)的混合fsk和qam调制(fqam)和滑动窗口叠加编码(swsc)，以及作为高级接入技术的滤波器组多载波(fbmc)、非正交多址接入(noma)和稀疏码多址接入(scma)得到了发展。
3.因特网是人类产生和消费信息的以人类为中心的连通性网络，现在正在发展到物联网(iot)，其中例如物的分布式实体交换和处理信息而不需要人为干预。出现了万物联网(ioe)，其是iot技术和大数据处理技术通过与云服务器的连接的结合。最近已经研究了诸如“感测技术”、“有线/无线通信和网络基础设施”、“服务接口技术”和“安全技术”之类的技术元素用于iot实现、传感器网络、机器到机器(m2m)通信、机器类型通信(mtc)等。这种iot环境可以提供智能因特网技术服务，其通过收集和分析在连接的事物之间生成的数据来为人类生活创造新的价值。通过现有的信息技术(it)和各种工业应用之间的融合和组合，iot可以应用于各种领域，包括智能家居、智能建筑物、智能城市、智能汽车或连接的汽车、智能电网、健康护理、智能设备和高级医疗服务。
4.与此相一致，已经进行了将5g通信系统应用到iot网络的各种尝试。例如，诸如传感器网络，机器类型通信(mtc)和机器对机器(m2m)通信的技术可以通过波束成形、mimo和阵列天线来实现。云无线接入网络(ran)作为上述大数据处理技术的应用也可以被认为是5g技术和iot技术之间的融合的示例。
5.第三代合作伙伴计划(3gpp)在移动运营商网络中具有标准化的会话式会议服务。然而，到目前为止，服务主要是二维(2d)视频服务，其中拍摄会议参与者的视频并发送到会议媒体服务器，会议媒体服务器将从多个参与者接收的这种视频组合成一个2d视频，并将该2d视频发送给所有参与者。正在进行关于提供基于虚拟现实(vr)的会议的一些开发。然而，目前还没有使用体三维内容(例如，ar对象)处理会话服务的工作，这可能是由于处理体三维内容所需的计算量。


技术实现要素：

6.技术问题
7.本公开提供了用于使用边缘网络的体三维会话服务的系统和方法。
8.问题的解决方案
9.在一个实施例中，一种装置提供体三维对话服务。该装置包括通信接口和可操作地联接到该通信接口的处理器。通信接口被配置为从多个用户设备(ue)中的每一个接收信令消息，信令消息分别指示多个ue处理参与者体三维内容的能力。处理器被配置为识别与请求进行体三维处理的多个ue相关联的会议。处理器还被配置为在边缘数据网络的边缘应用服务器中提供多个媒体资源功能，用于处理来自多个ue的参与者体三维内容。处理器进一步被配置为将多个ue中的一者或一者以上分配给多个媒体资源功能中的相应媒体资源功能。另外，处理器被配置为将从多个ue接收到的参与者体三维内容指示给多个媒体资源功能。处理器进一步被配置为将由相应媒体资源功能转换的会议体三维内容指示给会议的一个或多个ue。
10.在另一个实施例中，在边缘网络中的媒体资源功能被提供用于体三维会话服务。媒体资源功能包括通信接口和可操作地联接到通信接口的处理器。该通信接口被配置为从核心网络中的装置接收信令消息，以提供用于处理来自一个或多个用户设备(ue)的体三维内容的媒体资源功能，该信令消息指示分别分配给媒体资源功能的一个或多个ue处理参与者体三维内容的能力。处理器被配置为识别与请求体三维处理的一个或多个ue相关联的会议。该处理器还被配置为接收从分配给媒体资源功能的一个或多个ue接收的参与者体三维内容。此外，处理器被配置为将参与者体三维内容与其他参与者体三维内容混合为会议体三维内容。处理器进一步被配置为针对会议将会议体三维内容发送到一个或多个ue。
11.在另一实施例中，提供了一种用于接收体三维会话服务的ue。ue包括通信接口和可操作地联接到通信接口的处理器。该处理器被配置为向网络配置服务器发送信令消息，该信令消息指示所述ue的能力以针对具有多个ue的会议处理参与者体三维内容。处理器还被配置为基于信令消息接收对用于处理ue的参与者体三维内容而提供的边缘应用服务器数据网络中的媒体资源功能的分配。处理器进一步被配置为将参与者体三维内容发送到媒体资源功能。此外，处理器被配置为接收由媒体资源功能从对应于会议的一个或多个ue的其他参与者体三维内容转换的会议体三维内容。处理器进一步被配置为针对会议呈现经转换的会议体三维内容。
12.根据以下附图、说明和权利要求，其他技术特征对于本领域技术人员来说是显而易见的。
13.发明的有益效果
14.因此，本发明可使用体三维内容来提供会话服务。
附图说明
15.为了更完整地理解本公开及其优点，现在结合附图参考以下描述，其中相同的附图标记表示相同的部件：
16.图1示出了根据本公开的实施例的示例通信系统；
17.图2和图3示出了根据本公开的实施例的示例电子设备；
18.图4示出了根据本公开的用于启用边缘应用的示例性体系结构；
19.图5示出了根据本公开的示例性因特网协议(ip)多媒体子系统(ims)会议功能拆分；
20.图6示出了根据本公开的网络边缘中的示例性ims部署选项；
21.图7示出了根据本公开的使用网络边缘的示例ims双向呼叫；
22.图8示出了根据本公开的使用网络边缘的示例性ims会议呼叫；
23.图9示出了根据本公开的使用网络边缘的ims会议呼叫的示例消息流；
24.图10a和图10b示出了根据本公开的多级的示例媒体处理；以及
25.图11示出了根据本公开的用于使用网络边缘的体三维会话服务的系统和方法的示例方法。
具体实施方式
26.在进行以下详细描述之前，阐述贯穿本专利文件使用的某些词和短语的定义可能是有利的。术语“联接”及其派生词是指两个或多个元件之间的任何直接或间接通信，无论这些元件是否彼此物理接触。术语“发送”、“接收”和“通信”以及其派生词包括直接和间接通信。术语“包括(include)”和“包含(comprise)”以及其派生词意指非限制性地包含。术语“或”是包括性的，意味着和/或。短语“与
……
相关联”以及其派生词意味着包括、被包括在
……
内、与
……
互连、包含、被包含在
……
内、连接到或与
……
连接、联接到或与
……
联接、可与
……
通信、与
……
协作、交织、并列、接近、绑定到或与
……
绑定、具有、具有
……
的特性、与
……
具有关系，等等。术语“控制器”是指控制至少一个操作的任何设备、系统或其部分。这种控制器可以用硬件或硬件和软件和/或固件的组合来实现。与任何特定控制器相关联的功能可以是集中式的或分布式的，无论是本地的还是远程的。当与项目列表一起使用时，短语“至少一个”意味着可以使用所列项目中的一个或多个的不同组合，并且可以仅需要列表中的一个项目。例如，“a、b和c中的至少一个”包括以下组合中的任一个：a、b、c、a和b、a和c、b和c以及a和b和c。
27.此外，下面描述的各种功能可以由一个或多个计算机程序来实现或支持，每个计算机程序由计算机可读程序代码形成，并包含在计算机可读介质中。术语“应用程序”和“程序”是指一个或多个计算机程序、软件组件、指令集、过程、函数、对象、类、实例、相关数据、或其适于在适当的计算机可读程序代码中实现的部分。短语“计算机可读程序代码”包括任何类型的计算机代码，包括源代码、目标代码和可执行代码。短语“计算机可读介质”包括能够由计算机访问的任何类型的介质，诸如只读存储器(rom)、随机存取存储器(ram)、硬盘驱动器、光盘(cd)、数字视频光盘(dvd)或任何其它类型的存储器。“非暂时性”计算机可读介质排除了有线、无线、光或其它通信链路，这些链路传输暂时性电信号或其它信号。一种非暂时性计算机可读介质包括可以永久存储数据的介质，以及可以存储数据并随后重写数据的介质，例如可重写光盘或可擦除存储设备。
28.在整个本专利文件中提供了对其它某些单词和短语的定义。所属领域的技术人员应了解，在许多(如果不是大多数)实例中，此类定义适用于此类经定义的词和短语的先前以及未来使用。
29.下面描述的图1至图11以及用于描述本公开的原理的各种实施例仅仅是示例性
的，而不应以任何方式解释为限制本公开的范围。所属领域的技术人员将了解，本发明的原理可实施于任何类型的适当布置的装置或系统中。
30.基于边缘计算的解决方案正越来越多地应用于复杂的工作负荷，其中大量的处理在边缘网络中发生，并且需要复杂处理的设备将这种计算卸载到边缘设备。诸如3gpp、运动图像专家组(mpeg)、欧洲电信标准协会(etsi)等的许多组织已经研究了用于边缘处理的体系结构。本技术讨论了使用网络边缘体系结构来实现复杂的体三维会话服务。
31.用于媒体处理的计算技术的使用在很大程度上由于计算设备的可用性、方便性、计算能力等而大大扩展。由于设备变得更加紧凑，诸如膝上型计算机和移动智能电话的便携式电子设备正变得越来越流行，同时给定设备包括的处理能力和资源正在增加。即使处理能力增加，便携式电子设备也经常要努力提供处理新服务和应用的处理能力，因为更新的服务和应用经常需要包括在便携式电子设备中的更多资源。需要用于在网络中配置和部署媒体处理的改进的方法和装置。
32.云媒体处理的势头正盛，其中，在网络(例如，云)中建立媒体处理工作负荷以利用由云提供的好处(例如，(理论上的)无限计算能力、基于需要的自动缩放和按需处理)。终端用户客户端可以请求网络媒体处理提供商根据请求提供和配置媒体处理功能。
33.以下讨论的附图以及用于描述本专利文件中的本公开的原理的各种实施例仅是示例性的，而不应以任何方式解释为限制本公开的范围。所属领域的技术人员将了解，本发明的原理可实施于任何适当布置的系统或装置中。
34.图1示出了根据本公开的实施例的示例通信系统100。图1所示的通信系统100的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用通信系统100的其它实施例。
35.通信系统100包括便于在通信系统100中的各个组件之间进行通信的网络102。例如，网络102可以在网络地址之间传送ip分组、帧中继帧，异步传输模式(atm)信元或其它信息。网络102在一个或多个位置包括一个或多个局域网(lan)、城域网(man)、广域网(wan)、诸如因特网的全球网络的全部或一部分、或者任何其它通信系统。
36.在该示例中，网络102促进服务器104和各种客户端设备106-116之间的通信。客户端设备106-116可以是例如智能电话、平板计算机、膝上型计算机、个人计算机、可佩戴设备、hmd等。服务器104可以代表一个或多个服务器。每个服务器104包括能够为一个或多个客户端设备(例如客户端设备106-116)提供计算服务的任何合适的计算或处理设备。例如，每个服务器104可以包括一个或多个处理设备、存储指令和数据的一个或多个存储器、以及有助于通过网络102进行通信的一个或多个网络接口。如下面更详细描述的，服务器104可以将混入空场景的、代表一个或多个其他参与者体三维内容的会议体三维内容发送到一个或多个显示设备，例如客户端设备106-116。在某些实施例中，每个服务器104可以包括编码器。
37.每个客户端设备106-116代表通过网络102与至少一个服务器(诸如服务器104)或其它计算设备交互的任何合适的计算或处理设备。客户端设备106-116包括台式计算机106、移动电话或移动设备108(例如智能电话)、pda 110、膝上型计算机112、平板计算机114和hmd116。然而，在通信系统100中可以使用任何其它或附加的客户端设备。智能电话代表一类移动设备108，其是具有移动操作系统和用于语音、短消息服务(sms)和因特网数据通信的集成移动宽带蜂窝网络连接的手持设备。hmd 116可以显示360
°
场景，该360
°
场景包括
与混入空场景中的一个或多个其他参与者体三维内容相对应的会议体三维内容。在某些实施例中，客户端设备106-116中的任何一个可以包括编码器，解码器或两者。例如，移动设备108可以记录视频，然后对该视频进行编码，使得该视频能够被发送到客户端设备106-116中的一个。在另一示例中，膝上型计算机112可用于生成虚拟3d点云，然后对其进行编码并将其发送到客户端设备106-116中的一个。
38.在该示例中，一些客户端设备108-116与网络102间接通信。例如，移动设备108和pda 110经由一个或多个基站118进行通信，例如蜂窝基站或enodeb(enb)。此外，膝上型计算机112、平板计算机114和hmd 116经由一个或多个无线接入点120(例如ieee 802.11无线接入点)进行通信。注意，这些仅用于说明，并且每个客户端设备106-116可以直接与网络102通信，或者经由任何合适的中间设备或网络与网络102间接通信。在某些实施例中，服务器104或任何客户端设备106-116可用于拍摄参与者体三维内容，将参与者体三维内容发送到服务器104，接收包括对应于另一客户端设备(例如任何客户端设备106-116)的其它参与者体三维内容的会议相关内容，并呈现会议的会议体三维内容。
39.在某些实施例中，客户端设备106-114中的任何一个安全且有效地向另一设备(例如，服务器104)发送信息。此外，客户端设备106-116中的任何一个都可以触发其自身和服务器104之间的信息传输。客户端设备106-114中的任何一个在经由支架连接到头戴式视图器时可以用作vr显示器，并且类似于hmd116起作用。例如，移动设备108在连接到托架系统并且戴在用户的眼睛上时类似于hmd116起作用。移动设备108(或任何其他客户端设备106-116)可以触发其自身和服务器104之间的信息传输。
40.在某些实施例中，客户端设备106-116或服务器104中的任何一个可以接收信令消息，识别与信令消息相关的会议，将客户端设备106-116分配给媒体资源功能，将参与者体三维内容定向到相应的媒体资源功能，发送会议体三维内容，或执行其组合。例如，服务器104可以处理参与者体三维内容并将其混合到会议体三维内容中，然后将会议体三维内容发送到客户端设备106-116中的一个或多个。对于另一个示例，客户端设备106-116中的一个可以发送与用户参与会议有关的参与者体三维内容，然后呈现关于对应于另一个客户端设备106-116的其他参与体三维内容的会议参与者内容或对应于服务器104的空场景描述。
41.尽管图1示出了通信系统100的一个示例，但是可以对图1进行各种改变。例如，通信系统100可以在任何适当的配置中包括任何数量的每个部件。通常，计算和通信系统具有多种配置，并且图1不将本公开的范围限制于任何特定配置。虽然图1示出了其中可以使用本专利文件中公开的各种特征的一个操作环境，但是这些特征可以用在任何其它合适的系统中。
42.图2和图3示出了根据本公开的实施例的示例电子设备。特别地，图2示出了示例服务器200，并且服务器200可以表示图1中的服务器104。服务器200可以表示一个或多个编码器、解码器、本地服务器、远程服务器、集群计算机、充当无缝资源的单个池的组件、基于云的服务器等。服务器200可以由图1的客户端设备106-116中的一个或多个访问或由另一个服务器访问。
43.如图2所示，服务器200包括总线系统205，其支持至少一个处理设备(例如处理器210)、至少一个存储设备215、至少一个通信接口220和至少一个输入/输出(i/o)单元225之间的通信。服务器200可以表示一个或多个本地服务器、一个或多个压缩服务器、或一个或
多个编码服务器，例如编码器。在某些实施例中，编码器可以执行解码。
44.处理器210执行可存储在存储器230中的指令。处理器210可以包括任何适当数量和类型的处理器或任何适当布置的其它设备。处理器210的示例类型包括微处理器、微控制器、数字信号处理、现场可编程门阵列、专用集成电路和分立电路。在某些实施例中，处理器210可对存储装置215内的体三维内容进行编码。在某些实施例中，对体三维内容进行编码还对体三维内容进行解码以确保当参与者内容被重构时，重构的参与者内容与编码前的体三维内容相匹配。
45.存储器230和永久存储器235是存储设备215的示例，存储设备215表示能够存储信息和方便检索信息(例如数据、程序代码或临时性或永久性的其它适当信息)的任何结构。存储器230可表示随机存取存储器或任何其它合适的易失性或非易失性存储设备。例如，存储在存储器230中的指令可以包括用于将点云分割为块的指令，用于将块打包在2d帧上的指令，用于压缩2d帧的指令，以及用于以某种顺序对2d帧进行编码以生成比特流的指令。存储在存储器230中的指令还可以包括用于呈现如通过vr头戴式视图器(例如图1的hmd116)观看的360
°
场景的指令。永久存储器235可以包含支持数据的长期存储的一个或多个组件或设备，例如只读存储器、硬盘驱动器、闪存或光盘。
46.通信接口220支持与其它系统或设备的通信。例如，通信接口220可以包括网络接口卡或无线收发器，以便于通过图1的网络102进行通信。通信接口220可以支持通过任何适当的物理或无线通信链路的通信。例如，通信接口220可以将包含3d点云的比特流(例如参与者体三维内容)发送到另一个设备(例如客户端设备106-116之一)。
47.i/o单元225允许数据的输入和输出。例如，i/o单元225可以通过键盘、鼠标、小键盘、触摸屏或其它合适的输入设备为用户输入提供连接。i/o单元225还可以向显示器、打印机或其它合适的输出设备发送输出。然而，注意，例如当经由网络连接与服务器200发生i/o交互时，可以省略i/o单元225。
48.注意，虽然图2被描述为表示图1的服务器104，但是可以在一个或多个不同的客户端设备106-116中使用相同或类似的结构。例如，台式计算机106或膝上型计算机112可以具有与图2所示相同或相似的结构。
49.图3示出了示例电子设备300，并且电子设备300可以表示图1中的客户端设备106-116中的一个或多个。电子设备300可以是移动通信设备，例如移动台、订户站、无线终端、台式计算机(类似于图1的台式计算机106)、便携式电子设备(类似于图1的移动设备108、pda 110、膝上型计算机112、平板计算机114或hmd 116)等。在某些实施例中，图1的客户端设备106-116中的一个或多个可以包括与电子设备300相同或相似的配置。在某些实施例中，电子设备300是编码器、解码器或两者。例如，电子设备300可用于数据传输、图像或视频压缩、图像或视频解压缩、编码、解码和媒体呈现应用。
50.如图3所示，电子设备300包括天线305、射频(rf)收发器310、发射(tx)处理电路315、麦克风320和接收(rx)处理电路325。rf收发器310可以包括例如rf收发器、蓝牙收发器、wi-fi收发器、zigbee收发器、红外收发器和各种其它无线通信信号。电子设备300还包括扬声器330、处理器340、输入/输出(i/o)接口(if)345、输入350、显示器355、存储器360和传感器365。存储器360包括操作系统(os)361和一个或多个应用362。
51.rf收发器310从天线305接收从网络102的接入点(例如基站、wi-fi路由器或蓝牙
设备)或其它设备(例如wi-fi、蓝牙、蜂窝、5g、lte、lte-a、wimax或任何其它类型的无线网络)发送的输入rf信号。rf收发器310对进入的rf信号进行下变频以产生中频或基带信号。中频或基带信号被发送到rx处理电路325，rx处理电路325通过对基带或中频信号进行滤波、解码和/或数字化来产生经处理的基带信号。rx处理电路325将经处理的基带信号发送到扬声器330(例如对于语音数据)或处理器340(例如对于web浏览数据)以进一步处理。
52.tx处理电路315从麦克风320接收模拟或数字语音数据或从处理器340接收其它输出基带数据。输出基带数据可以包括web数据、电子邮件或交互式视频游戏数据。tx处理电路315对输出基带数据进行编码、多路复用和/或数字化，以产生经处理的基带或中频信号。rf收发器310从tx处理电路315接收输出的经处理的基带或中频信号，并将基带或中频信号上变频为经由天线305发送的rf信号。
53.处理器340可以包括一个或多个处理器或其它处理设备。处理器340可以执行存储在存储器360中的指令，例如os 361，以便控制电子设备300的整体操作。例如，处理器340可以根据公知的原理来控制rf收发器310、rx处理电路325和tx处理电路315对前向信道信号的接收和对反向信道信号的发送。处理器340可以包括任何适当数量和类型的处理器或任何适当布置的其它设备。例如，在某些实施例中，处理器340包括至少一个微处理器或微控制器。处理器340的示例类型包括微处理器、微控制器、数字信号处理器、现场可编程门阵列、专用集成电路和分立电路。
54.处理器340还能够执行驻留在存储器360中的其它过程和程序，例如接收和存储数据的操作。处理器340可以根据执行过程的需要将数据移入或移出存储器360。在某些实施例中，处理器340被配置为基于os 361或响应于从外部源或操作员接收的信号来执行一个或一个以上应用362。例如，应用362可以包括编码器、解码器、vr或ar应用、相机应用(用于静止图像和视频)、视频电话呼叫应用、电子邮件客户端、社交媒体客户端、sms消息传递客户端、虚拟助理等。在某些实施例中，处理器340被配置为接收和发送媒体内容。
55.处理器340还联接到i/o接口345，i/o接口345向电子设备300提供连接到诸如客户端设备106-114的其它设备的能力。i/o接口345是这些附件和处理器340之间的通信路径。
56.处理器340还联接到输入350和显示器355。电子设备300的操作员可以使用输入350将数据或输入输入到电子设备300中。输入350可以是键盘、触摸屏、鼠标、跟踪球、语音输入、或能够充当用户接口以允许用户与电子设备300交互的其它设备。例如，输入350可以包括语音识别处理，从而允许用户输入语音命令。在另一个例子中，输入350可以包括触摸面板、(数字)笔传感器、键或超声输入设备。例如，触摸面板可以识别至少一个方案中的触摸输入，例如电容方案、压敏方案、红外方案或超声方案。输入350可以通过向处理器340提供附加输入而与传感器365和/或照相机相关联。在某些实施例中，传感器365包括一个或多个惯性测量单元(imu)(例如加速度计、陀螺仪和磁力计)、运动传感器、光学传感器、照相机、压力传感器、心率传感器、高度计等。输入350还可以包括控制电路。在电容方案中，输入350可以识别触摸或接近。
57.显示器355可以是液晶显示器(lcd)、发光二极管(led)显示器、有机led(oled)、有源矩阵oled(amoled)、或能够呈现例如来自网站，视频，游戏，图像等的文本和/或图形的其它显示器。显示器355的尺寸可以适合hmd。显示器355可以是能够创建立体显示的单个显示屏或多个显示屏。在某些实施例中，显示器355是平视显示器(hud)。显示器355可以显示3d
对象，例如3d点云。
58.存储器360联接到处理器340。存储器360的一部分可以包括ram，而存储器360的另一部分可以包括闪存或其它rom。存储器360可以包括永久存储器(未示出)，其表示能够存储信息和便于检索信息(例如数据、程序代码和/或其它合适的信息)的任何结构。存储器360可以包含支持数据的长期存储的一个或多个组件或设备，例如只读存储器、硬盘驱动器、闪存或光盘。存储器360还可以包含媒体内容。媒体内容可以包括各种类型的媒体，例如图像、视频、三维内容、vr内容、ar内容、3d点云等。
59.电子设备300还包括一个或多个传感器365，其可以计量物理量或检测电子设备300的激活状态，并将计量的或检测到的信息转换为电信号。例如，传感器365可以包括一个或多个用于触摸输入的按钮、照相机、手势传感器、imu传感器(例如陀螺仪或陀螺仪传感器和加速度计)、眼睛跟踪传感器、气压传感器、磁传感器或磁力计、握持传感器、接近传感器、颜色传感器、生物物理传感器、温度/湿度传感器。照明传感器，紫外线(uv)传感器，肌电图(emg)传感器，脑电图(eeg)传感器，心电图(ecg)传感器，ir传感器，超声传感器，虹膜传感器，指纹传感器，颜色传感器(如红绿蓝(rgb)传感器)等。传感器365还可以包括用于控制其中包括的任何传感器的控制电路。
60.电子设备300可以创建媒体内容，例如生成虚拟对象或通过照相机拍摄(或记录)内容。为了将媒体内容发送到另一设备，电子设备300可以对内容进行压缩和编码。当准备要发送的媒体内容时，电子设备300可以将点云投影到多个块中。例如，点云的点的群集可以被分组在一起并且被描绘为2d帧中的块。块可以表示点云的单个属性，例如几何形状、颜色等。表示相同属性的块可以分别被打包成各个2d帧。
61.然后，对2d帧进行编码以生成比特流。这些帧可以单独编码或一起编码。在编码过程期间，诸如元数据、标志、占用映射、辅助信息等的附加内容可以被包括在比特流中。电子设备300可以对媒体内容进行编码以生成比特流，使得该比特流可以被直接发送到另一个电子设备或者间接地(例如通过图1的网络102)发送。类似于电子设备300的另一个电子设备可以直接从电子设备300接收比特流，或者例如通过图1的网络102间接地接收比特流。
62.类似地，当解码表示3d点云的比特流中包括的媒体内容时，电子设备300将接收到的比特流解码为帧。在某些实施例中，解码的比特流还包括占用映射。解码的比特流还可以包括一个或多个标志，或量化参数大小，辅助信息，或它们的任意组合。几何帧可以包括指示3d空间中的点云的点的地理坐标的像素。类似地，色帧可包括指示3d空间中的每个几何点的rgb颜色的像素。在某些实施例中，单个帧可以包括来自不同层的点。在某些实施例中，在重建3d点云之后，电子设备300可以经由显示器355在三维中呈现3d点云。
63.尽管图2和图3示出了电子设备的示例，但是可以对图2和图3进行各种改变。例如，图2和图3中的各种组件可以被组合、进一步细分或省略，并且可以根据特定需要添加附加组件。作为特定实例，处理器340可被划分成多个处理器，例如一个或一个以上中央处理单元(cpu)和一个或一个以上图形处理单元(gpu)。此外，就计算和通信而言，电子设备和服务器可以具有多种配置，并且图2和图3不将本公开限制于任何特定的电子设备或服务器。
64.图4示出了根据本公开的用于启用边缘应用的示例性体系结构400。图4所示的体系结构400的实施例仅用于说明。图4不将本公开的范围限制于电子设备的任何特定实现。
65.体三维内容服务是将来需要大量处理(计算容量)和用于传输的带宽的媒体服务。
然而，体三维内容的媒体处理在一些今天的移动终端中是不可能的。5g网络提供足够的带宽以向最终用户提供一些体三维服务。作为结果，在将最终的体三维内容发送给用户以供消费之前，需要对体三维内容进行网络处理。边缘处理有助于这种需求。
66.3gpp中的多个子工作组已经研究了或当前正在研究边缘部署，作为向终端用户提供由于等待时间和缓冲要求而难以提供的服务的使能器。如图4所示，工作组当前正在标准化用于启用边缘应用的应用层架构。
67.如图4所示，体系结构400包括网络组件402-408和够提供基于边缘的应用的网络组件之间的接口410-416。网络组件402-408可以包括ue 402、核心网络404、边缘网络406和边缘配置服务器(ecs)408。接口410-416可以包括应用客户端410、边缘使能客户端412、边缘应用服务器414和边缘使能服务器(ees)416。
68.ue 402是产生与用户相关的体三维内容并将该体三维内容发送到边缘网络的设备。ue 402在会议设置中接收其他用户的混合体三维内容，并在会议设置中呈现体三维内容。ue 402可以包括应用客户端410和边缘使能客户端412。
69.核心网络404可以将ue 402分配给边缘网络406中的特定节点。核心网络404可以将体三维内容从ue 402和其他ue引导到边缘网络406。
70.边缘网络406可包括媒体资源功能，其操作以处理并混合来自ue402的体三维内容并将其它ue的内容混合到提供回ue 402的会议场景中。边缘网络406可以包括边缘应用服务器414和ees 416。
71.ecs 408是部署在边缘网络406中的配置服务器，用于向边缘使能客户端412提供服务，以发现适当的ees 416和边缘应用服务器414。ecs 408提供边缘使能客户端412与ees 416连接所需的支持功能。ecs 408可以向边缘使能客户端412提供边缘配置信息。配置信息可以包括用于边缘使能客户端412连接到ees 416的信息和用于建立与ees 416的连接的信息。ecs 408可以支持ees 416的注册(即，注册、更新和注销)功能。
72.应用客户端410是ue 402处的客户端(例如，应用)，服务提供商要求用户必须使用该服务。应用客户端410是驻留在ue 402中执行客户端功能的应用。
73.边缘使能客户端412是ue 402处的客户端，其与在移动运营商边缘处部署的服务接口，以向应用客户端410提供所需数据。边缘使能客户端412抽象化数据到应用客户端410的递送，因此应用客户端410不知道数据是通过边缘网络406、核心网络404还是服务提供商网络检索的。边缘使能客户端412可以检索和提供配置信息，以使能与边缘应用服务器414交换应用数据业务。
74.边缘应用服务器414是为移动运营商部署在边缘网络406中的应用服务器。边缘应用服务器414是驻留在边缘网络406中的应用服务器，执行服务器功能。ue 402的应用客户端410可以连接到边缘应用服务器414，以便应用的服务利用边缘计算的好处。
75.ees 416提供支持功能以实现边缘使能客户端412和边缘应用服务器414之间的业务交换。这样的功能包括边缘应用服务器414的发现，边缘使能客户端412、ecs 408和边缘应用服务器414之间的连接管理。
76.ees 416可以向边缘使能客户端421提供配置信息，从而使能与边缘应用服务器414交换应用数据业务。ees 416可以与3gpp核心网络404交互以访问网络功能的能力。ees 416可以支持向边缘应用服务器414的3gpp网络和服务能力的外部暴露；支持边缘使能客户
端412和边缘应用服务器414的注册(即，注册、更新和注销)功能；支持按需触发边缘应用服务器实例化的功能。
77.尽管图4示出了用于启用边缘应用的体系结构400，但是可以对图4进行各种改变。例如，架构400及其各个部件的尺寸、形状和维度可以根据需要或期望而变化。此外，架构400的各种组件的数量和位置可以根据需要或期望而变化。此外，体系结构400可以用在任何其它合适的体三维会议过程中，并且不限于上述的特定过程。
78.图5示出了根据本公开的示例性ims会议功能拆分500。图5所示的ims会议功能拆分500的实施例仅用于说明。图5不将本公开的范围限制于电子设备的任何特定实现。
79.如图5所示，ims会议功能拆分500在会议应用服务器502、媒体资源功能控制器504、媒体网关控制功能506之间提供基于sip的会议。会议功能拆分500提供ims系统中会议的功能。
80.会议应用服务器502实现会议焦点的角色和会议通知服务。会议应用服务器502可以实现会议参与者的角色。
81.媒体资源功能控制器504实现会议参与者的角色。媒体资源功能控制器504实现除用于基于sip的会议的“refer”功能之外的功能。
82.媒体网关控制功能506支持用于自组织会议的过程和用于自组织会议的媒体控制的过程。媒体资源功能控制器504将媒体网关控制功能506分类为混合器。
83.尽管图5示出了ims会议功能拆分500，但是可以对图5进行各种改变。例如，ims会议功能拆分500及其各个组件的大小、形状和维度可以根据需要或期望而变化。同样，ims会议功能拆分500的各种组件的数量和位置可以根据需要或期望而变化。此外，ims会议功能拆分500可以用在任何其它合适的体三维会议过程中，并且不限于上述的特定过程。
84.图6示出了根据本公开的网络边缘中的示例ims部署选项600。图6中所示的ims部署选项600的实施例仅用于说明。图6不将本公开的范围限制于电子设备的任何特定实现。
85.如图6所示，可以在边缘网络406中建立ims 602。3gpp tr 23794定义了用于在5g网络边缘中运行ims服务的候选架构。然而，没有现有文献用于在网络边缘使用体三维内容来建立ims会议呼叫。
86.尽管图6示出了ims部署选项600，但是可以对图6进行各种改变。例如，ims部署选项600及其各个组件的大小、形状和维度可以根据需要或期望而变化。同样，ims部署选项600的各种组件的数量和位置可以根据需要或期望而变化。此外，ims部署选项600可以用在任何其它合适的体三维会议过程中，并且不限于上述的特定过程。
87.图7示出了根据本公开的使用网络边缘的示例ims双向呼叫700。图7中所示的ims双向呼叫700的实施例仅用于说明。图7不将本公开的范围限制于电子设备的任何特定实现。
88.如图7所示，可以使用网络边缘406来建立两个用户702之间的双向ims呼叫700。核心网络404可以包括p-cscf(5g af)704和ims as 706。边缘网络406可以包括ecs 408和ees 416、边缘upf(例如，5g用户平面功能)710、以及ims接入网关(agw)服务器712。
89.在步骤720中，在ims as 706、p-cscf 704和第一ue 402a之间建立ims会话。在步骤722中，在ims as 706，p-cscf 704和第二ue 402b之间建立ims会话。在3gpp ts 24.147和ts 24.229中描述了步骤720和722。
90.在步骤724中，核心网络中的ims as 706确定呼叫需要边缘处理(例如，体三维处理)。ims as 706可以决定为会话利用本地路由。ims as 706在步骤726中发现ecs并在步骤728中发现ees。步骤726和728类似于3gpp ts 23558和3gpp tr 23794中的过程。作为该过程的结果，在边缘网络406中提供边缘upf 710以从终端用户接收内容。在边缘网络406中设置两个承担5g边缘媒体应用服务器(ass)角色的ims agw服务器712。为每个呼叫参与者(第一ue 402a和第二ue 402b)建立一个ims agw服务器712。基于ims规范设置呼叫的剩余操作。
91.媒体内容从第一ue 402a流式传输到第一ims agw 412，媒体内容在第一ims agw 412处被处理(例如，体三维处理)。然后将处理后的体三维视频流式传输至第二ue 402b以供消费。与上述相同的步骤发生在第二ue 402b和第二ims agw 412之间，然后进行媒体处理且所得到体三维视频流式传输至第一ue 402a。
92.尽管图7示出了使用网络边缘的ims双向呼叫700，但是可以对图7进行各种改变。例如，ims双向呼叫700及其各个组件的大小、形状和维度可以根据需要或期望而变化。同样，ims双向呼叫700的各种组件的数量和布置可以根据需要或期望而变化。此外，ims双向呼叫700可以用在任何其它合适的体三维会议过程中，并且不限于上述的特定过程。
93.图8示出了根据本公开的使用网络边缘的示例ims会议呼叫800。图8所示的ims会议呼叫800的实施例仅用于说明。图8不将本公开的范围限制于电子设备的任何特定实现。
94.如图8所示，在多个ue 802之间的会议呼叫800启用了网络边缘中的体三维内容处理，类似于关于图6所述的双向呼叫。核心网络404中的ims服务器(ims as 706和ims p-cscf 704)可以选择边缘应用服务器414，如3gpp ts 23.558中所述。边缘应用服务器414应该具有在3gpp ts 24.147和ts 24.229中描述的ims媒体资源功能(mrf)能力。作为5g边缘as的会议ims mrf 804用作处理所有参与者的媒体流的高级媒体资源功能。
95.将网络边缘中的参与者mrf 806(5g边缘媒体as)分配给ims会议呼叫800中的每个参与者(诸如与第一ue 402a、第二ue402b、
……
、以及第n ue 402n中的每一个相关联的参与者)。参与者mrf 806从参与者(ue 402a-402n)接收媒体数据，并且在将接收到的媒体流发送到预期目的地之前处理所接收到的媒体流。在ims中，由于来自各个参与者的媒体流被发送到会议mrf 804(例如，用于媒体混合)，因此来自每个参与者的相应媒体资源功能的经处理的媒体流也被发送到会议级mrf 804。分配给每个参与者的参与者mrf804可以在将体三维媒体流发送到高级会议mrf 804之前进行低级媒体处理(例如，体三维内容处理，诸如将三维(3d)对象与背景场景合成)。高级会议mrf 804可以接收各个参与者的经处理的媒体流，并且可以进行高级媒体处理(例如，混合来自多个参与者的多个场景)。
96.尽管图8示出了使用网络边缘的ims会议呼叫800，但是可以对图8进行各种改变。例如，ims会议呼叫800及其各个组件的大小、形状和维度可以根据需要或期望而变化。同样，ims会议呼叫800的各种组件的数量和布置可以根据需要或期望而变化。此外，ims会议呼叫800可以用在任何其它合适的体三维会议过程中，并且不限于上述的特定过程。
97.图9示出了根据本公开的用于使用网络边缘的ims会议呼叫的示例消息流900。图9所示的消息流900的实施例仅用于说明。图9不将本公开的范围限制于电子设备的任何特定实现。
98.如图9所示，消息流900描述了建立在边缘网络406中进行体三维处理的ims会议呼
叫800的过程。在步骤902，在ims as 706、p-cscf 704和第一ue 402a之间建立ims会话。重复步骤820，以在多个ue 802中的每一个与ims as706和p-cscf 704之间建立ims会话。在3gpp ts 24.147和ts 24.229中描述了步骤820和822。多个ue 802中的每一个向img as 706发送信令消息。信令消息可以指示与体三维处理相关的多个ue 802中的每一个的能力。多个ue 802中的每一个的体三维能力可以与多个ue 802中的其它ue不同。
99.体三维会议呼叫中的一些ue可能具有有限的终端能力。作为结果，ue不能处理进入的体三维流。在这种情况下，在信令阶段期间，每个终端在sip报头消息中向会议服务器指示它们的能力。可替换地，可以使用用于参与会议的请求中的sdp消息来推断每个参与终端的能力。当会议服务器接收到会议呼叫中的一个或多个ue具有有限能力的指示时，会议服务器可以启用在高层媒体服务器中建立视频转换任务。高级媒体服务器中的视频转换任务将通过将所得到的体三维视频转换为2d视频来生成附加表示。然后将2d视频发送到指示了有限能力的ue。
100.在步骤904中，核心网络404中的ims as 706确定会议呼叫需要边缘处理(例如，体三维处理)。ims决定为会话利用本地路由。作为该步骤的一部分，ims as 706检查多个ue 802中的每一个的信令消息。来自多个ue 802的信令消息中的至少一个可以指示会议的体三维处理。如果多个ue 802中的至少一个指示体三维处理，则ims as 706可以确定会议呼叫需要边缘处理。
101.在一些实施例中，会议呼叫作为常规2d视频呼叫开始，而不是通过向用户分配较低/较高级媒体资源功能来开始ims会议呼叫。当呼叫的一个或多个ue优选具有体三维会议时，ue之一可以请求切换到体三维呼叫。用信号通知该切换的一个选择是在从ue到会议信令服务器的信令消息中使用被称为“切换到体三维会议”的字段。请求切换到体三维呼叫的另一个替代方案是使用在ts 24.147和ts 24.229中描述的信令机制，其将被增强以包括被称为“切换到体三维会议”的附加字段。在这两种情况中的任何一种情况下，该字段的值被设置为真。一旦会议信令服务器接收到将当前会议呼叫切换到体三维会议呼叫的指示，媒体资源功能就开始如前所述的对每个参与者的分配过程。在某些实施例中，只有ue的子集优选切换到体三维会议，而剩余的ue优选停留在传统的2d会议。在这样的实施例中，被递送到前述媒体资源功能中的每一个的流描述被配置为满足参与者的偏好。
102.在步骤906，ims as 706发现ecs 408和ees 416。在3gpp ts 23558和3gpp tr 23794中描述了该过程，其中的每一个都被引入作为参考。作为该过程的结果，在步骤908，在边缘网络406中提供边缘upf(5g用户平面功能)以从终端用户(多个ue 802)接收体三维内容。img as 706可指示用于多个ue 802中的每一者传输体三维内容的upf。
103.在步骤908中，在边缘网络406中建立充当5g边缘媒体as的角色的多个ims mrf服务器804、804a、804b。为一个或多个ue 802中的每一个建立低级参与者ims mrf 804。基于多个ue 802中的ue的量来建立高级会议ims mrf 804a、804b。会议呼叫800的其余部分基于如ts 24.147和ts 24.22中所描述的ims规范来建立。
104.在步骤910,3d体三维内容从一个或多个参与者流式传输至处理体三维内容(例如，混合来自连接的参与者的3d对象)的边缘中的参与者mrf 804中的每一个。参与者ims mrf 804可以执行对多个ue 802中的一个或多个的参与者体三维内容的处理。取决于多个ue 802的数目，在边缘网络406中可以存在参与者mrf 804和更少的高层会议mrf 804a和
702a-402k的参与者体三维数据1004，并将参与者的3d对象数据(参与者体三维数据)1004构建到空场景中。然后，处理后的场景内容1006被发送到高层媒体资源功能节点(会议mrf)。高级mrf节点(会议mrf)804从低级媒体资源功能节点(参与者mrf)接收一个或多个处理的媒体流，并将多个3d对象融合到用于会议的场景中。这一直持续到直到所有参与者的3d对象被融合到3d场景(会议体三维内容)中，媒体资源功能节点的分层结构到顶。
113.用于会议的场景描述或空场景可以基于参与会议的用户的数目、会议室环境细节、场景的背景、每个参与者与呼叫中的其他参与者或会议室中的其他位置相比的相对位置、或会议场景的任何其他适当设置。参与会议的用户的数量可以由会议组织者定义，并且在会议创建时被指示给会议服务器。会议室环境可以包括环境的尺寸和会议室的视图。场景的背景可以包括场景的感兴趣的背景。例如，背景可以是用于集中会议的封闭会议室，用于非正式会议的海滩背景，或用于会议的任何其它合适的环境。背景可以是2d或3d静止图像或视频。每个参与者的相对位置可以指示参与者插入3d场景的位置和方向。该场景描述可以在加入会议呼叫时被传送到会议服务器(例如，参与者希望被放置在另一个特定参与者旁边，或者参与者希望在会议处的特定位置，诸如桌子的头部)。基于上述因素，会议服务器定义初始空场景，并将该信息传递到被分配为从每个参与者接收体三维数据的媒体处理节点的所有低级媒体资源功能806。
114.为了便于低级媒体资源功能806处的部分场景重构以及在较高级mrf 804处完成场景重构，由应用功能生成场景模板。无论级别，所有媒体资源功能共享场景模板。场景模板由场景描述、部分场景描述、接收机列表以及用于场景模板的任何其它合适的定义来定义。场景描述可以伴随着媒体资源功能负责处理输入的体三维内容的流描述的列表被提供给每个媒体资源功能。每个流描述提供对来自呼叫参与者的输入的体三维内容流的描述。每个流描述可以具有对端点信息、接收机端点信息、输入媒体格式、输出媒体格式以及与流描述相关的任何其它合适的信息。对端点信息是生成体三维流的对(用户)的端点信息(ip地址、端口号)。接收机端点信息是其中媒体资源功能接收内容流的端点信息(ip地址、端口号)。输入媒体格式指示输入媒体内容的编码格式的类型(编解码器，简档、级别等)。输出媒体格式指示输出媒体内容的编码格式的类型(编解码器、简档、级别等)。
115.部分场景描述描述了如何重构来自媒体资源功能直接负责的多个参与者的视频/流。部分场景描述由帮助创建会议的信令应用功能生成。为每个媒体资源功能不同地生成部分场景描述。每个媒体资源功能的部分场景描述是通过推断在媒体资源功能的职权范围下的用户，然后从高层完整场景描述中提取所需的部分场景描述来生成的。
116.接收机列表包括关于要发送重构视频的接收机的端点的信息。作为低级媒体资源功能提供的媒体资源功能允许在媒体资源功能的控制下的每个接收机接收在低级媒体资源功能处部分场景重建的视频流。每个用户还同时从高级媒体资源功能接收最终重建的视频流。
117.如图10b所示，一个边缘mrf 806可以被分配给多于一个的ims会议参与者，如图11所示。在这种情况下，这种媒体资源功能将处理来自多个参与者的(例如，内容的体三维混合)。低级媒体资源功能可以处理来自ue 402a-402k的子集的体三维流，并且高级媒体资源功能可以处理上述低级媒体资源功能中的每一个的输出，以产生最终处理的会议内容(例如，所有参与者的3d对象、参与者体三维内容的最终混合)。
118.尽管图10a和图10b示出了多级的媒体处理1000、1002，但是可以对图10a和图10b进行各种改变。例如，媒体处理1000、1002及其各个组件的大小，形状和维度可根据需要或期望而变化。此外，媒体处理1000、1002的各种组件的数量和位置可以根据需要或期望而变化。另外，媒体处理1000、1002可用于任何其它合适的体三维会议过程中，且不限于上文所述的特定过程。
119.图11示出了根据本公开的用于使用网络边缘的体三维会话服务的系统和方法的示例方法1100。为了便于解释，图11的方法1100被描述为使用图1的服务器104和一个或多个客户端设备106-116、图2的服务器200以及图3的电子设备300来执行。然而，方法1100可与任何其它合适的系统和任何其它合适的服务器、客户端设备或其它电子设备一起使用。
120.如图11所示，在步骤1102，服务器200从多个ue中的每一个接收信令消息。信令消息指示ue处理参与者体三维内容的能力。可以在发起会议呼叫时或者在2d会议呼叫期间接收用于体三维会议呼叫的信令消息。对于会议中的ue的一部分正在经历2d会议呼叫而同一会议中的ue的另一部分正在经历3d会议呼叫的情况下的每个ue，信令消息可以是不同的。
121.在步骤1104，服务器200识别与请求体三维处理的多个ue相关联的会议。服务器200可以根据从初始ue接收的信令消息来确定会议细节，以开始会议或累积来自一个或多个出席ue的消息。服务器200在边缘网络406中提供多个媒体资源功能，以处理从一个或多个ue接收的参与者体三维内容和从服务器200接收的场景描述。服务器200还提供用于混合处理后的参与体三维内容的多个会议媒体资源功能。
122.在步骤1106，服务器200将每个ue分配给相应的媒体资源功能。每个ue被分配给参与者媒体资源功能以发送在ue处生成的体三维数据。可以将多于一个的ue分配给特定的参与者媒体资源功能。
123.在步骤1108，服务器200指示将来自每个ue的参与者体三维内容发送到相应的媒体资源功能。作为会议一部分的ue开始将参与者体三维数据流式传输到相应的参与者媒体资源功能。参与者媒体资源功能利用场景描述来处理参与者体三维内容，以便向一个或多个会议媒体资源功能提供。会议媒体资源功能基于会议的大小可以包括用于混合处理参与者体三维数据的多级。
124.在步骤1110，服务器200指示将由媒体资源功能从参与者体三维内容转换的会议体三维内容针对会议发送至ue。会议媒体资源功能可以向每个ue提供最终的会议体三维内容。会议体三维内容可以基于仅混合其他ue的体三维内容而对于每个ue是不同的。在一些实施例中，会议体三维内容可以包括会议中的所有ue的参与者体三维数据，并且在报头中提供信息以指示会议体三维数据中的哪一个与ue相关。ue在不呈现报头中指示的会议体三维数据的情况下呈现会议体三维数据。
125.尽管图11示出了用于使用网络边缘的体三维会话服务的系统和方法的方法1100的一个示例，但是可以对图11进行各种改变。例如，虽然被示为一系列步骤，但是图11中的各个步骤可以重叠、并行发生、或发生任何次数。
126.尽管已经用示例性实施例描述了本公开，但是本领域技术人员可以建议各种改变和修改。本公开旨在包括落入所附权利要求的范围内的这种改变和修改。本技术中的任何描述都不应被理解为暗示任何特定的元件、步骤或功能都是必须包括在权利要求范围内的必要元件。专利权主题的范围由权利要求限定。