事件消息轨道中的信令方案的制作方法

事件消息轨道中的信令方案
相关申请的交叉引用
1.本技术要求于2021年4月19日提交的第63/176,768号美国临时申请的优先权，其公开内容通过引用整体并入本文。
技术领域
2.本公开的实施例涉及媒体流式传输，并且更具体地涉及基于超文本传输协议(http)的动态自适应流式传输(dash)。


背景技术：

3.iso/iec 23009-1基于http的动态自适应流式传输(dash)标准引入了事件消息框，用于携带带有媒体片段的事件。进一步地，iso/iec 23001-19 cd定义了事件消息轨道格式，其中轨道可以携带事件消息。
4.然而，当前事件消息轨道规范不具有发信号通知可能在轨道中出现的方案的能力。
[0005]“信息技术-视听对象的编码-第12部分：iso基本媒体文件格式(information technology-coding of audiovisual objects-part 12：iso base media file format)”，iso/iec 14496-12(2015年12月)，“iso/iec 23000-19分段媒体通用媒体应用格式的fdis草案(draft of fdis of iso/iec 23000-19 common media application format for segmented media)”，iso/iec jtc1/sc29/wg11 mpeg117/16819(2017年4月)，以及“iso/iec fdis 23009-1文本第4版(text of iso/iec fdis 23009-1 4th edition)”，iso/iec jtc 1/sc 29/wg 11 n18609(2019年8月)通过引用整体并入本文。


技术实现要素：

[0006]
在实施例中，一种由至少一个处理器执行的方法包括：获取事件消息轨道，所述事件消息轨道被配置为由基于超文本传输协议的动态自适应流式传输(dash)客户端处理，以显示媒体内容；获取方案标识符框，所述方案标识框识别在所述事件消息轨道中出现的一个或多个事件方案，其中所述一个或多个事件方案中的每个事件方案指定用于处理包括在所述事件消息轨道中的一个事件的至少一个参数；以及根据所述一个或多个事件方案，将所述事件消息轨道提供给所述dash客户端，或显示基于所述事件消息轨道的媒体内容。
[0007]
在实施例中，一种设备包括：存储程序代码的至少一个存储器；以及至少一个处理器，其被配置为读取程序代码并且按照程序代码的指令进行操作，该程序代码包括：第一获取代码，被配置为使所述至少一个处理器获取事件消息轨道，所述事件消息轨道被配置为由基于超文本传输协议的动态自适应流式传输(dash)客户端处理，以显示媒体内容；第二获取代码，被配置为使所述至少一个处理器获取方案标识符框，所述方案标识框识别在所述事件消息轨道中出现的一个或多个事件方案，其中所述一个或多个事件方案中的每个事件方案指定用于处理包括在所述事件消息轨道中的一个事件的至少一个参数；以及提供代
码，被配置为使所述至少一个处理器根据所述一个或多个事件方案，将所述事件消息轨道提供给所述dash客户端，或显示基于所述事件消息轨道的媒体内容。
[0008]
在实施例中，一种非易失性计算机可读介质，存储有指令，这些指令在由至少一个处理器执行时，使至少一个处理器：获取事件消息轨道，所述事件消息轨道被配置为由基于超文本传输协议的动态自适应流式传输(dash)客户端处理，以显示媒体内容；获取方案标识符框，所述方案标识框识别在所述事件消息轨道中出现的一个或多个事件方案，其中所述一个或多个事件方案中的每个事件方案指定用于处理包括在所述事件消息轨道中的一个事件的至少一个参数；以及根据所述一个或多个事件方案，将所述事件消息轨道提供给所述dash客户端，或显示基于所述事件消息轨道的媒体内容。
附图说明
[0009]
根据以下具体实施方式和附图，所公开的主题的其它特征、性质和各种优点将更加明显，在附图中：
[0010]
图1是根据实施例的，可以实施本文所描述的方法、装置和系统的环境100的示意图。
[0011]
图2是图1的一个或多个设备的示例部件的框图。
[0012]
图3是根据实施例的dash客户端的示意图。
[0013]
图4是根据实施例的方法的示意图。
[0014]
图5是根据实施例的计算机代码的示意图。
具体实施方式
[0015]
图1是根据实施例的，可以实施本文所描述的方法、装置和系统的环境100的示意图。如图1所示，环境100可以包括用户设备110、平台120和网络130。环境100的设备可以通过有线连接、无线连接或有线和无线连接的组合进行互连。
[0016]
用户设备110包括一个或多个设备，该一个或多个设备能够接收、生成、存储、处理和/或提供与平台120相关的信息。例如，用户设备110可以包括计算设备(例如，台式计算机、膝上型计算机、平板计算机、手持式计算机、智能扬声器、服务器等)、移动电话(例如，智能电话、无线电话等)、可穿戴设备(例如，智能眼镜或智能手表)或相似设备。在一些实施方式中，用户设备110可以从平台120接收信息和/或向平台120发送信息。
[0017]
平台120包括如本文中其它地方所描述的一个或多个设备。在一些实施方式中，平台120可以包括云服务器或云服务器组。在一些实施方式中，平台120可以被设计成模块化，使得软件组件可以根据特定需要被换入或换出。这样，可以容易地和/或快速地重新配置平台120以具有不同的用途。
[0018]
在一些实施方式中，如图所示，平台120可以被托管(hosted)在云计算环境122中。值得注意的是，虽然本文所述的实施方式将平台120描述为托管在云计算环境122中，但是在一些实施方式中，平台120不是基于云的(即，可以在云计算环境外部实现)或者可以是部分基于云的。
[0019]
云计算环境122包括托管平台120的环境。云计算环境122可以提供计算、软件、数据访问、存储等服务，这些服务不需要终端用户(例如，用户设备110)了解托管平台120的系统
和/或设备的物理位置和配置。如图所示，云计算环境122可以包括一组计算资源124(统称为“计算资源(computing resources)124”并分别称为“计算资源(computing resource)124”)。
[0020]
计算资源124包括一个或多个个人计算机、工作站计算机、服务器设备或其它类型的计算和/或通信设备。在一些实施方式中，计算资源124可以托管平台120。云资源可以包括在计算资源124中执行的计算实例、在计算资源124中提供的存储设备、由计算资源124提供的数据传输设备等。在一些实施方式中，计算资源124可以通过有线连接、无线连接或有线和无线连接的组合与其它计算资源124通信。
[0021]
进一步如图1所示，计算资源124包括一组云资源，例如一个或多个应用程序(“app”)124-1、一个或多个虚拟机(“vm”)124-2、虚拟化存储(“vs”)124-3、一个或多个管理程序(“hyp”)124-4等。
[0022]
应用程序124-1包括一个或多个软件应用程序，其可以提供给用户设备110和/或平台120，或由用户设备110和/或平台120访问。应用程序124-1无需在用户设备110上安装和执行软件应用程序。例如，应用程序124-1可以包括与平台120相关的软件，和/或，能够通过云计算环境122提供的任何其它软件。在一些实施方式中，一个应用程序124-1可以通过虚拟机124-2向或从一个或多个其它应用程序124-1发送/接收信息。
[0023]
虚拟机124-2包括机器(例如，计算机)的软件实现，该机器执行程序，类似于物理机。虚拟机124-2可以是系统虚拟机，也可以是进程虚拟机，这取决于虚拟机124-2对任何真实机的使用和对应程度。系统虚拟机可以提供完整系统平台，其支持完整操作系统(“os”)的执行。进程虚拟机可以执行单个程序，并且可以支持单个进程。在一些实施方式中，虚拟机124-2可以代表用户(例如，用户设备110)执行，并且可以管理云计算环境122的基础架构，例如数据管理、同步或长期数据传输。
[0024]
虚拟化存储124-3包括一个或多个存储系统和/或一个或多个设备，该一个或多个设备在计算资源124的存储系统或设备内使用虚拟化技术。在一些实施方式中，在存储系统的上下文内，虚拟化的类型可以包括块虚拟化和文件虚拟化。块虚拟化可以指逻辑存储从物理存储的抽象(或分离)，以便可以在不考虑物理存储或异构结构的情况下访问存储系统。分离可以允许存储系统的管理员灵活地管理终端用户的存储。文件虚拟化可以消除在文件级别存取的数据与物理存储文件的位置之间的依赖性。这可以优化存储使用、服务器整合和/或无中断文件迁移的性能。
[0025]
管理程序(hypervisor)124-4可以提供硬件虚拟化技术，其允许多个操作系统(例如，“客户操作系统”)在诸如计算资源124的主计算机上同时执行。管理程序124-4可以向客户操作系统提供虚拟操作平台，并且可以管理客户操作系统的执行。各种操作系统的多个实例可以共享虚拟化硬件资源。
[0026]
网络130包括一个或多个有线和/或无线网络。例如，网络130可以包括蜂窝网络(例如，第五代(fifth generation，5g)网络、长期演进(long-term evolution，lte)网络、第三代(third generation，3g)网络、码分多址(cdma)网络等)、公共陆地移动网络(public land mobile network，plmn)、局域网(local area network，lan)、广域网(wide area network，wan)、城域网(metropolitan area network，man)、电话网络(例如，公共交换电话网络(public switched telephone network，pstn))、专用网络、自组织网络、内联网、因特网、基于光纤的网络等，和/或这些或其它类型的网络的组合。
[0027]
图1所示的设备和网络的数量和排列被作为示例来提供。实际上，与图1所示的设备和/或网络相比，可以有更多的设备和/或网络、更少的设备和/或网络、不同的设备和/或网络、或排列不同的设备和/或网络。此外，图1所示的两个或更多个设备可以在单个设备内实现，或者图1所示的单个设备可以实现为多个分布式设备。另外或可替代地，环境100的一组设备(例如，一个或多个设备)可以执行被描述为由环境100的另一组设备执行的一个或多个功能。
[0028]
图2是图1中一个或多个设备的示例组件的框图。设备200可以对应于用户设备110和/或平台120。如图2所示，设备200可以包括总线210、处理器220、存储器230、存储组件240、输入组件250、输出组件260和通信接口270。
[0029]
总线210包括允许设备200的组件之间进行通信的组件。处理器220以硬件、固件或硬件和软件的组合来实现。处理器220是中央处理单元(cpu)、图形处理单元(gpu)、加速处理单元(apu)、微处理器、微控制器、数字信号处理器(dsp)、现场可编程门阵列(fpga)、专用集成电路(asic)或另一类型的处理组件。在一些实施方式中，处理器220包括一个或多个能够被编程以执行功能的处理器。存储器230包括随机存取存储器(ram)、只读存储器(rom)和/或另一类型的动态或静态存储设备(例如，闪存、磁存储器和/或光存储器)，其存储供处理器220使用的信息和/或指令。
[0030]
存储组件240存储与设备200的操作和使用相关的信息和/或软件。例如，存储组件240可以包括硬盘(例如，磁盘、光盘、磁光盘和/或固态盘)、光盘(cd)、数字通用盘(dvd)、软盘、盒式磁带、磁带和/或另一类型的非易失性计算机可读介质，以及相应的驱动器。
[0031]
输入组件250包括允许设备200例如通过用户输入接收信息的组件，例如，触摸屏显示器、键盘、小键盘、鼠标、按钮、开关和/或麦克风。另外或可替代地，输入组件250可以包括用于感测信息的传感器(例如，全球定位系统(gps)组件、加速计、陀螺仪和/或致动器)。输出组件260包括提供来自设备200的输出信息的组件，例如，显示器、扬声器和/或一个或多个发光二极管(led)。
[0032]
通信接口270包括类似收发器的组件(例如，收发器和/或单独的接收器和发送器)，该组件使设备200能够例如通过有线连接、无线连接或有线和无线连接的组合与其它设备通信。通信接口270可以允许设备200从另一设备接收信息和/或向另一设备提供信息。例如，通信接口270可以包括以太网接口、光接口、同轴接口、红外接口、射频(rf)接口、通用串行总线(usb)接口、wi-fi接口、蜂窝网络接口等。
[0033]
设备200可以执行本文中所描述的一个或多个过程。设备200可以响应于处理器220执行由非易失性计算机可读介质(例如存储器230和/或存储组件240)存储的软件指令来执行这些过程。计算机可读介质在本文中被定义为非易失性存储器设备。存储器设备包括单个物理存储设备内的存储空间或分布在多个物理存储设备上的存储空间。
[0034]
软件指令可以通过通信接口270从另一计算机可读介质或从另一设备读入存储器230和/或存储组件240。当被执行时，存储在存储器230和/或存储组件240中的软件指令可以使处理器220执行本文中所描述的一个或多个过程。另外或可替代地，可以使用硬件连线电路来代替软件指令或与软件指令结合以执行本文中所描述的一个或多个过程。因此，本文中所描述的实施方式不限于硬件电路和软件的任何特定组合。
[0035]
图2所示的组件的数量和排列被作为示例来提供。实际上，与图2所示的组件相比，
设备200可能包括更多的组件、更少的组件、不同的组件或排列不同的组件。另外或可替代地，设备200的一组组件(例如，一个或多个组件)可以执行被描述为由设备200的另一组组件执行的一个或多个功能。
[0036]
图3图示了根据本公开的实施例的示例性dash客户端300，其被配置为处理媒体呈现描述(mpd)事件301、带内事件302和稀疏定时元数据轨道事件。dash客户端300还可以用于处理通用媒体应用格式(cmaf)事件。根据实施例，dash客户端300可以由图1的用户设备100实现。
[0037]
可以提供事件，以便将非周期性信息发信号通知给dash客户端300或应用。可以对事件进行定时(例如，每个事件在特定媒体呈现时间开始并且可以具有持续时间)。事件可以包括dash特定信令或特定应用事件。dash事件可以由方案标识符进行识别。对于特定应用事件，方案标识符可以识别该应用，使得dash客户端300可以将事件转发到适当的应用。
[0038]
如图3所示，dash客户端300可以包括应用310、dash播放器的控制、选择和启发逻辑315、清单解析器320、dash访问api 325、带内事件和“moof”(影片片段框)解析器330、定时元数据轨道解析器335、事件和定时元数据缓冲器340、同步器和分派器345、文件格式解析器350、媒体缓冲器355、媒体解码器360和http栈370。
[0039]
在图3中，虚线表示控制和/或同步；普通实线表示事件和/或定时元数据流；以及粗实线表示媒体数据流。控制和/或同步可以包括例如订阅功能306和事件/元数据api 307。事件和/或定时元数据流可以包括例如mpd事件301、带内事件302、定时元数据303和dash事件305。媒体数据流可以包括例如媒体片段304。
[0040]
dash客户端300可以接收诸如mpd的清单，并且可以处理它们。清单可以描述在cmaf切换组和选择组中分组的独立打包的cmaf轨道的组合和同步，以形成同步的多媒体呈现。清单可以将信息提供给dash客户端300，以选择、初始化、开始对准和同步要播放的一个或多个cmaf轨道，并且将cmaf媒体对象(例如，cmaf头、cmaf块和cmaf片段)识别为资源，以访问cmaf媒体对象和可能地下载cmaf媒体对象。cmaf轨道和cmaf片段可以包含足以实现解密、解码和呈现调度的信息。除资源识别和呈现描述以外，清单还可以提供关于传送协议、网络管理、授权、获得许可等信息。清单还可以用信号表示轨道遵循cmaf媒体配置文件。
[0041]
作为参考，cmaf片段可以是被进行编码和解码的媒体对象。cmaf片段可以包括一对或多对影片片段框(
‘
moor')和媒体数据框(
‘
mdat’)。每对
‘
moof'和
‘
mdat’可以被称为cmaf块，并且每个cmaf块可以包含属于cmaf片段的媒体样本的连续子集。
[0042]
cmaf轨道可以是按照呈现顺序的一个或多个cmaf片段的连续序列，该呈现顺序遵循cmaf媒体配置文件和相关联的cmaf头的。cmaf头可以包含足以处理和呈现cmaf轨道中的所有cmaf片段的影片框(moviebox)。cmaf轨道可以由编码器和isobmff文件打包器产生，但是可以以cmaf可寻址媒体对象的形式进行访问，cmaf可寻址媒体对象可以作为由外部媒体应用规范定义的资源的参考。
[0043]
dash客户端300可以基于清单中描述的地址来请求媒体片段。清单还可以描述元数据轨道。dash客户端300还可以访问元数据轨道的片段，解析片段，并且将片段发送到应用。
[0044]
此外，对于媒体片段的地址，dash清单可以提供索引片段的寻址。每个索引片段可以提供关于一个片段持续时间和大小的信息。表示索引(representation index)可以为给定表示的所有片段提供索引信息。
[0045]
根据实施例，清单解析器320可以解析来自清单的mpd事件301，并且将它们添加到事件和定时元数据缓冲器340。基于mpd，dash客户端300可以对从http栈370取回片段和解析片段进行管理。片段的解析可以由带内事件和“moof”解析器330执行。带内事件和“moof”解析器可以解析来自所述片段的媒体片段304，之后将媒体片段304添加到媒体缓冲器355。由带内事件和“moof”解析器330进行的解析还可以包括解析来自片段的带内事件302和定时元数据303(例如，定时元数据轨道)。此外，定时元数据轨道解析器335可以解析高级框(例如，定时元数据303的事件消息框和定时元数据303的事件消息实例框)，并且将高级框添加到事件和定时元数据缓冲器340。
[0046]
事件和定时元数据缓冲器340可以将事件和定时元数据样本传递到同步器和分派器345，同步器和分派器345可以被称为事件和定时元数据同步器和分派器功能。
[0047]
同步器和分派器345可以将dash客户端300特定事件分派到dash播放器的控制、选择和启发逻辑315。如果为应用310订阅了一个或多个特定事件和/或一个或多个定时元数据流，则同步器和分派器345可以经由事件/元数据api 307将对应事件实例和/或定时元数据样本分派到应用310。
[0048]
实施例可以涉及一种用于可以在事件消息轨道中可用的信令方案的方法。例如，在实施例中，元素事件消息轨道可以用于发信号通知一个或多个事件方案，所述一个或多个事件方案可以用于处理与事件消息轨道相对应的一个或多个事件。
[0049]
在实施例中，可以定义用于列出事件消息轨道中每个事件方案的schemeiduri/value的框。
[0050]
在实施例中，对于每个方案，可以包括指示是否保证方案在事件消息轨道中出现的二进制标志。例如，标志atleast_once可以用于指示：a.atleast_once＝false：该方案不可能出现；以及b.atleast_once＝false：该方案至少出现一次
[0051]
在实施例中，可以包括指示未在该框中列出的一个或多个方案可能出现的标志。例如，标志other_schemes可以用于指示：a.other_schemes＝false：该事件消息轨道不包括除该框中列出的方案以外的任何其它方案；以及b.other_schemes＝true：该事件消息轨道可以包括除该框中列出的方案以外的一个或多个方案
[0052]
在实施例中，新的框可以定义如下：
[0053]
在以上所示的框中：
·
number_of_schemes可以指示该框中列出的方案的数目。
·
scheme_id_uri可以是以null结尾的c字符串，如果后面没有值，则其声明该方案的标识符，或者声明以下值的命名方案的标识符。
·
value可以是来自所声明的方案的名称。
·
atleast_once可以指示，如果它被设置为真，则该轨道包含该方案的至少一个事件实例。
·
other_schemes可以指示，如果它被设置为真，则该轨道可以包含除该框中列出的方案以外的其它方案。
[0054]
在实施例中，
‘
silb’框在事件消息轨道头中可以至多出现一次。
[0055]
因此，实施例可以涉及在事件消息轨道的轨道头中发信号通知可能的事件方案的方法，其中可以发信号通知方案的数目，以及发信号通知用于每个方案的方案id和值标识符，其中附加地对于每个方案id/值，并且附加地还可以发信号通知该方案是否在轨道中出现或者发信号通知仅有出现的可能性，并且其中可以发信号通知除列出的方案id/值以外的任何其它方案id/值是否在事件消息轨道中出现。
[0056]
图4是用于管理包括dash客户端300的媒体流式传输系统的示例方法400的流程图。在一些实施方式中，图4的一个或多个流程块可以由用户设备441执行。在一些实施方式中，图4的一个或多个流程块可以由与用户设备110(例如，平台120)分离或包括用户设备110(例如，平台120)的另一设备或一组设备执行。
[0057]
如图4所示，过程400可以包括获取事件消息轨道，所述事件消息轨道被配置为由基于超文本传输协议的动态自适应流式传输(dash)客户端处理，以显示媒体内容(块410)。
[0058]
如图4中进一步所示，过程400可以包括获取方案标识符框，所述方案标识框识别在所述事件消息轨道中出现的一个或多个事件方案，其中所述一个或多个事件方案中的每个事件方案指定用于处理包括在所述事件消息轨道中的一个事件的至少一个参数(块420)。
[0059]
如图4中进一步所示，过程400可以包括根据所述一个或多个事件方案，将所述事件消息轨道提供给所述dash客户端，或显示基于所述事件消息轨道的媒体内容(块430)。
[0060]
在实施例中，方案标识符框被包括在所述事件消息轨道的轨道头中。
[0061]
在实施例中，方案标识符框包括语法元素所述语法元素指定在所述方案标识符框中识别出的所述一个或多个事件方案的数目。
[0062]
在实施例中，方案标识符框包括统一资源标识符，所述统一资源标识符声明所述每个事件方案的标识符或与所述每个事件方案相对应的命名方案的标识符中的至少一个。
[0063]
在实施例中，基于声明所述命名方案的所述统一资源标识符，所述方案标识符框进一步包括值，所述值指示所述命名方案的名称中与所述每个事件方案相对应的名称。
[0064]
在实施例中，方案标识符框包括标志，所述标志指示所述每个事件方案是否在所述事件消息轨道中至少出现一次。
[0065]
在实施例中，方案标识符框包括标志，所述标志指示所述方案标识符框中未识别出的方案是否被允许在所述事件消息轨道中出现。
[0066]
虽然图4示出了方法400的示例框，但是在一些实施方式中，方法400可以包括与图4中描绘的那些框相比附加的框、更少的框、不同的框或以不同方式布置的框。附加地或可选地，可以并行地执行方法400的两个或多个框。
[0067]
参考图5，描述了根据实施例的计算机代码500。计算机代码500可以由包括dash客户端300的媒体流式传输系统执行。例如，媒体流式传输系统可以由关于图1描述的环境100实现。媒体流式传输系统可以包括被配置为存储计算机代码500的存储器，以及被配置为访问计算机代码500并且按照计算机代码500的指令进行操作的至少一个处理器。计算机代码500可以分布在媒体流式传输系统(例如服务器、客户端等)的不同部件的存储器中，并且可以被配置为使特定部件的至少一个处理器执行其任何数目的功能，包括本公开中描述的功能。例如，计算机代码500可以包括任何数目的第一获取代码510、第二获取代码520和提供代码530。
[0068]
在实施例中，第一获取代码510、第二获取代码520和提供代码530可以被配置为使包括dash客户端300的媒体流式传输系统分别执行以上关于图4描述的方法的各方面。
[0069]
本公开的实施例可以被单独地使用或按照任何顺序组合使用。进一步地，方法、服务器和客户端中的每一者可以通过处理电路(例如，一个或多个处理器或者一个或多个集成电路)实施。在一个示例中，一个或多个处理器执行存储在非易失性计算机可读介质中的程序。
[0070]
上述公开提供了说明和描述，但并不旨在穷举或将实施方式限制为所公开的精确形式。根据上述公开，修改和变化是有可能的，或者可以从实施方式的实践中获得修改和变化。
[0071]
显然，本文描述的系统和/或方法可以以不同形式的硬件、固件或硬件和软件的组合来实现。用于实现这些系统和/或方法的实际专用控制硬件或软件代码不限于这些实施方式。因此，应当理解，可以设计软件和硬件来实现基于本文描述的系统和/或方法。
[0072]
即使特征的特定组合在权利要求中陈述和/或在说明书中公开，这些组合也并不旨在限制可能的实施方式的公开内容。实际上，这些特征中的许多特征可以以在权利要求中未具体陈述和/或在说明书中公开的方式组合。虽然以下列出的每个从属权利要求可以直接从属于仅一个权利要求，但是可能的实施方式的公开内容包括与权利要求组中的每个其它权利要求组合的每个从属权利要求。
[0073]
本文使用的元素、动作或指令不应被理解为关键的或必要的，除非明确地这样描
述。另外，如本文使用的冠词“一”和“一个”旨在包括一个或多个项，并且可以与“一个或多个”可互换地使用。此外，如本文使用的术语“组”旨在包括一个或多个项(例如，相关项、不相关项、相关项和不相关项的组合等)，并且可以与“一个或多个”可互换地使用。在仅意指一个项的情况下，使用术语“一个”或类似语言。另外，如本文使用的术语“具有(has)”、“具有(have)”、“具有(having)”等旨在是开放式术语。进一步地，短语“基于”旨在表示“至少部分地基于”，除非另有明确说明。