用于自适应性个性化媒体译码和递送的个性化敏感度测量和重放因素的制作方法

用于自适应性个性化媒体译码和递送的个性化敏感度测量和重放因素
1.相关申请案的交叉引用
2.本技术案主张2020年7月27日申请的美国临时专利申请案第63/056,942号和2019年8月2日申请的美国临时专利申请案第62/882,068号的权益，所述两篇美国临时专利申请案均以全文引用的方式并入本文中。
技术领域
3.本技术案大体上涉及将视觉媒体通过网络递送给用户装置并通过用户装置显示视觉媒体以供用户观看。


技术实现要素：

4.本公开的各种方面涉及基于通常在无个别传感器下收集的重放侧信息提供个性化和自适应媒体译码和递送的装置、系统和方法。
5.在本公开的一个方面中，提供一种用于将媒体递送给重放装置的方法。所述方法可包含通过第一重放装置在第一测试测量会话期间输出第一测试媒体以供第一用户观看。所述方法可另外包含从所述第一用户接收第一用户输入。所述第一用户输入可与所述第一用户对所述第一测试媒体的第一感知有关并且可指示所述第一用户关于所述第一测试媒体的第一个性化体验质量。所述方法可另外包含通过一或多个电子处理器基于所述第一用户输入产生包含所述第一用户的一或多个观看特性的第一个性化敏感度分布曲线。所述方法可另外包含通过所述一或多个电子处理器至少部分地基于所述第一个性化敏感度分布曲线确定第一媒体参数。可确定所述第一媒体参数以便在保持所述第一用户的所述第一个性化体验质量的同时提高经由网络到所述第一重放装置的媒体递送的效率。所述方法可另外包含根据所述第一媒体参数经由所述网络将第一输出媒体提供到所述第一重放装置。所述第一输出媒体被配置成通过所述第一重放装置输出。
6.在本公开的另一方面中，提供一种可包含第一重放装置的电子计算装置电子计算装置，所述第一重放装置包含显示器。所述显示器可被配置成将媒体输出给第一用户。所述电子计算装置还可包含一或多个电子处理器，其以通信方式耦合到所述显示器。所述一或多个电子处理器可被配置成通过所述第一重放装置在第一测试测量会话期间输出第一测试媒体以供所述第一用户观看。所述一或多个电子处理器可被进一步配置成从所述第一用户接收第一用户输入。所述第一用户输入可与所述第一用户对所述第一测试媒体的第一感知有关并且可指示所述第一用户关于所述第一测试媒体的第一个性化体验质量。所述一或多个电子处理器可被进一步配置成基于所述第一用户输入产生包含所述第一用户的一或多个观看特性的第一个性化敏感度分布曲线。所述一或多个电子处理器可被进一步配置成至少部分地基于所述第一个性化敏感度分布曲线确定第一媒体参数。可确定所述第一媒体参数以便在保持所述第一用户的所述第一个性化体验质量的同时提高经由网络到所述第一重放装置的媒体递送的效率。所述一或多个电子处理器可被进一步配置成根据所述第一
媒体参数经由所述网络将第一输出媒体提供到所述第一重放装置。所述第一输出媒体可被配置成通过所述第一重放装置输出。
7.在本公开的另一方面中，提供一种用于在重放装置上显示混合图像的方法。所述方法可包含通过电子计算装置的一或多个电子处理器确定媒体服务器和被配置成流式传输媒体的网络所支持的媒体参数的第一值。所述方法可另外包含通过所述一或多个电子处理器确定所述媒体服务器和所述网络支持的所述媒体参数的第二值。所述方法可另外包含如下产生和选择操作中的至少一个：通过所述一或多个电子处理器基于所述媒体参数的所述第一值和所述媒体参数的所述第二值产生和选择所述混合图像，以使得所述混合图像包含对应于所述媒体参数的所述第一值的第一解释和对应于所述媒体参数的所述第二值的第二解释。所述方法可另外包含在所述重放装置的显示器上显示所述混合图像。
8.考虑到详细描述和附图，实施例的其它方面将变得显而易见。
附图说明
9.图1说明根据本文中所描述的实施例的基于媒体译码和递送系统的实例自适应位速率(abr)。
10.图2和3说明根据本文中描述的一些实施例的基于被配置成在测试测量会话期间确定个体化/个性化观看特性的媒体译码和递送系统的自适应位速率(abr)的部分。
11.图4说明根据本文中所描述的实施例的经由模型变换将通用目标模型变换成个性化目标模型的框图。
12.图5说明根据本文中所描述的实施例的包含示出对比敏感度与空间频率之间的实例关系的两个不同的对比敏感度函数(csf)的图表。
13.图6说明根据本文中所描述的实施例的基于媒体译码和递送系统的经修改自适应位速率(abr)。
14.图7是根据本文中所描述的实施例的图6的重放系统的硬件框图。
15.图8是根据本文中所描述的实施例的图6的媒体服务器的框图。
16.图9说明根据本文中所描述的实施例的用于将媒体递送到图6的重放系统的方法的流程图。
17.图10a-10c说明根据本文中所描述的实施例的三个不同大小的实例混合图像。
18.图11a和11b说明根据本文中所描述的实施例的在测试测量会话期间在多步二叉树搜索中使用混合图像作为测试媒体的实例最优abr梯估计的图表。
19.图12a和12b说明根据本文中所描述的实施例的当使用现有流式传输方法流式传输媒体对比使用图9的方法流式传输媒体时网络的实例带宽。
20.图13a和13b说明根据本文中所描述的实施例的图9的方法可如何允许更多用户/订户在固定容量网络上流式传输媒体且不会不利地影响qoe的另一实例。
具体实施方式
21.可经由一或多个通信网络将视觉媒体(例如，图像、视频等)递送到多种不同类型的重放系统/装置(例如，电视、计算机、平板计算机、智能电话等等)以供用户观看。在视觉媒体递送链中，自适应位速率(abr)流式传输允许通过基于网络条件、重放缓冲状态、共享
的网络容量和受网络影响的其它因素对媒体上的位速率和分辨率的自适应选择来改进网络资源管理。除abr流式传输以外，其它媒体递送方法(还可包含译码方法或源译码方法)可类似地用以控制上游视频编码器/转码器/转速率器(transrater)的一或多个媒体参数，例如位速率、帧速率、分辨率等。
22.然而，到目前为止，例如abr流式传输的媒体递送方法尚未考虑额外因素来进一步改进网络资源管理，所述额外因素例如与重放系统/装置、用户的观看能力和用户正在观看视觉媒体时所在的环境相关联的因素。实际上，当执行内容处理、译码、递送解码和后处理时，即使是存在不同范围的观看条件和人类视觉性能变化会严重影响观看者的实际体验质量(qoe)，通常仍假设这些因素是理想的并且在不同用户/环境上是一致的。
23.举例来说，短距离观看可使用户在区分低分辨率视频内容和高分辨率视频内容时更敏感。而且，由于包含但不限于屈光不正(即使在佩戴矫正镜时)、玻璃体液中的漂浮物聚积、与年龄有关的晶状体颜色吸收率改变、白内障或黄斑变性的因素，不同观看者可具有不同的视觉敏感度。举例来说，用户/观看者的对比敏感度可归因于屈光不正增加、疾病增加和/或年龄增加而减小。另外，个体的个人qoe可随位置和时间而改变，尤其是在移动环境中。
24.对每个用户/观看者的这些视觉敏感度因素的检测可有助于估计现实世界端对端系统中的个性化qoe并且提供改进qoe并且进一步提高媒体递送效率的机会。举例来说，媒体递送系统可通过发射相同视频的自定义滤波版本以匹配用户/观看者的视力或与电视的观看距离，以此在维持每个用户/观看者的个性化qoe的同时节约带宽。
25.数项工作已提议使用多种传感器收集重放侧因素，目标在于选择媒体流式传输时的最优位速率和分辨率，或将信息反馈给媒体预处理、编码和后处理。然而，使用多种传感器收集重放侧信息的方法对于多个重放系统(例如，电视)来说不足且不切实际。不足是因为这类传感器不测量用户的先天性视力或敏感度。不切实际是因为在整个消费型显示器行业推动和协调电视制造商为电视配备所需的传感器和元数据协议的工作过于繁重。虽然此负担对于已经具有多个可用传感器的移动装置来说较轻，但用户隐私仍然是一个问题，特别是在传感器收集有关用户的视觉信息时。利用传感器收集重放侧信息的现有方法的另一问题是不同型号/品牌的电视有自己专有的向上缩放和后处理算法，用户可以调整各种电视设置，例如亮度、对比度或运动平滑性以适应自己的偏好。
26.为了解决上文指出的技术问题，本文所描述的方法、装置和系统包含如下新机制或协议：与上游装置共享与重放装置特性和个性化视觉敏感度因素有关的参数，所述上游装置被配置成控制视觉媒体到重放装置的发射。本文所描述的方法、装置和系统基于通常在不使用个别传感器的情况下收集的重放侧信息来提供个性化的自适应媒体递送。另外，收集的重放侧信息可指示不同用户和/或不同观看环境的个性化qoe。本文所描述的方法、装置和系统在维持每个用户的个性化qoe的同时进一步提高网络资源管理/媒体递送效率。
27.图1说明基于媒体译码和递送系统100的实例自适应位速率(abr)。系统100包含经由网络115将媒体提供到重放系统110(即，重放装置)的媒体服务器105。虽然图1示出单一重放系统110，但媒体服务器105可被配置成将相同或不同媒体同时流式传输到额外重放系统110。
28.重放系统110可包含多种不同类型的重放系统，例如电视、平板计算机、智能电话、
计算机等等。在一些实施例中，重放系统110包含缓冲器/解码器120和重放呈现器125。缓冲器/解码器120可经由网络115从服务器105接收媒体。缓冲器/解码器120可缓冲接收到的媒体并且解码接收到的媒体以通过重放呈现器125输出。如下文关于图7进一步详细描述，缓冲器/解码器120可包含重放系统110的电子处理器(例如，微处理器、微控制器或其它合适的处理装置)。重放呈现器125可包含被配置成显示图像和/或视频的输出装置。举例来说，如下文关于图7进一步详细描述，重放呈现器125包含发光二极管(led)显示器和/或触摸屏显示器。重放系统110位于环境130中。用户135还位于环境130中并且可观看重放系统110输出的媒体。
29.如图1中所说明，在一些实施例中，媒体服务器105包含由媒体服务器105的电子处理器实施的abr梯137。在一些实施例中，媒体服务器105从重放系统110接收一或多个abr请求140来调整媒体经由网络115从媒体服务器105到重放系统110的abr流式传输的位速率/质量决策。举例来说，重放系统110可检索和/或利用来自存储器的所存储通用目标模型145(例如，装置类型、显示器分辨率、基于地理的起动分辨率，或更全面模型，例如itu-t p.1203等)并且使用通用目标模型145监测/测量流式传输会话和重放相关性能信息，例如网络连接性度量、媒体播放器缓冲状态、编解码器、位速率、初始加载延迟和暂停事件等等，以及重放装置110信息，例如显示器分辨率、屏幕大小、重放装置类型等等。在一些实施例中，包标头信息和部分/完整位流解析还可以用于收集流式传输会话和重放相关性能信息。流式传输和重放信息用以产生媒体流式传输和媒体重放的通用体验质量(qoe)估计。此qoe估计可供重放系统110用于影响abr请求140。举例来说，重放系统110基于本地产生的带宽估计、缓冲器大小、往返时间等周期性地确定媒体片段的每个abr请求140，目的是维持无缝重放。换句话说，通用目标模型145可被配置成允许重放系统210基于网络115的资源可用性和重放系统参数中的至少一个控制媒体流式传输。
30.在一些情况下，重放系统110同时请求表示媒体中的相同时间段但在abr梯137的不同位速率下经编码的两个或更多个片段。这类策略可能效率低下且通常会引起重放系统110请求比无缝重放所需的数据更多的数据。这类策略也可引起重放系统110向abr梯137请求分辨率/位速率/帧速率组合以提供用户135无法感知的更高质量媒体。换句话说，现有的abr选择逻辑尝试将递送的分辨率/位速率/帧速率增加到超过用户135的敏感度阈值不会转译为增加用户135的qoe。除了不会转译为增加用户135的qoe之外，请求的分辨率/位速率/帧速率组合可使用更多网络资源(例如，更多带宽)和/或可能需要用户135支付额外的费用(例如，在媒体服务器105的服务提供者基于提供给重放系统110的数据量进行收费的情况下)。
31.上文提出的现有abr选择逻辑的问题是由通用目标模型145在确定abr请求140时不考虑个性化qoe引起。举例来说，通用目标模型145可能不考虑个体化/个性化观看特性，例如环境130中的光照、用户135的观看距离(即，用户135与重放呈现器125之间的距离)、用户135的眼睛基于例如空间频率的视觉敏感度和能力等等。实际上，现有abr选择技术假设这些特性对于每种环境130和每个用户135来说是相同的，而实际上，这些特性可在不同环境和/或用户之间存在很大变化并且影响用户135在感知重放系统110显示的媒体时的qoe。
32.虽然图1和其对应的解释是指abr梯137和abr选择技术，但abr相关媒体递送仅为意在表示可由上游装置(例如媒体服务器105和网络115)实施的通用媒体递送方法的实例。
abr梯137和abr选择技术也用作在整篇本技术案中关于额外图(参见例如图2、3和11a-11b)的实例媒体递送方法。然而，本文中所公开的特征可适用于不基于abr梯137或abr选择技术的数种不同媒体递送方法中的任一种(还可包含译码方法或源译码方法)。换句话说，本文所描述的特征可以与除abr流式传输以外的其它媒体递送方法结合使用，所述其它媒体递送方法可类似地用以控制上游视频编码器/转码器/转速率器的任何媒体参数，例如位速率、帧速率、分辨率等。另外或替代地，本文所描述的特征可以与用以在流式传输媒体之前译码/处理媒体的译码方法或源译码方法结合使用。这些译码方法和源译码方法可在本文中通常被称作媒体递送方法。在一些实施例中，媒体参数包含影响经由网络115从媒体服务器105到重放系统210(参见图2、3和6)的媒体递送的参数(即，上游媒体参数)。在一些实施例中，媒体参数另外或替代地包含重放系统参数(即，下游参数)，例如重放系统210的亮度设置和/或对比度设置。
33.图2和3说明根据一些实施例的基于被配置成在测试测量会话期间确定个体化/个性化观看特性的媒体译码和递送系统200和300的自适应位速率(abr)的部分。测试测量会话可用于通过在使用(参见图3)或不使用(参见图2)单独传感器收集此额外信息的情况下另外考虑个性化观看特性来解决上文提出的abr选择逻辑(和/或其它媒体递送方法)的问题。
34.图2包含重放系统210，其与图1的重放系统110包含一些类似组件。举例来说，重放系统210包含缓冲器/解码器120和重放呈现器125。虽然在图2中未示出，但重放系统210可经由图1中示出的类似于媒体服务器105和网络115的网络以通信方式耦合到媒体服务器。然而，代替包含如图1中所示的通用目标模型145，重放系统210可针对众多不同用户135和/或环境130产生个性化(即，个体化)敏感度分布曲线(psp)215。这些个性化敏感度分布曲线215可用于将对媒体服务器流媒体的abr请求(或其它关于其它媒体递送方法的请求)提供到重放系统210。虽然个性化敏感度分布曲线215在下文解释为由重放系统210(例如，重放系统210的电子处理器)产生，但在一些实施例中，如在本文中进一步详细描述，个性化敏感度分布曲线215的产生和存储可另外或替代地由电子处理器在媒体服务器处执行、由电子处理器在远程云计算集群处执行，或其组合。
35.为产生个性化敏感度分布曲线215，重放系统210实施测试测量会话，其中从用户135收集对测试媒体225的用户响应220。在测试测量会话期间，在给定用户135的典型观看条件和环境下测量用户135的敏感度。作为实例，用户135将坐在典型观看位置中(例如，坐在家庭活动室的沙发上，这在观看距离、视角、环境亮度以及重放系统特性和设置方面表示典型观看条件)。重放系统210随后引导用户135通过测试测量会话依据重放系统210提供的后续指令测量用户135在环境130中的视听敏感度。在会话中，可要求用户135使用远程控制根据重放系统210展现的一系列图像和/或视频做出一或多个选择。举例来说，重放系统210可显示多个图像并且请求用户选择最清楚/清晰地展现给用户135的图像。作为另一实例，重放系统210可显示取决于用户135的视觉能力和用户的观看距离而具有多个解释的图像并且请求用户选择对用户最主要/明显的解释。
36.从测试测量会话，重放系统210和/或媒体服务器105可确定用户135和/或环境130的个性化观看特性。举例来说，在测试测量会话期间接收到的用户响应220可指示系统因素，例如重放系统特性、重放参数设置、重放系统210的后处理算法(通常为装置制造者专
有)等等。作为另一实例，在测试测量会话期间接收到的用户响应220可指示环境因素，例如观看距离、视角、环境亮度、环境噪声、用户期望等等。在一些实施例中，用户期望是指用户135的可影响其感知的qoe的有意识或潜意识心理方面。举例来说，用户135对与付费订购相关联的媒体的期望级可比对例如免费视频按需服务的其它媒体的期望级更高。作为用户135和/或环境130的个性化观看特性的另一实例，在测试测量会话期间接收到的用户响应220可指示人类因素，例如用户135的感官敏锐度/视觉敏感度和能力、年龄、性别等等。如在图2中所指示，在一些实施例中，重放系统210可以如上文关于图1的系统100所解释的方式类似的方式另外提供重放系统信息230(例如，装置类型、显示器分辨率等)。重放系统210可使用汇总的信息235(包含重放系统信息230)和对测试媒体225的用户响应220确定特定用户135和/或环境130的个性化敏感度分布曲线215。
37.如图2所示，个性化敏感度分布曲线215可包含用户标识、其它个人信息(即，用户响应220确定的用户135的个体化观看特性)、重放系统信息230，以及在一或多个测量会话期间测试媒体225显示给用户135时的地理方位、天气信息、日期和时间中的一或多个。在图2中示出的实例个性化敏感度分布曲线215中，每个个性化敏感度分布曲线215可与用户相关联并且可包含其中用户135已参与测试测量会话的不同环境的多个子分布曲线(例如，用户家里的不同房间、当日的不同时间、不同天气信息(例如，晴天与多云)等)。在其它实施例中，每个个性化敏感度分布曲线215可与用户和特定环境相关联，使得每个用户可具有各自对应于其中用户135已参与测试测量会话的不同环境的多个个性化敏感度分布曲线215。
38.虽然上文提出的个性化观看特性并非由单独传感器(例如，测量重放装置210与用户135之间的距离的传感器)显式地收集，但系统200能够在测试测量会话期间基于对测试媒体225的用户响应220确定/估计这些特性中的一或多个。因此，在一些实施例中，能够在不使用单独的显式传感器下从用户135和环境130搜集个性化观看特性信息。在其它实施例中，单独的显式传感器可用于提供额外信息(参见例如图3)。
39.图3说明基于与图2中的系统200的部分类似的媒体译码和递送系统300的自适应位速率(abr)的部分。然而，系统300另外包含一或多个环境传感器305。举例来说，重放系统210可包含或可以通信方式耦合到测量环境130中的环境光的亮度/照度传感器(例如，集成的传感器、以通信方式耦合到重放系统210的智能家庭传感器等)。环境传感器305可包含位于环境130中的其它智能家庭传感器，其指示例如灯是否开/关，遮住窗户的窗帘是否拉开/拉上等。环境传感器305可被配置成例如出于确定白天时数的目的确定重放系统210的一天中的时间和地理方位。来自环境传感器305的环境感测数据310可包含在汇总的信息235中并且可包含在如图3中所指示的个性化敏感度分布曲线215中。在一些实施例中，包含在汇总的信息235中的环境感测数据310包含用户提供的信息，例如环境130中的社会活动级和/或观看距离。
40.在测试测量会话期间收集对测试媒体225的用户响应220隐式地考虑如下多种个性化观看特性：原本使用传感器显式地收集所述多种个性化观看特性是困难的、不现实的和/或强人所难的。另外，在一些情况下，使用传感器显式地收集的数据可能不允许准确确定用户135的qoe。因此，系统200和300提供数个潜在优点和益处。
41.一个实例益处涉及用户可变性。两个不同的用户可具有相同环境特性(例如，观看距离、照度、屏幕大小等)。然而，这两个不同的用户可归因于例如屈光不正、年龄和/或眼病
的差异而具有显著不同的观看能力。因此，仅使用物理上下文/环境特性确定abr请求(或关于其它媒体递送方法的请求)可引起这些不同用户的不同级的qoe。在一些实施例中，系统200、300的个性化敏感度分布曲线215在确定abr请求时考虑这些个性化观看能力差异以便防止和/或减轻每个用户的个性化qoe降低。
42.另一实例益处是其中可实施系统200和300的容易性。在一些实施例中，无需将额外传感器添加到重放系统210。沿着类似线，保护用户隐私，原因是在一些实施例中，可能不显式地测量和记录用户环境的具体细节。实际上，在一些实施例中，用户响应220的仅隐式地包含更详细因素例如用户的观看距离和观看能力)的整体评估用以产生对媒体服务器105的abr请求。换句话说，abr请求是基于复合测量，所述复合测量并非基于来自单独传感器的非相依属性测量集合。实际上，系统200和300中的abr请求是对用户qoe的全面隐式测量，其反映难以或甚至不可能显式地收集的多种因素的组合效应。
43.另一实例益处涉及用户135的个性化内容增强。除了实现对终端用户qoe的更全面准确估计之外，系统200和300允许增强重放给用户135的媒体/内容。具体地，可通过重放系统210增强视频帧的相比于用户所感知的太小或太低(即，空间频率或对比度超过用户测量的对比敏感度函数(csf))的部分。这类增强的实例可包含将帧裁剪和放大和/或应用本地对比度调整以确保场景的突出部分对用户135可见(即，在用户测量的csf内)。这类增强可通过有助于用户135跟随媒体/内容并且保持关注正在观赏的媒体/内容来改进用户的观看经历。
44.返回参考图1，产生abr请求140的通用目标模型145可包含估计qoe的众多模型中的任一个。举例来说，一个通用模型用以通常通过分析音频/视频信号并优化译码效率来构造abr梯137(或另一媒体递送方法)，包含参考源媒体的媒体片段的位速率/质量的多个版本。另一模型用于基于网络状态和重放装置加载选择abr流式传输的适当位速率/质量决策。然而，实例类型的模型并不考虑用户的个性化观看特性。个性化敏感度分布曲线215可应用于任何类型的通用模型145以从通用目标模型145建构个性化目标模型(pom)405(参见图4和6)。
45.图4说明经由模型变换410将通用目标模型145变换成个性化目标模型405的框图。所述变换可根据在媒体递送控制和管理中达成的一或多个所要目标进行。举例来说，如果目的是通过在不使每个用户135的个性化qoe降级的情况下选择abr梯137中的最小位速率来节约媒体流式传输带宽，那么系统200、300可确定分辨率-位速率网格空间中的图像/视频的最小可觉差(jnd)。系统200、300接着可基于如基于用户135正在使用重放系统210时所在的环境130中的用户135的个性化敏感度分布曲线215确定的用户135的个性化jnd，将通用目标模型145变换成每个用户135/重放系统210的个性化目标模型405。
46.作为另一实例，对于涵盖环路中的实时或非实时预处理、编码、转码或转速率的更复杂的流式传输管理，系统200、300可估计个性化心理学函数(例如，无色和对抗色刺激的空间对比敏感度、时间对比敏感度以及空间-时间对比敏感度)以构造个性化目标模型405。举例来说，图5说明包含展示对比敏感度505和空间频率510之间的实例关系的两个不同的对比敏感度函数(csf)的图表。实线曲线说明理想csf 515。虚线曲线说明基于在给定测试测量会话期间对测试媒体225的用户响应220而确定的用户135的实例用户csf 520。如图5所示，相较于理想csf 515，归因于例如在环境130中比在理想观看环境中长的观看距离、电
视机屏幕比在理想观看环境中低的亮度，以及用户135远视/近视眼，转译并经按比例缩放用户csf 520。还如图5所示，相较于理想csf 515，用户135在对比敏感度505相对于空间频率510中具有较小的可感知差异范围。换句话说，归因于例如上文所提及的环境和个人条件，用户135的视觉能力不像理想用户的视觉能力一样敏感。举例来说，当空间频率510增加到高于第二值530时，用户135可能不能够区分对比度差异。
47.因此，提供较高质量媒体流式传输以允许在理想环境中具有理想对比敏感度的理想用户经历增加的qoe的行为实际上不会引起具有图5中示出的用户csf 520的实例用户135经历增加的qoe。因此，如果提供此较高质量流式传输需要系统200、300付出代价(例如，因为使用较高位速率流式传输媒体而使用更多带宽)，那么系统200、300经历的此代价基本上是浪费的，原因是付出的此代价不会引起观看流式传输的媒体的用户135经历改进的qoe。
48.为辅助系统200、300控制媒体从媒体服务器105的流式传输，用户csf 520是包含在个性化敏感度分布曲线215中的用以将通用目标模型145变换成个性化目标模型405(参见图4)的数据的一个实例。举例来说，通用目标模型145可使用对应于理想csf 515的数据或对应于对于用户的观看环境和个人视觉能力来说并非个性化的另一通用csf的数据。另一方面，个性化目标模型405可使用已经按比例缩放并且转译为对于用户的观看环境和个人视觉能力来说个性化的用户csf 520。用户csf 520可与包含在通用目标模型145中的其它因素和/或算法组合使用以形成个性化目标模型405。如由流式传输比用户135可感知的媒体质量更高的媒体的上述实例所指示，可在视频编码、转码和/或转速率期间利用个性化目标模型405以提高译码效率，进而提高网络效率(例如，通过减小带宽)并且不会影响用户135的个性化qoe。举例来说，较高质量媒体可流式传输给能够感知较高质量媒体的更敏感用户135，而较低质量媒体可流式传输给不能够感知较低质量媒体与较高质量媒体之间的质量差异的较不敏感用户135。
49.虽然图5中示出的实例图表是指用户135的对比敏感度，但通用目标模型145可包含与可基于对测试媒体225的用户响应220个性化的其它类型的观看特性有关的值和/或函数(例如，与视频帧率有关的时间降级、量化降级等)。举例来说，可替换或重新训练表征通用时间降级模型的通用媒体参数值和/或函数以产生个性化目标模型405中的个性化值和/或函数。另外或替代地，用于确定媒体参数(即，流式传输参数)的通用算法(例如abr请求140(或关于其它媒体递送方法的请求可具有经调整以产生个性化目标模型(pom)405的系数。
50.图6说明基于媒体译码和递送系统600的经修改自适应位速率(abr)。系统600类似于图1的系统100但包含用以产生abr请求140(或关于另一媒体递送方法的请求)的个性化目标模型(pom)405而非包含通用目标模型145。在一些实施例中，系统600包含图2和3中示出的系统200、300的部分中的至少一个。举例来说，如图6所示，个性化目标模型405考虑重放系统信息230、环境感测信息310，以及如上文所描述来自psp 215的如基于对测试媒体225的用户响应220而确定的个性化观看特性信息。
51.可供pom 405用以产生abr请求140(或关于另一媒体递送方法的请求)的额外数据源包含但不限于实时媒体播放器状态信息，包含缓冲器大小、重放状态、播放器性能特性等。可供pom 405使用的另一数据源包含实时网络性能估计，例如重放系统210测量的输贯
量、从位于网络115内的传感器测量的输贯量、拥挤通知、时延、丢包率等。可供pom 405使用的另一数据源包含内容元数据，包含位速率、分辨率、帧速率每样本位深度、色度采样、源译码方法(包含等级和配置文件)、色彩空间、补充增强消息(sei)、合成播放列表、图片群组(gop)大小、瞬时解码刷新(idr)帧、最大帧平均光级(maxfall)、最大内容光级(maxcll)、电光传递函数(eotf)、语言、服务类型、场景描述(包含边界信息)、音频信道数目、音频采样率、音频样本位深度、音频服务类型、数字签名方法、scte 35消息、字幕数据、节目响度、法规信息、评级信息等。在一些实施例中，本文所描述的额外数据源可被称为媒体参数。
52.可供pom 405使用的另一数据源包含网络运营商策略参数，包含每下游和/或上游信道或信道等效物的最大可允许位速率、空间分辨率、帧速率等。此实例数据源可允许网络范围的优化和跨会话优化。可供pom 405使用的另一数据源包含如上文所解释的重放环境传感器信息310(例如，环境照度级、环境音频噪声级、观看流式传输的内容的人数、距每个观看者的屏幕的距离等)。可供pom 405使用的另一数据源包含辅助移动装置信息，例如距一级重放系统210的距离、移动装置传感器信息等。可供pom 405使用的另一数据源包含可由用户135输入并且由包含在系统600中的装置中的一个的存储器存储的实时用户/观看者偏好。
53.图7是根据一个实例实施例的重放系统210(即，重放装置)的硬件框图。如上文所提及，重放系统210可包含多种不同类型的重放系统，例如电视、平板计算机、智能电话、计算机等等。在所说明的实施例中重放系统210包含第一电子处理器705(例如，微处理器或其它电子装置)。第一电子处理器705包含输入和输出接口(未示出)并且电耦合到第一存储器710、第一网络接口715、任选麦克风720、扬声器725和显示器730。在一些实施例中，重放系统210在不同于图7中所说明的配置的配置中包含较少或额外组件。举例来说，重放系统210可不包含麦克风720。作为另一实例，重放系统210可包含接收来自重放系统210的用户的输入的一或多个额外输入装置，例如计算机鼠标和/或键盘。作为又一实例，重放系统210可包含环境传感器，例如环境光传感器和/或方位跟踪装置(例如，全球定位系统(gps)接收器)。在一些实施例中，重放系统210执行除下文描述的功能性以外的功能性。
54.第一存储器710可包含只读存储器(rom)、随机存取存储器(ram)、其它非暂时性计算机可读媒体或其组合。第一电子处理器705被配置成接收来自第一存储器710的指令和数据并且尤其执行所述指令。特定来说，第一电子处理器705执行存储于第一存储器710中的指令以执行本文中所描述的方法。
55.第一网络接口715经由网络115将数据发送到媒体服务器105并从媒体服务器105接收数据。在一些实施例中，第一网络接口715包含与媒体服务器105和/或网络115无线通信的一或多个收发器。替代地或另外，第一网络接口715可包含用于接收到媒体服务器105和/或网络115(例如以太网缆线)的有线连接的连接器或端口。第一电子处理器705可经由网络115通过第一网络接口715接收一或多个数据流(例如，视频流、音频流、图像流等等)。第一电子处理器705可通过第一网络接口715通过扬声器725、显示器730或其组合输出从媒体服务器105接收的一或多个数据流。另外，第一电子处理器705可经由网络115通过第一网络接口715将重放系统210产生的数据传达回到媒体服务器105。举例来说，第一电子处理器705可确定并发送本文中先前提及的abr请求140给媒体服务器105。媒体服务器105接着可根据来自重放系统210的abr请求140将一或多个媒体流发射到重放系统210。
56.显示器730被配置成将图像、视频、文本和/或数据显示给用户135。显示器730可为液晶显示器(lcd)屏幕或有机发光显示器(oled)显示屏幕。在一些实施例中，触敏输入接口也可并入到显示器730中，允许用户135与显示器730上提供的内容交互。在一些实施例中，显示器730包含投影器或未来开发的显示器技术。在一些实施例中，扬声器725和显示器730被称为将媒体流和其它信息展现给重放系统210的用户135的输出装置。在一些实施例中，麦克风720、计算机鼠标和/或键盘或触敏显示器被称为接收来自重放系统210的用户135的输入的输入装置。
57.图8是根据一个实例实施例的媒体服务器105的框图。在示出的实例中，媒体服务器105包含电连接到第二存储器810和第二网络接口815的第二电子处理器805。这些组件类似于上文关于图7解释的重放系统210的具有类似名称的组件并且以与如上文所描述的方式类似的方式起作用。在一些实施例中，第二网络接口815经由网络115将数据发送到重放系统210并且从重放系统210接收数据。在一些实施例中，媒体服务器105在不同于图8中所说明的配置的配置中包含较少或额外组件。举例来说，媒体服务器105可另外包含例如触摸屏的显示器以允许后端用户重新编程媒体服务器105的设置或规则。在一些实施例中，媒体服务器105执行除下文描述的功能性以外的功能性。
58.虽然图7和8示出重放系统210和媒体服务器105的单独框图，但在一些实施例中，媒体服务器105、一或多个重放系统210、经由网络115通信或形成网络115的部分的远程云计算集群或其组合被称为执行本文所描述的功能性的电子计算装置。举例来说，电子计算装置可为单一电子处理器(例如，媒体服务器105的第二电子处理器805)或位于媒体服务器105中的多个电子处理器。在其它实施例中，电子计算装置包含分布在不同装置上的多个电子处理器。举例来说，电子计算装置实施于以下中的一或多个上：重放系统210的第一电子处理器705、媒体服务器105的第二电子处理器805，以及位于远程方位处或经由网络115通信或形成网络115的部分的远程云计算集群处的一或多个其它装置中的一或多个电子处理器。在一些实施例中，远程云计算集群包含软件定义网络(sdn)/支持网络功能虚拟化(nfv)的接入网络。
59.在一些实施例中，实施pom 405的装置可确定pom 405的目标和功能。举例来说，pom 405实施于重放系统210内允许在不存在网络运营商或其它控制信号的情况下的分散式操作。另一方面，pom 405实施于媒体服务器105和/或网络115内(例如，作为位于软件定义网络(sdn)节点上的网络虚拟化功能(nvf))可简化网络范围的qoe优化和其它网络运营商策略的部署(例如，对所要订户qoe、边缘/接入网络容量目标或两者的组合的网络服务的优化)。
60.图7中示出的重放系统210的硬件组件中的一或多个实施和/或组成图2、3和6中示出的重放系统210的功能组件。举例来说，第一电子处理器705(或重放系统210的多个第一电子处理器705)可充当缓冲器/解码器120和重放呈现器125中的一或多个。第一电子处理器705也可确定个性化敏感度分布曲线(psp)215、个性化目标模型(pom)405和abr请求140。
61.在一些实施例中，一或多个用户和环境的一或多个个性化敏感度分布曲线(psp)215存储于重放系统210的第一存储器710中。第一存储器710可存储额外信息，例如重放系统210的通用重放系统信息230(例如，屏幕大小、产品标识号等等)。在一些实施例中，一或多个用户和环境的一或多个个性化敏感度分布曲线(psp)215另外或替代地存储于媒体服
务器105的第二存储器810和/或经由网络115通信或形成网络115的部分的远程云计算集群的存储器中。在一些实施例中，用户的psp 215的云存储使得能够安全链接到用户的有线/无线因特网服务提供方(isp)或网络递送媒体帐户(例如有线电视)。如本文中更详细描述，这类链接可适用于网络运营商利用个别psp 215产生在其订户基数的部分上的更高效媒体递送，其中psp 215与其帐户相关联。
62.图9说明根据一个实例实施例的用于将媒体递送到重放系统210的方法900的流程图。方法900被描述为由包含本文中先前描述的电子处理器中的一或多个的电子计算装置执行。虽然某些动作解释为由特定装置的电子处理器执行，但在其它实施例中，其它装置的电子处理器可执行相同动作。虽然作为实例，在图9中指示处理步骤、消息接收和/或消息发射的特定次序，但这类步骤、接收和发射的定时和排序可在适当时变化且不会否决本公开的整个剩余部分中详细阐述的实例的目的和优点。
63.在框905处，起始媒体递送方法900。在一些实施例中，通过重放系统210的第一电子处理器705响应于用户135接通重放系统210和/或请求重放系统210输出数据流而起始媒体递送方法900。
64.响应于起始媒体递送方法900，在框910处，电子计算装置的一或多个电子处理器检索存储的与用户135、重放系统210和重放系统210所在的环境130中的至少一个有关的个性化敏感度分布曲线(psp)215。举例来说，可能已基于重放系统210的先前测试测量会话产生所存储的psp 215。在一些实施例中，存储的psp 215可供电子计算装置用于在不具执行新测试测量会话的情况下将输出媒体提供到重放系统210。举例来说，当重放系统210正在用于已经历同一用户135进行的测试测量会话的环境130中时，电子计算装置可使用与环境130和用户135对应的所存储psp 215。在一些实施例中，电子计算装置通过将重放系统信息、环境信息和/或用户信息(例如，重放系统210接收到的用户登录信息)与psp 215的所存储信息进行比较，确定当前环境和用户已经历测试测量会话。举例来说，电子计算装置可确定重放系统210的标识号、环境130的一或多个特性(例如，一天中的时间、环境光的量、重放系统210的方位等等)，以及用户135的身份标识。如果此标识信息与已经存储于电子计算装置的存储器中的一个中的psp 215匹配，那么电子计算装置可在不继续进行到执行新测试测量会话的框915的情况下，根据先前存储的对应psp 215控制输出媒体到重放系统210的提供和通过重放系统210对输出媒体的显示。
65.另一方面，方法900可继续到框915，其中控制重放系统210执行新测试测量会话。此处，新测试测量会话可基于对一或多个存储的psp 215的先前了解而为全长会话或长度减小的会话。举例来说，如果上文提出的类型的标识信息中的一或多种不匹配存储的psp 215，那么电子计算装置可执行新测试测量会话并且产生新psp 215，如下文进一步详细阐释。在一些实施例中，用户135(例如，经由重放系统210的输入装置上的用户输入)起始新测试测量会话。在一些实施例中，电子计算装置可确定先前存储的psp 215的至少一个特性已改变(例如，功率中断、因特网协议(ip)地址改变、wifi信号强度改变、新近检测到耦合到重放系统210的外围装置、检测到的环境光的改变、检测到的重放系统210的方位的改变等等)。响应于此，电子计算装置可发指令给重放系统210以建议用户135参与新测试测量会话。举例来说，重放系统210可确定用户135现在正在夜晚而非白天(例如，基于一天中的时间测量、基于从环境传感器305接收的数据等)观看重放系统210。作为另一实例，媒体服务
器105可确定不与任何先前存储的psp 215相关联的新重放系统210已经连接到网络115。响应于此，媒体服务器105可将建议用户135参与测试测量会话以产生psp 215的请求发射到重放系统210。
66.实施测试测量会话的方法可包含作为在重放系统210上运行的第三方应用程序或作为代管测试媒体225和/或psp 215的云服务集成到机顶盒(stb)、数字媒体适配器(dma)、移动装置或其它重放系统210中。如本文中先前所提及，测试测量会话结果可在本地保存于重放系统210上和/或远程保存为实现跨平台和跨服务兼容性的云服务的部分。
67.在框915处，电子计算装置输出测试媒体225以供用户135观看。测试媒体225可由重放系统210的第一电子处理器705产生或可在由媒体服务器105产生之后被重放系统210接收。在一些实施例中，产生测试媒体225以便测量用户敏感度/体验质量(qoe)。举例来说，在框920处，电子计算装置接收来自用户135的用户输入(即，用户响应220)。所述用户输入与用户135对测试媒体225的感知有关并且指示用户135关于测试媒体225的第一个性化qoe。
68.在一些实施例中，电子计算装置通过使用测试媒体225产生包含斯内伦图表或开环模式的视标敏锐度测量来确定用户135的用户敏感度/qoe。在一些实施例中，电子计算装置另外或替代地通过使用不同定向的正弦波光栅产生对比敏感度函数(csf)测量来确定用户135的用户敏感度/qoe(例如，参见图5)。在一些实施例中，csf测量可包含使用测试媒体225的快速csf方法，包含带通经滤波斯隆字母。在一些实施例中，电子计算装置另外或替代地通过显示呈用户135将进行的交互式游戏的形式的测试媒体225来确定用户135的用户敏感度/qoe。在一些实施例中，电子计算装置另外或替代地通过基于显示为测试媒体225图像或视频材料集取得用户敏感度测量来确定用户135的用户敏感度/qoe。
69.在一些实施例中，电子计算装置可显示呈混合图像形式的测试媒体225。在一些实施例中，混合图像是取决于用户的观看能力和环境因素往往会具有相异解释的静态图像。作为实例，人类观看者随着观看距离增加而失去其看见图像细微细节的能力，使得无法区分开高分辨率视频和低分辨率视频。在一些实施例中，混合图像是为人类用户产生两个或更多个随空间频率范围和/或观看距离而变的相异解释的静态图像。基于对显示的混合图像的用户响应220，电子计算装置可在不使用显式传感器的情况下估计用户135在媒体观看环境130中的主导和非主导空间频率范围。
70.为形成混合图像，可以不同方式处理两个不同的源图像以产生关于每一图像为主导的特定空间频率范围。举例来说，可将第一源图像低通滤波，并且可将第二源图像高通滤波。接着可将经低通滤波源图像与经高通滤波源图像组合(即，上下重叠)以形成混合图像。因为给定图像在空间频率上的敏感区随着用户135的观看距离减小而从较低频率移动到较高频率，所以人类用户在较短观看距离处比在较长观看距离处更容易感知经高通滤波源图像。相反地，人类用户在较长观看距离处比在较短观看距离处更容易感知经低通滤波源图像。换句话说，用户135取决于用户135的一或多个观看特性而将经低通滤波源图像或经高通滤波源图像感知为主导的。
71.图10a-10c说明三个不同大小的实例混合图像1000，其中图10a示出最大大小的图像1000，且图10c示出最小大小的图像1000。在示出的实例中，将包含狗1005的脸部的第一源图像低通滤波(参见图10d的经低通滤波源图像1050)并且与包含经高通滤波的猫1010的
脸部的第二源图像(参见图10e的经高通滤波源图像1060)组合。如由图10a-10c所指示，归因于第二源图像的高通滤波，人类用户在更大图10a中比在较小图10b和10c中更容易感知猫1010的脸部。换句话说，归因于高通滤波(参见图10e)，混合图像1000仅含有包含当图像1000更大(即，近/短观看距离)时更容易感知的猫1010的脸部的第二源图像的细微细节。相反地，人类用户在图10c中比在图10a和10b中更容易感知狗1005的脸部。换句话说，归因于低通滤波(参见图10d)，混合图像1000仅含有包含当图像1000较小(即，较长观看距离)时更容易感知的狗1005的脸部的第一源图像的粗略细节。为了通过图10a-10c的视觉解释来辅助观看者，图10a-10e具有在每个图中标记的猫1010的鼻子1015和在每个图中标记的狗1005的鼻子1020。
72.虽然混合图像的产生在上文解释为包含将不同的源图像低通滤波和高通滤波，但在一些实施例中，另外或替代地使用不同带通滤波器产生混合图像。在一些实施例中，源图像的大小变化引起空间频率域的按比例放大或缩小。因此，结合滤波，源图像的大小变化是产生混合图像的另一种方式。
73.通过在框915处，在测试测量会话期间将一系列/多个混合图像显示为测试媒体225，电子计算装置可能够确定用户135的观看特性和与重放系统210有关的环境因素。在一些实施例中，电子计算装置可改变重放系统210显示的混合图像的大小。举例来说，电子计算装置可改变混合图像的大小直到用户响应220指示用户对混合图像的感知已从第一源图像的第一感知改变为第二源图像的第二感知。基于在接收到用户响应220的时间显示的混合图像的大小并且基于重放系统210的分辨率和屏幕大小，电子计算装置可能够确定用户135的估计的观看距离、用户135的估计的csf等等。
74.在一些实施例中，电子计算装置可随机或基于在测试测量会话期间接收到的先前用户响应220自适应地改变正在用以形成混合图像的每个源图像的低通滤波器和高通滤波器(或带通滤波器)的截止频率。举例来说，电子计算装置可接收与用户对第一混合图像的第一感知有关的第一用户输入。响应于此，电子计算装置可使用滤波器产生第二混合图像，其中至少一个滤波器的截止频率是基于与第一混合图像的第一感知有关的第一用户输入(例如，参见图11a和11b)。电子计算装置接着可控制重放系统210输出供用户135观看的第二混合图像。
75.在一些实施例中，电子计算装置可基于重放系统参数和/或媒体服务器和网络115支持的媒体参数来确定空间滤波器的截止频率(和/或用以产生混合图像的另一特性，例如正在显示的混合图像的大小)。举例来说，电子计算装置可结合媒体服务器105的abr梯137中的可用视频分辨率(或结合基于媒体服务器105正在利用的另一媒体递送方法的其它媒体参数的可用值)确定空间滤波器的截止频率。作为另一实例，电子计算装置可基于媒体服务器105/网络115的可用位速率、媒体服务器105/网络115的可用帧速率、重放系统210的装置类型、重放系统210的显示器730的屏幕大小和/或本文中先前提及的其它参数/属性来确定截止频率。
76.在一些实施例中，电子计算装置确定媒体服务器105和网络115支持的媒体参数的第一值。电子计算装置也可确定媒体服务器105和网络115支持的媒体参数的第二值。电子计算装置接着可进行如下产生和选择操作中的至少一个：基于媒体参数的第一值和媒体参数的第二值产生和选择混合图像，使得混合图像包含对应于媒体参数的第一值的第一解释
和对应于媒体参数的第二值的第二解释(例如，参见图11a和11b)。电子计算装置接着可控制重放系统210在显示器730上显示混合图像。
77.在一些实施例中，如本文中先前所描述，电子计算装置基于对先前显示的混合图像的用户响应220显示额外混合图像。举例来说，电子计算装置可进行如下产生和选择操作中的至少一个：基于媒体参数的第一值和媒体参数的第三值(经确定为受媒体服务器105和网络115支持)产生和选择第二混合图像，使得第二混合图像包含对应于媒体参数的第三值的第三解释和对应于媒体参数的第一值的第四解释。
78.在一些实施例中，如本文中先前所描述，电子计算装置通过重叠源图像产生在以上实例中描述的混合图像。在其它实施例中，电子计算装置可通过与经确定为受媒体服务器105和网络115支持的媒体参数的值对应的特性来检索先前产生和存储的混合图像。
79.在测试测量会话期间，电子计算装置可通过重放装置的输入装置接收来自用户135的用户输入。用户输入指示当在显示器730上显示混合图像时，用户135感知混合图像的第一解释。基于用户输入，电子计算装置可确定用户135对媒体参数的第一值(例如，第一空间频率范围、观看距离、分辨率等等)比对媒体参数的第二值(例如，第二空间频率范围、观看距离、分辨率等等)更敏感。在一些实施例中，电子计算装置基于用户135对媒体参数的第一值更敏感的确定，产生用户135的观看特性的个性化敏感度分布曲线215。个性化敏感度分布曲线215可包含媒体参数的第一值。在一些实施例中，如本文中先前所解释，媒体服务器105可经由网络115根据个性化敏感度分布曲线215将输出媒体提供给用户135的重放系统。
80.继续紧接在上的实例，电子计算装置可基于用户输入确定如下中的至少一个：用户135最敏感的混合图像的空间频率子集(即，混合图像的对比度)和用户135最敏感的混合图像的大小确定。在一些实施例中，电子计算装置产生的个性化敏感度分布曲线215的观看特性包含如下中的至少一个：用户最敏感的混合图像的空间频率子集和用户最敏感的混合图像的大小确定。
81.如由以上实例所指示，在测试测量会话期间对基于媒体参数和/或重放系统参数(即，以媒体为中心的参数)产生或选择的混合图像的使用可允许电子计算装置确定例如不同的以媒体为中心的参数如何影响用户的个性化qoe。举例来说，电子计算装置可确定abr梯137的不同视频分辨率(或另一媒体递送方法的媒体参数的不同值)如何影响用户的个性化qoe。换句话说，基于对测试媒体225的用户响应220，电子计算装置估计影响用户的感知的主导空间频率范围和不可见空间频率。此感知信息可用以提高如本文中所阐释的媒体译码和递送的效率。举例来说，abr梯137中的最低视频分辨率可识别为低于相较于全分辨率视频，用户135开始经历质量降级时的视频分辨率。
82.图11a和11b说明在测试测量会话期间在多步二叉树搜索中使用混合图像作为测试媒体225的实例最优abr梯估计的图表。在一些实施例中，电子计算装置从清单文件获得媒体服务器105和网络115的媒体流式传输的可用视频分辨率(例如，360p、540p、720p和1080p)。根据视频分辨率，电子计算装置确定将应用于源图像a和b以形成混合图像的低通滤波器和高通滤波器的截止频率。图11a和11b中示出的沿着行绘制的竖直虚线表示abr梯137中的对应视频分辨率的频率上限。举例来说，540p视频的频谱内容可仅达到左侧的第二竖直虚线。图11a和11b中的每一个中的顶部图表1105、1155示出随用户135在特定观看距离
处的空间频率[每像素循环]而变的推测对比敏感度函数(csf)。如图11a中所示，用户135的敏感度的峰值1110处于540p点和720p点之间。
[0083]
图11a中的中间图表1115说明从经滤波源图像a和b产生的第一混合图像的敏感度。如由图表1115所指示，电子计算装置可将可发生对第一混合图像的源图像a和b的人类感知的改变时所处的空间频率初始设置为540p。基于对第一混合图像(即，测试媒体225)的用户响应220，电子计算装置确定源图像a或b中的哪一个对用户135来说在感知上更主导。当用户响应220指示源图像b更主导时，电子计算装置可产生由图11a的底部图表1120表示的第二混合图像。如由底部图表1120所指示，电子计算装置可将可基于对从中间图表1115表示的第一混合图像的显示来选择源图像b的用户响应220，发生对第二混合图像的第二源图像a和b的人类感知的改变时所处的空间频率设置为720p。通过显示基于用户响应220动态地/自适应地调整的多个混合图像，电子计算装置被配置成缩窄用户135可感知的主频范围。电子计算装置可被配置成基于在整个测试测量会话中接收到的用户响应220，确定图11a的顶部图表1105中所示的经估计csf 1125。虽然在图11a中示出表示显示的混合图像的图表的仅两个重复，但在一些实施例中，电子计算装置在测试测量会话期间显示额外混合图像(即，测试媒体225)并且接收额外的对应用户响应220。
[0084]
图11b是与图11a类似但对应于不同用户135、环境130和/或重放系统210(例如，相同用户135和重放装置210但比图11a的实例更远的观看距离)的实例。图表1155、1160和1165大体对应于图11a的具有根据如上所述的不同观看情境调整的值的相应图表1105、1115和1120。如由图表1160所指示，电子计算装置可将可发生对第一混合图像的源图像a和b的人类感知的改变时所处的空间频率初始设置为540p。基于对第一混合图像(即，测试媒体225)的用户响应220，电子计算装置确定源图像a或b中的哪一个对用户135来说在感知上更主导。不同于图11a中示出的实例，当用户响应220指示源图像a更主导时，电子计算装置可产生由图11b的底部图表1165表示的第二混合图像。如由底部图表1165所指示，电子计算装置可将可基于对从中间图表1160表示的第一混合图像的显示来选择源图像a的用户响应220，发生对第二混合图像的第二源图像a和b的人类感知的改变时所处的空间频率设置为360p。如上文关于图11a所解释，电子计算装置可连续显示混合图像并接收用户响应220以确定如图11b的顶部图表1155中所示的经估计csf 1170。
[0085]
如图11a和11b中所示，csf 1125和1170归因于用户135、环境130和/或重放系统210中的一或多个的差异而彼此不同。举例来说，图11b的csf 1170的敏感度峰值1175与图11a的csf 1125的敏感度峰值1110相比处于较低分辨率。作为另一实例，图11b的csf 1170的整体范围小于图11a的csf 1125的整体范围，使得图11a的用户能够区分大于大约540p的不同分辨率，而图11b的用户不能够区分大于大约540p的不同分辨率。
[0086]
从以上解释显而易见，csf 1125和1170是基于由电子计算装置响应于显示的混合图像和/或其它测试媒体225接收到的用户响应220的个性化csf。电子计算装置确定的个性化csf类似于图5中示出并且在本文中先前解释的csf 520。换句话说，代替使用通用abr逻辑(例如，图5的理想csf 515)控制从媒体服务器105到重放系统210的媒体流式传输，电子计算装置可使用个性化位速率/分辨率决策规则来实现这一点。在一些实施例中，电子计算装置在测试测量会话期间基于对测试媒体225的用户响应220产生新的个性化abr梯。
[0087]
在一些实施例中，一或多个存储的psp 215可影响在测试测量会话期间由重放系
统210输出的测试媒体225的特性。在一些实施例中，电子计算装置检索先前存储的个性化敏感度分布曲线(psp)215并且基于包含在先前存储的psp 215中的一或多个观看特性来产生测试媒体225。在一些实施例中，为检索先前存储的psp 215，电子计算装置确定当前/进行中的测试测量会话的特性，包含用户135的特性、第一重放系统210的特性和用户135正在观看第一重放系统210所在的环境130的特性中的至少一个。电子计算装置随后可基于先前存储的psp 215(包含与当前/进行中的测试测量会话的特性相同的特性中的一或多个)，识别来自先前存储的多个psp 215中的先前存储的psp 215。
[0088]
举例来说，电子计算装置可确定存储的psp 215包含关于同一用户135的信息但当前重放系统210和/或当前环境130不同于所存储的重放系统210和/或环境130(例如，同一用户正在其家中不同房间的不同电视上看电视)。尽管所存储的psp 215的特性不准确匹配当前情境，但电子计算装置仍可使用所存储的psp 215的一或多个媒体参数作为在测试测量会话期间开始输出测试媒体225的基线。换句话说，电子计算装置可输出根据所存储的psp 215滤波或以其它方式更改的测试媒体225(例如混合图像)而非随机或根据通用模型输出测试媒体225。在一些情况下，基于包含在所存储的psp 215中的媒体参数输出测试媒体225可减少测试测量会话的持续时间和/或提高最佳适于当前情境的测量准确度。举例来说，如果电子计算装置产生对比敏感度函数(csf)以规定个性化敏感度信息，那么通常需要几十个测量准确地估计一个测试测量会话中的csf的媒体参数。然而，当电子计算装置从已经针对不同环境130中的用户135和/或通过不同重放系统210(或针对除普通用户135以外的另一公共属性)测量的起始点开始测试测量会话时，与典型量相比可减小准确地估计当前情境中的媒体参数所需的测量数目。换句话说，可根据先前测试媒体225的用户响应220和来自先前存储的psp 215的csf的估计来调整当前测试测量会话中的csf测量的当前刺激的空间频率和对比度。
[0089]
沿着类似线，在一些实施例中，当产生psp 215来估计和优化qoe时，可从存储的多个psp 215估计单个psp 215或选择密切匹配识别的其它属性(例如，方位、人口统计、观看装置品牌/型号、屏幕大小等)的单个psp 215。举例来说，当电子计算装置检测到用户135、环境130和/或重放装置210的改变且用户135选择不参与新的测试测量会话时，电子计算装置可针对类似用户135、环境130和/或重放装置210，基于存储的多个psp 215产生估计的psp 215。
[0090]
在其中单个重放系统210存在多个观看者(各自具有唯一或未知psp)(例如，家里的电视有多个用户/观看者)的使用案例中，电子计算装置可基于多种不同准则选择单个psp 215。举例来说，如果系统600的目标是将任何用户感知的qoe降级的风险降至最低，那么电子计算装置可从对应于多个观看者中的每一个的psp 215的群组当中选择最敏感psp 215。在此实例中，电子计算装置尝试确保即使观看显示器730的最敏感用户也不会经历降低的qoe。假设最敏感用户不经历qoe降低，由此可见观看同一显示器730的较不敏感用户也将不经历qoe降低，原因是较不敏感用户与最敏感用户相比对图像/视频质量的改变较不敏感。在一些实施例中，系统600可基于例如从其它应用程序(例如，智能家庭应用程序)提取的用户存在信息或个人移动装置的gps信息，减小给定重放系统210(例如，家里有多个用户/观看者的电视)的psp候选项数目。
[0091]
在框925处，电子计算装置确定是否搜集到足以完成个性化敏感度分布曲线(psp)
215的信息。如上文所解释，可从对当前测试媒体225的当前用户响应220搜集此信息(在框920处)和/或可从先前存储的psp 215检索此信息(在框910处)。在图9中，以虚线示出框910以指示框910是任选的且在方法900的一些实施方案中可能并不执行。换句话说，在一些情况下，电子计算装置可在不检索先前存储的psp 215的情况下基于接收到的对测试媒体225的用户响应220来产生psp 215(在框930处)。
[0092]
相反地，虽然在图9中未以虚线示出框915、920和925，但在一些情况下，电子计算装置可能并不执行框915、920和925。换句话说，电子计算装置在一些情况下可能不参与测试测量会话且可替代地仅依赖于一或多个存储的psp 215产生用于当前媒体会话的psp 215。举例来说，在检索用户135和/或环境130的所存储psp 215(在框910处)之后，电子计算装置可即刻确定所存储的psp 215中的一个对应于用户135、环境130和重放装置210。因此，在框930处，电子计算装置可利用对应的先前存储的psp 215作为环境130中的重放装置210上的用户135的当前媒体会话的psp 215。在此情境中，不需要电子计算装置参与测试测量会话，原因是当前媒体递送会话的观看特性先前在前一测试测量会话期间存储于psp 215中。
[0093]
作为电子计算装置不参与测试测量会话(即，不执行图9的框915、920和925)的另一实例，如上文所解释，当电子计算装置检测到用户135、环境130和/或重放装置210的改变且用户135选择不参与新的测试测量会话时，电子计算装置可针对类似用户135、环境130和/或重放装置210，基于存储的多个psp 215产生估计的psp 215。举例来说，如果存储的psp 215与同一用户相关联，那么电子计算装置可基于与所存储的psp 215相关联的重放系统210与目前供用户135使用的重放系统210之间的显示大小或其它显示特性的已知改变，调整所存储的psp 215的一或多个特性。类似地，电子计算装置可基于用户135的环境的已知改变调整所存储的psp 215的一或多个特性。举例来说，基于来自环境传感器305的传感器数据，电子计算装置可确定当前环境130比与所存储的psp 215相关联的环境130暗。在其它实施例中，代替产生估计的psp 215，电子计算装置可检索和使用包含与用户135、环境130和/或重放装置210的所确定的和/或已知的特性类似的特性的所存储psp 215。举例来说，电子计算装置可检索用户135的所存储psp 215，即使所存储的psp 215是针对不同环境130和/或不同重放系统210。
[0094]
返回框925的解释，当电子计算装置确定期望更多信息来完成psp 215(例如，更准确地完成如图5、11a和11b中所示的csf)时，方法900继续回到框915以继续输出测试媒体225并且响应于测试媒体225而接收用户输入(即，用户响应220)。当电子计算装置确定搜集到足以完成psp 215的信息时，方法转到框930。
[0095]
在框930处，电子计算装置基于用户输入产生用户的一或多个观看特性的个性化敏感度分布曲线(psp)。举例来说，如图5中所示，电子计算装置产生从理想csf 515转译和/或按比例缩放的个性化csf 520。另外或替代地，用于确定流式传输参数(例如abr请求140(或关于另一媒体递送方法的请求))的算法可具有经调整并且存储于psp 215中的系数。在一些实施例中，电子计算装置产生将包含在psp 215中的个性化abr梯(或另一个性化媒体递送方法)。
[0096]
在框935处，电子计算装置至少部分地基于psp 215确定媒体参数。举例来说，电子计算装置确定媒体参数的值(例如，片段大小、位速率、分辨率、帧速率、影响与媒体服务器
105和/或网络115相关联的视频编码器/转码器/转速率器的操作的另一媒体参数等中的一或多个的值)。在框940处，媒体服务器105根据媒体参数经由网络115将输出媒体提供到重放系统210。输出媒体被配置成通过重放系统210输出(例如，图像/视频被配置成在重放系统210的显示器730上输出)。
[0097]
为确定媒体参数(即，媒体参数的值)，在框935处，电子计算装置可执行如图4中所示并且本文中先前关于图4描述的通用目标abr逻辑模型到个性化目标abr逻辑模型(pom 405)的变换。在一些实施例中，pom 405可实施于支持自适应位速率递送的流式传输系统(例如电视、机顶盒、数字媒体适配器或如图6所示的移动装置)内。在此实例中，重放系统210的abr请求逻辑140利用pom 405改进基于但不限于片段大小、位速率、分辨率、帧速率、编解码器等的经编码视频和/或音频片段的选择，进而匹配或提供可用经编码片段当中与用户135的psp 215的最紧密匹配。举例来说，定义用于确定流式传输参数(例如abr请求140(或关于另一媒体递送方法的请求))的通用目标abr逻辑模型(或另一通用媒体递送方法)的算法可将其系数根据存储于psp 215中的信息进行调整/个性化。
[0098]
如本文中先前所描述，图6中的abr梯137表示一位速率、分辨率、帧速率等范围所可用的一系列音频和视频片段。还如本文中先前所解释，现有媒体递送系统/方法(不管是支持abr的还是以其它方式)是效率低下的并且通常引起重放系统210请求比无缝重放所需的数据更多的数据和/或请求超过用户135的psp 215的媒体参数(例如，分辨率/位速率/帧速率组合)的值。换句话说，尝试将递送的分辨率/位速率/帧速率增加到超过用户135的敏感度阈值的现有媒体递送逻辑将不转译为提高用户135的qoe。所公开的基于pom的媒体递送方法转译为更高效递送且因此减少越顶(ott)服务的递送成本，原因是这些服务从其内容投递网络(cdn)供应商按千兆字节购买。
[0099]
在一些实施例中，在框935处，电子计算装置选择一或多个媒体参数(例如，分辨率/位速率/帧速率组合)的值以产生用户135的敏感度感知范围内的流式传输媒体。举例来说，电子计算装置可使用图11a的csf 1125控制对媒体服务器105的请求大致720p的流式传输媒体分辨率的abr请求140，原因是csf 1125指示第一用户的敏感度峰值1110为大致720p。另一方面，电子计算装置可使用图11b的csf 1170控制对媒体服务器105的请求大致540p的较低分辨率的流式传输媒体分辨率的abr请求140，原因是csf 1170指示第二用户的敏感度峰值1175为大致540p。在两个紧接在上的实例中，确定第一媒体参数(即，540p分辨率)和第二媒体参数(即，720p分辨率)以使得第一输出媒体提供到第二用户的第一重放装置210会将网络115的第一资源使用量降低到低于关于第二输出媒体提供到第一用户的第二重放装置210的网络115的第二资源使用量。然而，尽管当输出媒体流式传输到两个重放装置210时存在此资源使用量差异，但第一用户的第一个性化qoe的第一百分比维持在与第二用户的第二个性化qoe的第二百分比大致相同的水平(参见图12b和表1b)。
[0100]
虽然方法900在上文关于单个重放系统210或两个重放系统210的媒体会话进行描述，但在一些实施例中，可关于额外重放系统210执行方法900。举例来说，方法900可用于确定正在网络115上从特定节点接收媒体流的多个重放系统210中的每一个的psp 215。电子计算装置可改进/优化正在提供给多个重放系统210中的每一个的每个媒体流的一或多个媒体参数(例如，译码和递送参数)以改进/优化来自网络115的总计/整体媒体流。
[0101]
举例来说，对于移动无线网络和宽带网络运营商，可利用所公开的基于pom的媒体
递送和译码方法900为现有接入网络添加额外容量并且不会折损终端用户/观看者qoe。在一些实施例中，方法900为网路运营商提供将增加网络容量所必需的资本投资比率降低的新方法。图12a和12b和表1a和1b说明当使用现有流式传输方法流式传输媒体对比使用方法900流式传输媒体时网络115的实例带宽和qoe统计数据。使用现有方法的服务器被称为现有服务器，而使用方法900的服务器被称为xcd服务器(即，经验译码和递送服务器)。
[0102]
图12a说明具有无上限带宽的网络的图表1205。上部曲线1210表示供现有服务器流式传输的媒体使用的带宽。下部曲线1215表示供xcd服务器使用方法900流式传输的媒体使用的带宽。如图12a中所示，供xcd服务器使用方法900流式传输的媒体使用的带宽比供现有服务器流式传输的同一媒体使用的带宽小大致20％。另外，如由对应于图12a的下表1a所指示，所有观看者(例如，高敏感用户[即，近观看者]和低敏感用户[即，远观看者]两者)的qoe保持在100％(即，完美的qoe)。
[0103]
表1a：
[0104][0105]
如由图12a和表1a所指示，方法900产生更高效媒体递送并且不会降低各自基于其相应psp 215接收单播会话的用户群体的用户qoe。在不降低用户qoe下的此效率增加和带宽减小是系统600基于当流式传输的媒体的位速率、分辨率等增加到超过特定点时不经历qoe增加的用户135的psp 215来减小所述位速率、分辨率等的结果。换句话说，在一些实施例中，方法900可旨在将最高可感知质量的媒体递送给每个用户且不将比特定用户可感知的媒体质量更高的媒体递送给任何特定用户(即，个性化媒体内容递送)。
[0106]
图12b说明具有有限带宽/固定网络容量(例如，大致60mbps)的网络的图表1250。曲线1255表示供现有服务器流式传输的媒体使用的带宽。曲线1260表示供xcd服务器使用方法900流式传输的媒体使用的带宽。不同于图12a的曲线，图12b的曲线1255和1260随时间推移使用大致相同的带宽。在一些实施例中，供xcd服务器使用方法900流式传输的媒体使用的带宽可比供现有服务器流式传输的同一媒体使用的带宽小大致1％。然而，如由对应于图12b的下表1b所指示，xcd服务器在固定容量网络链路上使用方法900与实施传统的abr片段选择方法的现有服务器相比得到高敏感度用户和低敏感度用户在qoe上的更一致降低。
[0107]
表1b：
[0108][0109]
举例来说，表1b指示高敏感度用户(即，离其相应重放系统210最近的用户)当通过现有服务器流式传输媒体时在有限带宽网络中经历大致40％的qoe降低。比较之下，低敏感度用户(即，距其相应重放系统210最远的用户)当通过现有服务器流式传输媒体时在有限带宽网络中仅经历大致20％的qoe降低。此qoe降低差异是由即使流式传输质量的改变以不同方式影响不同用户的情况下现有服务器仍以同等方式降低所有用户的流式传输质量所引起。
[0110]
另一方面，因为xcd服务器使用用户psp 215更智能地针对不同用户以不同方式降
低流式传输质量，所以同一有限带宽网络能够在系统600的所有用户之间提供更一致的qoe降低。在一些实施例中，更一致的qoe降低为系统600的用户带来更高的整体qoe。举例来说，表1b指示高敏感度用户(即，距其相应重放系统210最近的用户)当通过xcd服务器流式传输媒体时在有限带宽网络中仅经历大致20％的qoe降低。类似地，低敏感度用户(即，距其相应重放系统210最远的用户)当通过xcd服务器流式传输媒体时在有限带宽网络中仅经历大致20％的qoe降低。换句话说，如由表1b所指示，xcd服务器实施方法900可显著地提高高敏感度用户的qoe，同时仅适度地降低或维持低敏感度用户的qoe。
[0111]
图13a和13b说明方法900可如何允许更多用户/订户在固定容量网络上流式传输媒体且不会不利地影响qoe的另一实例。图13a和13b示出在使用在考虑开销之后具有88％有效输贯量的1.89gbit/s(4096-qam)固定容量网络下服务的订户数目(x轴)与订户经历的qoe降低百分比(y轴)的实例图表1305和1350。图13a和13b的图表1305、1350假设高敏感度观看者(例如，远离其相应重放系统210的三个图片高度[3h])和低敏感度观看者(例如，远离其相应重放系统210的六个图片高度[6h])之间的50％分开。
[0112]
图表1305、1350证实在有用户/订户添加到固定容量网络时，一旦用户/订户数量达到特定阈值1310、1355，便必须降级视频分辨率(作为实例)。然而，类似于关于图12a和12b和表1a和1b的上述实例，使所有用户/订户的分辨率同等地降级(如图13a中所示)取决于用户/订户是在3h处还是在6h处观看而造成不相等的qoe。举例来说，当相同的分辨率减小实施于所有媒体流上时，在3h处观看的用户与在6h处观看的用户相比通常感知更大的qoe降低。不同类型的用户之间的此qoe降低差异是由图13a和13b中示出的3h曲线1315和6h曲线1320说明。3h曲线1315和6h曲线1320之间的阴影区域1325说明高敏感度用户/订户与低敏感度用户/订户之间的qoe降低(即，服务降级感知)的不等性。举例来说，对于服务1200个用户的网络，视频质量降低对于3h处60％的用户(即，高敏感度用户)可见，但仅对6h处约2％的用户(即，低敏感度用户)可见。
[0113]
图13a说明第一qoe曲线1330，其指示当利用基于所有用户/订户的观看距离以相同方式调适视频经译码位速率和分辨率的流式传输管理方法时不同用户/订户经历的qoe。另一方面，图13b说明第二qoe曲线1360，其指示当使用图9的方法900在额外用户添加到网络时个性化不同用户的分辨率降级时不同用户/订户经历的qoe。如上文所解释，图13a和13b两者均假设用户/订户当中3h和6h观看距离之间的50％分开。
[0114]
使用方法900，控制媒体参数的电子计算装置理解哪些用户正在什么距离处观看以及分辨率降低将如何影响每个用户的qoe(例如，基于存储于每个用户的psp 215中的信息)。因此，执行方法900的电子计算装置可分配位速率/分辨率组合以便在这两个用户群组(即，高敏感度用户和低敏感度用户)中达成相等的平均qoe。此改进由图13a中qoe曲线1330和图13b中的qoe曲线1360之间的差说明。举例来说，图13a的在任何用户经历qoe降低时所处的阈值1310是当网络服务大致600个用户时。比较之下，图13b的阈值1355对于约1200个用户来说大致为加倍的。换句话说，与现有网络可服务的用户相比，执行方法900的网络可服务大致双倍的用户且任何用户不会经历qoe降低。
[0115]
返回到图9，如由虚线箭头所指示，在一些实施例中，电子计算装置重复框935和940。重复这些框可允许实时跟踪在媒体递送服务期间重放环境130(例如，环境传感器305)和/或网络115中的传感器输出以及针对通用用例以动态/自适应方式对应地调整个性化目
标模型405。举例来说，系统600可确定重放系统210所在的房间从用户135开始观看电视起已变得较暗(例如，归因于日落、归因于用户135拉上房间内的窗帘等)。响应于此确定，系统600可通过例如选择包含更类似于现在较暗房间的环境光特性的所存储的不同psp 215来调整个性化目标模型405。
[0116]
如本文中先前所解释，本文中所提及的abr梯137和abr选择方法仅为可供系统600用于控制经由网络115从媒体服务器105到重放系统210的媒体递送的一种实例方法。在其它实施例中，其它方法可用于动态地调整视频编码器/转码器/转速率器参数(即，媒体参数)，例如正在流式传输的经编码媒体的位速率和/或分辨率。类似于包含在多种实例中的abr相关方法，这些其它媒体递送方法将其媒体参数基于一或多个psp 215进行调整以优化如本文中所描述的媒体递送。在一些实施例中，媒体递送方法是由媒体服务器105和/或网络115(即，在重放系统210的上游)实施的上游媒体递送方法。
[0117]
应理解，实施例在其应用中不限于本文中阐述或附图中说明的组件的配置和布置的细节。能够实践或以各种方式实行实施例。而且，应理解，本文所使用的措辞和术语是出于说明的目的，而不应当被视为是限制性的。使用“包含”、“包括”或“具有”以及其变体意在涵盖其后列出的项目和其等效物以及额外项目。除非另外指定或限制，否则术语“安装”、“连接”、“支撑”和“耦合”以及其变化是广泛地使用且涵盖直接以及间接安装、连接、支撑和耦合。
[0118]
另外，应理解，实施例可包括硬件、软件和电子组件或模块，为了讨论的目的可以将其示出和描述为如同大部分组件是单独以硬件实施。然而，所属领域的技术人员且基于此具体实施方式的阅读将认识到在至少一个实施例中，基于电子的方面可以可由一个或多个电子处理器执行的软件(例如，存储在非暂时性计算机可读媒体上)实施，所述电子处理器例如微处理器和/或专用集成电路(“asic”)。因此，应注意多个基于硬件和软件的装置以及多个不同结构组件可用以实施实施例。举例来说，在说明书中描述的“服务器”和“计算装置”可包含一或多个电子处理器、一或多个计算机可读媒体模块、一或多个输入/输出接口以及连接各种组件的各种连接件(例如，系统总线)。
[0119]
所附权利要求书中阐述了各种特征和方面。