一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

基于动态性水平的比较来选择图像分析区域的制作方法

2022-03-26 06:32:40 来源:中国专利 TAG:


1.本发明涉及一种用于从视频内容中的分析区域确定图像特性的系统,所述图像特性用于在所述视频内容被呈现在显示设备上时确定要在一个或多个照明设备上呈现的一个或多个光效果。
2.本发明进一步涉及一种从视频内容中的分析区域确定图像特性的方法,所述图像特性用于在所述视频内容被呈现在显示设备上时确定要在一个或多个照明设备上呈现的一个或多个光效果。
3.本发明还涉及一种使得计算机系统能够执行这种方法的计算机程序产品。


背景技术:

4.philips的hue娱乐(hue entertainment)和hue同步(hue sync)越来越受欢迎。philips hue同步使得能够基于电脑上播放的内容(例如视频游戏)呈现光效果。动态照明系统可以极大地影响视听材料的体验和印象,尤其是当发送到灯的颜色与屏幕周围的组合环境中将看到的颜色相匹配时。光的这种新用途可以将视频游戏光的氛围带入具有玩家的房间。游戏玩家可以使他们自己沉浸在游戏环境的氛围中,并享受武器之火或魔法咒语的闪光,并且坐在力场的光辉中,仿佛它们是真实的。
5.hue同步的工作原理是观察视频内容的分析区域,并计算屏幕周围hue灯上呈现的光输出参数。us 2009/175536 a1中描述了类似的技术。us 2009/175536 a1公开了提取和处理在渲染的颜色空间中编码的视频内容以由环境光源模拟,包括从视频信号中提取颜色信息,并使用三原色矩阵通过未渲染的颜色空间变换颜色信息以形成第二渲染的颜色空间来驱动环境光源。视频信号解码成帧可以允许从选定的屏幕区提取平均或其他颜色信息,以减少比特流负载,并且负伽马校正有助于防止花哨或不适当的色度和亮度。
6.目前,在hue同步中,固定的预定义分析区域用于颜色提取,即用于确定光效果。这种方法的缺点是,对于视频游戏来说,所确定的光效果经常被认为与视频游戏的视频内容不匹配。


技术实现要素:

7.本发明的第一个目的是提供一种能够以适合于游戏的方式从视频内容中确定图像特性的系统。
8.本发明的第二个目的是提供一种能够以适合于游戏的方式从视频内容中确定图像特性的方法。
9.在本发明的第一方面中,一种用于从视频内容中的分析区域确定图像特性的系统,所述图像特性用于在所述视频内容被呈现在显示设备上时确定要在一个或多个照明设备上呈现的一个或多个光效果,该系统包括至少一个输出接口和至少一个处理器,该至少一个处理器被配置用于获得视频帧,确定所述视频帧中的第一动态性水平,并确定所述视频帧中的多个分析区域的每一个中的第二动态性水平。
10.该至少一个处理器还被配置为将所述第二动态性水平中的每一个与所述第一动态性水平进行比较,基于所述比较来选择所述分析区域的子集,从所述视频内容中的所述分析区域的子集确定图像特性,基于所述图像特性确定一个或多个光效果,并且使用所述至少一个输出接口来控制所述一个或多个照明设备以呈现所述一个或多个光效果和/或存储指定所述一个或多个光效果的光脚本。
11.视频帧中的动态性水平表示那些视频帧的动态程度,即视频帧从一帧到另一帧有多少变化。分析区域中的动态性水平表示该分析区域的动态程度,即分析区域从一帧到另一帧有多少变化。如将在本说明书中稍后描述的,有多种方法可以确定动态性水平。
12.游戏在“动作”如何跨屏幕分布上可以有很大的不同。在一些游戏中,它是带有一些用户界面(ui)元素的整个屏幕。对于其他游戏来说,ui可能占据了屏幕的大部分;而对于第三种类型的游戏来说,所有的动作都可能发生在屏幕的正中央,在屏幕的两侧上很少有或没有动作。所述系统允许选择具有与视频帧的整体动态性水平最相似的动态性水平的一个或多个分析区域。例如,如果动态性水平表示明度和/或色度的相似变化量,则这些动态性水平可以被认为是相似的。
13.尽管具有较高动态性水平的分析区域经常可以比具有较低动态性水平的分析区域更优选,但是也存在不优选具有较高动态性水平的分析区域的情形,例如因为较慢的动态对于环境光更为最优。此外,其中变化主要发生在明度上、而整体视频内容具有更丰富多彩的动态的分析区域也不是最优的。通过基于分析区域的动态性水平与视频帧的动态性水平的比较来选择分析区域,可以使光效果的动态性和视频内容的动态性一致(align)。这有助于使光效果匹配(例如视频游戏的)视频内容。
14.所述第一动态性水平可以按像素或按像素区来确定,并且然后例如进行平均。例如,所述视频帧和所述视频内容可以属于同一游戏、同一类型的游戏、或同一游戏集合。
15.所述至少一个处理器可以被配置为通过从所述确定的第二动态性水平中选择与所述第一动态性水平相似或相同的一个或多个第二动态性水平来选择所述分析区域的所述子集。如果为足够多数量的分析区域确定了第二动态性水平,那么这些分析区域之一有可能具有与第一动态性水平相同或相似的第二动态性水平,这导致与视频内容非常匹配的光效果。替代地,可以选择与第一动态性水平最相似的一个或多个第二动态性水平。
16.所述分析区域的子集中的一个或多个可以具有与默认分析区域不同的尺寸和/或位置,同时保持在为所述默认分析区域指定的边界内。通常,基于照明设备的定位,照明设备与某个默认分析区域相关联,例如,tv左侧的照明设备与视频帧左侧上的分区相关联。通过保持为默认分析区域指定的边界,可以确保这种关联保持正确。
17.所述视频帧可以是所述视频内容的一部分。例如,这允许正在玩游戏时改变分析区域。替代地,例如,分析区域可以仅在下次玩同一游戏、同一类型的游戏、或同一游戏集合的游戏时改变。
18.所述至少一个处理器可以被配置为以下列方式中的一种或多种来确定所述第一动态性水平和/或所述第二动态性水平(为了最佳性能,可以实施这些方式中的多种,并且然后进行比较):a:所述至少一个处理器可以被配置为通过比较所述视频帧中的连续视频帧来确定所述第一动态性水平和/或所述第二动态性水平。a1:例如,所述至少一个处理器可以被
配置为确定所述视频帧中的所述连续视频帧中的色度和/或明度差异。a2:例如,所述至少一个处理器可以被配置为检测所述视频帧中的所述连续视频帧中的每一个中的边缘,并确定所述视频帧中的所述连续视频帧之间的所述检测到的边缘的变化。
19.b:所述至少一个处理器可以被配置为通过确定所述视频帧之上的颜色直方图来确定所述第一动态性水平和/或所述第二动态性水平。例如,所述至少一个处理器可以被配置为确定在所述颜色直方图中有多少颜色已经出现了超过预定次数。
20.在本发明的第二方面中,一种从视频内容中的分析区域确定图像特性的方法,所述图像特性用于在所述视频内容被呈现在显示设备上时确定要在一个或多个照明设备上呈现的一个或多个光效果,该方法包括获得视频帧,确定所述视频帧中的第一动态性水平,以及确定所述视频帧中的多个分析区域的每一个中的第二动态性水平。
21.该方法还包括将所述第二动态性水平中的每一个与所述第一动态性水平进行比较,基于所述比较来选择所述分析区域的子集,从所述视频内容中的所述分析区域的子集确定图像特性,基于所述图像特性确定一个或多个光效果,以及控制所述一个或多个照明设备来呈现所述一个或多个光效果和/或存储指定所述一个或多个光效果的光脚本。所述方法可以由运行在可编程设备上的软件来执行。该软件可以作为计算机程序产品来提供。
22.此外,提供了用于实行本文所描述的方法的计算机程序,以及存储该计算机程序的非暂时性计算机可读存储介质。计算机程序可以例如由现有设备下载或上载到现有设备,或者在制造这些系统时被存储。
23.一种非暂时性计算机可读存储介质存储软件代码部分,当由计算机执行或处理时,该软件代码部分被配置为执行用于从视频内容中的分析区域确定图像特性的可执行操作,所述图像特性用于在所述视频内容被呈现在显示设备上时确定要在一个或多个照明设备上呈现的一个或多个光效果。
24.可执行操作包括获得视频帧,确定所述视频帧中的第一动态性水平,确定所述视频帧中的多个分析区域的每一个中的第二动态性水平,将所述第二动态性水平中的每一个与所述第一动态性水平进行比较,基于所述比较来选择所述分析区域的子集,从所述视频内容中的所述分析区域的子集确定图像特性,基于所述图像特性确定一个或多个光效果,以及控制所述一个或多个照明设备来呈现所述一个或多个光效果和/或存储指定所述一个或多个光效果的光脚本。
25.如本领域技术人员将领会的,本发明的诸方面可以体现为设备、方法或计算机程序产品。因此,本发明的诸方面可以采取完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)或组合软件和硬件方面的实施例的形式,所述软件和硬件方面在本文中通常都可以被称为“电路”、“模块”或“系统”。本公开中描述的功能可以实施为由计算机的处理器/微处理器执行的算法。此外,本发明的诸方面可以采取在一种或多种计算机可读介质中体现的计算机程序产品的形式,该一种或多种计算机可读介质具有在其上体现(例如,存储)的计算机可读程序代码。
26.可以利用一种或多种计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是例如但不限于:电子、磁、光学、电磁、红外或半导体系统、装置或设备,或前述的任何适合组合。计算机可读存储介质的更具体示例可以包括但不限于以下:具有一条或多条导线的电连接、便携式计算机
磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或闪存)、光纤、便携式致密盘只读存储器(cd-rom)、光存储设备、磁存储设备、或前述的任何适合组合。在本发明的上下文中,计算机可读存储介质可以是任何有形介质,其可以包含或存储由指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用的程序。
27.计算机可读信号介质可以包括传播的数据信号,该信号具有体现在其中(例如,在基带中或作为载波的一部分)的计算机可读程序代码。这种传播的信号可以采取各种形式中的任何一种,包括但不限于电磁、光学、或其任何适合的组合。计算机可读信号介质可以是任何计算机可读介质,其不是计算机可读存储介质,并且其可以通信、传播或传输由指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用的程序。
28.在计算机可读介质上体现的程序代码可以使用任何适当的介质——包括但不限于无线、有线、光纤、线缆、rf等,或前述的任何适合组合——来传送。用于实行本发明的诸方面的操作的计算机程序代码可以以一种或多种编程语言的任何组合来编写,该一种或多种编程语言包括面向对象的编程语言(诸如java(tm)、smalltalk、或c 等)、常规的过程性编程语言(诸如“c”编程语言或相似的编程语言)、和函数式编程语言(诸如scala、或haskell等)。程序代码可以完全在用户的计算机上、部分地在用户的计算机上、作为独立的软件包、部分地在用户的计算机上并且部分地在远程计算机上、或者完全在远程计算机或服务器上执行。在后一种场景下,远程计算机可以通过任何类型的网络(包括局域网(lan)或广域网(wan))连接到用户的计算机,或者可以与外部计算机进行连接(例如,通过使用互联网服务提供商的互联网)。
29.下面参照根据本发明的实施例的方法、装置(系统)和计算机程序产品的流程图示和/或框图来描述本发明的诸方面。将要理解,流程图示和/或框图的每个框以及流程图示和/或框图中的框的组合可以通过计算机程序指令来实施。这些计算机程序指令可以提供给通用计算机、专用计算机、或其他可编程数据处理装置的处理器,特别是微处理器或中央处理单元(cpu),以产生机器,使得经由计算机的处理器、其他可编程数据处理装置、或其他设备执行的指令创建用于实施流程图和/或一个或多个框图框中指定的功能/动作的装置。
30.这些计算机程序指令还可以存储在计算机可读介质中,该计算机可读介质可以指导计算机、其他可编程数据处理装置、或其他设备以特别的方式运转,使得存储在所述计算机可读介质中的指令产生制品,该制品包括实施流程图和/或一个或多个框图框中指定的功能/动作的指令。
31.计算机程序指令还可以加载到计算机、其他可编程数据处理装置、或其他设备上,以使一系列操作步骤在计算机、其他可编程装置、或其他设备上执行,以产生计算机实施的过程,使得在计算机或其他可编程装置上执行的指令提供用于实施流程图和/或一个或多个框图框中指定的功能/动作的过程。
32.各图中的流程图和框图图示了根据本发明的各种实施例的设备、方法和计算机程序产品的可能实施方式的架构、功能和操作。在这方面,流程图或框图中的每个框可以表示代码的模块、段或部分,其包括用于实施指定的(多个)逻辑功能的一个或多个可执行指令。还应注意,在一些替代实施方式中,框中所述的功能可以不按照图中所述的顺序出现。例如,连续示出的两个框事实上可以基本上同时执行,或者有时可以取决于所涉及的功能以相反的顺序执行这些框。还将注意,框图和/或流程图示的每个框以及框图和/或流程图示
中的框的组合可以由执行指定功能或动作的基于专用硬件的系统、或者专用硬件和计算机指令的组合来实施。
附图说明
33.参考附图,通过示例的方式,本发明的这些和其他方面是清楚的并将被进一步阐明,在附图中:图1是系统实施例的框图;图2是该方法的第一实施例的流程图;图3示出了正在显示的视频内容的示例;图4示出了用于分析图3的视频内容的分析区域的示例;图5示出了选择具有偏离中心的动态的分析区域的示例;图6示出了选择具有丰富多彩的动态的分析区域的示例;图7示出了中心分析区域被限制到某些边界的实施例;图8示出了为五个中心分析区域确定动态性水平的实施例;图9是该方法的第二实施例的流程图;图10是该方法的第三实施例的流程图;图11是该方法的第四实施例的流程图;图12示出了选择led条的分析区域的示例;以及图13是用于执行本发明方法的示例性数据处理系统的框图。
34.附图中的对应元件由相同的附图标记代表。
具体实施方式
35.图1示出了用于从视频内容中的分析区域确定图像特性的系统的实施例:移动设备1。当视频内容在显示设备上呈现时,图像特性用于确定要在一个或多个照明设备上呈现的一个或多个光效果。例如,移动设备1可以是移动电话或平板电脑。
36.移动设备1连接到无线lan接入点17。桥接器11也例如经由以太网连接到无线lan接入点17。照明设备13、14和15例如使用zigbee协议与桥接器11无线通信,并且可以例如由移动设备1经由桥接器11来控制。例如,桥接器11可以是philips hue桥接器并且照明设备13-15可以是philips hue灯。无线lan接入点17连接到互联网18。互联网服务器19也连接到互联网18。
37.移动设备1包括处理器5、接收器3、传送器4、存储器7和显示器9。处理器5被配置为获得视频帧(例如,通过使用屏幕捕捉软件),确定视频帧中的第一动态性水平,确定视频帧中的多个分析区域的每一个中的第二动态性水平,并且将第二动态性水平中的每一个与第一动态性水平进行比较。
38.处理器5还被配置为基于比较来选择分析区域的子集,从视频内容中的分析区域的子集确定图像特性,基于图像特性确定一个或多个光效果,并且使用传送器4来控制照明设备13-15呈现一个或多个光效果和/或例如在存储器7中或互联网服务器19上存储指定一个或多个光效果的光脚本。例如,视频内容可以呈现在显示器9和/或tv 21上。tv 21也连接到无线lan接入点17。
39.例如,视频帧和视频内容可以属于同一游戏、同一类型的游戏、或同一游戏集合。例如,可以通过使用接收器3从互联网服务器19获得(多个)游戏。标识所确定的分析区域的信息可以被传送到互联网服务器19,以允许其他人将它们用于同一游戏、同一类型的游戏、或同一游戏集合的游戏。例如,当其他用户开始同一游戏、同一类型的游戏、或同一游戏集合的游戏时,可以向他们推荐所确定的分析区域。
40.新的分析区域的选择在本说明书中也被称为“分析区域调整”。分析区域调整的量可以受移动设备1限制。例如,只可以在预定义边界内移动或改变分析区域的尺寸。比如,可以分析在预定义边界内的当前分析区域周围的区域(具有相同尺寸或不同尺寸),并且如果标识出更适合的分析区域,则可以向用户建议它们。
41.预定义边界可以与分区(例如,左、右、中心)相关联。例如,如果一个分区映射到中心的照明设备,则该分区的分析区域不应明显偏离中心,并且这同样适用于左分区和右分区。分区通常具有默认分析区域。
42.视频帧可以是视频内容的一部分。因此,可以实时执行分析区域调整(通常没有用户干预)。这可以例如通过使用两个分析区域来实施。第一分析区域是从其确定光效果的当前分析区域。这通常是视频内容(例如游戏)开始时的默认分析区域。第二分析区域跟随该动作,例如,在对应分区的边界内,基于动态性热图(heat map)中的对象/斑点检测来确定。
43.第二分析区域包括斑点的事实不一定意味着第二分析区域的动态性水平比第一分析区域的动态性水平更类似于整体动态性水平。然而,如果该比较指示是这种情况,那么选择第二分析区域来优化所产生的光效果的动态。例如,在射击游戏中,一些动作可以在短时间的战斗期间偏离中心。这将被检测到,并且光呈现将在必要的时间内以该区域为目标。
44.在图1中所示的移动设备1的实施例中,移动设备1包括一个处理器5。在替代实施例中,移动设备1包括多个处理器。移动设备1的处理器5可以是(例如来自qualcomm或基于arm的)通用处理器或者是专用处理器。例如,移动设备1的处理器5可以运行android或ios操作系统。存储器7可以包括一个或多个存储器单元。例如,存储器7可以包括固态存储器。例如,存储器7可以用于存储操作系统、应用程序、和应用程序数据。
45.例如,接收器3和传送器4可以使用一种或多种无线通信技术(诸如wi-fi(ieee 802.11))来与无线lan接入点17通信。在替代实施例中,使用多个接收器和/或多个传送器来代替单个接收器和单个传送器。在图1中所示的实施例中,使用了单独的接收器和单独的传送器。在替代实施例中,接收器3和传送器4被组合成收发器。例如,显示器9可以包括lcd或oled面板。显示器9可以是触摸屏。移动设备1可以包括典型用于移动设备的其他组件,诸如电池和电源连接器。本发明可以使用运行在一个或多个处理器上的计算机程序来实施。
46.在图1的实施例中,本发明的系统是移动设备。在替代实施例中,本发明的系统是不同的设备,例如pc、膝上型电脑、tv(例如tv 21)、hdmi模块、或互联网服务器(例如互联网服务器19)。
47.hdmi模块可以通过在个人计算机和tv 21其间连接、并且然后将光命令发送给桥接器11或直接发送给照明设备13-15,来捕捉个人计算机发送给tv 21的内容。如果经由hdmi线缆将内容提供给tv 21,则可以使用这种方式。
48.图2中示出了从视频内容中的分析区域确定图像特性的方法的第一实施例。当视频内容在显示设备上呈现时,图像特性用于确定要在一个或多个照明设备上呈现的一个或
多个光效果。步骤101包括获得视频帧。步骤103包括确定视频帧中的第一动态性水平。步骤105包括确定视频帧中多个分析区域的每一个中的第二动态性水平。步骤107包括将第二动态性水平中的每一个与第一动态性水平进行比较。
49.步骤109包括基于比较来选择分析区域的子集。步骤111包括从视频内容中的分析区域的子集确定图像特性。步骤113包括基于图像特性确定一个或多个光效果。步骤115包括控制一个或多个照明设备来呈现一个或多个光效果和/或存储指定一个或多个光效果的光脚本。
50.因此,当用户正在玩游戏或观看其他视频内容时,在整个屏幕(例如,每个像素或每个小区域)上监控动态水平,并且然后将这些测量的动态与每个分析区域的动态(其与从该分析区域确定的光效果的动态对应)进行比较,并且具有与整个屏幕最相似的动态水平的(多个)分析区域可以用作(多个)新的分析区域,例如,就在下次开始游戏之前。例如,与(多个)未选择的分析区域相比,(多个)所选择的分析区域可以具有更高的动态水平、更丰富多彩的动态(即,变化更多地发生在颜色上而不仅仅是明度上)、或更慢的动态(例如,对于环境光更为最优)。
51.借助于图3至图8示出了该方法的第一实施例。图3示出了正在移动设备1的显示器9上显示的视频内容的示例。通常,屏幕的多个区被映射到不同的照明设备,并且每个分析区域的区被单独分析。图4示出了分别映射到照明设备13、14和15的三个分析区域51、52和53。在步骤113的基本实施方式中,从分析区域中的像素提取每个分析区域的颜色,并用于对应照明设备的光效果。
52.如将结合图9至图11描述的,动态性水平可以用不同的算法来确定。动态性热图可以给出整体内容动态和每个像素/小区域的内容动态的良好图片。当创建这样的映射时,可以确定每个分析区域的动态水平,并与整体动态性进行比较。
53.图5和图6示出了与默认分析区域不同的分析区域比默认分析区域更为最优的示例。图5示出了选择具有偏离中心的动态的分析区域的示例。图5示出了替代分析区域61、和用于视频内容中心的默认分析区域52。
54.在某些游戏(如《英雄联盟》)中,经常有很多偏离中心的动作,并且默认中心分析区域的动态性水平通常低于整体动态性水平,导致光效果不如显示的视频内容动态。图5示出了在斑点63中具有最高动态性水平的动态性热图。已经确定替代分析区域61以便围绕该斑点63,并且确定选择替代分析区域61而不是默认分析区域52是有益的,因为这将导致具有更高动态性水平的光效果,更类似于视频内容的光效果。当游戏再次开始时,用户可以得到移动中心分区的建议,以在屏幕的动态性水平和光效果的动态性水平之间具有更好的一致(alignment)。
55.如果需要实时分析,只确定屏幕的每个不同分区(例如左、中心、右)的几个分析区域的动态性水平可能是有益的。这个过程可以迭代执行,每次至少包括一个新的分析区域。例如,可以包括当前分析区域旁边的一个或多个新的分析区域,以查看如果中心分析区域稍微移动,则中心分析区域的动态性水平是否增加。
56.图6示出了选择具有丰富多彩的动态的分析区域的示例。图6示出了用于视频内容中心的默认分析区域52和替代分析区域73。某些游戏(如使命召唤)具有角色携带的武器的可视化。在图6中,图形71是武器的这种可视化。当角色奔跑或行走时,武器上下移动——通
常进入和离开默认分析区域——并创建与屏幕上的动态性水平不相符的非常动态的光效果。
57.此外,默认分析区域52将具有非常低的颜色动态水平:尽管可以有很多移动,但是使用相同的颜色集。另一方面,替代分析区域73(略高于屏幕中心且刚好在武器上方的区域)具有更丰富多彩的动态。因此,选择替代分析区域73而不是默认分析区域52是有益的,并且这将导致整体上不太动态、但更丰富多彩的光效果。当用户下次开始游戏时,用户可以获得移动中心分区的建议,以避免枪支移动的影响。
58.在图5和图6的示例中,中心分析区域被移动,但是尺寸没有改变。然而,也可能附加地或替代地改变分析区域的尺寸。例如,视频内容的侧面通常用于创建氛围。如果在视频内容的一侧使用一些非常动态的ui元素(例如,在线游戏的聊天),则这将创建与整体游戏动态不相符的非常动态的光效果。在这种情况下,系统可以建议更大的分析区域以减少动态ui元素的影响,即创建更慢的动态。
59.虽然直接完全从分析中移除这些动态部分可能更好,但在许多情况下,这些ui元素是透明的(诸如覆盖聊天),因此移除它们可能影响光效果的整体颜色。此外,因为这些区域的边界是什么不总是清晰的,所以直接增加分析区域的尺寸以减少它们对这些ui元素的影响是更简单的。
60.图7示出了替代分析区域85具有比默认分析区域52更小的尺寸的示例。替代分析区域85在图7中具有较小尺寸的原因在于,在图7的实施例中,中心分析区域被限制到某些边界:矩形81的边界。因此,替代分析区域85具有与默认分析区域52不同的尺寸和位置,同时保持在为默认分析区域52指定的边界内。像在图5的示例中一样,选择替代分析区域85而不是默认分析区域52,因为这将导致具有更高动态性水平的光效果。
61.在图7的实施例中,在动态热图上重复应用对象/斑点检测,并且如果必要,选择新的中心分析区域。例如,如果斑点83已经向左移动,则选择包括斑点83的另一个分析区域。在图7的实施例中,新的分析区域可能需要(甚至)更小的尺寸以保持在矩形81的边界内,例如如果斑点83也已经向上移动。
62.在图5至图7的示例中,将整体动态性水平与两个分析区域——默认分析区域和替代分析区域——的动态性水平进行比较。图8示出了为五个中心分析区域——默认中心分析区域52和四个替代分析区域91-94——确定动态性水平的实施例。在该实施例中,中心分析区域被限制到某些边界,即矩形81的边界,类似于图7的实施例。在图8的示例中,分析区域的尺寸都是相同的。
63.在图5至图8的示例中,仅针对中心分区选择分析区域。替代地或附加地,可以为其他分区(例如,为左分区和右分区)选择分析区域。
64.图9中示出了从视频内容中的分析区域确定图像特性的方法的第二实施例。在图9的实施例中,图3的步骤103包括子步骤131,图3的步骤105包括子步骤133,并且图3的步骤109包括子步骤135。在步骤131中确定的第一动态性水平表示视频帧的整体动态性,并且是按像素或按像素区确定的。
65.在步骤131和133中,分别在视频帧中确定第一动态性水平并在视频帧中的多个分析区域的每一个中确定第二动态性水平。在步骤131和133中,通过比较视频帧中的连续视频帧来确定第一动态性水平和/或第二动态性水平。
66.步骤131和133包括确定这些连续视频帧中的色度和/或明度差异,具体是累积帧差异。在这些步骤中,每个连续帧之间的差异在设定的时间(例如播放会话)内被累加。可以应用附加的阈值或阈值函数来减少小变化的影响。例如,可以以灰度级计算累积差异,在灰度级中,所有颜色按rgb颜色组合,或者按明度和颜色分量来分割和测量(例如,在xyz或lab颜色空间中)。
67.步骤107包括将第二动态性水平中的每一个与第一动态性水平进行比较。步骤135包括通过选择与第一动态性水平(最)相似或相同的一个或多个第二动态性水平来选择分析区域的子集。接下来,执行图3的步骤111-115。
68.图10中示出了从视频内容中的分析区域确定图像特性的方法的第三实施例。在图10的实施例中,图3的步骤103包括子步骤141,并且图3的步骤105包括子步骤143。在步骤141中确定的第一动态性水平表示视频帧的整体动态性,并且是按像素或按像素区确定的。
69.在步骤141和143中,分别在视频帧中确定第一动态性水平并在视频帧中的多个分析区域的每一个中确定第二动态性水平。在步骤141和143中,通过比较视频帧中的连续视频帧来确定第一动态性水平和/或第二动态性水平。
70.步骤141和143包括检测视频帧中的连续视频帧中的每一个中的边缘,并确定视频帧中的连续视频帧之间检测到的边缘的变化。步骤141和143类似于图9的步骤131和133,但是它们使用边缘的累积差异而不是颜色的累积差异。作为结果,与屏幕的稳定区域(诸如ui的边缘)相比,有大量对象移动的区域被突出显示(highlight)。
71.步骤107包括将第二动态性水平中的每一个与第一动态性水平进行比较。类似于图9,步骤109包括子步骤135,该子步骤135包括通过选择与第一动态性水平(最)相似或相同的一个或多个第二动态性水平来选择分析区域的子集。接下来,执行图3的步骤111-115。
72.图11中示出了从视频内容中的分析区域确定图像特性的方法的第四实施例。在图11的实施例中,图3的步骤103包括子步骤151,并且图3的步骤105包括子步骤153。在步骤151中确定的第一动态性水平表示视频帧的整体动态性,并且是按像素或按像素区确定的。
73.在步骤151和153中,分别在视频帧中确定第一动态性水平并在视频帧中的多个分析区域的每一个中确定第二动态性水平。在步骤151和153中,通过确定视频帧之上的颜色直方图来确定第一动态性水平和第二动态性水平。这在本说明书中也被称为熵估计。
74.代替计算每个连续帧之间的差异,每个像素/区域的色度和/或明度在测量时间上的变化被用于创建所述像素或区域的色度/明度直方图,并且该颜色直方图然后被用于测量熵,该熵将指示该像素随时间有多少变化。步骤151和153还包括确定在颜色直方图中有多少颜色已经出现了超过预定次数。在替代实施例中,动态性水平以另一种方式从颜色直方图中确定。
75.步骤107包括将第二动态性水平中的每一个与第一动态性水平进行比较。类似于在图9中,步骤109包括子步骤135,该子步骤135包括通过选择与第一动态性水平相似或相同的一个或多个第二动态性水平来选择分析区域的子集。接下来,执行图3的步骤111-115。
76.在图9至图11的实施例中,使用不同的方法来确定动态性水平。在替代实施例中,这些方法中的多个被组合在同一实施例中。例如,然后可以比较用不同方法确定的每个动态性水平,并且这使得有可能在整体动态和颜色动态之间区分。这导致了更好的性能。
77.图12示出了选择像素化led条200的分析区域的示例。因为像素化led条的每个led
通常被映射到相对小的分析区域,所以即使稍微移动分析区域也可能导致不期望的光效果,即似乎与内容不匹配的光效果。这可以通过增加分析区域而不改变区域的中心来减轻或防止,但是对于像素化的led条,不同的解决方案也是可用的。
78.在这个示例中,led条200具有五个led 201-205。led 201-205分别与默认分析区域211-215相关联。对于每个led,确定默认分析区域的动态性水平和对应的替代分析区域的动态性水平。替代分析区域221-225比相应的对应默认分析区域211-215更大,但是具有与相应的对应默认分析区域211-215相同的中心。
79.如果例如替代分析区域223的动态性水平比默认分析区域213的动态性水平更相似于整体动态性水平,并且替代分析区域足够相似于整体动态性水平,那么选择替代分析区域213。如果默认分析区域213和替代分析区域223的动态性水平都不与整体动态性水平足够相似,那么可以使用以下解决方案之一:a.使来自相邻分析区域(即分析区域212和214)的为led 203确定的光效果混合,创建了均匀的光效果、并且可以防止led 203的动态性和整体动态性之间的不匹配。因此,相邻区域212和214可以形成为led 203选择的分析区域的子集。从相邻分析区域确定的光效果甚至可以与从与led 203相关联的分析区域之一(例如默认分析区域213或替代分析区域223)确定的光效果混合。例如,从分析区域212和214确定的光效果的一些参数(例如表示动态性的参数)可以混合,而一个或多个其他参数(例如表示调色板的参数)取自分析区域213或223。
80.b.代替混合光效果,可以通过直接从组合的分析区域212和214确定光效果来获得相同的结果,而不是首先单独从分析区域212和214确定光效果、并且然后对它们进行混合。解决方案b相对于解决方案a的优势在于,它保持了整体架构,即屏幕上的(多个)区域映射到光源(led)。解决方案a相对于解决方案b的优势在于计算需求较低。
81.c.代替改变分析区域的尺寸或移动分析区域,分析区域中的每个像素对所生成的光效果的贡献的权重可以变化。以此方式,分析区域213或223仍然可以被选择用于led 203,但是与同一分析区域内的其他像素相比,静态的或过度动态的像素的影响可以减小。
82.图13描绘了说明可以执行如参考图2和图9至图11所描述的方法的示例性数据处理系统的框图。
83.如图13中所示,数据处理系统300可以包括通过系统总线306耦合到存储器元件304的至少一个处理器302。如此,数据处理系统可以将程序代码存储在存储器元件304内。进一步,处理器302可以执行经由系统总线306从存储器元件304存取的程序代码。在一个方面中,数据处理系统可以实施为适合于存储和/或执行程序代码的计算机。然而,应当领会,数据处理系统300可以以包括处理器和存储器的任何系统的形式来实施,该处理器和存储器能够执行本说明书内描述的功能。
84.存储器元件304可以包括一个或多个物理存储器设备,诸如例如本地存储器308和一个或多个大容量存储设备310。本地存储器可以指代一般在程序代码的实际执行期间使用的随机存取存储器或(多个)其他非持久性存储设备。大容量存储设备可以实施为硬盘驱动器或其他持久数据存储设备。处理系统300还可以包括一个或多个高速缓冲存储器(未示出),该一个或多个高速缓冲存储器提供至少一些程序代码的临时存储,以便减少在执行期间必须从大容量存储设备310检索程序代码的次数。例如,如果处理系统300是云计算平台
的一部分,则处理系统300还可能能够使用另一处理系统的存储器元件。
85.可选地,描绘为输入设备312和输出设备314的输入/输出(i/o)设备可以耦合到数据处理系统。输入设备的示例可以包括但不限于键盘、诸如鼠标的指点设备、或麦克风(例如用于嗓音和/或语音识别)等。输出设备的示例可以包括但不限于监视器或显示器、或扬声器等。输入和/或输出设备可以直接或通过中间的i/o控制器耦合到数据处理系统。
86.在实施例中,输入和输出设备可以实施为组合的输入/输出设备(在图13中以围绕输入设备312和输出设备314的虚线图示)。这种组合的设备的示例是触敏显示器,有时也称为“触摸屏显示器”或简称为“触摸屏”。在这样的实施例中,可以通过物理对象(诸如例如用户的手指或手写笔)在触摸屏显示器上或附近的移动来提供对设备的输入。
87.网络适配器316还可以耦合到数据处理系统以使得其能够通过中间的私有或公共网络耦合到其他系统、计算机系统、远程网络设备和/或远程存储设备。网络适配器可以包括用于接收由所述系统、设备和/或网络传送到数据处理系统300的数据的数据接收器,以及用于将数据从数据处理系统300传送到所述系统、设备和/或网络的数据传送器。调制解调器、线缆调制解调器和以太网卡是可以与数据处理系统300一起使用的不同类型的网络适配器的示例。
88.如图13中所示,存储器元件304可以存储应用程序318。在各种实施例中,应用程序318可以存储在本地存储器308、一个或多个大容量存储设备310中,或者与本地存储器和大容量存储设备分开。应当领会,数据处理系统300可以进一步执行可以促进应用程序318的执行的操作系统(图13中未示出)。以可执行程序代码的形式实施的应用程序318可以由数据处理系统300(例如由处理器302)执行。响应于执行应用程序,数据处理系统300可以被配置为执行本文描述的一个或多个操作或方法步骤。
89.本发明的各种实施例可以实施为与计算机系统一起使用的程序产品,其中程序产品的(多个)程序定义实施例的功能(包括本文描述的方法)。在一个实施例中,(多个)程序可以包含在各种非暂时性计算机可读存储介质上,其中如本文所使用的,表述“非暂时性计算机可读存储介质”包括所有计算机可读介质,唯一的例外是暂时性传播信号。在另一个实施例中,(多个)程序可以包含在各种暂时性计算机可读存储介质上。说明性的计算机可读存储介质包括但不限于:(i)其上永久存储信息的不可写存储介质(例如,计算机内的只读存储器设备,诸如由cd-rom驱动器可读的cd-rom盘、rom芯片、或任何类型的固态非易失性半导体存储器);和(ii)其上存储可更改信息的可写存储介质(例如,闪存、软盘驱动器或硬盘驱动器内的软盘、或任何类型的固态随机存取半导体存储器)。计算机程序可以在本文描述的处理器302上运行。
90.本文使用的术语仅仅是为了描述特别的实施例的目的,并且不旨在限制本发明。如本文所使用的,单数形式“一”(“a”或“an”)和“该”旨在也包括复数形式,除非上下文另有清晰指示。将进一步理解,当在本说明书中使用时,术语“包括”(“comprise”和/或“comprising”)指定所陈述的特征、整数、步骤、操作、元件和/或组件的存在,但不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件、和/或其组。
91.以下权利要求中的所有装置或步骤加功能元件的对应结构、材料、动作和等同物旨在包括用于与如具体要求保护的其他所要求保护的元件组合地执行功能的任何结构、材料或动作。出于说明的目的已经展现了本发明的实施例的描述,但不旨在穷尽或局限于所
公开形式中的实施方式。在不脱离本发明的范围和精神的情况下,许多修改和变型对于本领域普通技术人员将是清楚的。选取和描述实施例以便最好地解释本发明的原理和一些实际应用,并且使得本领域的其他普通技术人员能够针对具有适合于考虑的特别的用途的各种修改的各种实施例理解本发明。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献