一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种动态调整控件的方法及显示设备与流程

2021-11-15 15:34:00 来源:中国专利 TAG:


1.本技术涉及智能电视技术领域,尤其涉及一种动态调整控件的方法及显示设备。


背景技术:

2.随着通信技术的不断发展,电脑、智能手机、显示设备等终端设备已经越来越普及,显示设备,例如智能电视,逐步走入人们的生活,为人们带来娱乐体验。为了能够提供丰富的显示内容,显示设备中安装可实现各种功能的应用程序,应用程序的内容显示在显示设备的显示器中。
3.应用程序在显示器的显示界面中显示时,显示界面上具有很多控件,以提供多种多样的功能,例如,一个应用程序接收到新消息时,该新消息以通知或弹框的形式显示在显示界面中,此时,通知、弹框可作为控件;或者,一个应用程序当前正在显示界面中显示,另一应用程序的内容以浮窗的形式显示在该应用程序的内容上方,此时,浮窗可作为控件。
4.现有的显示设备在显示控件时,通常控件被显示在显示界面的固定位置,如右上角区域。但是,由于用户也许会在不同方向或者不同距离使用显示设备,若控件显示在固定位置,使得用户所看到的控件大小从视觉成像角度不同,导致用户观看的控件内容的清晰程度不同。可见,若用户在距离显示设备较远的位置使用显示设备时,极易出现用户无法看清控件显示内容的情况,影响用户的体验。


技术实现要素:

5.本技术提供了一种动态调整控件的方法及显示设备,以解决用户在距离较远的位置使用显示设备时,导致用户无法看清控件显示内容的问题。
6.第一方面,本技术提供了一种显示设备,包括:
7.摄像头,被配置为采集环境图像数据,所述环境图像数据用于表征用户相对于显示器的位置参数;
8.显示器,被配置为呈现显示界面,所述显示界面中显示有目标控件;
9.分别与所述显示器和所述摄像头通信的控制器,所述控制器被配置为:
10.在用户由初始位置移动至结束位置的过程中,获取所述目标控件的初始位置参数,以及,接收所述摄像头采集的初始位置对应的环境图像数据和结束位置对应的环境图像数据;
11.获取所述初始位置对应的环境图像数据中携带的用户初始位置参数,以及,结束位置对应的环境图像数据中携带的用户结束位置参数;
12.基于所述用户初始位置参数和用户结束位置参数,计算所述目标控件的偏移量,所述偏移量用于表征所述目标控件在调整位置时的移动参数;
13.基于所述目标控件的初始位置参数和所述目标控件的偏移量,获得所述目标控件的终止位置参数,将所述目标控件移动至所述终止位置参数对应的位置。
14.进一步地,所述控制器在执行所述基于用户初始位置参数和用户结束位置参数,
计算所述目标控件的偏移量,进一步被配置为:
15.所述用户初始位置参数包括用户相对于显示器的初始相对距离和初始位置参数,所述用户结束位置参数包括用户相对于显示器的结束相对距离和结束位置参数,所述用户对应的位置参数是指人脸框中心点的参数;
16.计算所述用户对应的初始位置参数与目标控件的初始位置参数之间的第一距离,以及,所述用户对应的结束位置参数与目标控件的初始位置参数之间的第二距离,所述目标控件对应的位置参数是指控件中心点的参数;
17.基于所述初始相对距离、结束相对距离和第一距离,计算所述用户在移动至结束位置时的理论第二距离,所述理论第二距离用于表征用户对应的结束位置与目标控件的终止位置之间的理论距离;
18.计算所述理论第二距离和所述第二距离的距离差,获得所述目标控件的偏移量。
19.进一步地,所述控制器在执行所述计算用户对应的初始位置参数与目标控件的初始位置参数之间的第一距离,进一步被配置为:
20.获取所述用户位于初始位置时的人脸框中心点的像素点数和所述目标控件的控件中心点的像素点数;
21.计算所述人脸框中心点的像素点数和所述控件中心点的像素点数的像素点数差;
22.根据所述像素点数差和每个像素点的长度值,计算用户对应的初始位置参数与目标控件的初始位置参数之间的第一距离。
23.进一步地,所述控制器在执行所述计算用户对应的结束位置参数与目标控件的初始位置参数之间的第二距离,进一步被配置为:
24.获取所述用户位于结束位置时的人脸框中心点的像素点数和所述目标控件的控件中心点的像素点数;
25.计算所述人脸框中心点的像素点数和所述控件中心点的像素点数的像素点数差;
26.根据所述像素点数差和每个像素点的长度值,计算用户对应的结束位置参数与目标控件的初始位置参数之间的第二距离。
27.进一步地,所述控制器在执行所述基于初始相对距离、结束相对距离和第一距离,计算所述用户在移动至结束位置时的理论第二距离,进一步被配置为:
28.按照式s2'=bns1/ax,计算所述用户在移动至结束位置时的理论第二距离;
29.式中,s2'为理论第二距离,s1为第一距离,ax为初始相对距离,bn为结束相对距离。
30.进一步地,所述控制器在执行所述获取目标控件的初始位置参数,进一步被配置为:
31.以所述显示界面的左上角作为坐标原点,以所述显示界面由左侧向右侧的方向作为x轴正向,以所述显示界面由上侧向下侧的方向作为y轴正向,建立参考坐标系;
32.获取所述坐标原点的像素点数和所述目标控件的控件中心点的横向像素点数和纵向像素点数;
33.计算所述坐标原点的像素点数和所述控件中心点的横向像素点数的横向像素点数差,以及,所述坐标原点的像素点数和所述控件中心点的纵向像素点数的纵向像素点数差;
34.根据所述横向像素点数差、纵向像素点数差和每个像素点的长度值,计算目标控
件的控件中心点与坐标原点之间的横向初始距离和纵向初始距离,将所述横向初始距离、纵向初始距离、控件中心点的横向像素点数和纵向像素点数作为目标控件的初始位置参数。
35.进一步地,所述控制器在执行所述基于用户初始位置参数和用户结束位置参数,计算所述目标控件的偏移量,进一步被配置为:
36.所述用户初始位置参数包括横向初始位置参数和纵向初始位置参数,所述用户结束位置参数包括横向结束位置参数和纵向结束位置参数;
37.基于所述横向初始位置参数和横向结束位置参数,计算所述目标控件的横向偏移量;
38.基于所述纵向初始位置参数和纵向结束位置参数,计算所述目标控件的纵向偏移量。
39.进一步地,所述控制器在执行所述基于目标控件的初始位置参数和所述目标控件的偏移量,获得所述目标控件的终止位置参数,进一步被配置为:
40.所述目标控件的初始位置参数包括横向初始位置参数和纵向初始位置参数;
41.根据所述目标控件的横向初始位置参数和横向偏移量,计算所述目标控件的横向终止位置参数;
42.根据所述目标控件的纵向初始位置参数和纵向偏移量,计算所述目标控件的纵向终止位置参数。
43.进一步地,所述控制器进一步被配置为:
44.接收所述摄像头采集的环境图像数据;
45.识别所述环境图像数据中的人脸数量;
46.在所述环境图像数据中的人脸数量为1时,执行获取用户初始位置参数和用户结束位置参数的步骤。
47.第二方面,本技术还提供了一种动态调整控件的方法,包括以下步骤:
48.在用户由初始位置移动至结束位置的过程中,获取所述目标控件的初始位置参数,以及,接收所述摄像头采集的初始位置对应的环境图像数据和结束位置对应的环境图像数据;
49.获取所述初始位置对应的环境图像数据中携带的用户初始位置参数,以及,结束位置对应的环境图像数据中携带的用户结束位置参数;
50.基于所述用户初始位置参数和用户结束位置参数,计算所述目标控件的偏移量,所述偏移量用于表征所述目标控件在调整位置时的移动参数;
51.基于所述目标控件的初始位置参数和所述目标控件的偏移量,获得所述目标控件的终止位置参数,将所述目标控件移动至所述终止位置参数对应的位置。
52.第三方面,本技术还提供了一种存储介质,该计算机存储介质可存储有程序,该程序执行时可实现包括本技术提供的动态调整控件的方法各实施例中的部分或全部步骤。
53.由以上技术方案可知,本发明实施例提供的一种动态调整控件的方法及显示设备,在用户由初始位置移动至结束位置的过程中,控制器接收摄像头采集的初始位置对应的环境图像数据和结束位置对应的环境图像数据,以获得用户初始位置参数和用户结束位置参数;根据用户初始位置参数和用户结束位置参数计算目标控件的偏移量;基于目标控
件的初始位置参数和目标控件的偏移量,获得目标控件的终止位置参数,将目标控件移动至终止位置参数对应的位置。可见,本发明实施例提供的方法及显示设备,可以实现目标控件跟随用户的移动而调整位置,使得用户在位于显示设备的摄像头可视范围内的任一个方位观看目标控件的视角不变,进而保证用户均能够看清控件的显示内容,提高用户主观视觉体验。
附图说明
54.为了更清楚地说明本技术的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
55.图1中示例性示出了根据实施例中显示设备与控制装置之间操作场景的示意图;
56.图2中示例性示出了根据实施例中显示设备200的硬件配置框图;
57.图3中示例性示出了根据实施例中控制设备100的硬件配置框图;
58.图4中示例性示出了根据实施例中显示设备200的功能配置示意图;
59.图5a中示例性示出了根据实施例中显示设备200中软件配置示意图;
60.图5b中示例性示出了根据实施例中显示设备200中应用程序的配置示意图;
61.图6中示例性示出了根据实施例中动态调整控件的方法的流程图;
62.图7中示例性示出了根据实施例中获取目标控件的初始位置参数的方法流程图;
63.图8中示例性示出了根据实施例中参考坐标系的示意图;
64.图9中示例性示出了根据实施例中初始位置对应的环境图像数据的示意图;
65.图10中示例性示出了根据实施例中结束位置对应的环境图像数据的示意图;
66.图11中示例性示出了根据实施例中用户移动过程中人脸框中心点落在显示界面的位置变化示意图;
67.图12中示例性示出了根据实施例中计算目标控件的偏移量的方法流程图;
68.图13中示例性示出了根据实施例中确定理论第二距离时的示意图;
69.图14中示例性示出了根据实施例中动态调整控件位置时的第一示意图;
70.图15中示例性示出了根据实施例中动态调整控件位置时的第二示意图。
具体实施方式
71.为使本技术示例性实施例的目的、技术方案和优点更加清楚,下面将结合本技术示例性实施例中的附图,对本技术示例性实施例中的技术方案进行清楚、完整地描述,显然,所描述的示例性实施例仅是本技术一部分实施例,而不是全部的实施例。
72.基于本技术中示出的示例性实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。此外,虽然本技术中公开内容按照示范性一个或几个实例来介绍,但应理解,可以就这些公开内容的各个方面也可以单独构成一个完整技术方案。
73.应当理解,本技术中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,例如能够根据本技术实施例图示或描述中给出那些以
外的顺序实施。
74.此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖但不排他的包含,例如,包含了一系列组件的产品或设备不必限于清楚地列出的那些组件,而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
75.本技术中使用的术语“模块”,是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合,能够执行与该元件相关的功能。
76.本技术中使用的术语“遥控器”,是指电子设备(如本技术中公开的显示设备)的一个组件,通常可在较短的距离范围内无线控制电子设备。一般使用红外线和/或射频(rf)信号和/或蓝牙与电子设备连接,也可以包括wifi、无线usb、蓝牙、动作传感器等功能模块。例如:手持式触摸遥控器,是以触摸屏中用户界面取代一般遥控装置中的大部分物理内置硬键。
77.本技术中使用的术语“手势”,是指用户通过一种手型的变化或手部运动等动作,用于表达预期想法、动作、目的/或结果的用户行为。
78.图1中示例性示出了根据实施例中显示设备与控制装置之间操作场景的示意图。如图1中示出,用户可通过移动终端300和控制装置100操作显示设备200。
79.其中,控制装置100可以遥控器,包括红外协议通信或蓝牙协议通信,及其他短距离通信方式等,通过无线或其他有线方式来控制显示设备200。用户可以通过遥控器上按键,语音输入、控制面板输入等输入用户指令,来控制显示设备200。如:用户可以通过遥控器上音量加减键、频道控制键、上/下/左/右的移动按键、语音输入按键、菜单键、开关机按键等输入相应控制指令,来实现控制显示设备200的功能。
80.在一些实施例中,也可以使用移动终端、平板电脑、计算机、笔记本电脑、和其他智能设备以控制显示设备200。例如,使用在智能设备上运行的应用程序控制显示设备200。该应用程序通过配置可以在与智能设备关联的屏幕上,在直观的用户界面(ui)中为用户提供各种控制。
81.示例的,移动终端300可与显示设备200安装软件应用,通过网络通信协议实现连接通信,实现一对一控制操作的和数据通信的目的。如:可以实现用移动终端300与显示设备200建立控制指令协议,将遥控控制键盘同步到移动终端300上,通过控制移动终端300上用户界面,实现控制显示设备200的功能。也可以将移动终端300上显示音视频内容传输到显示设备200上,实现同步显示功能。
82.如图1中还示出,显示设备200还与服务器400通过多种通信方式进行数据通信。可允许显示设备200通过局域网(lan)、无线局域网(wlan)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。示例的,显示设备200通过发送和接收信息,以及电子节目指南(epg)互动,接收软件程序更新,或访问远程储存的数字媒体库。服务器400可以一组,也可以多组,可以一类或多类服务器。通过服务器400提供视频点播和广告服务等其他网络服务内容。
83.显示设备200,可以液晶显示器、oled显示器、投影显示设备。具体显示设备类型,尺寸大小和分辨率等不作限定,本领技术人员可以理解的是,显示设备200可以根据需要做性能和配置上一些改变。
84.显示设备200除了提供广播接收电视功能之外,还可以附加提供计算机支持功能
的智能网络电视功能。示例的包括,网络电视、智能电视、互联网协议电视(iptv)等。
85.图2中示例性示出了根据示例性实施例中显示设备200的硬件配置框图。如图2中示出,显示设备200中包括控制器210、调谐解调器220、通信接口230、检测器240、输入\输出接口250、视频处理器260-1,音频处理器60-2,显示器280,音频输出270、存储器290,供电电源、红外接收器。
86.显示器280,用于接收源自视频处理器260-1输入的图像信号,进行显示视频内容和图像以及菜单操控界面的组件。显示器280包括用于呈现画面的显示屏组件,以及驱动图像显示的驱动组件。显示视频内容,可以来自广播电视内容,也可以是说,可通过有线或无线通信协议接收的各种广播信号。或者,可显示来自网络通信协议接收来自网络服务器端发送的各种图像内容。
87.同时,显示器280,同时显示显示设备200中产生且用于控制显示设备200的用户操控ui界面。
88.以及,根据显示器280类型不同,还包括用于驱动显示的驱动组件。或者,倘若显示器280为一种投影显示器,还可以包括一种投影装置和投影屏幕。
89.通信接口230是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如:通信接口230可以是wifi芯片231,蓝牙通信协议芯片232,有线以太网通信协议芯片233等其他网络通信协议芯片或近场通信协议芯片,以及红外接收器(图中未示出)。
90.显示设备200可以通过通信接口230与外部控制设备或内容提供设备之间建立控制信号和数据信号发送和接收。以及,红外接收器,可用于接收控制装置100(如:红外遥控器等)红外控制信号的接口器。
91.检测器240,是显示设备200用于采集外部环境或与外部交互的信号。检测器240包括光接收器242,用于采集环境光线强度的传感器,可以通过采集环境光可以自适应性显示参数变化等。
92.以及包括图像采集器241,如相机、摄像头等,可以用于采集外部环境场景,以及用于采集用户的属性或与用户交互手势,可以自适应变化显示参数,也可以识别用户手势,以实现与用户之间互动的功能。
93.在其他一些示例性实施例中,检测器240,还可温度传感器等,如通过感测环境温度,显示设备200可自适应调整图像的显示色温。如当温度偏高的环境时,可调整显示设备200显示图像色温偏冷色调,或当温度偏低的环境时,可以调整显示设备200显示图像偏暖色调。
94.在其他一些示例性实施例中,检测器240,还可声音采集器等,如麦克风,可以用于接收用户的声音,包括用户控制显示设备200的控制指令的语音信号,或采集环境声音,用于识别环境场景类型,显示设备200可以自适应适应环境噪声。
95.输入/输出接口250,在控制器210的控制显示设备200与外部其他设备间数据传输。如接收外部设备的视频信号和音频信号、或命令指令等数据。
96.其中,输入/输出接口250可以包括,但不限于如下:可以高清多媒体接口hdmi接口251、模拟或数据高清分量输入接口253、复合视频输入接口252、usb输入接口254、rgb端口(图中未示出)等任一个或多个接口。
97.在其他一些示例性实施例中,输入/输出接口250也可以上述多个接口形成复合性
的输入/输出接口。
98.调谐解调器220,通过有线或无线接收方式接收广播电视信号,可以进行放大、混频和谐振等调制解调处理,从多多个无线或有线广播电视信号中解调出用户所选择电视频道频率中所携带的电视音视频信号,以及epg数据信号。
99.调谐解调器220,可根据用户选择,以及由控制器210控制,响应用户选择的电视信号频率以及该频率所携带的电视信号。
100.调谐解调器220,可以接收信号的途径,根据电视信号广播制式不同,有很多种,诸如:地面广播、有线广播、卫星广播或互联网广播信号等;以及根据调制类型不同,可以数字调制,也可以模拟调制方式。根据接收电视信号种类不同,可以模拟信号和数字信号。
101.在其他一些示例性实施例中,调谐解调器220也可在外置设备中,如外置机顶盒等。这样,机顶盒通过调制解调后输出电视音视频信号,经过输入/输出接口250输入显示设备200中。
102.视频处理器260-1,用于将接收外部视频信号,根据输入信号的标准编解码协议,进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等等视频处理,可得到直接可显示设备200上显示或播放的信号。
103.示例的,视频处理器260-1,包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等。
104.其中,解复用模块,用于对输入音视频数据流进行解复用处理,如输入mpeg-2,则解复用模块进行解复用成视频信号和音频信号等。
105.视频解码模块,则用于对解复用后的视频信号进行处理,包括解码和缩放处理等。
106.图像合成模块,如图像合成器,其用于将图形生成器根据用户输入或自身生成的gui信号,与缩放处理后视频图像进行叠加混合处理,以生成可供显示的图像信号。
107.帧率转换模块,用于对转换输入视频帧率,如将60hz帧率转换为120hz帧率或240hz帧率,通常的格式采用如插帧方式实现。
108.显示格式化模块,则用于将接收帧率转换后视频输出信号,改变信号以符合显示格式的信号,如输出rgb数据信号。
109.音频处理器260-2,用于接收外部的音频信号,根据输入信号的标准编解码协议,进行解压缩和解码,以及降噪、数模转换、和放大处理等处理,得到可以在扬声器中播放的声音信号。
110.在其他一些示例性实施例中,视频处理器260-1可以包括一颗或多颗芯片组成。音频处理器260-2,也可以包括一颗或多颗芯片组成。
111.以及,在其他一些示例性实施例中,视频处理器260-1和音频处理器260-2,可以单独的芯片,也可以于控制器210一起集成在一颗或多颗芯片中。
112.音频输出272,在控制器210的控制下接收音频处理器260-2输出的声音信号,如:扬声器272,以及除了显示设备200自身携带的扬声器272之外,可以输出至外接设备的发生装置的外接音响输出端子274,如:外接音响接口或耳机接口等。
113.供电电源,在控制器210控制下,将外部电源输入的电力为显示设备200提供电源供电支持。供电电源可以包括安装显示设备200内部的内置电源电路,也可以是安装在显示设备200外部电源,在显示设备200中提供外接电源的电源接口。
114.用户输入接口,用于接收用户的输入信号,然后,将接收用户输入信号发送给控制器210。用户输入信号可以是通过红外接收器接收的遥控器信号,可以通过网络通信模块接收各种用户控制信号。
115.示例的,用户通过遥控器100或移动终端300输入用户命令,用户输入接口则根据用户的输入,显示设备200则通过控制器210响应用户的输入。
116.在一些实施例中,用户可在显示器280上显示的图形用户界面(gui)输入用户命令,则用户输入接口通过图形用户界面(gui)接收用户输入命令。或者,用户可通过输入特定的声音或手势进行输入用户命令,则用户输入接口通过传感器识别出声音或手势,来接收用户输入命令。
117.控制器210,通过存储在存储器290上中各种软件控制程序,来控制显示设备200的工作和响应用户的操作。
118.如图2所示,控制器210包括ram213和rom214以及图形处理器216、cpu处理器212、通信接口218,如:第一接口218-1到第n接口218-n,以及通信总线。其中,ram213和rom214以及图形处理器216、cpu处理器212、通信接口218通过总线相连接。
119.rom213,用于存储各种系统启动的指令。如在收到开机信号时,显示设备200电源开始启动,cpu处理器212运行rom中系统启动指令,将存储在存储器290的操作系统拷贝至ram213中,以使开始运行启动操作系统。当操作系统启动完成后,cpu处理器212再将存储器290中各种应用程序拷贝至ram213中,然后,开始运行启动各种应用程序。
120.图形处理器216,用于产生各种图形对象,如:图标、操作菜单、以及用户输入指令显示图形等。包括运算器,通过接收用户输入各种交互指令进行运算,根据显示属性显示各种对象。以及包括渲染器,产生基于运算器得到的各种对象,进行渲染的结果显示在显示器280上。
121.cpu处理器212,用于执行存储在存储器290中操作系统和应用程序指令。以及根据接收外部输入的各种交互指令,来执行各种应用程序、数据和内容,以便最终显示和播放各种音视频内容。
122.在一些示例性实施例中,cpu处理器212,可以包括多个处理器。多个处理器可包括一个主处理器以及多个或一个子处理器。主处理器,用于在预加电模式中执行显示设备200一些操作,和/或在正常模式下显示画面的操作。多个或一个子处理器,用于在待机模式等状态下一种操作。
123.控制器210可以控制显示设备100的整体操作。例如:响应于接收到用于选择在显示器280上显示ui对象的用户命令,控制器210便可以执行与由用户命令选择的对象有关的操作。
124.其中,所述对象可以是可选对象中的任何一个,例如超链接或图标。与所选择的对象有关操作,例如:显示连接到超链接页面、文档、图像等操作,或者执行与所述图标相对应程序的操作。用于选择ui对象用户命令,可以是通过连接到显示设备200的各种输入装置(例如,鼠标、键盘、触摸板等)输入命令或者与由用户说出语音相对应的语音命令。
125.存储器290,包括存储用于驱动显示设备200的各种软件模块。如:存储器290中存储的各种软件模块,包括:基础模块、检测模块、通信模块、显示控制模块、浏览器模块、和各种服务模块等。
126.其中,基础模块用于产后护理显示设备200中各个硬件之间信号通信、并向上层模块发送处理和控制信号的底层软件模块。检测模块用于从各种传感器或用户输入接口中收集各种信息,并进行数模转换以及分析管理的管理模块。
127.例如:语音识别模块中包括语音解析模块和语音指令数据库模块。显示控制模块用于控制显示器280进行显示图像内容的模块,可以用于播放多媒体图像内容和ui界面等信息。通信模块,用于与外部设备之间进行控制和数据通信的模块。浏览器模块,用于执行浏览服务器之间数据通信的模块。服务模块,用于提供各种服务以及各类应用程序在内的模块。
128.同时,存储器290还用存储接收外部数据和用户数据、各种用户界面中各个项目的图像以及焦点对象的视觉效果图等。
129.图3中示例性示出了根据示例性实施例中控制设备100的配置框图。如图3所示,控制设备100包括控制器110、通信接口130、用户输入/输出接口140、存储器190、供电电源180。
130.控制设备100被配置为控制显示设备200,以及可接收用户的输入操作指令,且将操作指令转换为显示设备200可识别和响应的指令,起用用户与显示设备200之间交互中介作用。如:用户通过操作控制设备100上频道加减键,显示设备200响应频道加减的操作。
131.在一些实施例中,控制设备100可是一种智能设备。如:控制设备100可根据用户需求安装控制显示设备200的各种应用。
132.在一些实施例中,如图1所示,移动终端300或其他智能电子设备,可在安装操控显示设备200的应用之后,可以起到控制设备100类似功能。如:用户可以通过安装应用,在移动终端300或其他智能电子设备上可提供的图形用户界面的各种功能键或虚拟按钮,以实现控制设备100实体按键的功能。
133.控制器110包括处理器112和ram113和rom114、通信接口218以及通信总线。控制器110用于控制控制设备100的运行和操作,以及内部各部件之间通信协作以及外部和内部的数据处理功能。
134.通信接口130在控制器110的控制下,实现与显示设备200之间控制信号和数据信号的通信。如:将接收到的用户输入信号发送至显示设备200上。通信接口130可包括wifi芯片、蓝牙模块、nfc模块等其他近场通信模块中至少之一种。
135.用户输入/输出接口140,其中,输入接口包括麦克风141、触摸板142、传感器143、按键144等其他输入接口中至少一者。如:用户可以通过语音、触摸、手势、按压等动作实现用户指令输入功能,输入接口通过将接收的模拟信号转换为数字信号,以及数字信号转换为相应指令信号,发送至显示设备200。
136.输出接口包括将接收的用户指令发送至显示设备200的接口。在一些实施例中,可以红外接口,也可以是射频接口。如:红外信号接口时,需要将用户输入指令按照红外控制协议转化为红外控制信号,经红外发送模块进行发送至显示设备200。再如:射频信号接口时,需将用户输入指令转化为数字信号,然后按照射频控制信号调制协议进行调制后,由射频发送端子发送至显示设备200。
137.在一些实施例中,控制设备100包括通信接口130和输出接口中至少一者。控制设备100中配置通信接口130,如:wifi、蓝牙、nfc等模块,可将用户输入指令通过wifi协议、或
蓝牙协议、或nfc协议编码,发送至显示设备200.
138.存储器190,用于在控制器110的控制下存储驱动和控制控制设备200的各种运行程序、数据和应用。存储器190,可以存储用户输入的各类控制信号指令。
139.供电电源180,用于在控制器110的控制下为控制设备100各元件提供运行电力支持。可以电池及相关控制电路。
140.图4中示例性示出了根据示例性实施例中显示设备200功能配置示意图。如图4所示,存储器290用于存储操作系统、应用程序、内容和用户数据等,在控制器210控制下执行驱动显示设备200的系统运行以及响应用户的各种操作。存储器290可以包括易失性和/或非易失性存储器。
141.存储器290,具体用于存储驱动显示设备200中控制器210的运行程序,以及存储显示设备200内置各种应用程序,以及用户从外部设备下载的各种应用程序、以及与应用相关各种图形用户界面,以及与图形用户界面相关的各种对象,用户数据信息,以及各种支持应用的内部数据。存储器290用于存储os内核、中间件和应用等系统软件,以及存储输入的视频数据和音频数据、及其他用户数据。
142.存储器290,具体用于存储音视频处理器260-1和260-2、显示器280、通信接口230、调谐解调器220、检测器240输入/输出接口等驱动程序和相关数据。
143.在一些实施例中,存储器290可以存储软件和/或程序,用于表示操作系统(os)的软件程序包括,例如:内核、中间件、应用编程接口(api)和/或应用程序。示例性的,内核可控制或管理系统资源,或其它程序所实施的功能(如所述中间件、api或应用程序),以及内核可以提供接口,以允许中间件和api,或应用访问控制器,以实现控制或管理系统资源。
144.示例的,存储器290,包括广播接收模块2901、频道控制模块2902、音量控制模块2903、图像控制模块2904、显示控制模块2905、音频控制模块2906、外部指令识别模块2907、通信控制模块2908、光接收模块2909、电力控制模块2910、操作系统2911、以及其他应用程序2912、浏览器模块等等。控制器210通过运行存储器290中各种软件程序,来执行诸如:广播电视信号接收解调功能、电视频道选择控制功能、音量选择控制功能、图像控制功能、显示控制功能、音频控制功能、外部指令识别功能、通信控制功能、光信号接收功能、电力控制功能、支持各种功能的软件操控平台、以及浏览器功能等其他应用。
145.图5a中示例性示出了根据示例性实施例中显示设备200中软件系统的配置框图。
146.如图5a中所示,操作系统2911,包括用于处理各种基础系统服务和用于实施硬件相关任务的执行操作软件,充当应用程序和硬件组件之间完成的数据处理的媒介。一些实施例中,部分操作系统内核可以包含一系列软件,用以管理显示设备硬件资源,并为其他程序或软件代码提供服务。
147.其他一些实施例中,部分操作系统内核可包含一个或多个设备驱动器,设备驱动器可以是操作系统中的一组软件代码,帮助操作或控制显示设备关联的设备或硬件。驱动器可以包含操作视频、音频和/或其他多媒体组件的代码。示例的,包括显示屏、摄像头、flash、wifi和音频驱动器。
148.其中,可访问性模块2911-1,用于修改或访问应用程序,以实现应用程序的可访问性和对其显示内容的可操作性。
149.通信模块2911-2,用于经由相关通信接口和通信网络与其他外设的连接。
150.用户界面模块2911-3,用于提供显示用户界面的对象,以供各应用程序可访问,可实现用户可操作性。
151.控制应用程序2911-4,用于可控制进程管理,包括运行时间应用程序等。
152.事件传输系统2914,可在操作系统2911内或应用程序2912中实现,以一些实施例中,一方面在在操作系统2911内实现,同时在应用程序2912中实现,用于监听各种用户输入事件,将根据各种事件指代响应各类事件或子事件的识别结果,而实施一组或多组预定义的操作的处理程序。
153.其中,事件监听模块2914-1,用于监听用户输入接口输入事件或子事件。
154.事件识别模块2914-1,用于对各种用户输入接口输入各类事件的定义,识别出各种事件或子事件,且将其传输给处理用以执行其相应一组或多组的处理程序。
155.其中,事件或子事件,是指显示设备200中一个或多个传感器检测的输入,以及外界控制设备(如控制设备100等)的输入。如:语音输入各种子事件,手势识别的手势输入,以及控制设备的遥控按键指令输入的子事件等。示例的,遥控器中一个或多个子事件包括多种形式,包括但不限于按键按上/下/左右/、确定键、按键按住等中一个或组合。以及非实体按键的操作,如移动、按住、释放等操作。
156.界面布局管理器2913,直接或间接接收来自于事件传输系统2914监听到各用户输入事件或子事件,用于更新用户界面的布局,包括但不限于界面中各控件或子控件的位置,以及容器的大小或位置、层级等与界面布局相关各种执行操作。
157.如图5b中所示,应用程序层2912包含也可在显示设备200执行的各种应用程序。应用程序可包含但不限于一个或多个应用程序,如:直播电视应用程序、视频点播应用程序、媒体中心应用程序、应用程序中心、游戏应用等。
158.直播电视应用程序,可以通过不同的信号源提供直播电视。例如,直播电视应用程可以使用来自有线电视、无线广播、卫星服务或其他类型的直播电视服务的输入提供电视信号。以及,直播电视应用程序可在显示设备200上显示直播电视信号的视频。
159.视频点播应用程序,可以提供来自不同存储源的视频。不同于直播电视应用程序,视频点播提供来自某些存储源的视频显示。例如,视频点播可以来自云存储的服务器端、来自包含已存视频节目的本地硬盘储存器。
160.媒体中心应用程序,可以提供各种多媒体内容播放的应用程序。例如,媒体中心,可以为不同于直播电视或视频点播,用户可通过媒体中心应用程序访问各种图像或音频所提供服务。
161.应用程序中心,可以提供储存各种应用程序。应用程序可以是一种游戏、应用程序,或某些和计算机系统或其他设备相关但可以在智能电视中运行的其他应用程序。应用程序中心可从不同来源获得这些应用程序,将它们储存在本地储存器中,然后在显示设备200上可运行。
162.为了实现用户在距离较远的位置使用显示设备时,用户依然能够看清控件的显示内容,本发明实施例提供的显示设备,可在用户在使用显示设备时移动位置的过程中,控制控件能够跟随用户的移动而调整位置,例如,如果用户在显示设备前方向左移动时,控件跟随用户的移动,也在显示界面中向左移动相应位置,使得用户与控件的视角不变,进而保证用户无论位于显示设备的哪一个方位均能够以一定的视角看清控件的显示内容。
163.具体地,本发明实施例提供的一种显示设备,包括:控制器,以及,分别与控制器通信的显示器和摄像头。摄像头被配置为采集环境图像数据,环境图像数据用于表征用户相对于显示器的位置参数,摄像头将采集的环境图像数据发送至控制器,控制器即可获得用户的位置参数;位置参数包括用户与显示器之间的垂直距离和用户的人脸框中心点垂直落在显示器上时,所处显示界面上的位置;人脸框是摄像头在采集位于显示设备前方的用户图像时落在用户脸部的标定框,人脸框中心点可为人脸框的中心位置或者用户两个瞳孔之间的中心位置。显示器被配置为呈现显示界面,显示界面中显示有目标控件,目标控件可为通知、弹框或浮窗等。
164.为使显示设备具备动态调整控件位置的功能,可在控制器中配置实现动态调整控件位置功能的控制键,在需要显示设备控制显示页面上的控件跟随用户的移动而调整位置时,可提前开启控制键,使得显示设备具备动态调整控件位置的功能。如果未开启控制键,则控件正常显示,在用户移动的时候,控件并不跟随用户的移动调整位置。
165.图6中示例性示出了根据实施例中动态调整控件的方法的流程图。参见图6,本发明实施例提供的显示设备,在实现控件的动态调整时,控制器基于人脸识别和距离检测算法实现控制,具体地,控制器被配置为执行下述步骤:
166.s1、在用户由初始位置移动至结束位置的过程中,获取目标控件的初始位置参数,以及,接收摄像头采集的初始位置对应的环境图像数据和结束位置对应的环境图像数据。
167.用户开启控制键,使得显示设备具备动态调整控件位置的功能后,控制器实时获取摄像头采集的环境图像数据。如果使用显示设备的用户出现位置改变,则将位置改变前的位置作为用户的初始位置,将位置改变后的位置作为用户的结束位置。
168.由于摄像头实时采集显示设备前方的环境图像数据,因此,可获得用户的初始位置对应的环境图像数据和结束位置对应的环境图像数据。不同位置对应的环境图像数据可以表征用户与显示器之间不同的相对距离和用户的人脸框中心点垂直落在显示器上时,所处显示界面上的不同位置。
169.为实现控件的位置调整,摄像头采集的环境图像数据中需包括用户的人脸。在一些实施例中,控制器对环境图像数据进行人脸数量的识别,且在只识别出一个人脸时,继续执行后续的动态调整控件的方法。
170.具体地,控制器进一步被配置为:接收摄像头采集的环境图像数据;识别环境图像数据中的人脸数量;在环境图像数据中的人脸数量为1时,执行获取用户初始位置参数和用户结束位置参数的步骤。
171.在仅有一个用户使用显示设备时,若执行动态调整控件的方法调整控件的位置,根据一个用户的位置参数控制控件调整位置,可提高准确率。若人脸数量为多个,控制器可控制目标控件正常显示,不执行动态调整控件的方法。
172.在另一些实施例中,如果同一张环境图像数据中存在多个用户的人脸,控制器也可以择一的方式选择其中一个用户为目标跟随用户,将该目标跟随用户作为控制控件调整位置的依据。
173.图7中示例性示出了根据实施例中获取目标控件的初始位置参数的方法流程图;图8中示例性示出了根据实施例中参考坐标系的示意图。为实现目标控件的位置调整,需先确定目标的初始位置,参见图7,控制器在执行获取目标控件的初始位置参数,进一步被配
置为执行下述步骤:
174.s121、以显示界面的左上角作为坐标原点,以显示界面由左侧向右侧的方向作为x轴正向,以显示界面由上侧向下侧的方向作为y轴正向,建立参考坐标系。
175.为准确确定目标控件的初始位置参数,本实施例中,可在显示界面中建立参考坐标系。参见图8,参考坐标系的坐标原点o设定在显示界面的左上角,x轴正向为显示界面由左侧向右侧的方向,y轴正向为显示界面由上侧向下侧的方向。
176.s122、获取坐标原点的像素点数和目标控件的控件中心点的横向像素点数和纵向像素点数。
177.目标控件的初始位置参数可以坐标值进行表示,而横纵坐标值可根据目标控件的控件中心点的像素点来计算。
178.为此,根据显示设备的系统属性,控制器可获取到当前显示设备的分辨率,进而可确定坐标原点的像素点数和目标控件的控件中心点的像素点数。由于坐标原点位于显示界面的最左侧,因此,可等效确定坐标原点的像素点数为0个。
179.为准确表示目标控件的初始位置参数,本实施例中,以目标控件的控件中心点m的坐标位置来表示。为此,分别获取目标控件的控件中心点m的横向像素点数和纵向像素点数,横向像素点数是指目标控件的控件中心点m与坐标原点o之间在x轴方向上包含的像素点的数量,纵向像素点数是指目标控件的控件中心点m与坐标原点o之间在y轴方向上包含的像素点的数量。
180.s123、计算坐标原点的像素点数和控件中心点的横向像素点数的横向像素点数差,以及,坐标原点的像素点数和控件中心点的纵向像素点数的纵向像素点数差。
181.坐标原点o的像素点数为0,对应坐标原点的坐标为(0,0)。控件中心点的横向像素点数为p1,控件中心点的纵向像素点数为p2,对应控件中心点的像素点坐标为(p1,p2)。
182.横向像素点数差m1=控件中心点的横向像素点数-坐标原点的像素点数=p
1-0=p1。
183.纵向像素点数差m2=控件中心点的纵向像素点数-坐标原点的像素点数=p
2-0=p2。
184.s124、根据横向像素点数差、纵向像素点数差和每个像素点的长度值,计算目标控件的控件中心点与坐标原点之间的横向初始距离和纵向初始距离,将横向初始距离、纵向初始距离、控件中心点的横向像素点数和纵向像素点数作为目标控件的初始位置参数。
185.对于固定分辨率的显示设备,其显示界面所包括的像素点数量是一定的,即一种分辨率对应一组像素点数量。因此,可获取相邻两个像素点差值,即每个像素点的长度值。若像素点为正方形,则像素点的长度值和宽度值相同。由像素点数差乘以每个像素点的长度值,即可获得对应的距离。
186.横向初始距离l1=横向像素点数差
×
像素点的长度值=m1×
n,即可确定目标控件的控件中心点与坐标原点之间的横向初始距离。
187.纵向初始距离l2=纵向像素点数差
×
像素点的长度值=m2×
n,即可确定目标控件的控件中心点与坐标原点之间的纵向初始距离。
188.由横向初始距离和纵向初始距离确定目标控件的控件中心点的坐标,即控件中心点的坐标为(l1,l2);由横向像素点数和纵向像素点数确定目标控件的控件中心点的像素点
坐标,即控件中心点的像素点坐标为(p1,p2)。将控件中心点的坐标和控件中心点的像素点坐标作为目标控件的初始位置参数。
189.例如,以60英寸显示设备为例,其长边长度固定约为135.5cm,对于常用的分辨率为1080p的显示界面,其对应的像素点间差(像素点的长度值)约为0.00071m。如果目标控件的控件中心点的像素点坐标为(720p,480p),则可确定横向初始距离l1=720
×
0.00071=0.5112m,纵向初始距离l2=480
×
0.00071=0.3408m,即确定目标控件的控件中心点的坐标为(0.5112m,0.3408m)。
190.s2、获取初始位置对应的环境图像数据中携带的用户初始位置参数,以及,结束位置对应的环境图像数据中携带的用户结束位置参数。
191.由于摄像头采集的环境图像数据中可表征用户与显示器之间的垂直距离和用户的人脸框中心点垂直落在显示器上时,所处显示界面上的位置,因此,控制器可根据获取的环境图像数据中直接调取用户初始位置参数和用户结束位置参数。
192.图9中示例性示出了根据实施例中初始位置对应的环境图像数据的示意图;图10中示例性示出了根据实施例中结束位置对应的环境图像数据的示意图。
193.参见图9,用户在显示设备前方的初始位置时,控制器可以直接从对应的环境图像数据中获取用户与显示器之间的垂直距离(相对距离),例如,图9中所示的1.70m。参见图10,用户由初始位置移动到结束位置时,控制器可直接从结束位置对应的环境图像数据中获取用户与显示器之间的垂直距离(相对距离),例如,图10中所示的2.24m。
194.图11中示例性示出了根据实施例中用户移动过程中人脸框中心点落在显示界面的位置变化示意图。参见图11,用户位于初始位置a时,用户的人脸框中心点垂直落在显示器上时,所处显示界面上的位置为点x,ax连线与显示界面垂直。用户移动至结束位置b时,用户的人脸框中心点垂直落在显示器上时,所处显示界面上的位置为点n,bn连线与显示界面垂直。
195.为此,用户在初始位置a时,连线ax为用户与显示器之间的垂直距离(相对距离),点x为用户的人脸框中心点垂直落在显示器上时,所处显示界面上的位置,因此,连线ax和点x即可确定用户初始位置参数。用户移动至结束位置b时,连线bn为用户与显示器之间的垂直距离(相对距离),点n为用户的人脸框中心点垂直落在显示器上时,所处显示界面上的位置,因此,连线bn和点n即可确定用户结束位置参数。
196.s3、基于用户初始位置参数和用户结束位置参数,计算目标控件的偏移量,偏移量用于表征目标控件在调整位置时的移动参数。
197.为了保证用户观看显示设备时的视角不变,即用户查看目标控件显示内容时的视角不变,无论用户所处任何位置,其都能清晰地查看目标控件的显示内容,本实施例提供的显示设备,需在用户移动位置时,控制目标控件跟随用户的移动而调整位置。
198.因此,为准确确定目标控件在调整位置时的参数,可根据用户初始位置参数和用户结束位置参数,计算目标控件的偏移量,由偏移量确定目标控件所需移动的位置参数。
199.用户初始位置参数包括用户相对于显示器的初始相对距离和初始位置参数,用户结束位置参数包括用户相对于显示器的结束相对距离和结束位置参数,用户对应的位置参数是指人脸框中心点的参数。初始位置参数是指用户在初始位置时,用户的人脸框中心点垂直落在显示器上时,所处显示界面上的位置。结束位置参数是指用户移动至结束位置时,
用户的人脸框中心点垂直落在显示器上时,所处显示界面上的位置。
200.图12中示例性示出了根据实施例中计算目标控件的偏移量的方法流程图。参见图12,控制器在执行基于用户初始位置参数和用户结束位置参数,计算目标控件的偏移量的过程中,进一步被配置为执行下述步骤:
201.s31、计算用户对应的初始位置参数与目标控件的初始位置参数之间的第一距离,以及,用户对应的结束位置参数与目标控件的初始位置参数之间的第二距离,目标控件对应的位置参数是指控件中心点的参数。
202.第一距离是指用户在初始位置a时,用户的人脸框中心点垂直落在显示器上时,所处显示界面上的位置x与目标控件的控件中心点m之间的平面距离;第二距离是指用户移动到结束位置b时,用户的人脸框中心点垂直落在显示器上时,所处显示界面上的位置n与目标控件的控件中心点m之间的平面距离。
203.以用户由初始位置平移至结束位置为例,第一距离(xm连线)代表沿显示界面的横向平面距离,第二距离(nm连线)代表沿显示界面的横向平面距离。本实施例中,第一距离和第二距离可由人脸框中心点与目标控件的控件中心点之间的像素点差进行计算。
204.具体地,控制器在执行计算用户对应的初始位置参数与目标控件的初始位置参数之间的第一距离,进一步被配置为:
205.步骤311、获取用户位于初始位置时的人脸框中心点的像素点数和目标控件的控件中心点的像素点数。
206.步骤312、计算人脸框中心点的像素点数和控件中心点的像素点数的像素点数差。
207.步骤313、根据像素点数差和每个像素点的长度值,计算用户对应的初始位置参数与目标控件的初始位置参数之间的第一距离。
208.用户位于初始位置时的人脸框中心点的像素点数可由控制器从初始位置对应的环境图像数据中获取,目标控件的控件中心点的像素点数可根据系统属性获取。两个像素点数均可在参考坐标系中读取到相应的像素点坐标。
209.以用户由初始位置平移至结束位置为例,人脸框中心点的像素点数在y轴方向上未发生变化,因此,可根据初始位置对应的人脸框中心点的像素点数和控件中心点的像素点数,即根据人脸框中心点的横向像素点数和控件中心点的横向像素点数,计算像素点数差。像素点差和第一距离的具体计算方法可参照前述实施例中提供的步骤s121至s124的内容,此处不再赘述。
210.例如,用户在初始位置a时,人脸框中心点x像素点数为480p,而目标控件的控件中心点的像素点数为720p,因此,确定像素点数差为720p-480p=240p。
211.根据每个像素点的长度值0.00071m,即可确定第一距离s1为240
×
0.00071=0.1704m。
212.控制器在执行计算用户对应的结束位置参数与目标控件的初始位置参数之间的第二距离,进一步被配置为:
213.步骤321、获取用户位于结束位置时的人脸框中心点的像素点数和目标控件的控件中心点的像素点数。
214.步骤322、计算人脸框中心点的像素点数和控件中心点的像素点数的像素点数差。
215.步骤323、根据像素点数差和每个像素点的长度值,计算用户对应的结束位置参数
与目标控件的初始位置参数之间的第二距离。
216.以用户由初始位置平移至结束位置为例,人脸框中心点的像素点数在y轴方向上未发生变化,因此,可根据结束位置对应的人脸框中心点的像素点数和控件中心点的像素点数,即根据人脸框中心点的横向像素点数和控件中心点的横向像素点数,计算像素点数差。像素点差和第二距离的具体计算方法可参照前述实施例中提供的步骤s121至s124的内容,此处不再赘述。
217.例如,用户在结束位置b时,人脸框中心点x像素点数为360p,而目标控件的控件中心点的像素点数为720p,因此,确定像素点数差为720p-360p=360p。
218.根据每个像素点的长度值0.00071m,即可确定第二距离s2为360
×
0.00071=0.2556m。
219.s32、基于初始相对距离、结束相对距离和第一距离,计算用户在移动至结束位置时的理论第二距离,理论第二距离用于表征用户对应的结束位置与目标控件的终止位置之间的理论距离。
220.由于用户移动位置后与目标控件的控件中心点的第二距离无法保证用户在终止位置时,用户观看目标控件的视角与用户位于初始位置时观看目标控件的视角相同,因此,需要将目标控件的位置进行调整,即需确定出用户移动至结束位置时能够以同样视角观看到目标控件所需的理论第二距离。
221.本实施例中,控制器按照下述基于初始相对距离、结束相对距离和第一距离,计算用户在移动至结束位置时的理论第二距离:
222.s2'=bns1/ax;
223.式中,s2'为理论第二距离,s1为第一距离,ax为初始相对距离,bn为结束相对距离。
224.图13中示例性示出了根据实施例中确定理论第二距离时的示意图。参见图11和13,为保证用户在移动过程中观看目标控件的视角一致,需要人脸框中心点与控件中心点的连线与人脸中心点与显示界面的连线所呈的夹角相同,即α和β相同,α为用户在初始位置时,人脸框中心点与控件中心点的连线与人脸中心点与显示界面的连线所呈的夹角,即am连线与ax连线的夹角;β为用户移动至结束位置时,人脸框中心点与控件中心点的连线与人脸中心点与显示界面的连线所呈的夹角,即bm连线与bn连线的夹角。
225.为使α=β,需tan(α)=tan(β),即s1/ax=s2’
/bn,即可计算出理论第二距离
226.s2'=bns1/ax。
227.s33、计算理论第二距离和第二距离的距离差,获得目标控件的偏移量。
228.理论第二距离为用户对应的结束位置与目标控件的终止位置m’之间的理论距离,因此,根据理论第二距离和第二距离的距离差,获得目标控件的偏移量offset。
229.offset=s
2-s2'。
230.偏移量可实现目标控件的控件中心点m向点m’移动的距离。
231.s4、基于目标控件的初始位置参数和目标控件的偏移量,获得目标控件的终止位置参数,将目标控件移动至终止位置参数对应的位置。
232.根据目标控件的初始位置参数和目标控件的偏移量,即可确定目标控件需要调整位置后的终止位置,根据终止位置参数,实现目标控件的位置调整。
233.图14中示例性示出了根据实施例中动态调整控件位置时的第一示意图。参见图
14,点m为目标控件的初始位置参数,点m’为目标控件的终止位置参数。将目标控件由点m移动至点m’,实现用户由初始位置a移动至结束位置b时目标控件的位置调整。此时,目标控件的终止位置参数=初始位置参数—偏移量。
234.上述实施例是以用户由初始位置a平移至结束位置b时,实现目标控件的位置调整的情况。而在实际应用中,用户在移动过程中,还可能存在竖向方向的移动,即用户由站立状态改变为坐着的状态,此时,在竖向方向上,用户在y轴方向也存在位置改变。
235.为适应用户在x轴方向和y轴方向均发生变化的情况,本发明实施例提供的显示设备,在确定目标控件的偏移量时,需分别确定横向偏移量和纵向偏移量。例如,用户由站立在显示设备的正前方的状态,改变为坐在左后方的椅子上时,需控制目标控件由初始位置向左下角移动。
236.此时,用户初始位置参数包括横向初始位置参数和纵向初始位置参数,用户结束位置参数包括横向结束位置参数和纵向结束位置参数。横向初始位置参数包括用户在初始位置相对于显示器的横向初始相对距离和横向初始位置参数,纵向初始位置参数包括用户在初始位置相对于显示器的纵向初始相对距离和纵向初始位置参数。横向结束位置参数包括用户在结束位置相对于显示器的横向初始相对距离和横向初始位置参数,纵向结束位置参数包括用户在结束位置相对于显示器的纵向初始相对距离和纵向初始位置参数。
237.纵向相对距离(包括初始位置和结束位置)是指人脸框中心点沿y轴移动时对应的距离,即用户站立时人脸框中心点的高度与用户坐下时向人脸框中心点的高度的高度差。纵向位置参数(包括初始位置和结束位置)是指用户纵向移动至结束位置时,用户的人脸框中心点垂直落在显示器上时,所处显示界面上的位置。
238.具体地,控制器在执行基于用户初始位置参数和用户结束位置参数,计算目标控件的偏移量,进一步被配置为:
239.步骤701、基于横向初始位置参数和横向结束位置参数,计算目标控件的横向偏移量。
240.步骤702、基于纵向初始位置参数和纵向结束位置参数,计算目标控件的纵向偏移量。
241.在计算目标控件的横向偏移量和纵向偏移量时,可参照前述实施例提供的步骤s3中所述的全部内容进行计算,即可实现由横向初始位置参数和横向结束位置参数,计算目标控件的横向偏移量,以及,由纵向初始位置参数和纵向结束位置参数,计算目标控件的纵向偏移量,具体计算过程此处不再赘述。
242.在确定出目标控件的横向偏移量和纵向偏移量后,即可根据目标控件的初始位置参数确定目标控件调整位置后的终止位置参数。在本实施例中,目标控件的初始位置参数包括横向初始位置参数和纵向初始位置参数,因此,确定出的目标控件的终止位置参数也包括目标控件的横向终止位置参数和纵向终止位置参数。
243.具体地,控制器在执行基于目标控件的初始位置参数和目标控件的偏移量,获得目标控件的终止位置参数,进一步被配置为:
244.步骤801、根据目标控件的横向初始位置参数和横向偏移量,计算目标控件的横向终止位置参数。
245.步骤802、根据目标控件的纵向初始位置参数和纵向偏移量,计算目标控件的纵向
终止位置参数。
246.根据目标控件的横向初始位置参数和横向偏移量,即可确定目标控件需要调整位置后的横向终止位置,以及,根据目标控件的纵向初始位置参数和纵向偏移量,即可确定目标控件需要调整位置后的纵向终止位置。根据横向终止位置参数和纵向终止位置参数,实现目标控件的位置调整,使得目标控件能够跟随用户的移动而调整位置。
247.图15中示例性示出了根据实施例中动态调整控件位置时的第二示意图。参见图15,在用户在x轴方向和y轴方向均发生变化的情况,例如,用户由站立在显示设备的正前方的状态,改变为坐在左后方的椅子上时,需控制目标控件由初始位置向左下角移动。
248.此时,目标控件的横向终止位置参数=横向初始位置参数—横向偏移量,目标控件的纵向终止位置参数=纵向初始位置参数 纵向偏移量。
249.从上述实施例可以看出,本发明实施例提供的一种显示设备,在用户由初始位置移动至结束位置的过程中,控制器接收摄像头采集的初始位置对应的环境图像数据和结束位置对应的环境图像数据,以获得用户初始位置参数和用户结束位置参数;根据用户初始位置参数和用户结束位置参数计算目标控件的偏移量;基于目标控件的初始位置参数和目标控件的偏移量,获得目标控件的终止位置参数,将目标控件移动至终止位置参数对应的位置。可见,本发明实施例提供的显示设备,可以实现目标控件跟随用户的移动而调整位置,使得用户在位于显示设备的摄像头可视范围内的任一个方位观看目标控件的视角不变,进而保证用户均能够看清控件的显示内容,提高用户主观视觉体验。
250.图6中示例性示出了根据实施例中动态调整控件的方法的流程图。本技术还提供了一种动态调整控件的方法,由显示设备中的控制器执行,该方法包括以下步骤:
251.s1、在用户由初始位置移动至结束位置的过程中,获取所述目标控件的初始位置参数,以及,接收所述摄像头采集的初始位置对应的环境图像数据和结束位置对应的环境图像数据;
252.s2、获取所述初始位置对应的环境图像数据中携带的用户初始位置参数,以及,结束位置对应的环境图像数据中携带的用户结束位置参数;
253.s3、基于所述用户初始位置参数和用户结束位置参数,计算所述目标控件的偏移量,所述偏移量用于表征所述目标控件在调整位置时的移动参数;
254.s4、基于所述目标控件的初始位置参数和所述目标控件的偏移量,获得所述目标控件的终止位置参数,将所述目标控件移动至所述终止位置参数对应的位置。
255.进一步地,所述基于用户初始位置参数和用户结束位置参数,计算所述目标控件的偏移量,包括:
256.所述用户初始位置参数包括用户相对于显示器的初始相对距离和初始位置参数,所述用户结束位置参数包括用户相对于显示器的结束相对距离和结束位置参数,所述用户对应的位置参数是指人脸框中心点的参数;
257.计算所述用户对应的初始位置参数与目标控件的初始位置参数之间的第一距离,以及,所述用户对应的结束位置参数与目标控件的初始位置参数之间的第二距离,所述目标控件对应的位置参数是指控件中心点的参数;
258.基于所述初始相对距离、结束相对距离和第一距离,计算所述用户在移动至结束位置时的理论第二距离,所述理论第二距离用于表征用户对应的结束位置与目标控件的终
止位置之间的理论距离;
259.计算所述理论第二距离和所述第二距离的距离差,获得所述目标控件的偏移量。
260.进一步地,所述计算用户对应的初始位置参数与目标控件的初始位置参数之间的第一距离,包括:
261.获取所述用户位于初始位置时的人脸框中心点的像素点数和所述目标控件的控件中心点的像素点数;
262.计算所述人脸框中心点的像素点数和所述控件中心点的像素点数的像素点数差;
263.根据所述像素点数差和每个像素点的长度值,计算用户对应的初始位置参数与目标控件的初始位置参数之间的第一距离。
264.进一步地,所述计算用户对应的结束位置参数与目标控件的初始位置参数之间的第二距离,包括:
265.获取所述用户位于结束位置时的人脸框中心点的像素点数和所述目标控件的控件中心点的像素点数;
266.计算所述人脸框中心点的像素点数和所述控件中心点的像素点数的像素点数差;
267.根据所述像素点数差和每个像素点的长度值,计算用户对应的结束位置参数与目标控件的初始位置参数之间的第二距离。
268.进一步地,所述基于初始相对距离、结束相对距离和第一距离,计算所述用户在移动至结束位置时的理论第二距离,包括:
269.按照式s2'=bns1/ax,计算所述用户在移动至结束位置时的理论第二距离;
270.式中,s2'为理论第二距离,s1为第一距离,ax为初始相对距离,bn为结束相对距离。
271.进一步地,所述获取目标控件的初始位置参数,包括:
272.以所述显示界面的左上角作为坐标原点,以所述显示界面由左侧向右侧的方向作为x轴正向,以所述显示界面由上侧向下侧的方向作为y轴正向,建立参考坐标系;
273.获取所述坐标原点的像素点数和所述目标控件的控件中心点的横向像素点数和纵向像素点数;
274.计算所述坐标原点的像素点数和所述控件中心点的横向像素点数的横向像素点数差,以及,所述坐标原点的像素点数和所述控件中心点的纵向像素点数的纵向像素点数差;
275.根据所述横向像素点数差、纵向像素点数差和每个像素点的长度值,计算目标控件的控件中心点与坐标原点之间的横向初始距离和纵向初始距离,将所述横向初始距离、纵向初始距离、控件中心点的横向像素点数和纵向像素点数作为目标控件的初始位置参数。
276.进一步地,所述基于用户初始位置参数和用户结束位置参数,计算所述目标控件的偏移量,包括:
277.所述用户初始位置参数包括横向初始位置参数和纵向初始位置参数,所述用户结束位置参数包括横向结束位置参数和纵向结束位置参数;
278.基于所述横向初始位置参数和横向结束位置参数,计算所述目标控件的横向偏移量;
279.基于所述纵向初始位置参数和纵向结束位置参数,计算所述目标控件的纵向偏移
量。
280.进一步地,所述基于目标控件的初始位置参数和所述目标控件的偏移量,获得所述目标控件的终止位置参数,包括:
281.所述目标控件的初始位置参数包括横向初始位置参数和纵向初始位置参数;
282.根据所述目标控件的横向初始位置参数和横向偏移量,计算所述目标控件的横向终止位置参数;
283.根据所述目标控件的纵向初始位置参数和纵向偏移量,计算所述目标控件的纵向终止位置参数。
284.进一步地,还包括:
285.接收所述摄像头采集的环境图像数据;
286.识别所述环境图像数据中的人脸数量;
287.在所述环境图像数据中的人脸数量为1时,执行获取用户初始位置参数和用户结束位置参数的步骤。
288.具体实现中,本发明还提供一种计算机存储介质,其中,该计算机存储介质可存储有程序,该程序执行时可包括本发明提供的动态调整控件的方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文:read-only memory,简称:rom)或随机存储记忆体(英文:random access memory,简称:ram)等。
289.本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如rom/ram、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
290.本说明书中各个实施例之间相同相似的部分互相参见即可。尤其,对于动态调整控件的方法实施例而言,由于其基本相似于显示设备实施例,所以描述的比较简单,相关之处参见显示设备实施例中的说明即可。
291.以上所述的本发明实施方式并不构成对本发明保护范围的限定。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献