一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种显示方法、装置及终端与流程

2022-11-30 12:11:57 来源:中国专利 TAG:

一种显示方法、装置及终端
1.本技术是分案申请,原申请的申请号是201780082142.9,原申请日是2017年11月16日,原申请的全部内容通过引用结合在本技术中。
技术领域
2.本技术涉及图像处理技术领域,尤其涉及一种显示方法、装置及终端。


背景技术:

3.随着通信技术的发展,尤其是诸如智能手机等终端的普及,终端的功能也日益增多,比如,用户可以通过终端实现与其他用户之间的数据交互、转账、电子支付等功能。在用户实际使用终端的过程中,无论是查看私密信息、保密文档或是实现财务、账户管理等安全性需求较高的操作时,很难保证用户自身处于一个较为隐蔽的状态。也就意味着,用户当前在终端上实现的操作,很可能被其他用户偷窥。
4.目前,终端在生产过程中,可以利用偏振、折射等光学改造技术对屏幕进行处理,使用户仅能从屏幕正前方的一定角度范围内清晰地看到屏幕所显示的内容,而当其他用户从视角偏离屏幕正前方且超过该一定角度范围以外的位置观看屏幕时则无法清晰地看到该屏幕所显示的内容,从而保护用户的隐私。然而对屏幕进行改进,不仅会额外增加终端生产过程中的成本,同时采用上述光学改造技术也会在一定程度上阻挡屏幕的部分透视光线,进而影响用户的观看效果。此外,针对位于用户身后的其他用户而言,同样该其他用户也可以偷窥到屏幕当前显示的内容。为了解决上述问题,还可以通过终端的前置摄像头进行画面捕捉,并对捕捉到的画面进行识别,一旦终端检测到前置摄像头视野范围内出现偷窥者,则将屏幕当前显示的界面切换至另一界面,从而保护用户的隐私。
5.由此可见,上述两种实现方案能够在一定程度上保护用户的隐私,但即便用户发现偷窥者且确保了部分隐私的安全性,用户也无法借助上述实现方式有效证明该偷窥者的偷窥行为。


技术实现要素:

6.本技术提供一种显示方法、装置及终端,能够解决无法对偷窥者的偷窥行为进行举证的问题。
7.第一方面,本发明实施例提供一种显示方法,该方法应用于具有前置摄像头与显示屏的终端,其中,前置摄像头与显示屏在终端的同一侧。该方法包括:通过显示屏呈现应用的运行界面;通过前置摄像头采集图像;当前置摄像头采集的图像满足预设条件时,显示屏呈现至少两个显示窗口。其中,第一显示窗口显示应用的运行界面,第二显示窗口显示前置摄像头采集的图像。相比较于现有技术中用户无法对其他用户进行有效举证的问题而言,这样就可以将其他用户的偷窥行为,以及偷窥到的内容同时呈现,从而解决无法对其他用户的偷窥行为进行举证的问题。
8.在一种可能的设计中,当应用与预设应用匹配时,自动开启前置摄像头。考虑到前
置摄像头采集到除预设用户以外的其他用户的图像时,若预设用户当前正在观看的内容对安全性需求并不高,那么也可以视为该其他用户并不构成实质上的偷窥。因此,可以在保证当前预设用户观看的应用界面为预设应用的界面后,才触发后续的分屏显示。
9.在一种可能的设计中,预设条件包括前置摄像头采集的图像中包括除预设用户以外的其他用户,且其他用户距离预设用户的距离小于设定值。需要说明的是,距离预设用户较近的其他用户,可以被视为观看终端显示屏的角度、距离等与预设用户基本相同,也就意味着,其他用户观看显示屏呈现内容的清晰度与预设用户观看到的差异较小,这样就可以认为其他用户很可能清晰地观看到预设用户当前观看的应用的运行界面。因此,在本发明实施例中,认为与预设用户距离较近的其他用户存在偷窥的可能性。
10.在一种可能的设计中,预设条件包括前置摄像头采集的图像中包括除预设用户以外的其他用户,且其他用户距离终端的距离小于设定值。需要说明的是,距离终端较近的其他用户,可以被视为观看终端显示屏的角度、距离等能够确保其他用户可以清晰地观看到预设用户当前观看的应用的运行界面。因此,在本发明实施例中,认为与终端距离较近的其他用户存在偷窥的可能性。
11.在一种可能的设计中,预设条件包括前置摄像头采集的图像中包括预设用户的两只眼睛,还至少包括第三只眼睛。默认预设用户观看终端的显示屏时,终端的前置摄像头采集到的图像中会包括预设用户的两个眼球所在区域,当采集到的图像中出现第三个眼球所在区域时,则认为存在其他用户。
12.在一种可能的设计中,预设条件包括图像中包括除预设的图像以外的面部图像。在终端中可以预存预设用户的图像,即预设的图像,对于前置摄像头采集到的除预设的图像以外的面部图像,则可以认为是除预设用户意外的其他用户。
13.在一种可能的设计中,对前置摄像头所采集的图像的至少部分区域放大。此时,第二显示窗口显示放大后的图像。由于分屏显示实际是将同一时刻未显示的内容和当前呈现在显示屏上的内容同时显示在该显示屏上,也就意味着,这种显示方式必然会影响原有图像、界面的显示比例,因此,在同时显示通过前置摄像头采集的图像和应用界面时,需要对图像、应用界面的显示尺寸和/或显示比例进行调整。此外,为了更清晰地将其他用户的偷窥行为呈现给预设用户,还可以对前置摄像头所采集的图像的至少部分区域放大,之后仅将放大后的部分区域及应用界面中的内容呈现给用户。
14.在一种可能的设计中,前置摄像头的对焦窗口位于除预设用户以外的其他用户所在的区域。调整后的对焦窗口与其他用户所在的区域至少存在部分重叠,也就意味着,调整后的对焦窗口可以完全处于其他用户所在的区域之内,或是覆盖部分其他用户所在的区域,或是覆盖全部其他用户所在的区域,在此不做限定。在本发明实施例中,只要确保对焦窗口经过调整后,能够更好地实现其他用户所在的区域的对焦即可。
15.在一种可能的设计中,基于对焦窗口当前所处的位置,调整图像中不同区域的曝光权重。这样通过加大边缘处其他用户所在区域的权重,以动态调整曝光时间、增益,确保其他用户所在区域的亮度处于合适的状态,可以避免前置摄像头所采集图像中其他用户所在的区域曝光过度或是不足所带来的问题。其中,曝光过度会导致成像亮度过高,曝光不足会导致成像亮度过暗。
16.在一种可能的设计中,终端还可以自动存储至少两个显示窗口呈现的内容。获取
至少两个显示窗口呈现的内容的方式可以有多种,比如,截屏、录屏等操作。比如,在显示屏上设置有类似于悬浮窗一样的快捷键,用户可以通过点击该快捷键来触发截屏、录屏等操作。在成功获取至少两个显示窗口呈现的内容之后,终端可以自动将所获取的内容存储在预先设置的本地存储区域中,供用户后续调取、观看等。
17.在一种可能的设计中,终端还可以向目标设备发送至少两个显示窗口呈现的内容,以实现举证或是存储的功能。比如,目标设备可以为除该终端以外的其他设备,也可以为网络侧用于实现数据存储的服务器等第三方设备。由此可见,采用上述实现方式可以对取证后得到的内容进行存储,即存储在目标设备中,供后续举证使用,或是直接将相关内容递交至执法部门。
18.在一种可能的设计中,终端可以自动向目标设备发送至少两个显示窗口呈现的内容。
19.在一种可能的设计中,终端还可以发出提示信息,提示信息用于提示注意保护个人信息。
20.在一种可能的设计中,终端还可以通过显示屏呈现预设界面。为了安全起见,终端还可以在确定用户存的信息存在安全隐患后,通过显示屏呈现预设界面。其中,预设界面指的是用户或是手机出厂前所设置的显示界面,包括但不仅限于诸如图片、终端主界面等安全性需求较低的显示界面或操作界面。当然,预设界面也可以为用户在访问当前应用界面之前所访问的那个界面,或是当前处于后台运行且用户将该界面对应的应用切换至后台的时间较短的界面等,也可以在应用界面上叠加图片或动画,其中,图片或动画可以被移动,也可以被取消,在此不予限定。
21.第二方面,本发明实施例提供一种显示方法,该方法应用于具有前置摄像头与显示屏的终端,其中,前置摄像头与显示屏在终端的同一侧。该方法包括:接收用户输入的第一操作;响应于第一操作,通过显示屏呈现应用的运行界面;当应用与预设应用匹配时,自动开启前置摄像头,并通过前置摄像头采集图像;当前置摄像头采集的图像满足预设条件时,显示屏呈现至少两个显示窗口,第一显示窗口显示应用的运行界面,第二显示窗口显示前置摄像头采集的图像;自动存储至少两个显示窗口呈现的内容;向目标设备发送至少两个显示窗口呈现的内容;发出提示信息,和/或通过显示屏呈现预设界面;提示信息用于提示注意保护个人信息。其中,向目标设备发送至少两个显示窗口呈现的内容,包括:接收用户输入的第二操作;响应于第二操作,向目标设备发送至少两个显示窗口呈现的内容;或者,自动向目标设备发送至少两个显示窗口呈现的内容。相比较于现有技术中用户无法对其他用户进行有效举证的问题而言,这样就可以将其他用户的偷窥行为,以及偷窥到的内容同时呈现,从而解决无法对其他用户的偷窥行为进行举证的问题。并且,在本发明实施例中,可以在特定场景下自动开启前置摄像头,且在呈现至少两个显示窗口之后,还能实现对至少两个显示窗口呈现的内容进行自动存储,以及可选性地向目标设备主动或是被动发送至少两个显示窗口呈现的内容。
22.在一种可能的设计中,预设条件至少包括:前置摄像头采集的图像中包括除预设用户以外的其他用户,且其他用户距离预设用户的距离小于设定值;和/或前置摄像头采集的图像中包括除预设用户以外的其他用户,且其他用户距离终端的距离小于设定值;和/或前置摄像头采集的图像中包括预设用户的两只眼睛,还至少包括第三只眼睛;和/或对前置
摄像头采集的图像进行人脸识别,图像中包括除预设的图像以外的面部图像。
23.在一种可能的设计中,该方法还包括:对前置摄像头所采集的图像的至少部分区域放大,其中,前置摄像头的对焦窗口位于除预设用户以外的其他用户所在的区域,第二显示窗口显示放大后的图像。
24.在一种可能的设计中,运行界面包括密码输入界面。需要说明的是,上述应用的运行界面包括但不仅限于密码输入界面,还可以为其他涉及到预设用户个人信息的界面,当然也可以为安全性需求较高的界面,在此不予限定。
25.第三方面,本发明实施例提供一种显示装置。该装置应用于具有前置摄像头与显示屏的终端,其中,前置摄像头与显示屏在终端的同一侧。该装置可以实现上述方法实施例中所实现的功能,所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个上述第一方面及其各种可能的设计中所示功能相应的模块。
26.第四方面,本发明实施例提供一种显示装置。该装置应用于具有前置摄像头与显示屏的终端,其中,前置摄像头与显示屏在终端的同一侧。该装置可以实现上述方法实施例中所实现的功能,所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个上述第二方面及其各种可能的设计中所示功能相应的模块。
27.第五方面,本发明实施例提供一种终端。该终端的结构中包括显示屏,存储器,一个或多个处理器,多个应用程序,以及一个或多个程序;其中,所述一个或多个程序被存储在所述存储器中;所述一个或多个处理器在执行所述一个或多个程序时,使得该终端实现第一方面及其各种可能的设计中任意一项所述的方法。
28.第六方面,本发明实施例提供一种终端。该终端的结构中包括显示屏,存储器,一个或多个处理器,多个应用程序,以及一个或多个程序;其中,所述一个或多个程序被存储在所述存储器中;所述一个或多个处理器在执行所述一个或多个程序时,使得该终端实现第一方面及其各种可能的设计中任意一项所述的方法。
29.第七方面,本发明实施例提供一种可读存储介质,包括指令。当该指令在终端上运行时,使得该终端执行上述第一方面及其各种可能的设计中任意一项所述的方法。
30.第八方面,本发明实施例提供一种可读存储介质,包括指令。当该指令在终端上运行时,使得该终端执行上述第二方面及其各种可能的设计中任意一项所述的方法。
31.第九方面,本发明实施例提供一种计算机程序产品,该计算机程序产品包括软件代码,该软件代码用于执行上述第一方面及其各种可能的设计中任意一项所述的方法。
32.第十方面,本发明实施例提供一种计算机程序产品,该计算机程序产品包括软件代码,该软件代码用于执行上述第一方面及其各种可能的设计中任意一项所述的方法。
33.第十一方面,本发明实施例提供一种图形或用户界面,用于执行上述第一方面及其各种可能的设计中任意一项所述的方法。
34.第十二方面,本发明实施例提供一种图形或用户界面,用于执行上述第二方面及其各种可能的设计中任意一项所述的方法。
附图说明
35.图1为本发明实施例提供的第一种终端的结构示意图;
36.图2为本发明实施例提供的一种终端显示屏的示意图;
37.图3为本发明实施例提供的第一种显示方法流程图;
38.图4为本发明实施例提供的一种显示屏呈现应用界面的示意图;
39.图5为本发明实施例提供的一种通过前置摄像头所采集的图像;
40.图6为本发明实施例提供的第一种终端处于竖屏观看状态下的分屏显示示意图;
41.图7为本发明实施例提供的一种终端处于横屏观看状态下的分屏显示示意图;
42.图8为本发明实施例提供的第二种终端处于竖屏观看状态下的分屏显示示意图;
43.图9为本发明实施例提供的一种终端内部的系统结构示意图;
44.图10为本发明实施例提供的一种采用广视角摄像头监控的示意图;
45.图11为本发明实施例提供的一种终端的显示屏上显示采用如图10所示的前置摄像头采集到的图像的示意图;
46.图12为本发明实施例提供的另一种终端处于竖屏观看状态下的分屏显示示意图;
47.图13为本发明实施例提供的第一种显示界面示意图;
48.图14为本发明实施例提供的第二种显示界面示意图;
49.图15为本发明实施例提供的在图5基础上标注其他用户所在的区域的示意图;
50.图16为本发明实施例提供的第三种显示界面示意图;
51.图17为本发明实施例提供的第四种显示界面示意图;
52.图18为本发明实施例提供的第五种显示界面示意图;
53.图19为本发明实施例提供的一种对焦窗口在调整前后所处位置的示意图;
54.图20为本发明实施例提供的一种对焦窗口调整的过程示意图;
55.图21为本发明实施例提供的一种曝光权重调整前后的示意图;
56.图22为本发明实施例提供的第二种显示方法流程图;
57.图23为本发明实施例提供的第六种显示界面示意图;
58.图24为本发明实施例提供的一种取证信息获取方法的流程图;
59.图25为本发明实施例提供的另一种取证信息获取方法的流程图;
60.图26为本发明实施例提供的一种提示注意保护个人信息的示意图;
61.图27为本发明实施例提供的一种终端主界面的示意图;
62.图28为本发明实施例提供的第一种显示装置的结构示意图;
63.图29为本发明实施例提供的第二种终端的结构示意图;
64.图30为本发明实施例提供的第二种显示装置的结构示意图;
65.图31为本发明实施例提供的第三种终端的结构示意图。
66.附图标记说明:
67.1-前置摄像头;
68.2-显示屏;
69.3-功能键;
70.4-数字键盘;
71.5-付款对话框;
72.6-通过前置摄像头所采集的图像;
73.7-通过前置摄像头所采集的图像中其他用户所在的区域;
74.8-对焦窗口;
display,lcd)、有机发光二极管(organic light-emitting diode,oled)等形式来配置显示面板112;触控面板111,也称为触摸屏、触敏屏等,可收集用户在其上或附近的接触或者非接触操作(比如,用户使用手指、触笔等任何适合的物体或附件在触控面板111上或在触控面板111附近的操作,也可以包括体感操作;该操作包括单点控制操作、多点控制操作等操作类型),并根据预先设定的程序驱动相应的连接装置。需要说明的是,触控面板111还可以包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位、姿势,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成处理器101能够处理的信息,再传送给处理器101,并且,还能接收处理器101发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板111,也可以采用未来发展的任何技术实现触控面板111。一般情况下,触控面板111可覆盖显示面板112,用户可以根据显示面板112显示的内容(该显示内容包括但不限于软键盘、虚拟鼠标、虚拟按键、图标等),在显示面板112上覆盖的触控面板111上或者附近进行操作,触控面板111检测到在其上或附近的操作后,传送给处理器101以确定用户输入,随后处理器101根据用户输入,在显示面板112上提供相应的视觉输出。虽然在图1中,触控面板111与显示面板112是作为两个独立的部件来实现终端100的输入和输出功能,但是在某些实施例中,可以将触控面板111与显示面板112集成,以实现终端100的输入和输出功能。
83.rf电路104、扬声器106,话筒107可提供用户与终端100之间的音频接口。音频电路105可将接收到的音频数据转换后的信号,传输到扬声器106,由扬声器106转换为声音信号输出;另一方面,话筒107可以将收集的声音信号转换为信号,由音频电路105接收后转换为音频数据,再将音频数据输出至rf电路104以发送给诸如另一终端的设备,或者将音频数据输出至存储器102,以便处理器101结合存储器102中存储的内容进行进一步的处理。另外,摄像头103可以实时采集图像帧,并传送给处理器101处理,并将处理后的结果存储至存储器102和/或将处理后的结果通过显示面板112呈现给用户。
84.处理器101是终端100的控制中心,利用各种接口和线路连接整个终端100的各个部分,通过运行或执行存储在存储器102内的软件程序和/或模块,以及调用存储在存储器102内的数据,执行终端100的各种功能和处理数据,从而对终端100进行整体监控。需要说明的是,处理器101可以包括一个或多个处理单元;处理器101还可以集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面(user interface,ui)和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器101中。
85.终端100还可以包括给各个部件供电的电源114(比如,电池),在本发明实施例中,电源114可以通过电源管理系统与处理器101逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗等功能。
86.此外,图1中还存在未示出的部件,比如,终端100还可以包括蓝牙模块等,在此不再赘述。
87.本发明实施例提供一种显示方法,该方法可以应用于如图1所示的终端100,如图2所示,该终端为具有前置摄像头1与显示屏2的终端,其中,前置摄像头与显示屏在该终端的同一侧。需要说明的是,该终端在显示屏上还可以向用户呈现如图2所示的功能键,其中可
以包括用于触发跳转至前一显示界面的按键、触发回到终端主界面的按键等,在此不做限定。如图3所示,该方法包括步骤201至步骤203。
88.步骤201、通过显示屏呈现应用的运行界面。
89.对于用户而言,举证仅仅提供用于反映其他用户偷窥行为的图像是远远不够的,因为,若其他用户目睹的内容是广告、泡沫剧等内容,则因其他用户的行为并不能侵犯到用户的隐私而无法被视为偷窥行为。因此,在本发明实施例中,需要获取当前显示屏呈现给用户的内容,即当前显示屏呈现的应用的运行界面,只有当该应用的运行界面所呈现的内容对于安全性或隐私需求较高时,才可以认为该其他用户具有偷窥行为。比如,其他用户当前看到的内容涉及到用户的隐私,或是涉及到用户的账户、密码、聊天界面等信息时,则可以认为该其他用户具有偷窥行为。
90.以支付界面为例,如图4所示,终端通过显示屏呈现的应用界面为具备支付功能的应用所提供的支付界面。在显示屏上呈现的应用界面中包括付款对话框、数字键盘,以及诸如网络状况、电量使用情况、时间等与终端相关的基础信息。其中,付款对话框通常包括提示用户完成支付操作的信息、收款单位、收款金额、付款途径、密码输入区域等信息。比如,当前付款对话框向用户呈现“xxx集团”试图使用户完成人民币139元的付款,此时通过位于付款对话框上方的文字提示用户输入支付密码,用户可以通过点击“xxx银行”所在行的末端显示的箭头,实现付款途径的选择,此时用户选择的付款途径为使用银行卡支付,所选银行卡为“xxx银行”的银行卡。位于付款对话框下方的6个连续的矩形,供用户通过数字键盘输入支付密码,以在支付密码正确后完成付款操作。
91.步骤202、通过前置摄像头采集图像。
92.考虑到其他用户若想偷窥用户的支付信息、账户密码等安全性需求较高的信息,则需要面对终端的显示屏,从而偷窥到终端当前所显示的内容,因此,若用户需要进行取证,必然需要获取到当前能够偷窥到显示屏内容的位置产生的视频或是图像。而终端的前置摄像头通常设置在显示屏所在的一侧,因此若要获取上述视频或是图像,则可以通过被偷窥的终端自带的前置摄像头实现视频或是图像的采集,比如,如图5所示,为终端通过前置摄像头采集到的图像。
93.需要说明的是,通过前置摄像头采集图像,可以指的是通过前置摄像头采集当前时刻的一帧图像,或是采集一段时间内产生的连续多帧图像,或是在一段时间内产生的连续多帧图像中,按照一定步长或是随机提取的某几帧图像,在此不做限定。由此可见,通过步骤202所采集到的内容可以为一帧图像、多帧图像,或是由若干帧图像所构成的视频等。
94.另外,由于终端当前通过显示屏呈现的是应用的运行界面,因此,对于通过前置摄像头采集到的图像,可以存储在终端本地、云端等供用户临时存储或是长久存储的位置,在终端需要同时呈现应用界面和前置摄像头所采集的图像时,再从存储区域中获取该图像。当然,采集图像与同时呈现的操作也可以是实时进行的,即在用户使用终端的过程中,若用户当前希望通过前置摄像头采集图像,并将所采集的图像以及当前正在执行操作的应用界面同时在终端的显示屏上呈现时,用户可以手动触发终端通过前置摄像头采集图像,并将所采集的图像与应用界面呈现给用户,这样就可以直接将采集到的图像显示,而无需中间的缓存或是存储的操作。
95.需要说明的是,在步骤201中呈现的应用与预设应用匹配时,终端可以自动开启前
置摄像头以采集图像。其中,应用与预设应用匹配包括但不仅限于应用为预设应用中的一个,或是当前呈现的应用界面为预设应用中的显示界面或操作界面。其中,预设应用可以由用户预先设定,或是终端结合应用从诸如应用商店等平台上下载时被备注的安全等级等进行自动设定,在此不予赘述。
96.其中,预设应用可以为安全性或隐私需求较高的应用,比如,涉及网上银行支付功能的第三方应用、各个银行的应用等;指定显示界面可以为预设用户预先设置的某一个或是某些安全性需求较高的应用的显示界面,或某一个或是某些应用在访问、使用过程中,安全性需求较高的显示界面等,比如,阅读类应用中显示加密文件、通讯录等内容的应用界面,在此不做限定;指定操作界面与指定显示界面类似,即预设用户预先设置的某一个或是某些安全性需求较高的应用的操作界面,或某一个或是某些应用在访问、使用过程中,安全性需求较高的操作界面等,比如,各类应用的登录界面、各类应用的账户设置界面等,在此不做限定。
97.步骤203、当前置摄像头采集的图像满足预设条件时,显示屏呈现至少两个显示窗口。
98.其中,第一显示窗口显示应用的运行界面,第二显示窗口显示前置摄像头采集的图像。
99.第一显示窗口所显示的内容包括应用的运行界面中的全部内容或部分内容。且在本发明实施例中,应用的运行界面可以为以应用的运行界面为基准,按照一定比例缩小后得到的界面,当然也可以为在提取该应用的运行界面中的部分内容后再按照一定比例缩小等,在此不予限定。
100.对于终端而言,可以在前置摄像头采集的图像满足预设条件时,显示屏呈现至少两个显示窗口。其中,图像满足预设条件包括但不仅限于图像中包括除预设用户以外的其他用户。对于对其他用户的识别方式,可以采用现有技术中提供的识别手段,后文也会具体描述对其他用户的识别方式,在此不予赘述。
101.需要说明的是,在同时呈现之前,可以预先获取该应用界面,具体操作可以为截屏、录屏等能够捕获完整应用界面或是能够捕获完整应用界面中具有重要信息的区域所采用的操作方式。其中,截屏用于获取当前时刻终端呈现给用户的应用界面,比如,图4所示的支付界面;录屏则用于获取一段时间内终端呈现给用户的界面;具有重要信息的区域可以被视为在该应用界面中能够体现该界面所呈现的内容对于安全性需求较高的区域,比如,图4所示的付款对话框。
102.在本发明实施例中,通过显示屏同时呈现应用界面和前置摄像头所采集的图像的方式可以为分界面显示,具体的实现方式可以采用分屏显示。其中,分屏显示,指的是将显示屏的显示窗口至少划分为两个显示窗口,第一显示窗口显示应用的运行界面,第二显示窗口显示前置摄像头所采集的图像。
103.在本发明实施例中,分屏显示是指将终端呈现给用户的显示界面划分为至少两个部分,以划分为两个部分的情况为例,若图5为通过前置摄像头所采集的图像,则具体划分方式可以为如图6所示的终端处于竖屏观看状态下,采用的上下分屏方式,还可以为如图7所示的终端处于横屏观看状态下,采用的左右分屏方式。
104.需要说明的是,上述两个部分中第一部分与第二部分各自占据整个显示屏的占
比,可以相同,即将显示屏等分,或是不同,在此不做限定;上述两个部分在划分时,可以划分为两个矩形(包括正方形),也可以划分为两个不规则的区域,比如,采用波浪线、折现、斜线等作为分界线,将显示屏划分为两个部分,从而使呈现给用户的界面更加美观,或是采用界面叠放的方式呈现(这种呈现方式也可以被视为一种分屏方式),比如,图8所示,应用的运行界面叠放在通过前置摄像头所采集的图像上方。需要说明的是,图8仅为一种可能的示例,在实际显示过程中,也可以将通过前置摄像头所采集的图像叠放在应用的运行界面的上层,在此不做限定。另外,分屏后,可以通过手动拖拽、滑动等方式调整分屏后两个界面的大小,对于图7所示的情况而言,也可以采用手动拖拽、滑动等方式调整位于上层的界面所处的位置。此外,针对图8这种显示方式而言,为了确保位于界面底层的那个界面能够尽可能清晰地呈现界面所显示的内容,可以将位于上层的界面按照一定透明度显示,这样位于底层的界面也可以隐约呈现出内容,并不会完全被位于上层的界面所遮盖。在本发明实施例中,上述图6至图8所示的呈现方式,均为一种可能的呈现显示,对于具体划分方式,在此不做限定。
105.在显示屏成功划分为两个部分后,图像和应用的运行界面具体分别位于哪一部分,在本发明实施例中不做限定。比如,如图6中的(a)所示的竖屏观看状态下,采集到的图像位于显示屏的上部,应用的运行界面位于显示屏的下部,而另一种情况,如图6中的(b)所示的竖屏观看状态下,采集到的图像位于显示屏的下部,应用界面位于显示屏的上部;如图7中的(a)所示的横屏观看状态下,采集到的图像位于显示屏的右部,应用的运行界面位于显示屏的左部,而另一种情况,如图7中的(b)所示的横屏观看状态下,采集到的图像位于显示屏的左部,应用的运行界面位于显示屏的右部。
106.需要说明的是,步骤201和步骤202可是同时执行,或是按照一定先后顺序执行,在此不予限定。
107.相比较于现有技术中用户无法对其他用户进行有效举证的问题而言,在本发明实施例中,终端可以通过前置摄像头采集图像,通过显示屏呈现应用的运行界面,之后当前置摄像头采集的图像满足预设条件时,显示屏呈现应用的运行界面和前置摄像头所采集的图像。这样就可以将其他用户的偷窥行为,以及偷窥到的内容同时呈现,从而解决无法对其他用户的偷窥行为进行举证的问题。
108.考虑到实时监控会耗费终端电量、资源等,因此,在本发明实施例的一个实现方式中,可以仅在前置摄像头识别到采集到的图像中存在除预设用户以外的其他用户后,才触发后续的分屏显示。也就意味着,仅在用户当前所观看的内容存在被泄露的风险时,才触发监控流程。
109.需要说明的是,在本发明实施例中,用于识别采集到的图像中是否存在除预设用户以外的其他用户所在区域的方式有多种,可以参照如下可能的实现方式,但在本发明实施例中,并不对识别其他用户的实现方式做限定。
110.比如,预设用户可以预先在终端中设置访问权限,具体可以通过采集预设用户的面部图像、虹膜图像等方式实现图像预存,之后利用人脸识别、虹膜识别等技术,在前置摄像头采集到除预存的图像以外的面部图像、虹膜图像等之后,则视为当前观看显示屏的除预设用户之外,还存在可能是偷窥者的其他用户。
111.其中,预存的图像可以体现为至少一个图像数据库,其中,每一个图像数据库中存
储一个预设用户的预存图像,也就意味着,每个终端可以设置至少一个预设用户,并且,对于不同的预设用户也可以设置不同的安全性级别,比如,针对用户a而言,仅当应用的运行界面为支付界面时,才认为存在触发分屏的必要,而对于用户b而言,仅当应用的运行界面为支付界面或账户登录界面时,才认为存在触发分屏的必要,在本发明实施例中不做限定。
112.再比如,终端可以根据前置摄像头所采集的图像中人物的出现时间,判断是否存在其他用户。对于安全性需求较高的内容,通常用户需要验证身份后才能访问,因此,在本发明实施例中,认为用户会第一个出现在前置摄像头采集到的图像中,也就意味着,在第一个用户进入前置摄像头的采集范围内后出现的用户,被视为可能为偷窥者的其他用户。
113.对于存在其他用户的情况而言,可以判断其他用户距离预设用户的距离是否小于设定值。需要说明的是,距离预设用户较近的其他用户,可以被视为观看终端显示屏的角度、距离等与预设用户基本相同,也就意味着,其他用户观看显示屏呈现内容的清晰度与预设用户观看到的差异较小,这样就可以认为其他用户很可能清晰地观看到预设用户当前观看的应用的运行界面。因此,在本发明实施例中,认为与预设用户距离较近的其他用户存在偷窥的可能性。
114.在本发明实施例中,检测其他用户距离预设用户的距离的方式包括但不仅限于如下检测方式:
115.终端通过提高或是降低显示屏的显示亮度,之后识别预设用户与其他用户面部的亮度变化,分析确定其他用户与预设用户之间的距离;
116.终端预先存储或是获取两个用户之间不同位置关系所呈现的成像比例,这里的成像比例可以指的是预设用户面部与其他用户面部的成像比例,或是预设用户面部特征之间的位置关系与其他用户面部特征之间的位置关系所呈现的成像比例等,在此不予限定。其中,面部特征包括但不仅限于人物的五官。
117.在本发明实施例中,对于存在其他用户的情况而言,还可以判断其他用户距离终端的距离是否小于设定值。需要说明的是,距离终端较近的其他用户,可以被视为观看终端显示屏的角度、距离等能够确保其他用户可以清晰地观看到预设用户当前观看的应用的运行界面。因此,在本发明实施例中,认为与终端距离较近的其他用户存在偷窥的可能性。
118.在本发明实施例中,检测其他用户距离终端的距离的方式包括但不仅限于如下检测方式:
119.终端通过提高或是降低显示屏的显示亮度,之后识别其他用户面部的亮度变化,分析确定其他用户与终端之间的距离,其中,可以在终端中预存各种亮度变化实际对应的距离范围;
120.终端预先存储或是获取用户与终端之间不同位置关系所呈现的成像比例,这里的成像比例可以指的是其他用户面部的成像比例,或是其他用户面部特征之间的位置关系等,在此不予限定。其中,面部特征包括但不仅限于人物的五官。
121.上述两种实现方式所涉及的设定值,可以由用户根据经验值预先设定,或者可以在终端出厂前预先设置,在此对于设置方式、时机等,不予限定。
122.再比如,默认预设用户观看终端的显示屏时,终端的前置摄像头采集到的图像中会包括预设用户的两个眼球所在区域,当采集到的图像中出现第三个眼球所在区域时,则认为存在其他用户。即当前置摄像头采集的图像中包括预设用户的两只眼睛,还至少包括
第三只眼睛时,通过显示屏呈现第一图像。
123.考虑到前置摄像头采集到除预设用户以外的其他用户的图像时,若预设用户当前正在观看的内容对安全性需求并不高,那么也可以视为该其他用户并不构成实质上的偷窥。因此,在本发明实施例的一个实现方式中,不仅需要保证图像中存在除预设用户以外的其他用户,还需要保证当前预设用户观看的应用的运行界面为预设应用的界面后,才触发后续的分屏显示。
124.由此可见,在本发明实施例中,若要触发后续的分屏显示,还可以通过实时、周期性或是非周期性监控前置摄像头所采集到的图像内容,或者在监控该图像内容的基础上监控预设用户观看或是操作的应用界面,以实现是否存在其他用户及偷窥行为的判断,并在存在其他用户及偷窥行为的情况下,触发分屏显示,同时进行自动对焦(auto focus,af)、自动曝光(auto exposure,ae)、自动白平衡(automatic white balance,awb)等处理。
125.如图9所示,为终端内部涉及到监控取证的一种可能的系统架构,即监控取证系统,该监控取证系统包括分屏控制器、自动对焦模组、图像信息处理(image signal processing,isp)系统。其中,isp系统的作用在于对图像进行af、ae、awb等处理。监控取证系统在通过自动对焦模组检测当前是否存在其他用户及偷窥行为,并在存在其他用户和/或偷窥行为的情况下,触发分屏控制器实现终端的分屏显示,之后由isp系统对即将分屏显示的图像进行处理。
126.上述自动对焦模组可以为可自动对焦的广视角模组,如图10所示,为采用广视角摄像头监控的示意图。其中,上述广视角摄像头可以为终端的前置摄像头。在本发明实施例中,可以定义垂直于前置摄像头的方向为法线方向z(即直角坐标系中的z轴正方向),围绕z轴两侧方向的可视区域为视场角(field of view,fov)。由于,fov越大,可监控的范围越广,因此,该前置摄像头的fov的角度一般设置为趋近180度,以扩大前置摄像头的监控范围,从而实现更好地的监控效果。如图11所示,为终端的显示屏上显示采用如图10所示的前置摄像头采集到的图像的示意图,即将终端通过前置摄像头所能够采集到的fov角度范围内的所有内容,经过预处理后,通过显示屏呈现给用户。需要说明的是,由于前置摄像头所采集的图像分辨率通常大于显示屏所能呈现内容的分辨率,因此,上述预处理至少包括将采集到的图像进行缩放得到符合显示屏分辨率的界面,之后通过显示屏显示。具体的成像处理过程,可以参考现有技术,在此不做限定。
127.由于分屏显示实际是将同一时刻未显示的内容和当前呈现在显示屏上的内容同时显示在该显示屏上,也就意味着,这种显示方式必然会影响原有图像、界面的显示比例,因此,在本发明实施例的一个实现方式中,在同时显示通过前置摄像头采集的图像和应用界面时,需要对图像、应用界面的显示尺寸和/或显示比例进行调整。
128.具体调整方式可以为:
129.对前置摄像头采集的图像的至少部分区域进行放大。
130.之后将放大后的图像作为前置摄像头所采集的图像,与应用的运行界面同时通过显示屏呈现,即此时第二显示窗口显示放大后的图像。
131.需要说明的是,上述至少部分区域可以为除预设用户以外的其他用户所在的区域,当然也可以为其他用户所在的区域中能够反映其他用户个人特征的区域,比如,五官区域等,在此不做限定。
132.因此,步骤203显示屏呈现至少两个显示窗口,可以实现为步骤301至步骤303:
133.步骤301、按照第一比例缩小应用的运行界面,得到目标界面。
134.假如终端当前呈现的界面为如图4所示的应用的运行界面,那么在将该应用的运行界面采用分屏显示的方式呈现在显示屏之前,同样也需要将该应用的运行界面缩小,如图6或图7所示,可以将如图4所示的应用的运行界面按照第一比例调整后得到的目标界面,即将应用的运行界面按照第一比例缩小后得到的目标界面,如图6至图8所示的包括付款对话框、数字键盘的应用界面。需要说明的是,与应用的运行界面相比,目标界面呈现的内容可以不发生改变,仅仅是应用的运行界面大小、清晰度的变化。
135.需要说明的是,在对应用界面进行缩小的过程中,可以分区域缩小或是将整个应用的运行界面等比缩小,在此不做限定。
136.以图4所示的应用的运行界面为例,比如,考虑到用户当前需要输入密码以实现付款功能,因为,为了方便用户操作,可以在将该应用的运行界面缩小的过程中,仅缩小付款对话框,而保留数字键盘原有的呈现比例,这样对于用户而言,在输入密码的过程中,由于数字键盘保留了原有在应用的运行界面上的显示尺寸,因此,用户可以保留原有的输入习惯,按照原有的输入方式完成密码输入过程,比如,如图6至图8所示。
137.再比如,考虑到用户希望能够更清晰地观看到前置摄像头所采集的图像,那么用户必然希望目标界面占据显示屏的比例更小,此时,在缩小应用的运行界面生成目标界面的过程中,不仅可以将付款对话框缩小,同样也可以按照一定比例缩小数字键盘,如图12所示。需要说明的是,付款对话框所在的区域和数字键盘所在的区域可以按照相同的比例进行缩小,也可以按照不同的比例进行缩小,用户可以根据自身的操作习惯、作业需求等预先进行设定,在此不做限定。也就意味着,上述第一比例可能包括一个比例参数或是多个比例参数,在仅包括一个比例参数的情况下,终端会将该应用的运行界面采用该比例进行缩小,而在包括多个比例参数的情况下,终端可以将该应用的运行界面划分为至少两个区域,且每一个或是多个区域按照同一比例参数进行缩小,这样就可以得到将该应用的运行界面的各个区域按照部分相同或是完全不同的比例参数进行缩小后得到的目标界面。
138.再比如,考虑到用户既希望能够更清晰地观看到前置摄像头采集到的图像,同时也不想影响实际的密码输入操作,即不想使用缩小后的键盘实现密码输入过程,那么在本发明实施例中,可以仅采用一定比例对该应用的运行界面的部分区域进行缩小,比如,如图13所示,仅对付款对话框所在的区域进行缩小,而保留原有数字键盘所在的区域的呈现效果,且在缩小付款对话框所在的区域的过程中,将部分不重要的信息屏蔽,即删除部分区域,以确保缩小后的付款对话框所在的区域占据显示屏更少的呈现空间。比如,一般在付款对话框中会呈现用户输入的密码,而为了保证输入信息的安全性,密码通常是采用某个字符代替显示,也就意味着,这部分内容虽然呈现给用户,但却并不能传达任何实质性的信息,因此,在本发明实施例中,可以将这部分不太重要的区域进行隐藏或是删除,即在显示过程中不呈现这部分内容。
139.再比如,考虑到用户只是想更清晰地观看到前置摄像头采集到的图像,那么可以在将该应用的运行界面缩小呈现的过程中,隐藏或是删除部分不重要的区域,同时,缩小需要保留的部分应用的运行界面,如图14所示。
140.由此可见,上述“按照第一比例缩小应用的运行界面,得到目标界面”的过程中,所
指的缩小应用界面可以仅包括缩小操作,或是包括缩小、隐藏(也可以被视为删除)的操作;且上述第一比例可以包括至少一个用于缩小应用的运行界面中全部或是部分区域的比例参数,在本发明实施例中,不做限定,上述内容仅作为一种可能的示例。需要说明的是,上述内容仅以竖屏显示为例,对于横屏显示的情况同样适用,在此不做赘述。
141.步骤302、按照第二比例调整前置摄像头所采集的图像,得到目标图像。
142.假如终端通过前置摄像头采集到的图像为如图5所示的图像,该图像可以被视为采集到的原始图像,比如,原始图像的像素与显示屏显示图像的像素相同,那么在将该图像采用分屏显示的方式呈现在显示屏之前,必然要将该原始图像缩小,即调整原始图像的像素。这一过程通常会因为像素的改变,而模糊原始图像,因此,可以将如图6、图7、图12至图14所示的通过前置摄像头采集到的图像视为将原始图像按照第二比例调整后得到的目标图像,即将原始图像按照第二比例缩小后得到的目标图像。需要说明的是,与原始图像相比,目标图像呈现的内容可以不发生改变,仅仅是像素的调整,在本发明实施例中,也可以认为是图像大小、清晰度的变化。
143.需要说明的是,除了上述实现方式,还可以采用第二比例仅调整图像中的部分区域,之后将经过调整后的部分区域作为目标图像呈现,这种实现方式会在后文提出,在此不做赘述。
144.步骤303、当前置摄像头采集的图像满足预设条件时,显示屏通过两个显示窗口分别呈现目标图像和目标界面。
145.由此可见,在采用分屏显示的方式同时显示目标界面和目标图像的过程中,需要分别对前置摄像头所采集的图像和显示的应用的运行界面进行呈现比例的调整,从而确保最终呈现在显示屏上的内容能够更贴合用户当前的需求。并且,在将前置摄像头所采集的图像与显示的应用的运行界面合成显示在同一显示屏上的过程中,可以结合用户需求按照不同的比例进行调整,和/或结合用户需求有选择性地隐藏或是删除部分区域,从而实现有效地分屏显示。
146.为了更清晰地呈现其他用户的图像,在本发明实施例一种可能的实现方式中,可以针对前置摄像头所采集图像中其他用户所在的区域进行调整,并将调整后的指定区域作为目标图像,呈现在显示界面中。因此,步骤302按照第二比例调整前置摄像头所采集的图像,得到目标图像,可以实现为步骤401和步骤402:
147.步骤401、获取前置摄像头所采集的图像中其他用户所在的区域。
148.以图5为终端通过前置摄像头采集到的图像为例,图15中用虚线框出的部分可以被视为其他用户所在的区域,即本发明实施例中其他用户所在的区域。在本发明实施例中,可以采用人脸识别、虹膜识别等技术,从图像中确定指定区域,对于确定指定区域的方式在此不做限定。
149.步骤402、按照第二比例调整指定区域,得到目标图像。
150.在本发明实施例中,可以结合指定区域的大小以及目标图像在显示屏上呈现的大小来确定,是将其他用户所在的区域放大或是缩小后得到目标图像。比如,若虚线框出的区域的面积小于最终在显示屏上呈现的面积,则可以将该虚线框出的区域按照一定比例放大,反之,若虚线框出的区域的面积大于最终在显示屏上呈现的面积,则可以将该虚线框出的区域按照一定比例缩小。需要说明的是,考虑到虚线框出的区域的长宽比例可能与最终
可以在显示屏上呈现的目标图像的长宽比例不相同,那么可以结合实际显示需求,分别对图像的长、宽进行处理,比如,将虚线框处的区域的横向放大显示、纵向缩小显示,或是将虚线框处的区域的横向缩小显示、纵向放大显示等,在此不做限定。
151.考虑到前置摄像头的像素通常会在800万以上,有的甚至可以达到2000万像素及以上,而主流的全高清(full high definition,fhd)显示屏往往才能达到200万像素,也就意味着显示屏呈现的图像的像素远远低于前置摄像头所采集的图像的像素。由此可见,显示屏上呈现的所采集的图像一般是将前置摄像头所采集的多个像素信息压缩为一个显示像素点后,再显示在显示屏上。因此,为了保证分屏显示的清晰度,对于需要提取其他用户所在的区域的情况而言,可以在确定其他用户所在的区域之后,还原该其他用户所在的区域实际的像素点,即前置摄像头实际所采集的图像中其他用户所在的区域对应的像素,之后依据实际所采集的其他用户所在区域对应的像素实现像素信息压缩,最终得到符合最终显示屏显示的图像区域对应的显示像素,如图16和图17所示。其中,图16与图6中的(a)、图12至图14所示的内容类似,其区别在于显示图像的位置由前置摄像头所采集的图像替换为通过前置摄像头所采集的图像中其他用户所在的区域,其他部分的内容可以参考图6中的(a)、图12至图14对应的文字描述,在此不做赘述。
152.此外,本发明实施例同样适用于横屏显示,如图17所示。其中,图17中的(a)与图17中的(b)的区别在于显示电量、时间、网络情况等参数的功能区域的显示位置不同,可以结合用户实际需求,选择在显示屏上显示或不显示这部分内容,且在允许显示的情况下,用户可以选择显示的位置,默认在横屏观看内容的情况下,可以将该功能区域显示在屏幕右上方,若此时呈现的图像恰巧处于显示屏的右侧,为了供用户观看到更清晰的图像(即使显示屏的右侧更大一部分区域显示图像),则可以将该功能区域显示在显示屏的左侧,在此不做限定。
153.一般情况下,作为偷窥者的其他用户所在的区域仅占据前置摄像头所采集图像中很小的一部分区域,若直接对其他用户所在的区域进行局部放大、显示,无法有效利用像素点,通常会降低其他用户所在的区域的成像清晰度。而采用上述处理方案后,可以有效利用像素点,从而将其他用户所在的区域清晰显示在显示屏上,供用户观看、以及后续取证。
154.在本发明实施例中,终端还可以通过局部放大后叠加到前置摄像头所采集的图像上的呈现方式,得到目标图像。以图15为通过前置摄像头所采集的图像为例,在分屏显示时,显示屏所呈现的内容可以为如图18所示的界面。需要说明的是,其他用户所在的区域经过放大后,再叠加到前置摄像头所采集的图像上方,为了不影响整体呈现效果,可以将其他用户所在的区域中重要的轮廓线条加粗显示,和/或增加前置摄像头所采集的图像中各个像素点的透明度,和/或将前置摄像头所采集的图像中重要的轮廓线条变细后显示等,在此不做限定。上述可能的处理情况的目的在于,更清晰地向用户呈现其他用户所在的区域,弱化显示原有前置摄像头所采集的图像。当然,为了更清晰地呈现其他用户所在的区域,可以将其他用户所在的区域加边框后显示,即将两层图像的叠加效果也一并呈现给用户。且位于上层或是底层的图像均可以通过滑动、拖拽等形式进行位置上的调整。
155.由此可见,对前置摄像头所采集的图像的至少部分区域放大后,呈现给用户的第一图像包括放大后的图像与应用界面。经过上述处理过程后,用户可以观看到更加清晰的其他用户所在区域的图像,这样可以更有利与后续举证。
156.考虑到在图像采集过程中,前置摄像头通常默认以采集区域的中心作为对焦窗口所在位置实现对焦、曝光,在本发明实施例一种可能的实现方式中,为了使作为偷窥者的其他用户所在的区域呈现的更加清晰,在执行步骤202通过前置摄像头采集图像之前,还可以执行步骤501,且在执行完步骤501之后还可以执行步骤502:
157.步骤501、将前置摄像头的对焦窗口调整至除预设用户以外的其他用户所在的区域。
158.以图15所示所示图像为例,原有对焦窗口的位置为如图19中的(a)所示的位置,即图像的中心区域,经过调整后,对焦窗口的位置可以为如图19中的(b)所示的位置,即除预设用户意外的其他用户所在的区域。
159.需要说明的是,调整后的对焦窗口与其他用户所在的区域至少存在部分重叠,也就意味着,调整后的对焦窗口可以完全处于其他用户所在的区域之内,或是覆盖部分其他用户所在的区域,或是覆盖全部其他用户所在的区域,在此不做限定。在本发明实施例中,只要确保对焦窗口经过调整后,能够更好地实现其他用户所在的区域的对焦即可。
160.如图20所示,为对焦窗口调整的过程示意图。在摄像头(即前置摄像头)采集图像(即原始图像)后,可以通过调动自动对焦算法,实现图像对焦数据的生成,之后判断当前所采集的原始图像是否清晰,具体的实现过程可以为采用af算法计算对比度等参数,以衡量该原始图像是否清晰。若不清晰则通过激励接口向激励器发送控制信号,告知驱动芯片(driver ic)需要驱动马达调整的幅度,之后由驱动芯片驱动马达实现镜头位置的调整,并将调整后的信息反馈给激励接口。
161.在实际操作过程中,上述对焦窗口的调整可以在终端识别到其他用户、并确定其他用户所在的区域后实现,也可以由用户通过手动调整的方式,由用户直接在显示屏上通过点击、滑动等操作,实现对焦窗口的调整,在此不做限定。
162.由此可见,在本发明实施例中,可以通过对焦窗口的调整,使最终呈现的其他用户所在区域的图像更加清晰。
163.步骤502、基于对焦窗口当前所处的位置,调整图像中不同区域的曝光权重。
164.在调整对焦窗口的基础上,终端还可以通过调整指定区域中部分或是全部区域的曝光权重,进一步提升其他用户所在区域的图像的清晰度。需要说明的是,在本发明实施例中,可以将采集到的图像划分为若干小窗口,比如8*8,并为每个小窗口分配相应的权重。比如,以图21中的(a)所示的曝光权重示意图为例,其中,数字越大则表示这部分区域(即小窗口)的曝光权重越高,即在成像过程中需要着重考虑曝光权重相对较高的区域是否亮度合适。在对焦窗口经过调整后,即将对焦窗口从中心区域调整至中心靠左的区域后,图像的曝光权重也可以适当调整,调整后的曝光权重示意图为如图21中的(b)所示的示意图。
165.显而易见,越靠近对焦窗口的位置的区域曝光权重越高。即通过加大边缘处其他用户所在区域的权重,以动态调整曝光时间、增益,确保其他用户所在区域的亮度处于合适的状态,可以避免前置摄像头所采集图像中其他用户所在的区域曝光过度或是不足所带来的问题。其中,曝光过度会导致成像亮度过高,曝光不足会导致成像亮度过暗。
166.考虑到取证不仅需要将其他用户的偷窥行为呈现给用户,后续可能需要将采集到的内容呈现给警方或是相关执法部门,在本发明实施例的一个可能的实现方式中,还可以对采集到的内容进行存储,并选择性地向除终端以外的其他设备,即目标设备发送该采集
到的内容。因此,在如图3所示的实现方式的基础上,还可以实现为如图22所示的实现方式。其中,在执行完步骤203中显示屏呈现至少两个显示窗口之后,还可以执行步骤601和/或步骤602;也可以在显示屏呈现至少两个显示窗口的同时,执行步骤601和/或步骤602;也可以在显示屏呈现至少两个显示窗口之前,执行步骤601和/或步骤602,本发明实施例对各步骤的执行顺序不做限定。
167.步骤601、自动存储第一图像。
168.在本发明实施例中,获取当前显示屏呈现的内容的方式可以有多种,比如,截屏、录屏等操作。比如,在显示屏上设置有类似于悬浮窗一样的快捷键,用户可以通过点击该快捷键来触发截屏、录屏等操作,如图23所示。其中,图中仅示出该快捷键一种可能的存在形式,对于快捷键而言,可以隐藏设置,在用户需要时通过点击、滑动等操作使该快捷键呈现,在此不做限定。在本发明实施例中,用户还可以通过双击某功能键或是同时点击至少两个功能键等方式来触发截屏、录屏等操作,在此不做限定。
169.在成功获取当前显示屏呈现的内容之后,终端可以自动将所获取的内容存储在预先设置的本地存储区域中,供用户后续调取、观看等。
170.步骤602、向目标设备发送至少两个显示窗口呈现的内容。
171.需要说明的是,终端还可以向目标设备发送当前显示屏呈现的应用的运行界面和前置摄像头所采集的图像,以实现举证或是存储的功能。比如,目标设备可以为除该终端以外的其他设备,也可以为网络侧用于实现数据存储的服务器等第三方设备。
172.由此可见,在本发明实施例中,采用上述实现方式可以对取证后得到的内容进行存储,供后续举证使用,或是直接将相关内容递交至执法部门。
173.需要说明的是,向目标设备发送至少两个显示窗口呈现的内容的过程也可以实现为终端自动向目标设备发送至少两个显示窗口呈现的内容。也就意味着,在显示屏呈现至少两个显示窗口后,为了确保举证信息被及时传递给执法部门或是尽快存储至第三方设备,可以自动触发终端实现发送至少两个显示窗口呈现的内容的操作。
174.例如,如图24所示,为本发明实施例提供的一种取证信息获取方法的流程图。该方法包括:
175.步骤1a、开启支付(隐私)界面。
176.步骤2a、启动监控功能。
177.需要说明的是,上述监控功能指的是前置摄像头采集图像,同时终端监控当前显示界面呈现的内容以及用户的操作。
178.步骤3a、判断当前是否属于偷窥场景。其中,若是则执行步骤4a,若不是则继续执行监控功能。
179.在本发明实施例中,用于判断是否属于偷窥场景的方式有多种,比如,前文提到的检测采集到的图像中是否存在除预设用户以外的其他用户等。
180.步骤4a、自动分屏显示(拍照)。
181.此时采用的获取图像的手段为通过终端的前置摄像头进行拍照。
182.步骤5a、其他用户图像放大。
183.指的是将采集到的图像中其他用户所在区域进行图像放大。
184.步骤6a、自动对焦曝光。
185.即针对已经完成放大的其他用户所在区域的图像,实现自动对焦,以及结合对焦后的图像完成曝光。
186.步骤7a、获取取证信息。
187.即通过截屏或是录屏的方式获取当前终端的显示屏呈现的界面。
188.再例如,如图25所示,为本发明实施例提供的另一种取证信息获取方法的流程图。该方法包括:
189.步骤1b、开启支付(隐私)界面。
190.步骤2b、启动监控功能。
191.步骤3b、判断当前是否属于偷窥场景。其中,若是则执行步骤4b,若不是则继续执行监控功能。
192.步骤4b、自动分屏显示(拍照)。
193.其中,步骤1b至步骤4b与上述步骤1a至步骤4a相同,在此不做赘述。
194.步骤5b、调整对焦窗对焦。
195.调整对焦窗的过程可以参考上述实施例的文字内容,在此不做赘述。
196.步骤6b、调整ae权重曝光。
197.调整曝光权重的过程可以参考上述实施例的文字内容,在此不做赘述。
198.步骤7b、其他用户图像放大。
199.步骤8b、获取取证信息。
200.其中,步骤7b与步骤5a相同,步骤8b与步骤7a相同,在此不做赘述。
201.在本发明实施例中,终端可以发出提示信息,以提示用户注意保护个人信息。如图26所示为一中提示用户注意保护个人信息的界面示意图。
202.在图26中,终端弹出对话框,并在对话框中呈现“当前环境存在安全隐患,请注意保护个人隐私”的字样,以提示用户注意保护个人信息。需要说明的是,对话框的呈现位置、对话框中显示的内容,以及呈现对话框时作为背景的呈现界面等,不仅限于图26中所示的情况,对于上述内容,在本发明实施例中不予限定。另外,终端还可以通过语音提示、响铃等方式提示注意保护个人信息。
203.另外,在图26中,终端提示注意保护个人信息的时机为终端通过显示屏呈现第一图像之后,但在实际提示过程中,终端可以在确认应用与预设应用匹配,或是前置摄像头采集的图像满足预设条件等情况下提示用户,在此对于提示的时机不予限定。
204.为了安全起见,终端还可以在确定用户存的信息存在安全隐患后,通过显示屏呈现预设界面。其中,预设界面指的是用户或是手机出厂前所设置的显示界面,包括但不仅限于诸如图片、终端主界面等安全性需求较低的显示界面或操作界面。当然,预设界面也可以为用户在访问当前应用界面之前所访问的那个界面,或是当前处于后台运行且用户将该界面对应的应用切换至后台的时间较短的界面等,也可以在应用界面上叠加图片或动画,其中,图片或动画可以被移动,也可以被取消,在此不予限定。如图27所示,为终端向用户呈现作为预设界面的终端主界面的示意图。
205.比如,终端接收用户输入的第一操作,其中,该第一操作用于启动终端中的某一应用。终端响应于第一操作,通过显示屏呈现该应用的运行界面,并当该应用与预设应用匹配时,自动开启前置摄像头,并通过前置摄像头采集图像。当前置摄像头采集的图像满足预设
条件时,显示屏呈现至少两个显示窗口,其中,第一显示窗口显示应用的运行界面,第二显示窗口显示前置摄像头采集的图像。之后终端可以自动存储至少两个显示窗口呈现的内容;并选择性地向目标设备发送至少两个显示窗口呈现的内容。为了提示注意保护个人信息,还可以发出提示,和/或为了直接帮助预设用户有效保护个人信息,还可以通过显示屏呈现预设界面,其中,提示信息用于提示注意保护个人信息。
206.其中,第二显示窗口中显示的内容还可以为放大后的图像,即在显示第二显示窗口之前,终端可以对前置摄像头所采集的图像的至少部分区域放大,此时,前置摄像头的对焦窗口位于除预设用户以外的其他用户所在的区域。
207.在本发明实施例中,向目标设备发送至少两个显示窗口呈现的内容,可以具体实现为:
208.接收用户输入的第二操作,该第二操作用于触发终端将至少两个显示窗口呈现的内容传递给目标设备。终端响应于第二操作,向目标设备发送至少两个显示窗口呈现的内容。或者,在本发明实施例中,终端可以自动向目标设备发送至少两个显示窗口呈现的内容。
209.需要说明的是,预设条件至少包括:
210.前置摄像头采集的图像中包括除预设用户以外的其他用户,且其他用户距离预设用户的距离小于设定值;和/或前置摄像头采集的图像中包括除预设用户以外的其他用户,且其他用户距离终端的距离小于设定值;和/或前置摄像头采集的图像中包括预设用户的两只眼睛,还至少包括第三只眼睛;和/或对前置摄像头采集的图像进行人脸识别,图像中包括除预设的图像以外的面部图像。
211.此外,上述应用的运行界面包括但不仅限于密码输入界面,还可以为其他涉及到预设用户个人信息的界面,当然也可以为安全性需求较高的界面,在此不予限定。
212.这样,终端就能够在其他用户具有偷窥行为的情况下,将其他用户的偷窥行为,以及偷窥到的内容同时呈现,从而解决无法对其他用户的偷窥行为进行举证的问题。
213.本发明实施例提供一种显示装置,应用于具有前置摄像头与显示屏的终端,其中,前置摄像头与显示屏在所述终端的同一侧。该装置为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本发明能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
214.本发明实施例可以根据上述方法示例对该装置进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本发明实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
215.如图28所示,为上述实施例中所涉及的显示装置的一种可能的结构示意图。显示装置10包括:显示模块11、采集模块12、启动模块13、放大模块14、存储模块15、发送模块16和提示模块17。其中,显示模块11用于支持显示装置10实现应用的运行界面的显示,以及至
少两个显示窗口的显示;采集模块12用于支持显示装置10完成图像的采集;启动模块13用于支持显示装置10自动开启前置摄像头;放大模块14用于支持显示装置10对该图像进行放大处理;存储模块15用于支持显示装置10自动存储至少两个显示窗口呈现的内容,和/或存储所需的程序代码和数据;发送模块16用于支持显示装置10向目标设备发送至少两个显示窗口呈现的内容,以及支持显示装置10中各个模块之间进行数据交互;提示模块17用于支持显示装置10提示注意保护个人信息。
216.其中,启动模块13、放大模块14可以实现为处理器或控制器,例如可以为图1中的处理器101,其可以为是中央处理器(central processing unit,cpu),通用处理器,数字信号处理器(digital signal processor,dsp),专用集成电路(application-specific integrated circuit,asic),现场可编程门阵列(field programmable gate array,fpga)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框,模块和电路。所述处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,dsp和微处理器的组合等等。发送模块16可以实现为收发器、收发电路或通信接口等。存储模块15可以实现为存储器。
217.若启动模块13、放大模块14实现为处理器,显示模块11、采集模块12、发送模块16和提示模块17实现为收发器,存储模块15实现为存储器,则如图29所示,终端20包括:处理器21、收发器22、存储器23,以及总线24。其中,处理器21、收发器22和存储器23通过总线24相互连接;总线24可以是外设部件互连标准(peripheral component interconnect,pci)总线或扩展工业标准结构(extended industry standard architecture,eisa)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图29中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
218.如图30所示,为上述实施例中所涉及的显示装置的一种可能的结构示意图。显示装置30包括:接收模块31、显示模块32、启动模块33、采集模块34、存储模块35、发送模块36、提示模块37和放大模块38。其中,接收模块31用于支持显示装置30接收用户的第一操作、第二操作;显示模块32用于支持显示装置30实现应用的运行界面的显示,以及至少两个显示窗口的显示;启动模块33用于支持显示装置30自动开启前置摄像头;采集模块34用于支持显示装置30完成图像的采集;存储模块35用于支持显示装置30自动存储至少两个显示窗口呈现的内容,和/或存储所需的程序代码和数据;发送模块36用于支持显示装置30向目标设备发送至少两个显示窗口呈现的内容,以及支持显示装置30中各个模块之间进行数据交互;提示模块37用于支持显示装置30提示注意保护个人信息;放大模块38用于支持显示装置30对该图像进行放大处理。
219.其中,启动模块33、放大模块38可以实现为处理器或控制器,例如可以为图1中的处理器101,其可以为是cpu,通用处理器,dsp,专用集成电路asic,fpga或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框,模块和电路。所述处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,dsp和微处理器的组合等等。接收模块31、发送模块36可以实现为收发器、收发电路或通信接口等。存储模块35可以实现为存储器。
220.若启动模块33、放大模块38实现为处理器,接收模块31、显示模块32、采集模块34、、发送模块36和提示模块37实现为收发器,存储模块35实现为存储器,则如图31所示,终
端40包括:处理器41、收发器42、存储器43,以及总线44。其中,处理器41、收发器42和存储器43通过总线44相互连接;总线44可以是pci总线或eisa总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图31中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
221.本发明实施例提供一种计算机程序产品,该计算机程序产品包括软件代码,该软件代码用于执行上述方法流程。
222.本发明实施例提供一种可读存储介质,包括指令。当该指令在终端上运行时,使得该终端执行上述方法流程。
223.本领域技术人员应该可以意识到,在上述一个或多个示例中,本发明实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
224.以上所述的具体实施方式,对本发明实施例的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明实施例的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本发明实施例的保护范围之内。
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献