一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

手势交互方法、装置及终端设备与流程

2022-02-25 18:17:08 来源:中国专利 TAG:
手势交互方法、装置及终端设备【
技术领域
:】1.本技术涉及移动通信术领域,尤其涉及一种手势交互方法、装置及终端设备。
背景技术
::2.随着终端的形态越来越多样、功能越来越强大,折叠屏、异形屏等各种产品形态的终端进入市场。而随着用户对于终端的功能要求越来越多,终端的分屏场景也越来越常见。用户可以一边看视频,一边聊天;一边看ppt(powerpoint,演示文稿),一边记笔记;一边看直播,一边上网购物。为了更好的多任务体验,用户有着自由移动分屏窗口位置的诉求。在这种场景中,传统的人机交互方式已经不能满足用户需求。3.在折叠屏的终端设备中,分屏线通常位于折叠屏的轴的位置,为了保护折叠屏的轴,折叠屏的轴所处的折叠区域要避免放置控件;其次在折叠屏处于折叠态时,折叠区域的触碰体验不佳。比如在用户需要拖拽分屏窗口的场景中,在折叠屏处于折叠态时,用户拖拽一个窗口从一个屏幕到另一个屏幕时会经过折叠区域,此时用户的手指与屏幕的接触面积突然减少,导致手指与屏幕脱离,如用户想要成功拖拽窗口经过折叠区域,则手指需要对屏幕施加更多的力以保证接触,同时需要改变手的方向,从拉的动作转变为推的动作,使得用户的拖拽体验不佳。技术实现要素:4.有鉴于此,本技术实施例提供了一种手势交互方法、装置及终端设备,用以解决现有技术中用户拖拽窗口经过折叠屏的折叠区域时拖拽体验不佳的技术问题。5.第一方面,本技术实施例提供了一种手势交互方法,应用于具有折叠屏的终端设备中,所述折叠屏包括第一屏幕和第二屏幕,所述折叠屏上显示至少一个应用,所述折叠屏处于折叠状态下,获取用户的手势动作;判断所述手势动作是否与预设的指令手势相符合;在所述手势动作与所述指令手势相符合时,将所述应用移动至所述第一屏幕或所述第二屏幕;其中,所述折叠状态是指所述第一屏幕与所述第二屏幕之间具有夹角时所述折叠屏的状态。6.通过本实施例提供的方案,在终端设备的折叠屏处于折叠状态时,用户可通过输入与预设的指令手势相符合的手势动作,例如敲击终端设备的背面或者摇动终端设备等指令手势对应用的位置进行移动或者对设备进行折叠展开操作。7.在一种优选的实施方案中,在判断用户的手势动作之前,所述方法还包括以下步骤:检测所述折叠屏的使用状态。8.通过本实施例提供的方案,在终端设备的折叠屏处于折叠状态或非折叠状态时采用不同的应用位置移动控制逻辑,避免折叠屏不处于折叠状态时依然执行本方法对应用进行操控而导致应用控制逻辑混乱的问题。9.在一种优选的实施方案中,在检测所述折叠屏的使用状态之前,所述方法还包括以下步骤:检测所述折叠屏所使用的显示功能;根据所述指令手势、所述显示功能和所述应用的数量确定所述应用的移动方式。10.通过本实施例提供的方案,可根据终端设备不同的显示功能,匹配设置更符合当前显示功能的较为优化的应用窗口移动方式。11.在一种优选的实施方案中,若所述显示功能为分屏显示功能,所述应用的移动方式为:显示于所述第一屏幕中的一个或多个应用与显示于所述第二屏幕中的一个或多个应用进行位置互换;或者显示于所述第一屏幕或所述第二屏幕中的一个或多个应用移动至所述第二屏幕或所述第一屏幕。12.通过本实施例提供的方案,在分屏使用场景中,第一屏幕中的应用和第二屏幕中的应用的位置可实现整体互换、局部多个互换、单个互换、整体移动、局部多个移动、单个移动等多种方式,增强用户使用的自由度,使终端设备的功能更加强大。13.在一种优选的实施方案中,若所述显示功能为悬浮窗显示功能,所述应用的移动方式为:悬浮显示于所述第一屏幕或所述第二屏幕上的一个或多个应用移动至所述第二屏幕或所述第一屏幕;或者同时悬浮显示于所述第一屏幕和所述第二屏幕上的一个或多个应用移动至所述第一屏幕或所述第二屏幕。14.通过本实施例提供的方案,在悬浮窗使用场景中,悬浮于第一屏幕和第二屏幕上的应用的位置可全部移动至其中某一个屏幕中、可分为两个应用群组分别移动至两个屏幕中等多种方式,满足用户更加复杂的使用需求,使终端设备的功能更加强大。15.在一种优选的实施方案中,若所述显示功能为分屏显示功能和悬浮窗显示功能,仅悬浮显示的应用响应于所述手势动作进行移动,所述应用的移动方式为:悬浮显示于所述第一屏幕或所述第二屏幕上的一个或多个应用移动至所述第二屏幕或所述第一屏幕;或者同时悬浮显示于所述第一屏幕和所述第二屏幕上的一个或多个应用移动至所述第一屏幕或所述第二屏幕。16.通过本实施例提供的方案,在分屏显示功能和悬浮窗显示功能共存的使用场景中,用户的手势动作仅对呈现在更上层的悬浮窗进行控制,使得终端设备的应用移动控制显得有序。17.在一种优选的实施方案中,当悬浮显示的应用关闭时,分屏显示的应用响应于所述手势动作进行移动。18.通过本实施例提供的方案,在分屏显示功能和悬浮窗显示功能共存的使用场景中,用户若想要控制呈现于悬浮窗的下层的分屏显示的应用,则需要先关闭悬浮窗才能控制移动分屏显示的应用,这种设计的优点是能够避免用户的手势动作在控制悬浮窗或分屏显示的应用时出现控制混乱、操控体验不佳的问题。19.在一种优选的实施方案中,若所述显示功能为悬浮球显示功能,所述应用的移动方式为:以悬浮球形式显示于所述第一屏幕或所述第二屏幕上的一个或多个应用移动至所述第二屏幕或所述第一屏幕;或者同时以悬浮球形式显示于所述第一屏幕和所述第二屏幕上的一个或多个应用移动至所述第一屏幕或所述第二屏幕。20.通过本实施例提供的方案,在悬浮窗使用场景中,悬浮于第一屏幕和第二屏幕上的应用的位置可全部移动至其中某一个屏幕中、可方便用户进行点击,满足用户更加复杂的使用需求,使终端设备的功能更加强大。21.在一种优选的实施方案中,若所述显示功能为悬浮球显示功能和悬浮窗显示功能、悬浮球显示功能和分屏显示功能或者悬浮球显示功能和悬浮窗显示功能以及分屏显示功能共存,仅以悬浮窗形式显示的应用响应于所述手势动作进行移动,所述应用的移动方式为:悬浮窗显示于所述第一屏幕或所述第二屏幕上的一个或多个应用移动至所述第二屏幕或所述第一屏幕;或者同时悬浮窗显示于所述第一屏幕和所述第二屏幕上的一个或多个应用移动至所述第一屏幕或所述第二屏幕。22.通过本实施例提供的方案,在悬浮球显示功能与分屏显示功能和悬浮窗显示功能共存的使用场景中,用户的手势动作仅对呈现在更上层的悬浮窗进行控制,使得终端设备的应用移动控制显得有序。23.在一种优选的实施方案中,当所述折叠屏的使用状态处于非折叠状态时,判断用户的手势动作;显示于所述折叠屏上的应用响应于所述手势动作进行移动。24.通过本实施例提供的方案,在终端设备的折叠屏处于折叠状态时,用户可采用本技术所公开的手势交互方法进行应用窗口的移动,在终端设备的折叠屏不处于折叠状态时,用户可采用现有技术中所公开的方式完成应用窗口的移动。25.在一种优选的实施方案中,所述手势动作包括拖拽所述应用的窗口、点按分屏线、双击折叠屏。26.通过本实施例提供的方案,在终端设备的折叠屏处于折叠状态时,用户采用常规的、便捷的手势动作进行操控即可。27.第二方面,本技术实施例提供了一种手势交互装置,所述装置包括:检测单元,用于检测所述折叠屏的使用状态、检测所述折叠屏的显示功能;判断单元,用于判断用户的手势动作是否与预设的指令手势相符合;处理单元,用于在所述手势动作与所述指令手势相符合时,将所述应用移动至所述第一屏幕或所述第二屏幕。28.通过本实施例提供的方案,在终端设备的折叠屏处于折叠状态时,用户通过输入与预设的指令手势相符合的手势动作,例如敲击终端设备的背面或者摇动终端设备等指令手势对应用的位置进行移动。29.第三方面,本技术实施例提供了一种终端设备,包括:存储器和处理器:所述存储器,用于存储计算机程序;所述处理器,用于执行所述存储器中存储的计算机程序,以使所述终端设备执行如第一方面所述的方法。30.第四方面,本技术实施例提供了一种计算机可读存储介质,包括程序或指令,当所述程序或指令在计算机上运行时,如第一方面所述的方法被执行。31.与现有技术相比,本技术方案至少具有如下有益效果:32.本技术实施例所公开的手势交互方法、装置及终端设备,能够在终端设备的折叠屏处于折叠状态时,在折叠屏的两个屏幕之间实现应用的快速切换和窗口移动,用户无需将屏幕展开,再进行窗口拖拽。同时还避免了用户在折叠屏的两个屏幕之间拖拽窗口经过两个屏幕之间的折痕区域时,由于手指与折叠屏之间的接触面积骤减使应用或窗口脱离手指返回原位,从而导致用户的拖拽体验不佳的问题。【附图说明】33.为了更清楚地说明本技术实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。34.图1是本技术实施例1所提供的终端设备的结构示意图;35.图2是本技术实施例2所提供的手势交互方法的流程示意图;36.图3a至图3f是本技术实施例2所提供的手势交互方法中,折叠屏使用分屏显示功能时,应用的移动方式;37.图4a至图4c是本技术实施例2所提供的手势交互方法中,折叠屏使用悬浮窗显示功能时,应用的移动方式;38.图5a至图5c是本技术实施例2所提供的手势交互方法中,折叠屏同时使用分屏显示功能和悬浮窗显示功能时,应用的移动方式;39.图6a至图6f是本技术实施例2所提供的手势交互方法中,折叠屏使用悬浮球功能时,应用的移动方式;40.图7是本技术实施例3所提供的手势交互装置的结构示意图。41.附图标记:42.1-天线;43.2-天线;44.100-终端设备;110-处理器;120-外部存储器接口;121-内部存储器;130-通用串行总线接口;140-充电管理模块;141-电源管理模块;142-电池;150-移动通信模块;160-无线通信模块;170-音频模块;170a-扬声器;170b-受话器;170c-麦克风;170d-耳机接口;180-传感器模块;180a-压力传感器;180b-陀螺仪传感器;180c-气压传感器;180d-磁传感器;180e-加速度传感器;180f-距离传感器;180g-近光传感器;180h-指纹传感器;180j-温度传感器;180k-触摸传感器;180l-环境光传感器;180m-骨传导传感器;190-按键;191-马达;192-指示器;193-摄像头;194-显示屏;195-用户标识模块卡接口;45.1000-手势交互装置;1001-检测单元;1002-判断单元;1003-处理单元。【具体实施方式】46.为了更好的理解本技术的技术方案,下面结合附图对本技术实施例进行详细描述。47.应当明确,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本技术保护的范围。48.以下描述终端设备和终端设备的实现方法的实施例,其中,该终端设备可以是移动电话(又称智能终端设备)、平板电脑(tabletpersonalcomputer)、个人数字助理(personaldigitalassistant)、电子书阅读器(e-bookreader)或虚拟现实交互设备(virtualrealityinteractivedevice)等,该终端设备可以接入各种类型的通信系统中,例如:长期演进(longtermevolution,lte)系统,未来的第五代(5thgeneration,5g)系统,新一代无线接入技术(newradioaccesstechnology,nr),及未来的通信系统,如6g系统;还可以是无线局域网(wirelesslocalareanetworks,wlan)等。49.为了方便说明,在以下实施例中,以智能终端设备为例进行说明。50.实施例151.如图1所示的是本技术实施例1公开了一种终端设备的结构示意图,其中,终端设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universalserialbus,usb)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170a,受话器170b,麦克风170c,耳机接口170d,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriberidentificationmodule,sim)卡接口195等。其中传感器模块180可以包括压力传感器180a,陀螺仪传感器180b,气压传感器180c,磁传感器180d,加速度传感器180e,距离传感器180f,接近光传感器180g,指纹传感器180h,温度传感器180j,触摸传感器180k,环境光传感器180l,骨传导传感器180m等。52.可以理解的是,本发明实施例示意的结构并不构成对终端设备100的具体限定。在本技术另一些实施例中,终端设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。53.处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(applicationprocessor,ap),调制解调处理器,图形处理器(graphicsprocessingunit,gpu),图像信号处理器(imagesignalprocessor,isp),控制器,视频编解码器,数字信号处理器(digitalsignalprocessor,dsp),基带处理器,和/或神经网络处理器(neural-networkprocessingunit,npu)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。54.控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。55.处理器110中还可以设置存储器,用于存储指令和数据。在一种实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。56.在一种实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integratedcircuit,i2c)接口,集成电路内置音频(inter-integratedcircuitsound,i2s)接口,脉冲编码调制(pulsecodemodulation,pcm)接口,通用异步收发传输器(universalasynchronousreceiver/transmitter,uart)接口,移动产业处理器接口(mobileindustryprocessorinterface,mipi),通用输入输出(general-purposeinput/output,gpio)接口,用户标识模块(subscriberidentitymodule,sim)接口,和/或通用串行总线(universalserialbus,usb)接口等。57.i2c接口是一种双向同步串行总线,包括一根串行数据线(serialdataline,sda)和一根串行时钟线(derailclockline,scl)。在一种实施例中,处理器110可以包含多组i2c总线。处理器110可以通过不同的i2c总线接口分别耦合触摸传感器180k,充电器,闪光灯,摄像头193等。例如:处理器110可以通过i2c接口耦合触摸传感器180k,使处理器110与触摸传感器180k通过i2c总线接口通信,实现终端设备100的触摸功能。58.i2s接口可以用于音频通信。在一种实施例中,处理器110可以包含多组i2s总线。处理器110可以通过i2s总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一种实施例中,音频模块170可以通过i2s接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。59.pcm接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一种实施例中,音频模块170与无线通信模块160可以通过pcm总线接口耦合。在一种实施例中,音频模块170也可以通过pcm接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述i2s接口和所述pcm接口都可以用于音频通信。60.uart接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一种实施例中,uart接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过uart接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一种实施例中,音频模块170可以通过uart接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。61.mipi接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。mipi接口包括摄像头串行接口(cameraserialinterface,csi),显示屏串行接口(displayserialinterface,dsi)等。在一种实施例中,处理器110和摄像头193通过csi接口通信,实现终端设备100的拍摄功能。处理器110和显示屏194通过dsi接口通信,实现终端设备100的显示功能。62.gpio接口可以通过软件配置。gpio接口可以被配置为控制信号,也可被配置为数据信号。在一种实施例中,gpio接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。gpio接口还可以被配置为i2c接口,i2s接口,uart接口,mipi接口等。63.usb接口130是符合usb标准规范的接口,具体可以是miniusb接口,microusb接口,usbtypec接口等。usb接口130可以用于连接充电器为终端设备100充电,也可以用于终端设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他终端设备,例如ar设备等。64.可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对终端设备100的结构限定。在本技术另一些实施例中,终端设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。65.充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一种有线充电的实施例中,充电管理模块140可以通过usb接口130接收有线充电器的充电输入。在一种无线充电的实施例中,充电管理模块140可以通过终端设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为终端设备供电。66.电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在一种实施例中,电源管理模块141也可以设置于处理器110中。在另一种实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。67.终端设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。68.天线1和天线2用于发射和接收电磁波信号。终端设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。69.移动通信模块150可以提供应用在终端设备100上的包括2g/3g/4g/5g等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(lownoiseamplifier,lna)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一种实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一种实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。70.调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170a,受话器170b等)输出声音信号,或通过显示屏194显示图像或视频。在一种实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。71.无线通信模块160可以提供应用在终端设备100上的包括无线局域网(wirelesslocalareanetworks,wlan)(如无线保真(wirelessfidelity,wi-fi)网络),蓝牙(bluetooth,bt),全球导航卫星系统(globalnavigationsatellitesystem,gnss),调频(frequencymodulation,fm),近距离无线通信技术(nearfieldcommunication,nfc),红外技术(infrared,ir)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。72.在一种实施例中,终端设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得终端设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(globalsystemformobilecommunications,gsm),通用分组无线服务(generalpacketradioservice,gprs),码分多址接入(codedivisionmultipleaccess,cdma),宽带码分多址(widebandcodedivisionmultipleaccess,wcdma),时分码分多址(time-divisioncodedivisionmultipleaccess,td-scdma),长期演进(longtermevolution,lte),bt,gnss,wlan,nfc,fm,和/或ir技术等。所述gnss可以包括全球卫星定位系统(globalpositioningsystem,gps),全球导航卫星系统(globalnavigationsatellitesystem,glonass),北斗卫星导航系统(beidounavigationsatellitesystem,bds),准天顶卫星系统(quasi-zenithsatellitesystem,qzss)和/或星基增强系统(satellitebasedaugmentationsystems,sbas)。73.终端设备100通过gpu,显示屏194,以及应用处理器等实现显示功能。gpu为图像处理的微处理器,连接显示屏194和应用处理器。gpu用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个gpu,其执行程序指令以生成或改变显示信息。74.显示屏194用于显示图像,视频等,其中,显示屏194包括显示面板,显示屏具体可以包括折叠屏、异形屏等,显示面板可以采用液晶显示屏(liquidcrystaldisplay,lcd),有机发光二极管(organiclight-emittingdiode,oled),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganiclightemittingdiode的,amoled),柔性发光二极管(flexlight-emittingdiode,fled),miniled,microled,micro-oled,量子点发光二极管(quantumdotlightemittingdiodes,qled)等。在一种实施例中,终端设备100可以包括1个或n个显示屏194,n为大于1的正整数。75.终端设备100可以通过isp,摄像头193,视频编解码器,gpu,显示屏194以及应用处理器等实现拍摄功能。76.isp用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给isp处理,转化为肉眼可见的图像。isp还可以对图像的噪点,亮度,肤色进行算法优化。isp还可以对拍摄场景的曝光,色温等参数优化。在一种实施例中,isp可以设置在摄像头193中。77.摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(chargecoupleddevice,ccd)或互补金属氧化物半导体(complementarymetal-oxide-semiconductor,cmos)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb,yuv等格式的图像信号。在一种实施例中,终端设备100可以包括1个或n个摄像头193,n为大于1的正整数。78.数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当终端设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。79.视频编解码器用于对数字视频压缩或解压缩。终端设备100可以支持一种或多种视频编解码器。这样,终端设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(movingpictureexpertsgroup,mpeg)1,mpeg2,mpeg3,mpeg4等。80.npu为神经网络(neural-network,nn)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过npu可以实现终端设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。81.外部存储器接口120可以用于连接外部存储卡,例如microsd卡,实现扩展终端设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。82.内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储终端设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universalflashstorage,ufs)等。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行终端设备100的各种功能应用以及数据处理。83.终端设备100可以通过音频模块170,扬声器170a,受话器170b,麦克风170c,耳机接口170d,以及应用处理器等实现音频功能。例如音乐播放,录音等。84.音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一种实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。85.扬声器170a,也称“喇叭”,用于将音频电信号转换为声音信号。终端设备100可以通过扬声器170a收听音乐,或收听免提通话。86.受话器170b,也称“听筒”,用于将音频电信号转换成声音信号。当终端设备100接听电话或语音信息时,可以通过将受话器170b靠近人耳接听语音。87.麦克风170c,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170c发声,将声音信号输入到麦克风170c。终端设备100可以设置至少一个麦克风170c。在另一些实施例中,终端设备100可以设置两个麦克风170c,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,终端设备100还可以设置三个,四个或更多麦克风170c,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。88.耳机接口170d用于连接有线耳机。耳机接口170d可以是usb接口130,也可以是3.5mm的开放移动终端设备平台(openmobileterminalplatform,omtp)标准接口,美国蜂窝电信工业协会(cellulartelecommunicationsindustryassociationoftheusa,ctia)标准接口。89.压力传感器180a用于感受压力信号,可以将压力信号转换成电信号。在一种实施例中,压力传感器180a可以设置于显示屏194。压力传感器180a的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180a,电极之间的电容改变。终端设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,终端设备100根据压力传感器180a检测所述触摸操作强度。终端设备100也可以根据压力传感器180a的检测信号计算触摸的位置。在一种实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。90.陀螺仪传感器180b可以用于确定终端设备100的运动姿态。在一种实施例中,可以通过陀螺仪传感器180b确定终端设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180b可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180b检测终端设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消终端设备100的抖动,实现防抖。陀螺仪传感器180b还可以用于导航,体感游戏场景。91.气压传感器180c用于测量气压。在一种实施例中,终端设备100通过气压传感器180c测得的气压值计算海拔高度,辅助定位和导航。92.磁传感器180d包括霍尔传感器。终端设备100可以利用磁传感器180d检测翻盖皮套的开合。在一种实施例中,当终端设备100是翻盖机时,终端设备100可以根据磁传感器180d检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。93.加速度传感器180e可检测终端设备100在各个方向上(一般为三轴)加速度的大小。当终端设备100静止时可检测出重力的大小及方向。还可以用于识别终端设备姿态,应用于横竖屏切换,计步器等应用。94.距离传感器180f,用于测量距离。终端设备100可以通过红外或激光测量距离。在一种实施例中,拍摄场景,终端设备100可以利用距离传感器180f测距以实现快速对焦。95.接近光传感器180g可以包括例如发光二极管(led)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。终端设备100通过发光二极管向外发射红外光。终端设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定终端设备100附近有物体。当检测到不充分的反射光时,终端设备100可以确定终端设备100附近没有物体。终端设备100可以利用接近光传感器180g检测用户手持终端设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180g也可用于皮套模式,口袋模式自动解锁与锁屏。96.环境光传感器180l用于感知环境光亮度。终端设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180l也可用于拍照时自动调节白平衡。环境光传感器180l还可以与接近光传感器180g配合,检测终端设备100是否在口袋里,以防误触。97.指纹传感器180h用于采集指纹。终端设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。98.温度传感器180j用于检测温度。在一种实施例中,终端设备100利用温度传感器180j检测的温度,执行温度处理策略。例如,当温度传感器180j上报的温度超过阈值,终端设备100执行降低位于温度传感器180j附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,终端设备100对电池142加热,以避免低温导致终端设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,终端设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。99.触摸传感器180k,也称“触控器件”。触摸传感器180k可以设置于显示屏194,由触摸传感器180k与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180k用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180k也可以设置于终端设备100的表面,与显示屏194所处的位置不同。100.在一种实施例中,由触摸传感器180k与显示屏194组成的触控屏可以位于终端设备100的侧边区域或折叠区域,用于当用户手接触触控屏时,确定用户触碰的位置以及触碰的手势;例如,用户手持终端设备时,可以通过大拇指点击触控屏上的任一位置,则触摸传感器180k可以检测到用户的点击操作,并将该点击操作传递给处理器,处理器根据该点击操作确定该点击操作用于唤醒屏幕。101.骨传导传感器180m可以获取振动信号。在一种实施例中,骨传导传感器180m可以获取人体声部振动骨块的振动信号。骨传导传感器180m也可以接触人体脉搏,接收血压跳动信号。在一种实施例中,骨传导传感器180m也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180m获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180m获取的血压跳动信号解析心率信息,实现心率检测功能。102.按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。终端设备100可以接收按键输入,产生与终端设备100的用户设置以及功能控制有关的键信号输入。103.马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。104.指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。105.sim卡接口195用于连接sim卡。sim卡可以通过插入sim卡接口195,或从sim卡接口195拔出,实现和终端设备100的接触和分离。终端设备100可以支持1个或n个sim卡接口,n为大于1的正整数。sim卡接口195可以支持nanosim卡,microsim卡,sim卡等。同一个sim卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。sim卡接口195也可以兼容不同类型的sim卡。sim卡接口195也可以兼容外部存储卡。终端设备100通过sim卡和网络交互,实现通话以及数据通信等功能。在一种实施例中,终端设备100采用esim,即:嵌入式sim卡。esim卡可以嵌在终端设备100中,不能和终端设备100分离。106.当终端设备采用异形屏或折叠屏时,终端设备的触控显示屏可以包括多个触控显示区域,例如,终端设备的折叠屏在折叠状态下包括折叠区域,该折叠区域也可以实现触控响应。但是,现有技术中终端设备对特定的触控显示区域的操作局限较大,没有专门针对特定的触控显示区域的相关操作,基于此,本技术实施例提供一种手势交互方法,该手势交互方法中的终端设备的侧边区域或折叠区域存在触控响应区域,终端设备可以获取该触控响应区域的输入事件,并响应于所述输入事件,触发所述终端设备执行所述输入事件对应的操作指令,以实现对终端设备的侧边区域或折叠区域的手势操作,提升终端设备的操控体验。107.本技术实施例1所公开的终端设备中,存储器用于存储计算机程序,处理器用于执行存储器中存储的计算机程序,以使终端设备执行本技术实施例2所述的方法。108.实施例2109.如图2所示的是本技术实施例2所提供的手势交互方法的步骤示意图。110.该手势交互方法应用于具有折叠屏的终端设备中,折叠屏包括第一屏幕和第二屏幕,折叠屏上显示至少一个应用。111.该手势交互方法具体包括以下步骤:112.step101:检测折叠屏所使用的显示功能;113.step102:根据指令手势、显示功能和应用的数量确定应用的移动方式;114.step103:检测折叠屏的使用状态;115.step104:获取用户的手势动作;116.step105:判断所述手势动作是否与预设的指令手势相符合;117.step106:在手势动作与指令手势相符合时,将应用移动至第一屏幕或第二屏幕。118.其中,折叠状态是指第一屏幕与第二屏幕之间具有夹角时折叠屏的状态,夹角大小大于0°小于180°。119.具体来说,在一种实现方式中,若显示功能为分屏显示功能,应用的移动方式为:显示于第一屏幕中的一个或多个应用与显示于第二屏幕中的一个或多个应用进行位置互换;或者显示于第一屏幕或第二屏幕中的一个或多个应用移动至第二屏幕或第一屏幕。120.如图3a至图3f所示,当用户在折叠屏的折叠状态使用分屏显示功能,系统判断到用户使用满足的预设的指令手势时,系统将第一屏幕中显示的应用a与第二屏幕中显示的应用b进行位置互换(参见图3a和图3b)。有时,分屏显示的应用可能为三个、四个或者更多(参见图3c),此时判断到预设的指令手势时,系统将第一屏幕中显示的所有应用与第二屏幕中显示的所有应用进行位置互换(参见图3d)。如果有分屏应用窗口同时在第一屏幕与第二屏幕中显示,该分屏应用窗口不做移动(参见图3d中的应用c)。如果分屏应用窗口皆在第一屏幕与第二屏幕中显示(参见图3e所示),将应用a移动到第一屏幕显示,应用b移动到第二屏幕显示。(参见图3f所示)121.当用户在折叠屏的非折叠状态使用分屏显示功能时,系统判断到用户使用满足中的预设的指令手势,系统不做任何反应。用户仍需使用现有技术中方式进行窗口移动操作。122.预设的指令手势包括:设备的敲击或者设备的摇动、设备的折叠展开等等。以设备的敲击为例,用户在折叠屏的折叠状态时,敲击设备的第一屏幕或者第二屏幕的背面,第一屏幕的应用将和第二屏幕的应用完成位置切换。123.在分屏使用场景中,第一屏幕中的应用和第二屏幕中的应用的位置可实现整体互换、局部多个互换、单个互换、整体移动、局部多个移动、单个移动等多种方式,增强用户使用的自由度,使终端设备的功能更加强大。124.在一种实现方式中,若显示功能为悬浮窗显示功能,应用的移动方式为:悬浮显示于第一屏幕或第二屏幕上的一个或多个应用移动至第二屏幕或第一屏幕;或者同时悬浮显示于第一屏幕和第二屏幕上的一个或多个应用移动至第一屏幕或第二屏幕。125.如图4a至图4c所示,当用户在折叠屏的折叠状态使用悬浮窗时,系统判断到用户使用满足的预设的指令手势,对预设的指令手势的移动位置进行判断,再对悬浮窗的位置进行移动。以敲击手势为例,如果用户敲击第一屏幕的背面,同时应用a在第一屏幕内显示,则将应用a移动到另一屏幕即第二屏幕内(图4b),否则不做任何移动。126.如果悬浮窗口同时在第一屏幕和第二屏幕显示(图4a),敲击第二屏幕的背面,窗口将移动到第一屏幕内并只在第一屏幕内显示(图4c)。如果敲击第一屏幕的背面,窗口将移动到第二屏幕并只在第二屏幕内显示(图4b)。127.有时,悬浮窗的数量超过一个,如果判断到预设的指令手势时,对预设的指令手势的移动位置进行判断,对某一屏幕内所有悬浮窗口进行移动。128.如果,用户使用分屏窗口与悬浮窗的组合时,预设的指令手势只对悬浮窗的位置进行操作,如需控制分屏窗口的位置,需要关掉所有悬浮窗口,再触发预设的指令手势。129.在悬浮窗使用场景中,悬浮于第一屏幕和第二屏幕上的应用的位置可全部移动至其中某一个屏幕中、可分为两个应用群组分别移动至两个屏幕中等多种方式,满足用户更加复杂的使用需求,使终端设备的功能更加强大。130.在一种实现方式中,若显示功能为分屏显示功能和悬浮窗显示功能,仅悬浮显示的应用响应于手势动作进行移动,应用的移动方式为:悬浮显示于第一屏幕或第二屏幕上的一个或多个应用移动至第二屏幕或第一屏幕;或者同时悬浮显示于第一屏幕和第二屏幕上的一个或多个应用移动至第一屏幕或第二屏幕(参见图5a、图5b和图5c)。131.在分屏显示功能和悬浮窗显示功能共存的使用场景中,用户的手势动作仅对呈现在更上层的悬浮窗进行控制,使得终端设备的应用移动控制显得有序。132.在一种实现方式中,当悬浮显示的应用关闭时,分屏显示的应用响应于手势动作进行移动。133.在分屏显示功能和悬浮窗显示功能共存的使用场景中,用户若想要控制呈现于悬浮窗的下层的分屏显示的应用,则需要先关闭悬浮窗才能控制移动分屏显示的应用,这种设计的优点是能够避免用户的手势动作在控制悬浮窗或分屏显示的应用时出现控制混乱、操控体验不佳的问题。134.在一种实现方式中,若显示功能为应用悬浮球与分屏显示功能或者悬浮窗显示功能时,仅分屏显示的应用或者悬浮窗显示的应用响应于手势动作进行移动。135.在应用悬浮球与分屏显示功能或者悬浮窗显示功能共存的使用场景中,用户的手势动作仅对呈现在更上层、更有即时使用意义的悬浮窗或者分屏进行控制,使得终端设备的应用控制显得有序、有意义(参见图6e、6f)。136.在一种实现方式中,若分屏显示的应用以及悬浮窗显示的应用关闭,应用悬浮球响应于手势动作进行移动。137.在应用悬浮球功能与分屏显示功能或者悬浮窗显示功能共存的使用场景中,用户若想控制此时没有即时使用意义的应用悬浮球时,则需要先关闭分屏显示的应用或者关闭悬浮窗才能控制移动应用悬浮球,这种设计的优点是能够避免用户的手势动作在控制悬浮窗或分屏显示应用时出现控制混乱、操控体验不佳的问题(参见图6a、6b)。138.同理,类似应用悬浮球功能的漂浮在应用界面上的系统功能还包括悬浮导航球,侧边条以及气泡通知等(参见图6c、6d)。139.在折叠屏处于折叠状态时,可对预设的指令手势的移动方向进行判断,将分屏窗口或者悬浮窗进行移动并在指定的屏幕上进行呈现。140.采用本技术实施例的手势交互方法,在终端设备的折叠屏处于折叠状态时,用户可通过输入与预设的指令手势相符合的手势动作,例如敲击终端设备的背面或者摇动终端设备等指令手势对应用的位置进行移动。141.在步骤step104之前采用步骤step103,即在获取用户的手势动作之前,先检测折叠屏的使用状态,可以在终端设备的折叠屏处于折叠状态或非折叠状态时采用不同的应用位置移动控制逻辑,避免折叠屏不处于折叠状态时依然执行本方法对应用进行操控而导致应用控制逻辑混乱的问题。142.在步骤step103之前采用步骤step101和步骤step102,即在检测折叠屏的使用状态之前,检测折叠屏所使用的显示功能;根据指令手势、显示功能和应用的数量确定应用的移动方式。可根据终端设备不同的显示功能,匹配设置更符合当前显示功能的较为优化的应用窗口移动方式。143.在一种实现方式中,当折叠屏的使用状态处于非折叠状态时,同样会执行步骤step104和步骤step105,即获取和判断用户的手势动作,且显示于折叠屏上的应用响应于手势动作进行移动。144.具有折叠屏的终端设备处于非折叠状态时,用户可使用现有技术公开的方式完成应用窗口的移动。在折叠状态时,用户使用预设的指令手势完成窗口的移动。145.在终端设备的折叠屏处于折叠状态时,用户可采用本技术所公开的手势交互方法进行应用窗口的移动,在终端设备的折叠屏不处于折叠状态时,用户可采用现有技术中所公开的方式完成应用窗口的移动。146.在一种实现方式中,手势动作包括拖拽应用的窗口、点按分屏线、双击折叠屏。147.在终端设备的折叠屏处于折叠状态时,用户采用常规的、便捷的手势动作进行操控即可。148.实施例3149.如图6所示的是本技术实施例3所提供的手势交互装置1000的结构示意图,该手势交互装置1000可用于执行如图2所示的手势交互方法。在该手势交互装置1000包括:检测单元1001,用于检测折叠屏的使用状态、检测折叠屏的显示功能;判断单元1002,用于判断用户的手势动作是否与预设的指令手势相符合;处理单元1003,用于在手势动作与指令手势相符合时,将应用移动至第一屏幕或第二屏幕。150.采用本技术实施例3所提供的的手势交互装置1000,能够在终端设备的折叠屏处于折叠状态时,用户通过输入与预设的指令手势相符合的手势动作,例如敲击终端设备的背面或者摇动终端设备等指令手势对应用的位置进行移动。151.在一种实现方式中,所述手势操作包括双击屏幕、摇晃设备、敲击屏幕背面等操作中的一种或多种。152.需要说明的是,上述实施例中的装置可以是终端设备,也可以是应用于终端设备中的芯片或者其他具有上述终端功能的组合器件、部件等。153.实施例4154.本技术实施例4提供了一种计算机可读存储介质,包括程序或指令,当所述程序或指令在计算机上运行时,如第一方面所述的方法被执行。155.在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时,全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digitalsubscriberline,dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,高密度数字视频光盘(digitalvideodisc,dvd))、或者半导体介质(例如,固态硬盘(solidstatedisk,ssd))等。156.本技术实施例所公开的手势交互方法、装置及终端设备,能够在终端设备的折叠屏处于折叠状态时,在折叠屏的两个屏幕之间实现应用的快速切换和窗口移动,用户无需将屏幕展开,再进行窗口拖拽。同时还避免了用户在折叠屏的两个屏幕之间拖拽窗口经过两个屏幕之间的折痕区域时,由于手指与折叠屏之间的接触面积骤减使应用或窗口脱离手指返回原位,从而导致用户的拖拽体验不佳的问题。157.本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本技术的范围。158.以上仅为本技术的较佳实施例而已,并不用以限制本技术,凡在本技术的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本技术保护的范围之内。当前第1页12当前第1页12
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献