界面重构的大屏局部交互方法、装置、设备及存储介质与流程

摘要: 本发明涉及人机交互,尤其涉及一种界面重构的大屏局部交互方法、装置、设备及存储介质。背景技术:1、目前,智能会议平板、教育交互白板、直立式大屏查询机等大尺寸触控设...
界面重构的大屏局部交互方法、装置、设备及存储介质与流程

本发明涉及人机交互,尤其涉及一种界面重构的大屏局部交互方法、装置、设备及存储介质。

背景技术:

1、目前,智能会议平板、教育交互白板、直立式大屏查询机等大尺寸触控设备,其交互方式主要依赖用户对屏幕的直接触控。当需要输入文字时,系统通常会在屏幕底部自动唤起一个占据较大显示区域的虚拟键盘。然而,虚拟键盘的弹出会遮挡屏幕下方的输入框、确认按钮、取消按钮等关键交互元素,用户若需操作被遮挡区域,必须先收起键盘、移动身体或借助外部辅助设备,操作流程繁琐且交互体验被严重打断。同时,挂壁式或站立式大屏设备的安装高度固定,操作者在靠近屏幕使用虚拟键盘时,由于视距过近导致视野受限,屏幕上半部分容易产生视觉畸变和触控盲区,触控高处或远处的界面元素时身体姿势别扭,与后方观看者的最佳视觉体验完全脱节。

2、在软件领域,存在一种“小地图”或“画中画”技术,其原理是将全局画面等比例缩小后固定显示在屏幕角落。但现有小地图技术仅用于视觉监视,不支持在小地图内部进行真实的界面交互操作,且显示内容为固定的全局缩略图,不会因虚拟键盘的弹出而自动改变显示逻辑或提取被遮挡的交互元素,无法解决“被遮挡元素不可触达”以及“高处元素够不着”的问题。

3、综上所述,现有技术中存在的问题亟需得到解决。

技术实现思路

1、本发明提供一种界面重构的大屏局部交互方法、装置、设备及存储介质,用以解决现有技术中的缺陷,使得用户能够在屏幕近场舒适区域内完成对高处或远处控件的精准操作。

2、本发明提供一种界面重构的大屏局部交互方法,包括:

3、检测到大屏设备的虚拟键盘被唤起时,获取所述虚拟键盘在屏幕上的键盘区域信息;

4、基于所述键盘区域信息,遍历当前界面的ui视图树,通过碰撞检测识别被所述虚拟键盘遮挡的至少一个原始交互元素;

5、提取被遮挡的所述ui交互元素的属性数据,并根据所述属性数据,在所述大屏屏幕的局部交互视窗内重构生成对应的代理交互控件;

6、响应于用户在所述局部交互视窗内对所述代理交互控件执行的触控操作,将所述触控操作的坐标映射为大屏屏幕上被遮挡的原始交互元素的目标坐标,并在所述目标坐标处注入触控事件。

7、根据本发明提供的一种界面重构的大屏局部交互方法,所述基于所述键盘区域信息,遍历当前界面的ui视图树,通过碰撞检测识别被所述虚拟键盘遮挡的至少一个原始交互元素这一步骤,具体包括:

8、获取当前界面顶层窗口的视图节点树,所述视图节点树中各节点对应屏幕上的界面元素;

9、将所述键盘区域信息对应的键盘区域矩形作为空间裁剪框,采用深度优先搜索算法对所述视图节点树进行递归遍历,对遍历到的每个节点进行交互属性判定,将通过判定的节点确定为交互属性节点;

10、获取所述交互属性节点的边界坐标矩形,并判断该边界坐标矩形与所述键盘区域信息的键盘区域矩形是否存在交集;

11、若存在交集,则判定该节点对应的原始交互元素被所述虚拟键盘遮挡,将该节点标记为待重构节点,并提取所述待重构节点的属性数据存入待重构队列。

12、根据本发明提供的一种界面重构的大屏局部交互方法,所述将所述键盘区域信息对应的键盘区域矩形作为空间裁剪框,采用深度优先搜索算法对所述视图节点树进行递归遍历,对遍历到的每个节点进行交互属性判定,将通过判定的节点确定为交互属性节点这一步骤,具体包括:

13、所述视图节点树包含各级父容器节点和子节点;

14、遍历至每个父容器节点,并判断该父容器节点的边界坐标矩形是否与所述空间裁剪框存在交集;

15、若完全不相交,则跳过对该父容器节点下所有子节点的遍历,直接处理下一个同级节点;

16、若存在交集的父容器节点,继续遍历该父容器节点下所有子节点,并对每个子节点进行交互属性判定,所述交互属性判定包括:检查节点是否具有可点击属性、可聚焦属性或文本可编辑属性,或者检查节点的类名是否属于预设的交互控件白名单;

17、将通过交互属性判定的节点确定为具有交互属性的节点,获取该节点对应的边界坐标矩形。

18、根据本发明提供的一种界面重构的大屏局部交互方法,所述若存在交集,则判定该节点对应的原始交互元素被所述虚拟键盘遮挡,将该节点标记为待重构节点,并提取所述待重构节点的属性数据存入待重构队列这一步骤,具体包括:

19、计算每个被遮挡的原始交互元素的被遮挡比例,所述被遮挡比例为该原始交互元素的边界坐标矩形与键盘区域矩形的交集面积占该原始交互元素的边界坐标矩形的总面积的比例;

20、将计算出的被遮挡比例与预设的有效可视比例阈值进行比较;

21、将被遮挡比例超过所述有效可视比例阈值的原始交互元素判定为严重遮挡,纳入待重构队列;

22、将被遮挡比例未超过所述有效可视比例阈值的原始交互元素判定为轻微冲突,不进行提取重构。

23、根据本发明提供的一种界面重构的大屏局部交互方法,所述提取被遮挡的所述ui交互元素的属性数据,并根据所述属性数据,在所述大屏屏幕的局部交互视窗内重构生成对应的代理交互控件这一步骤,具体包括:

24、提取被遮挡的原始交互元素的属性数据,所述属性数据包括:控件类型名称、文本内容、背景资源、以及点击事件绑定标识;

25、在所述局部交互视窗内,根据所述控件类型名称,调用原生接口动态实例化对应的原生控件实例,并将所述文本内容和所述背景资源赋值给该原生控件实例,生成代理交互控件;

26、建立所述代理交互控件与原始交互元素的点击事件绑定标识之间的映射关系,并将所述映射关系存入坐标映射表。

27、根据本发明提供的一种界面重构的大屏局部交互方法,所述在所述局部交互视窗内,根据所述控件类型名称,调用原生接口动态实例化对应的原生控件实例,并将所述文本内容和所述背景资源赋值给该原生控件实例,生成代理交互控件这一步骤,具体包括:

28、根据全局缩放系数对所述原生控件实例的宽高进行等比缩放,并根据缩放后的控件尺寸计算对应的目标文字字号;

29、将所述目标文字字号与预设的最小可读字号阈值进行比较;

30、若所述目标文字字号大于或等于所述最小可读字号阈值,则按所述目标文字字号设置控件文字,并将所述文本内容和所述背景资源赋值给所述原生控件实例;

31、若所述目标文字字号小于所述最小可读字号阈值,则保持控件文字以所述最小可读字号阈值显示,并将所述文本内容和所述背景资源赋值给调整后的原生控件实例,生成所述代理交互控件。

32、根据本发明提供的一种界面重构的大屏局部交互方法,所述响应于用户在所述局部交互视窗内对所述代理交互控件执行的触控操作,将所述触控操作的坐标映射为大屏屏幕上被遮挡的原始交互元素的目标坐标,并在所述目标坐标处注入触控事件这一步骤,具体包括:

33、拦截用户在所述局部交互视窗内的触控事件,获取用户手指在所述局部交互视窗内的相对触摸坐标;

34、从坐标映射表中调取该代理交互控件对应的映射档案,所述映射档案包含水平缩放系数、垂直缩放系数和视窗基准坐标;

35、根据所述映射档案对所述相对触摸坐标执行逆向换算,得到大屏屏幕上的绝对目标坐标;

36、调用运动事件构造方法构建触控事件序列,将所述绝对目标坐标赋值给所述触控事件序列的坐标属性;

37、将所述触控事件序列注入到系统窗口管理器的事件派发队列中,以使所述原始交互元素执行触控事件序列。

38、本发明还提供一种界面重构的大屏局部交互装置,包括:

39、信息获取模块,用于检测到大屏设备的虚拟键盘被唤起时,获取所述虚拟键盘在屏幕上的键盘区域信息;

40、碰撞识别模块,用于基于所述键盘区域信息,遍历当前界面的ui视图树,通过碰撞检测识别被所述虚拟键盘遮挡的至少一个原始交互元素;

41、控件生成模块,用于提取被遮挡的所述ui交互元素的属性数据,并根据所述属性数据,在所述大屏屏幕的局部交互视窗内重构生成对应的代理交互控件;

42、触控注入模块,用于响应于用户在所述局部交互视窗内对所述代理交互控件执行的触控操作,将所述触控操作的坐标映射为大屏屏幕上被遮挡的原始交互元素的目标坐标,并在所述目标坐标处注入触控事件。

43、本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述界面重构的大屏局部交互方法。

44、本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述界面重构的大屏局部交互方法。

45、本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述界面重构的大屏局部交互方法。

46、本发明提供的界面重构的大屏局部交互方法、装置、设备及存储介质,本发明通过检测虚拟键盘的键盘区域信息,并结合视图树的碰撞检测,自动识别被键盘遮挡的原始交互元素,进而提取这些元素的属性数据并在局部交互视窗内重构生成对应的代理交互控件。这一机制在虚拟键盘弹出的瞬间即自动构建出一个仅包含被遮挡关键控件的代理操作区,用户无需收起键盘,直接在局部交互视窗内即可完成对输入框、确认按钮等被遮挡元素的全部操作,从根本上解决了虚拟键盘遮挡导致的交互中断和操作动线拉长的问题,视线和手指均无需在屏幕上下大幅度移动,显著提升了触控输入的流畅度和操作效率。

47、其次,本发明通过将局部交互视窗内用户对代理交互控件的触控操作坐标,逆向映射为大屏屏幕上被遮挡原始交互元素的目标坐标,并在该目标坐标处注入伪造触控事件,使得用户在屏幕舒适区域内对小尺寸代理控件的操作能够精准作用于大屏原位置的真实控件上。这一映射与注入机制不仅解决了被遮挡元素不可触达的问题,还能够将屏幕高处或远处的操作目标“拉低”到操作者近场舒适的视觉与触控范围内,用户无需踮脚、仰头或移动身体,即可完成所有原本难以触及的高难度触控操作,有效突破了大屏设备固定高度带来的物理空间限制。

48、此外,本发明区别于现有技术中仅提供被动视觉监视的小地图方案,其所生成的局部交互视窗内容是经过系统智能提取、属性剥离和动态重构后形成的,具有完整的交互能力,用户在视窗内的操作直接作用于原始界面元素,实现了从“被动观看”到“主动代理交互”的跨越。