基于手机oled屏幕的分体式控制方法、装置、设备及介质与流程

本公开实施例涉及屏幕控制的，更具体地，涉及一种基于手机oled屏幕的分体式控制方法、装置、设备及介质。

背景技术：

1、随着智能手机搭载oled屏幕已成主流，衍生出折叠屏、分体式双屏手机等双屏硬件形态，两块屏幕均具备独立触控、独立显示、自发光调光能力，厂商普遍配套基础双屏镜像、简易分屏功能。

2、目前，现有的智能手机在分屏时直接将完整页面从第一屏幕中复制至第二屏幕，或者，将第一屏幕和第二屏幕对完整页面共同展示，难以对页面分层解析，无法区分正文文本、交互控件、弹窗等不同容器，对于视觉有障碍的用户，使用体验较差。

技术实现思路

1、本公开实施例的一个目的是提供一种基于手机oled屏幕的分体式控制的新的技术方案。

2、根据本公开的第一方面，提供了一种基于手机oled屏幕的分体式控制方法，所述方法包括：

3、通过手机的感知装置和第一屏幕，获取用户输出的目标模态数据；

4、根据所述目标模态数据，生成控制意图信息；

5、根据所述控制意图信息所反映的偏好信息特征，在所述第一屏幕当前所关联的界面层级树中，提取匹配于所述偏好信息特征的目标容器层；

6、根据所述目标容器层所关联的容器元素、所述第一屏幕的屏幕类型和当前主副屏幕配置，生成在第二屏幕的协同控制指令；

7、在对所述第一屏幕进行第一交互操作的情况下，根据所述协同控制指令，控制所述第二屏幕配合工作。

8、可选地，所述目标模态数据包括由所述第一屏幕输出的文本数据、触控数据和由所述手机麦克风输出的音频数据；所述根据所述目标模态数据，生成控制意图信息，包括：

9、根据所述文本数据和所述文本数据关联的会话窗口的上下文关联信息，得到基础语义参数；

10、根据所述触控数据，提取用户对所述第一屏幕目标展示区域的操作手势特征，得到触控映射参数；

11、根据所述音频数据，提取用户的声学表达参数；

12、将所述基础语义参数、所述触控映射参数和所述声学表达参数进行线性融合，得到控制意图信息。

13、可选地，所述根据所述控制意图信息所反映的偏好信息特征，在所述第一屏幕当前所关联的界面层级树中，提取匹配于所述偏好信息特征的目标容器层，包括：

14、以所述控制意图信息所反映的偏好信息特征作为匹配条件，在所述第一屏幕当前所关联的界面层级树中，对所述界面层级树中上层容器层进行匹配，得到与所述偏好信息特征匹配的第一上层容器层；对所述界面层级树中除所述第一上层容器层之外的第二上层容器层的下层容器层进行匹配，得到与所述偏好信息特征匹配的目标下层容器层，最终得到对应不同层级的目标容器层。

15、可选地，所述匹配条件还包括所述第一屏幕的屏幕尺寸信息；所述偏好信息特征包括偏好意图标识；所述在所述第一屏幕当前所关联的界面层级树中，对所述界面层级树中上层容器层进行匹配，得到与所述偏好信息特征匹配的第一上层容器层，包括：

16、在所述第一屏幕当前所关联的界面层级树中，筛选包含所述屏幕尺寸信息和偏好意图标识的待选上层容器层；

17、筛选从上层容器层的数量大于或者等于设定阈值的待选上层容器层，作为第一上层容器层；其中，所述从上层容器层的层级对应所述待选上层容器层的下一层级；

18、所述对所述界面层级树中除所述第一上层容器层之外的第二上层容器层的下层容器层进行匹配，得到与所述偏好信息特征匹配的目标下层容器层，包括：

19、对所述界面层级树中除所述第一上层容器层之外的第二上层容器层的下层容器层，筛选包含所述屏幕尺寸信息和偏好意图标识的待选下层容器层；

20、筛选从下层容器层的数量大于或者等于设定阈值的待选下层容器层，作为目标下层容器层；其中，所述从下层容器层的层级对应所述待选下层容器层的下一层级。

21、可选地，所述根据所述目标容器层所关联的容器元素、所述第一屏幕的屏幕类型和当前主副屏幕配置，生成在第二屏幕的协同控制指令，包括：

22、确定所述目标容器层所关联的容器元素的元素类型；

23、在所述第一屏幕的屏幕类型为主屏幕且当前主副屏幕配置为区分展示配置的情况下，生成所述元素类型为纯文本类型的容器元素展示于所述第一屏幕的展示控制指令，以及生成所述元素类型为控件类型的容器元素展示于所述第二屏幕的协同控制指令；

24、或者，

25、在所述第一屏幕的屏幕类型为副屏幕且当前主副屏幕配置为镜像展示配置的情况下，生成所述容器元素展示于所述第二屏幕且所述元素类型为控件类型的容器元素设置为触控状态的协同控制指令。

26、可选地，所述手机还包括扬声器；所述方法还包括：

27、基于用户所设定的无障碍使用模式，通过所述感知装置感知所述用户所持握的所述第一屏幕或者所述第二屏幕中的目标屏幕，控制所述扬声器播放所述目标屏幕呈现的容器元素的第一提示信息。

28、可选地，所述感知装置还包括摄像头；所述在所述第一屏幕进行第一交互操作的情况下，根据所述协同控制指令，控制所述第二屏幕配合工作之前，所述方法还包括：

29、进入第一屏幕和第二屏幕协同工作的预览模式；

30、在所述预览模式下，通过所述摄像头，确定所述用户的面部表情标签；

31、在所述面部表情标签为特定标签的情况下，基于用户所设定的使用模式，执行对第一屏幕和第二屏幕协同工作调整的控制指令；其中，所述使用模式包括无障碍使用模式和普通使用模式；所述控制指令包括对应无障碍使用模式的第一控制指令和对应普通使用模式的第二控制指令，所述第一控制指令是通过扬声器播放多个调整项的第二提示信息，所述第一控制指令是在所述第一屏幕上呈现包含多个调整项的调整窗口；

32、响应于用户对所述多个调整项中的目标调整项的选择操作，执行对所述第一屏幕和/或第二屏幕进行对应所述目标调整项的调整指令。

33、根据本公开的第二方面，还提供了一种基于手机oled屏幕的分体式控制装置，所述装置包括：

34、获取模块，用于通过手机的感知装置和第一屏幕，获取用户输出的目标模态数据；

35、第一生成模块，用于根据所述目标模态数据，生成控制意图信息；

36、提取模块，用于根据所述控制意图信息所反映的偏好信息特征，在所述第一屏幕当前所关联的界面层级树中，提取匹配于所述偏好信息特征的目标容器层；

37、第二生成模块，用于根据所述目标容器层所关联的容器元素、所述第一屏幕的屏幕类型和当前主副屏幕配置，生成在第二屏幕的协同控制指令；

38、控制模块，用于在所述第一屏幕进行第一交互操作的情况下，根据所述协同控制指令，控制所述第二屏幕配合工作。

39、根据本公开的第三方面，还提供了一种计算机系统，计算机系统包括处理器，当处理器执行程序指令或代码时，计算机系统实现第一方面中的基于手机oled屏幕的分体式控制方法。

40、示例性地，计算机系统还包括存储器，存储器用于存储该程序指令或代码。

41、根据本公开的第四方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述基于手机oled屏幕的分体式控制方法。

42、根据本公开的第五方面，还提供了一种计算机程序产品，包含计算机程序，所述计算机程序被执行时，使得计算机执行上述基于手机oled屏幕的分体式控制方法步骤。

43、根据本公开的第六方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过所述计算机程序执行上述基于手机oled屏幕的分体式控制方法。

44、本公开实施例的一个有益效果在于，本发明提供的基于手机oled屏幕的分体式控制方法能够通过手机的感知装置和第一屏幕，获取用户输出的目标模态数据，根据目标模态数据，生成控制意图信息，再根据控制意图信息，在第一屏幕当前所关联的界面层级树中，提取匹配于偏好信息特征的目标容器层，根据目标容器层所关联的容器元素、第一屏幕的屏幕类型和当前主副屏幕配置，生成在第二屏幕的协同控制指令；在所述第一屏幕进行第一交互操作的情况下，根据协同控制指令，控制所述第二屏幕配合工作，实现第一屏幕界面显示内容能够区分出控件、文本、图片或者视频单独呈现在第二屏幕上，以便于视觉有障碍的用户查看单独呈现在第二屏幕上的内容，有效提升用户的使用体验。

45、通过以下参照附图对本公开的示例性实施例的详细描述，本公开实施例的其它特征及其优点将会变得清楚。