应用融合显示方法、电子设备及存储介质与流程

本技术涉及终端设备领域，尤其涉及一种应用融合显示方法、电子设备及存储介质。

背景技术：

1、在当前移动互联网与数字化服务深度渗透的场景下，面向各类生活服务、信息查询、事务办理的垂直类应用程序呈现爆发式增长态势，仅国内主流应用商店中，涵盖政务服务、生活缴费、出行导航、消费娱乐等细分领域的同类服务app数量已达数百款之多。

2、普通用户在处理关联度较高的系列事务时，往往需要针对同一核心信息在多款应用间反复跳转切换：例如用户在网上购物时，需要在多个独立的应用程序之间频繁切换，自行记录各平台之间商品的价格以及参数，最终确定购买的商品。这样，用户需要复杂的操作才能实现自己的目的，降低了用户的使用体验。

技术实现思路

1、本技术实施例提供一种应用融合显示方法、电子设备及存储介质，旨在对多个应用程序的用户界面进行融合显示，提升用户的使用体验。

2、第一方面，本技术实施例提供一种应用融合显示方法，其特征在于，应用于电子设备，所述方法包括：响应于对第一屏幕的第一操作，将第一操作转发至至少一个第二屏幕，第一屏幕上显示有第一界面，至少一个第二屏幕上显示有第二界面，第一界面上的至少一个第一控件与至少一个第二界面上对应的第二控件建立了第一事件映射关系，第一界面显示有至少一个第二界面中的数据信息，第一操作用于标识至少一个第一控件的操作事件被触发；在基于第一操作对第二界面进行更新后，对更新后的第二界面上的数据信息进行识别；根据第一操作对应的第一用户意图和识别结果，对第一界面进行更新，建立更新后的第一界面上的至少一个第三控件与至少一个更新后的第二界面上对应的第四控件的第二事件映射关系。

3、示例性的，上述第一屏幕可以是用户可见屏幕，例如电子设备的实体屏幕。

4、示例性的，上述第二屏幕可以是用户不可见屏幕，例如电子设备上或者云服务器端的虚拟屏幕。第二屏幕虽然用户不可见，但是器拥有完整的图形绘制缓冲区，可用于对应用程序的用户界面进行绘制。

5、示例性的，上述第一界面为融合后的应用程序的界面，例如下述实施例中购物c应用的界面40b、界面50a和/或界面50b。

6、示例性的，上述第二界面可以是融合前的原始应用程序的界面，例如下述实施例中购物a应用和购物b应用的界面，如界面40c、界面40d、界面50c、界面50d。可以理解地，第二界面可以是不同应用的用户界面。

7、示例性的，上述第一控件可以是下述实施例中界面40b中的控件40b01，以及下述实施例中界面50b中的控件50b01。

8、示例性的，上述第二控件可以是下述实施例中界面40c中的控件40c01、界面40d中的控件40d01；以及下述实施例中界面50d中控件50d01。

9、这样，通过在至少一个虚拟屏幕上显示第二界面，将多个虚拟屏幕上的多个第二界面的数据信息进行融合成第一界面，并将第一界面显示在实体屏幕上，使得第一界面对至少一个第二界面的数据信息进行融合显示，以及建立第一界面与这些第二界面上控件之间的事件映射关系，使得用户在第一界面上的操作会同步转发至这些第二界面上，降低用户同时对多个应用程序进行操作的复杂度，提升用户的操作体验。

10、根据第一方面，响应于对第一屏幕的第一操作，将第一操作转发至至少一个第二屏幕之前，包括：在第一屏幕上显示第三界面，第三界面上显示有第一界面对应的第一应用的第一图标；响应于对第一图标的第二操作，启动至少一个第二屏幕；在第一屏幕上显示第一界面；在至少一个第二屏幕上显示第二界面；建立第一界面上至少一个第一控件与至少一个第二界面上对应的第二控件的第一事件映射关系。

11、示例性的，第三界面可以是下述实施例中电子设备系统的主界面，如图7中（1）示出的界面40a。

12、示例性的，上述第一应用可以是下述实施例中的购物c，其图标可以是界面40a中的图标40a01。

13、这样，通过在融合后的应用程序启动的同时，在后台启动多个虚拟屏幕，在实体屏幕上运行融合后的应用程序，在虚拟屏幕上运行融合前的原始应用，并建立实体屏幕和虚拟屏幕显示的用户界面上的控件之间的事件映射关系，使得系统可以基于事件映射关系，将用户在实体屏幕上的操作转发至虚拟屏幕上，实现用户同时对多个应用程序并行操作，提升用户的操作体验。

14、根据第一方面，或者以上第一方面的任意一种实现方式，第二屏幕的数量与第二界面对应的应用程序数量相同。

15、示例性的，在第二界面为两个应用程序的用户界面的情况下，第二屏幕的数量为2。

16、这样，通过为每一个融合前的原始应用创建一个独立的虚拟屏幕，使得这些原始应用之间完全独立，降低了应用件画面渲染冲突的可能性，保障原始应用运行的稳定性。

17、根据第一方面，或者以上第一方面的任意一种实现方式，在基于第一操作对第二界面进行更新后，对更新后的第二界面上的数据信息进行识别，包括：在第二界面中执行第一操作，并基于执行结果对第二界面进行更新；对更新后的第二界面中的视图树进行拦截；使用光学字符识别与布局分析算法，对拦截到的视图树进行关键业务数据识别，得到中间语义数据。

18、示例性的，上述第一操作可以是输入关键词以及触发搜索的操作。

19、示例性的，对第二界面的视图树进行拦截，可以是基于下述实施例中的用户界面自动化接口实现的。

20、示例性的，在用户界面为购物类界面的情况下，上述关键业务数据包括但不限于商品价格、图片连接、库存信息等。

21、这样，通过对用户界面的视图树进行分析，得到关键业务数据的中间语义数据，从而可以基于中间语义数据直接生成新的界面。相较于直接将第二应用的用户界面投屏到实体屏幕，或以图片的方式将第二应用的用户界面显示在实体屏幕上，以上方式可以避免投屏以及图片方式带来的画面质量受损，用户操作无法及时响应带来的操作反馈不一致的问题。

22、根据第一方面，或者以上第一方面的任意一种实现方式，根据第一操作对应的第一用户意图和识别结果，对第一界面进行更新，包括：根据第一操作对应的第一用户意图，确定第一界面样式；基于中间语义数据和第一界面样式，对第一界面进行更新。

23、示例性的，第一操作对应的第一用户意图可以是下述实施例中的“比价”、“聚合阅读”等。

24、这样，通过用户意图确定界面样式，使得生成的新界面，以符合用户预期的方式展示数据内容，提升用户的视觉体验。

25、根据第一方面，或者以上第一方面的任意一种实现方式，建立更新后的第一界面上的至少一个第三控件与至少一个更新后的第二界面上对应的第四控件的第二事件映射关系，包括：获取更新后的第一界面上的至少一个第三控件的第一区域坐标；获取至少一个更新后的第二界面上与第三控件对应的第四控件的第二区域坐标；建立第一区域坐标和第二区域坐标的事件映射关系。

26、这样，通过建立第一界面与第二界面上各控件所在区域的坐标之间的映射关系，实现自动将用户操作代理至对应的虚拟屏幕，降低用户对多个应用同时操作的复杂度，提升用户的操作体验。

27、根据第一方面，或者以上第一方面的任意一种实现方式，在接收到对第一屏幕的第一操作的情况下，将第一操作转发至至少一个第二屏幕之前，还包括：在第一屏幕上显示融合应用的第四界面，第四界面包括第五控件和第六控件，第五控件用于指示添加至少一个待融合应用，第六控件用于指示对已添加的待融合应用进行融合；响应于对第五控件的第三操作，在第一屏幕上显示第五界面，第五界面显示有至少一个可融合应用的未选中状态的图标和第七控件；响应于对至少一个未选中状态的图标的第四操作，将图标切换为选中状态；响应于对第七控件的第五操作，将至少一个选中状态的图标对应的可融合应用确定为待融合应用；在第一屏幕上显示第四界面，第四界面中显示有待融合应用的图标；响应于对第六控件的第六操作，对待融合应用进行融合，生成第一应用，第一应用包括第一界面。

28、示例性的，上述融合应用的第四界面，可以是下述实施例中的图5中（2）示出的界面30b。第五控件可以是界面30b中的控件30b01，第六控件可以是界面30b中的“融合”按钮。

29、示例性的，上述第五界面可以是如图5中（3）示出的界面30c。第七控件可以是界面30c中示出的“确定”按钮。

30、这样，通过融合应用对多个可融合应用进行融合，得到融合后的第一应用，实现将多个可融合应用的用户界面融合成一个用户界面，为用户提供一个同意的视图，避免用户频繁在多个应用程序的用户界面之间切换，提升了用户的使用体验。

31、根据第一方面，或者以上第一方面的任意一种实现方式，第三界面还包括第八控件；方法还包括：响应于对第八控件的第七操作，显示第六界面，第六界面包括第一区域、第九控件和第十控件，第一区域用于显示界面样式的预览效果，第九控件用于对预览效果进行调整，第十控件用于将第一区域的预览效果确定为界面样式；响应于对第十控件的第七操作，将第一区域的预览效果确定为第一界面样式，显示第四界面。

32、示例性的，上述第八控件可以是界面30b或界面30d中的“自定义样式”控件。

33、示例性的，上述第六界面可以是下述实施例中图5中（3）示出的界面30e。

34、示例性的，第一区域可以是界面30e中示出的样式预览区域，第九控件为界面30e中的控件30e02，第十控件为界面30e中的“确定”按钮。

35、这样，通过自定义样式设置界面，为用户提供融合后的应用程序的界面样式设置，使得融合后的应用程序的界面（如第一界面）更符合用户的视觉体验。

36、第二方面，本技术实施例提供了一种电子设备。该电子设备包括：存储器和处理器，存储器和处理器耦合；存储器存储有程序指令，程序指令由处理器执行时，使得所述电子设备执行第一方面或第一方面的任意可能的实现方式中的方法的指令。

37、第三方面，本技术实施例提供了一种计算机可读介质，用于存储计算机程序，该计算机程序包括用于执行第一方面或第一方面的任意可能的实现方式中的方法的指令。

38、第四方面，本技术实施例提供了一种计算机程序，该计算机程序包括用于执行第一方面或第一方面的任意可能的实现方式中的方法的指令。

39、第五方面，本技术实施例提供了一种芯片，该芯片包括处理电路、收发管脚。其中，该收发管脚、和该处理电路通过内部连接通路互相通信，该处理电路执行第一方面或第一方面的任一种可能的实现方式中的方法，以控制接收管脚接收信号，以控制发送管脚发送信号。