操作集合的获取、执行方法及装置、存储介质和终端设备与流程

1.本发明实施例涉及通信领域，具体而言，涉及一种操作集合的获取、执行方法及装置、存储介质和终端设备。


背景技术：

2.随着终端设备(例如，手机、平板电脑、笔记本电脑、个人pc电脑等等)功能的完善，其使用操作也越来越复杂。
3.举一个简单的例子，当用户需要使用共享单车业务，用户就需要连续执行一系列操作，包括：运行共享单车软件或运行包括共享单车功能的多业务软件并点击进入单车业务，打开数据流量，打开定位，打开蓝牙，之后再点击扫描单车，才能让手机进入扫描单车的状态。这样的操作，对于用户而言过于繁琐，而且对于老人等群体来说复杂度过高。
4.随着越来越多智能业务的涌现，以及用户的需求越来越多样化、复杂化，为了实现用户需要，在终端设备上所需执行的用户操作越来越复杂，如何简化终端设备上的用户操作是目前亟待解决的问题。


技术实现要素：

5.本发明实施例提供了一种操作集合的获取、执行方法及装置、存储介质和终端设备，以至少解决如何简化终端设备上的用户操作的问题。
6.根据本发明的一个实施例，提供了一种操作集合的获取方法，包括：接收对终端设备的一个或多个操作，并获取所述一个或多个操作中每个操作的操作信息，其中，所述操作信息包括：用于标识操作在所述一个或多个操作中的操作顺序的顺序标识信息、所述操作的操作描述数据；根据所述操作信息生成操作集合，其中，所述操作集合包括：所述一个或多个操作的所述操作信息。
7.在至少一个示例性实施例中，所述操作信息还包括：所述操作对应的相关帧图像，其中，所述相关帧图像包括：执行前有效帧图像、执行时有效帧图像和执行后有效帧图像。
8.在至少一个示例性实施例中，接收对终端设备的一个或多个操作，并获取所述一个或多个操作中每个操作的操作信息包括：接收操作集合采集请求；响应于接收到的操作集合采集请求，所述终端设备通过录屏功能或截屏功能获取所述一个或多个操作中每个操作对应的所述相关帧图像，并采集所述一个或多个操作中每个操作的所述顺序标识信息和所述操作描述数据，直到接收到采集结束指示。
9.在至少一个示例性实施例中，用于标识操作在所述一个或多个操作中的操作顺序的顺序标识信息包括以下至少之一：所述操作的操作时间、所述操作在所述一个或多个操作中的操作顺序序号。
10.在至少一个示例性实施例中，所述操作的操作描述数据包括以下至少之一：操作类别、坐标参数、持续时间参数、按键标识信息、采集生物特征的传感器的标识信息、采集生物特征的采集参数、所述操作对应的操作对象、执行页面描述信息以及结果页面描述信息。
11.在至少一个示例性实施例中，所述操作类别基于屏幕触摸信号或按键触控信号或系统传感器调用信号获取；和/或，
12.所述坐标参数基于屏幕触摸信号获取；和/或，
13.所述持续时间参数基于屏幕触摸信号获取；和/或，
14.所述按键标识信息基于按键触控信号获取；和/或，
15.所述采集生物特征的传感器的标识信息以及采集参数基于系统传感器调用信号获取；和/或，
16.所述操作对应的操作对象、执行页面描述信息基于图像识别技术根据所述操作对应的执行时有效帧图像获取，或者基于图像识别技术根据所述操作对应的执行前有效帧图像结合所述坐标参数获取；和/或，
17.所述操作对应的结果页面描述信息基于图像识别技术根据所述操作对应的执行后有效帧图像获取。
18.在至少一个示例性实施例中，根据所述操作信息生成操作集合之后，所述方法还包括以下至少之一：保存所述操作集合；设置所述操作集合对应的执行条件后保存所述操作集合和所述操作集合对应的所述执行条件；发送所述操作集合；设置所述操作集合对应的执行条件后发送所述操作集合和所述操作集合对应的所述执行条件。
19.根据本发明的另一个实施例，提供了一种操作集合的执行方法，包括：在接收到操作集合对应的操作集合执行请求或判断满足操作集合对应的执行条件的情况下，获取所述操作集合，其中，所述操作集合包括：一个或多个操作的操作信息，所述操作信息包括：用于标识操作在所述一个或多个操作中的操作顺序的顺序标识信息、所述操作的操作描述数据；按照所述顺序标识信息标识的操作顺序，根据所述操作描述数据执行所述一个或多个操作。
20.在至少一个示例性实施例中，所述操作信息还包括：所述操作对应的相关帧图像，其中，所述相关帧图像包括：执行前有效帧图像、执行时有效帧图像和执行后有效帧图像。
21.在至少一个示例性实施例中，按照所述顺序标识信息标识的操作顺序，根据所述操作描述数据执行所述一个或多个操作包括：根据所述顺序标识信息确定待执行的当前操作；根据当前执行前屏幕图像和所述当前操作对应的所述执行前有效帧图像判断是否满足执行所述当前操作的前置条件，并在满足的情况下执行所述当前操作；确定所述当前操作是否执行成功，在执行成功的情况下继续确定并执行下一个待执行的当前操作，直到所述一个或多个操作执行完毕。
22.在至少一个示例性实施例中，根据所述当前执行前屏幕图像和所述当前操作对应的所述执行前有效帧图像判断是否满足所述当前操作的前置条件，并在满足的情况下执行所述当前操作包括：确定所述当前执行前屏幕图像是否包括所述当前操作对应的操作对象；若所述当前执行前屏幕图像中包括所述当前操作对应的操作对象，在所述当前操作对应的操作对象在所述当前执行前屏幕图像和所述执行前有效帧图像中的位置相同的情况下，根据所述当前操作的所述操作描述数据执行所述当前操作；和/或，在所述当前操作对应的操作对象在所述当前执行前屏幕图像和所述执行前有效帧图像中的位置变化的情况下，根据所述当前操作对应的操作对象在所述当前执行前屏幕图像中的位置调整所述当前操作的所述操作描述数据，并根据所述当前操作的调整后的所述操作描述数据执行所述当
前操作。
23.在至少一个示例性实施例中，所述当前操作对应的操作对象包括在所述当前操作的所述操作描述数据中，或者基于图像识别技术根据所述当前操作对应的所述执行时有效帧图像获取，或者基于图像识别技术根据所述当前操作对应的所述执行前有效帧图像结合所述当前操作的坐标参数获取。
24.在至少一个示例性实施例中，确定所述当前执行前屏幕图像是否包括所述当前操作对应的操作对象包括以下至少之一：基于图像识别技术识别所述当前执行前屏幕图像中是否包括所述当前操作对应的操作对象的图标，根据识别结果确定所述当前执行前屏幕图像是否包括所述当前操作对应的操作对象；基于图像识别技术识别所述当前执行前屏幕图像中包括的页面描述信息，将识别的所述页面描述信息与所述当前操作对应的执行页面描述信息进行匹配，根据匹配结果确定所述当前执行前屏幕图像是否包括所述当前操作对应的操作对象。
25.在至少一个示例性实施例中，所述当前操作对应的操作对象包括在所述当前操作的所述操作描述数据中，或者基于图像识别技术根据所述当前操作对应的所述执行时有效帧图像获取，或者基于图像识别技术根据所述当前操作对应的所述执行前有效帧图像结合所述当前操作的坐标参数获取。
26.在至少一个示例性实施例中，所述当前操作对应的执行页面描述信息包括在所述当前操作的所述操作描述数据中，或者基于图像识别技术根据所述当前操作对应的所述执行时有效帧图像获取，或者基于图像识别技术根据所述当前操作对应的所述执行前有效帧图像结合所述当前操作的坐标参数获取。
27.在至少一个示例性实施例中，根据所述当前操作对应的操作对象在所述当前执行前屏幕图像中的位置调整所述当前操作的所述操作描述数据包括以下之一：在所述操作对象在所述当前执行前屏幕图像中的坐标参数与对屏幕上所述操作对象进行点击的坐标参数一致的情况下，将所述当前操作的所述操作描述数据中的坐标参数替换为所述当前操作对应的操作对象在所述当前执行前屏幕图像中的坐标参数；在所述操作对象在所述当前执行前屏幕图像中的坐标参数与对屏幕上所述操作对象进行点击的坐标参数不一致的情况下，根据以下公式确定点击变化位置后的所述操作对象的坐标参数(xd2,yd2)：(x1,y1)/(xd1,yd1)＝(x2,y2)/(xd2,yd2)，其中，(x1,y1)为所述操作对象在所述执行前有效帧图像中的坐标参数，(x2,y2)为所述操作对象在所述当前执行前屏幕图像中的坐标参数，(xd1,yd1)为调整前的所述操作描述数据中的坐标参数。
28.在至少一个示例性实施例中，在所述当前执行前屏幕图像中不包括所述当前操作对应的操作对象的情况下，所述方法还包括以下之一：确认执行所述一个或多个操作失败；退回重复执行所述当前操作的前一步操作；提示由用户继续执行所述一个或多个操作中未完成的操作；提示由用户执行所述当前操作，并在所述当前操作执行完成后，继续按照所述顺序标识信息标识的操作顺序，根据所述操作描述数据执行所述一个或多个操作中未完成的操作。
29.在至少一个示例性实施例中，确定所述当前操作是否执行成功包括以下至少之一：基于图像识别技术识别当前执行后屏幕图像和所述当前操作对应的所述执行后有效帧图像是否一致，在一致的情况下确定所述当前操作执行成功；基于图像识别技术识别当前
执行后屏幕图像中是否包括所述当前操作的下一个操作对应的操作对象的图标，在包括的情况下确定所述当前操作执行成功；基于图像识别技术识别所述当前执行后屏幕图像中包括的页面描述信息，确定识别的所述页面描述信息与所述当前操作对应的结果页面描述信息是否匹配，在匹配的情况下确定所述当前操作执行成功。
30.在至少一个示例性实施例中，所述当前操作对应的结果页面描述信息包括在所述当前操作的所述操作描述数据中，或者基于图像识别技术根据所述当前操作对应的所述执行后有效帧图像获取。
31.在至少一个示例性实施例中，在获取所述操作集合之前，所述方法还包括以下之一：接收对终端设备的所述一个或多个操作，并获取所述一个或多个操作中每个操作的操作信息，根据所述操作信息生成所述操作集合并保存所述操作集合；接收其他终端设备发送的所述操作集合；接收对终端设备的所述一个或多个操作，并获取所述一个或多个操作中每个操作的操作信息，根据所述操作信息生成所述操作集合，设置所述操作集合对应的所述执行条件，并保存所述操作集合和所述操作集合对应的所述执行条件；接收其他终端设备发送的所述操作集合和所述操作集合对应的所述执行条件。
32.根据本发明的又一个实施例，提供了一种操作集合的获取装置，包括：第一获取模块，用于接收对终端设备的一个或多个操作，并获取所述一个或多个操作中每个操作的操作信息，其中，所述操作信息包括：用于标识操作在所述一个或多个操作中的操作顺序的顺序标识信息、所述操作的操作描述数据；生成模块，用于根据所述操作信息生成操作集合，其中，所述操作集合包括：所述一个或多个操作的所述操作信息。
33.根据本发明的再一个实施例，提供了一种操作集合的执行装置，包括：第二获取模块，用于在接收到操作集合对应的操作集合执行请求或判断满足操作集合对应的执行条件的情况下，获取所述操作集合，其中，所述操作集合包括：一个或多个操作的操作信息，所述操作信息包括：用于标识操作在所述一个或多个操作中的操作顺序的顺序标识信息、所述操作的操作描述数据；执行模块，用于按照所述顺序标识信息标识的操作顺序，根据所述操作描述数据执行所述一个或多个操作。
34.根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
35.根据本发明的又一个实施例，还提供了一种终端设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
36.通过本发明，由于能够自动接收对终端设备的一个或多个操作，并获取所述一个或多个操作中每个操作的操作信息，根据所述操作信息生成操作集合，从而可以自动记录用户的一系列操作，从而便于在用户的触发或满足执行条件的情况下终端设备能够自动根据记录的操作集合执行一系列操作，因此，可以解决如何简化终端设备上的用户操作的问题，实现了自定义的快捷方式的记录和执行。
附图说明
37.图1是本发明实施例的一种操作集合的获取、执行方法的移动终端的硬件结构框
图；
38.图2是根据本发明实施例的操作集合的获取方法的流程图；
39.图3是根据本发明实施例的操作集合的执行方法的流程图；
40.图4是根据本发明实施例的操作集合的获取装置的结构框图；
41.图5是根据本发明实施例的操作集合的执行装置的结构框图；
42.图6是根据本发明实施例的应用坐标发生移动的示意图；
43.图7是根据本发明实施例的不同开关状态的示意图。
具体实施方式
44.面对如何简化终端设备上的用户操作的问题，可以考虑通过设置快捷方式来一定程度上简化用户的操作。目前在智能手机上，如果用户要设置快捷操作，可以在桌面上长按并在弹出菜单里边选择“添加小部件”，找到“设置快捷方式”，在里边找到相应的设置项，从而创建相关的快捷方式，这个功能方便用户快捷的调用某个设置项进行设置操作。pc上比较常见的设置快捷方式的方法则是鼠标右键点击之后，选择“发送到桌面快捷方式”，之后可以在桌面生成一个快捷方式，方便用户快捷的到达某个位置，或者运行某个软件。
45.这些快捷方式存在以下不足：
46.(1)这些快捷方式功能过于简单，例如，pc上的快捷方式，要么就是到某个文件夹位置，要么就是启动某个应用；而智能手机上的快捷方式，只有固定数量的设置项可以允许用户设置快捷方式，由于这个功能实用性不佳，所以使用频率很低。
47.(2)这些快捷方式过于固化，无论是pc、还是智能手机，快捷方式都是出厂后就预置好的。用户只能选择用，或者不用，功能是固化的，用户完全没法自定义快捷方式的功能。
48.(3)这些快捷方式没办法定时启动，也没办法从a用户发送给b用户。
49.然而，用户在使用终端设备时，往往会根据个人的使用习惯，产生较多的复杂操作及连续操作。例如，用户上班后可能会在打开电脑之后陆续打开邮箱、记事本、各类工作相关工具软件等等，让电脑进入工作状态；再例如，用户希望使用共享单车时往往需要运行共享单车软件或运行包括共享单车功能的多业务软件并点击进入单车业务，打开数据流量，打开定位，打开蓝牙，之后再点击扫描单车，才能让手机进入扫描单车的状态。很显然，上述提及的快捷方式技术是没有办法满足不同的用户需求的。
50.为了解决上述问题，本发明实施例提供了一种让用户能够根据自己的使用习惯和喜好，来自定义快捷方式的方案，该方案可以保存用户的操作集合，并生成快捷方式让用户在后续使用中可以快捷操作。此外，该方案还支持将该快捷方式发送给其他用户使用，或者增加定时器定时执行从而衍生出更强大的功能。该方案的使用场景广泛，如：手机一键导航、一键扫描单车；电脑开机后，让电脑自动打开要打开的各种软件，进入工作模式；用于远程协助(比如远程设置闹钟)、备份等一系列的操作；定时打卡等等。
51.下文中将参考附图并结合实施例来详细说明本发明的实施例。
52.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
53.本技术实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的终端设备中执行。以运行在移动终端上为例，图1是本发明实施例的一种操作集合的获取、执
行方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
54.存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的操作集合的获取、执行方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
55.传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(network interface controller，简称为nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(radio frequency，简称为rf)模块，其用于通过无线方式与互联网进行通讯。
56.在本实施例中提供了一种运行于上述终端设备的操作集合的获取方法，图2是根据本发明实施例的操作集合的获取方法的流程图，如图2所示，该流程包括如下步骤：
57.步骤s202，接收对终端设备的一个或多个操作，并获取所述一个或多个操作中每个操作的操作信息，其中，所述操作信息包括：用于标识操作在所述一个或多个操作中的操作顺序的顺序标识信息、所述操作的操作描述数据；
58.步骤s204，根据所述操作信息生成操作集合，其中，所述操作集合包括：所述一个或多个操作的所述操作信息。
59.通过上述步骤，由于能够自动接收对终端设备的一个或多个操作，并获取所述一个或多个操作中每个操作的操作信息，根据所述操作信息生成操作集合，从而可以自动记录用户的一系列操作，从而便于在用户的触发或满足执行条件的情况下终端设备能够自动根据记录的操作集合执行一系列操作，因此，可以解决如何简化终端设备上的用户操作的问题，实现了自定义的快捷方式的记录。
60.其中，上述步骤的执行主体可以为终端设备等，但不限于此。
61.在至少一个示例性实施例中，所述操作信息还可以包括：所述操作对应的相关帧图像，其中，所述相关帧图像包括：执行前有效帧图像、执行时有效帧图像和执行后有效帧图像。执行前有效帧图像可以是在操作执行之前第一预定时间(例如，30ms)时的屏幕图像，执行后有效帧图像可以是在操作执行之后第二预定时间(例如，80ms)时的屏幕图像。对于某些短暂性操作(例如，点击网页、进入app中功能页面等等)，前一个操作的执行后有效帧图像有可能与下一个操作的执行前有效帧图像相同；但是对于某些动作后会持续一定时间的操作(例如，拨打电话)，前一个操作的执行后有效帧图像(拨出电话后的通话页面图像)和下一个操作的执行前有效帧图像(电话挂断后的页面图像)可能是不同的。
62.在某些示例性实施例中，所述执行时有效帧图像可以辅助操作描述数据的获取，在通过系统直接读取操作无法获取到完整的操作描述数据的情况下，可以通过对执行时有效帧图像进行图像识别来获取操作的操作描述数据。
63.在至少一个示例性实施例中，步骤s202可以包括以下操作：
64.接收操作集合采集请求；
65.响应于接收到的操作集合采集请求，所述终端设备通过录屏功能或截屏功能获取所述一个或多个操作中每个操作对应的所述相关帧图像，并采集所述一个或多个操作中每个操作的所述顺序标识信息和所述操作描述数据，直到接收到采集结束指示。在某些示例性实施例中，还可以响应于接收到的操作集合采集请求，控制所述终端设备的屏幕显示初始页面，通过录屏功能或截屏功能获取所述一个或多个操作中每个操作对应的所述相关帧图像，并采集所述一个或多个操作中每个操作的所述顺序标识信息和所述操作描述数据，直到接收到采集结束指示。
66.通过上述方案，用户可以通过操作集合采集请求(例如，通过点击操作界面上的一个录制快捷方式的控件来发出该请求)，发起快捷方式的录制流程，终端设备可以通过录屏或截屏的方式获取到操作对应的相关帧图像，可以通过系统直接读取、或系统直接读取结合对执行时有效帧图像的图像识别的方式获取到所述一个或多个操作中每个操作的所述顺序标识信息和所述操作描述数据。
67.在至少一个示例性实施例中，用于标识操作在所述一个或多个操作中的操作顺序的顺序标识信息可以包括以下至少之一：所述操作的操作时间、所述操作在所述一个或多个操作中的操作顺序序号。
68.在至少一个示例性实施例中，所述操作的操作描述数据可以包括以下至少之一：操作类别、坐标参数、持续时间参数、按键标识信息、采集生物特征的传感器的标识信息、采集生物特征的采集参数、所述操作对应的操作对象、执行页面描述信息以及结果页面描述信息。其中，所述操作类别可以包括但不限于以下至少之一：点击屏幕、滑动屏幕、按下按键、采集生物特征。
69.随着操作类别的不同，采集的操作描述数据可能也存在不同，具体操作描述数据的内容可以根据实际需要进行设定，例如：在所述操作类别包括所述点击屏幕的情况下，所述操作描述数据可以包括以下至少之一：点击屏幕的坐标、持续时间、所述操作对应的操作对象、执行页面描述信息以及结果页面描述信息；在所述操作类别包括所述滑动屏幕的情况下，所述操作描述数据可以包括以下至少之一：滑动屏幕的起始坐标、滑动屏幕的终止坐标、持续时间、所述操作对应的操作对象、执行页面描述信息以及结果页面描述信息；在所述操作类别包括所述按下按键的情况下，所述操作描述数据可以包括以下至少之一：用于标识所按下按键的按键标识信息、持续时间、所述操作对应的操作对象、执行页面描述信息以及结果页面描述信息；在所述操作类别包括所述采集生物特征的情况下，所述操作描述数据可以包括以下至少之一：用于采集生物特征的传感器的传感器标识信息和采集参数、所述操作对应的操作对象、执行页面描述信息以及结果页面描述信息。
70.在至少一个示例性实施例中，所述操作类别可以基于屏幕触摸信号或按键触控信号或系统传感器调用信号获取；和/或，
71.所述坐标参数可以基于屏幕触摸信号获取；和/或，
72.所述持续时间参数可以基于屏幕触摸信号获取；和/或，
73.所述按键标识信息可以基于按键触控信号获取；和/或，
74.所述采集生物特征的传感器的标识信息以及采集参数可以基于系统传感器调用信号获取；和/或，
75.所述操作对应的操作对象、执行页面描述信息可以基于图像识别技术根据所述操作对应的执行时有效帧图像获取，或者基于图像识别技术根据所述操作对应的执行前有效帧图像结合所述坐标参数获取，例如，由于执行时有效帧图像往往以肉眼可见的视觉效果来显示当前正在被操作的区域，如点击哪个功能按钮、滑动哪个滑块等等，所以，根据图像识别技术可以基于执行时有效帧图像识别出当前操作对应的操作对象是哪个，进一步还可以识别出当前操作对应的执行页面描述信息，如功能按钮上的文字、滑块周围的文字说明等等；同理，该过程也可以基于执行前有效帧图像来实现，区别仅仅在于执行前有效帧图像需要和操作的坐标参数结合，来得到用户当前正在操作的是哪个操作对象，并进一步可以识别出该操作对象上或操作对象周围的执行页面描述信息；和/或，
76.所述操作对应的结果页面描述信息可以基于图像识别技术根据所述操作对应的执行后有效帧图像获取，例如，可以基于图像识别技术在所述操作对应的执行后有效帧图像中识别页面描述信息作为结果页面描述信息，优选地，也可以在识别出的页面描述信息中进一步根据机器学习获得的算法识别出结果描述关键字作为所述结果页面描述信息。
77.在至少一个示例性实施例中，在步骤s204之后，所述方法还可以包括以下至少之一：
78.a、保存所述操作集合；
79.b、设置所述操作集合对应的执行条件后保存所述操作集合和所述操作集合对应的所述执行条件；
80.c、发送所述操作集合；
81.d、设置所述操作集合对应的执行条件后发送所述操作集合和所述操作集合对应的所述执行条件。
82.通过上述方式，可以对操作集合对应的执行条件进行设置，该执行条件可以包括执行时间、前置事件或远程触发等等，从而实现更加灵活的快捷方式触发。此外，还可以将该操作集合发送给其他终端设备，以便实现对其他终端设备的远程控制指导。
83.在本实施例中提供了一种运行于上述终端设备的操作集合的执行方法，图3是根据本发明实施例的操作集合的执行方法的流程图，如图3所示，该流程包括如下步骤：
84.步骤s302，在接收到操作集合对应的操作集合执行请求或判断满足操作集合对应的执行条件的情况下，获取所述操作集合，其中，所述操作集合包括：一个或多个操作的操作信息，所述操作信息包括：用于标识操作在所述一个或多个操作中的操作顺序的顺序标识信息、所述操作的操作描述数据；
85.步骤s304，按照所述顺序标识信息标识的操作顺序，根据所述操作描述数据执行所述一个或多个操作。
86.通过上述步骤，由于能够自动响应于操作集合执行请求或在判断满足执行条件的情况下，获取操作集合并按照所述顺序标识信息标识的操作顺序，根据所述操作描述数据执行所述一个或多个操作，从而终端设备能够自动根据快捷方式执行一系列操作，解决了
如何简化终端设备上的用户操作的问题，实现了自定义的快捷方式的执行。
87.其中，上述步骤的执行主体可以为终端设备等，但不限于此。
88.在至少一个示例性实施例中，所述操作信息还可以包括：所述操作对应的相关帧图像，其中，所述相关帧图像包括：执行前有效帧图像、执行时有效帧图像和执行后有效帧图像。执行前有效帧图像可以是在操作执行之前第一预定时间(例如，30ms)时的屏幕图像，执行后有效帧图像可以是在操作执行之后第二预定时间(例如，80ms)时的屏幕图像。对于某些短暂性操作(例如，点击网页、进入app中功能页面等等)，前一个操作的执行后有效帧图像有可能与下一个操作的执行前有效帧图像相同；但是对于某些动作后会持续一定时间的操作(例如，拨打电话)，前一个操作的执行后有效帧图像(拨出电话后的通话页面图像)和下一个操作的执行前有效帧图像(电话挂断后的页面图像)可能是不同的。
89.在某些示例性实施例中，所述执行时有效帧图像可以辅助操作描述数据的获取，在操作描述数据的内容不完整导致无法精确执行操作的情况下，可以通过对执行时有效帧图像进行图像识别来获取操作的完整的操作描述数据。
90.在至少一个示例性实施例中，步骤s304可以包括：
91.(1)根据所述顺序标识信息确定待执行的当前操作；
92.(2)根据当前执行前屏幕图像和所述当前操作对应的所述执行前有效帧图像判断是否满足执行所述当前操作的前置条件，并在满足的情况下执行所述当前操作；
93.(3)确定所述当前操作是否执行成功，在执行成功的情况下继续确定并执行下一个待执行的当前操作，直到所述一个或多个操作执行完毕。
94.在至少一个示例性实施例中，步骤(2)可以包括以下处理：
95.确定所述当前执行前屏幕图像是否包括所述当前操作对应的操作对象；
96.若所述当前执行前屏幕图像中包括所述当前操作对应的操作对象，在所述当前操作对应的操作对象在所述当前执行前屏幕图像和所述执行前有效帧图像中的位置相同的情况下，根据所述当前操作的所述操作描述数据执行所述当前操作；和/或，在所述当前操作对应的操作对象在所述当前执行前屏幕图像和所述执行前有效帧图像中的位置变化的情况下，根据所述当前操作对应的操作对象在所述当前执行前屏幕图像中的位置调整所述当前操作的所述操作描述数据，并根据所述当前操作的调整后的所述操作描述数据执行所述当前操作。
97.在至少一个示例性实施例中，上述过程中所依据的所述当前操作对应的操作对象可以是包括在所述当前操作的所述操作描述数据中，或者基于图像识别技术根据所述当前操作对应的所述执行时有效帧图像获取，或者基于图像识别技术根据所述当前操作对应的所述执行前有效帧图像结合所述当前操作的坐标参数获取。
98.通过上述过程，可以实现在每个操作执行前的前置检查，从而决定是直接执行操作还是调整纠错后执行操作。
99.在至少一个示例性实施例中，步骤(1)可以包括以下至少之一：
100.基于图像识别技术识别所述当前执行前屏幕图像中是否包括所述当前操作对应的操作对象的图标(可以包括应用图标、应用内控件图标等等用户能够在其上执行操作的图标，包括但不限于可以点击、滑动或执行其他屏幕操作的图标)，根据识别结果确定所述当前执行前屏幕图像是否包括所述当前操作对应的操作对象，例如，对于操作启动单车app
而言，可以基于图像识别技术识别当前执行前屏幕图像中是否包括有单车app的应用图标；
101.基于图像识别技术识别所述当前执行前屏幕图像中包括的页面描述信息，将识别的所述页面描述信息与所述当前操作对应的执行页面描述信息进行匹配，根据匹配结果确定所述当前执行前屏幕图像是否包括所述当前操作对应的操作对象，例如，对于操作启动单车app而言，所述当前操作对应的执行页面描述信息可以是“单车”，可以基于图像识别技术识别当前执行前屏幕图像中是否有“单车”字样，如有则判定为匹配，此外，如果基于图像识别技术识别当前执行前屏幕图像中有“bike”或“bicycle”或“danche”字样，也认为是匹配的。同一个app可能存在不同语言的版本，而语言之间具有对应关系，可以基于这种对应关系实现多个语言版本app的匹配，而不会出现录入时在中文app上操作，执行终端为英文版本系统导致app的名字是一个英文名字就无法识别的情况出现，更加的智能。
102.在至少一个示例性实施例中，上述过程中所依据的所述当前操作对应的操作对象可以是包括在所述当前操作的所述操作描述数据中，或者基于图像识别技术根据所述当前操作对应的所述执行时有效帧图像获取，或者基于图像识别技术根据所述当前操作对应的所述执行前有效帧图像结合所述当前操作的坐标参数获取。
103.在至少一个示例性实施例中，上述过程中的所依据的所述当前操作对应的执行页面描述信息可以是包括在所述当前操作的所述操作描述数据中，或者基于图像识别技术根据所述当前操作对应的所述执行时有效帧图像获取，或者基于图像识别技术根据所述当前操作对应的所述执行前有效帧图像结合所述当前操作的坐标参数获取。
104.在至少一个示例性实施例中，根据所述当前操作对应的操作对象在所述当前执行前屏幕图像中的位置调整所述当前操作的所述操作描述数据可以包括以下之一：
105.在所述操作对象在所述当前执行前屏幕图像中的坐标参数与对屏幕上所述操作对象进行点击的坐标参数一致的情况下，将所述当前操作的所述操作描述数据中的坐标参数替换为所述当前操作对应的操作对象在所述当前执行前屏幕图像中的坐标参数；
106.在所述操作对象在所述当前执行前屏幕图像中的坐标参数与对屏幕上所述操作对象进行点击的坐标参数不一致的情况下，根据以下公式确定点击变化位置后的所述操作对象的坐标参数(xd2,yd2)：(x1,y1)/(xd1,yd1)＝(x2,y2)/(xd2,yd2)，其中，(x1,y1)为所述操作对象在所述执行前有效帧图像中的坐标参数，(x2,y2)为所述操作对象在所述当前执行前屏幕图像中的坐标参数，(xd1,yd1)为调整前的所述操作描述数据中的坐标参数。
107.在至少一个示例性实施例中，在所述当前执行前屏幕图像中不包括所述当前操作对应的操作对象的情况下，所述方法还包括以下之一：
108.a、确认执行所述一个或多个操作失败；
109.b、退回重复执行所述当前操作的前一步操作；
110.c、提示由用户继续执行所述一个或多个操作中未完成的操作；
111.d、提示由用户执行所述当前操作，并在所述当前操作执行完成后，继续按照所述顺序标识信息标识的操作顺序，根据所述操作描述数据执行所述一个或多个操作中未完成的操作。
112.通过该方案，在每个操作执行前的前置检查中，若发现图标不存在无法自动实现操作，可以采取重试、转由用户帮忙执行当前操作或后续全部操作、宣告失败等等方法。
113.在至少一个示例性实施例中，步骤(3)中确定所述当前操作是否执行成功可以包
括以下至少之一：
114.基于图像识别技术识别当前执行后屏幕图像和所述当前操作对应的所述执行后有效帧图像是否一致，在一致的情况下确定所述当前操作执行成功；
115.基于图像识别技术识别当前执行后屏幕图像中是否包括所述当前操作的下一个操作对应的操作对象的图标，在包括的情况下确定所述当前操作执行成功；
116.基于图像识别技术识别所述当前执行后屏幕图像中包括的页面描述信息，确定识别的所述页面描述信息与所述当前操作对应的结果页面描述信息是否匹配，在匹配的情况下确定所述当前操作执行成功。
117.通过该方法，可以进行每步操作执行后的检查，从而实现更加有效和准确的操作流程控制。
118.在至少一个示例性实施例中，上述过程中所使用的所述当前操作对应的结果页面描述信息可以是包括在所述当前操作的所述操作描述数据中，或者基于图像识别技术根据所述当前操作对应的所述执行后有效帧图像获取。
119.在至少一个示例性实施例中，在步骤s302之前，所述方法还可以包括以下之一：
120.a、接收对终端设备的所述一个或多个操作，并获取所述一个或多个操作中每个操作的操作信息，根据所述操作信息生成所述操作集合并保存所述操作集合；
121.b、接收其他终端设备发送的所述操作集合；
122.c、接收对终端设备的所述一个或多个操作，并获取所述一个或多个操作中每个操作的操作信息，根据所述操作信息生成所述操作集合，设置所述操作集合对应的所述执行条件，并保存所述操作集合和所述操作集合对应的所述执行条件；
123.d、接收其他终端设备发送的所述操作集合和所述操作集合对应的所述执行条件。
124.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
125.在本实施例中还提供了一种操作集合的获取装置，该装置用于实现上述操作集合的获取方法的实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
126.图4是根据本发明实施例的操作集合的获取装置的结构框图，如图4所示，该装置包括：
127.第一获取模块42，用于接收对终端设备的一个或多个操作，并获取所述一个或多个操作中每个操作的操作信息，其中，所述操作信息包括：用于标识操作在所述一个或多个操作中的操作顺序的顺序标识信息、所述操作的操作描述数据；
128.生成模块44，用于根据所述操作信息生成操作集合，其中，所述操作集合包括：所述一个或多个操作的所述操作信息。
129.通过上述装置，由于能够自动接收对终端设备的一个或多个操作，并获取所述一
个或多个操作中每个操作的操作信息，根据所述操作信息生成操作集合，从而可以自动记录用户的一系列操作，从而便于在用户的触发或满足执行条件的情况下终端设备能够自动根据记录的操作集合执行一系列操作，因此，可以解决如何简化终端设备上的用户操作的问题，实现了自定义的快捷方式的记录。
130.其中，上述装置可以设置在终端设备中，但不限于此。
131.需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
132.在本实施例中还提供了一种操作集合的执行装置，该装置用于实现上述操作集合的执行方法的实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
133.图5是根据本发明实施例的操作集合的执行装置的结构框图，如图5所示，该装置包括：
134.第二获取模块52，用于在接收到操作集合对应的操作集合执行请求或判断满足操作集合对应的执行条件的情况下，获取所述操作集合，其中，所述操作集合包括：一个或多个操作的操作信息，所述操作信息包括：用于标识操作在所述一个或多个操作中的操作顺序的顺序标识信息、所述操作的操作描述数据；
135.执行模块54，用于按照所述顺序标识信息标识的操作顺序，根据所述操作描述数据执行所述一个或多个操作。
136.通过上述装置，由于能够自动响应于操作集合执行请求或在判断满足执行条件的情况下，获取操作集合并按照所述顺序标识信息标识的操作顺序，根据所述操作描述数据执行所述一个或多个操作，从而终端设备能够自动根据快捷方式执行一系列操作，解决了如何简化终端设备上的用户操作的问题，实现了自定义的快捷方式的执行。
137.其中，上述装置可以设置在终端设备中，但不限于此。
138.需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
139.本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
140.在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：u盘、只读存储器(read-only memory，简称为rom)、随机存取存储器(random access memory，简称为ram)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
141.本发明的实施例还提供了一种终端设备，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
142.在一个示例性实施例中，上述终端设备还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
143.本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
144.以下以通过录屏方式来获取用户的操作集合从而生成快捷方式的实现方式为例，详细描述本发明实施例的操作集合的获取、执行方法的技术方案。
145.图像识别技术是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术，是应用深度学习算法的一种实践应用。图像的传统识别流程分为四个步骤：图像采集
→
图像预处理
→
特征提取
→
图像识别。通过图像识别技术，计算机可以识别出照片里边的内容。本实施例的方案借助录屏技术获取用户操作过程中的截屏，并借助图像识别技术获取到用户操作的相关数据。
146.本发明实施例的方案，通过录屏技术，录制好用户的操作步骤(在录制时保存用户操作描述数据如点击事件集合，操作间隔等，并保存好用户操作前、操作时、以及操作后的关键帧图像)并存储起来，按时间顺序生成一个操作序列，进而生成相应的快捷方式。
147.执行快捷方式的时候，系统会按时间顺序执行事先存储的事件集合，就类似录像回放一样。要特别说明，快捷方式执行每步用户操作的时候，结合图像识别技术，系统会将操作执行前的图像，操作执行时的图像，以及操作执行后的图像，分别跟事先存储好的图像进行比对，具体地，系统会通过图像识别技术识别出操作前后的图像内容(如，这里是一个switch开关，开关上的字是什么；那里是一个图标，图标是哪个应用的)，跟事先存储的关键帧图像进行对比，并根据图像内容对比的结果，来判断出当前操作执行的前置条件是否满足，当前操作是否有出现异常，执行后的结果是否正常。如果操作执行前的图像存在差别，导致操作的前置条件不满足，系统可以根据图像识别技术进行适当的纠错；如果操作执行后的图像存在差别，可以根据图像识别技术识别的结果，进行操作结果的判断，如果判断出操作执行后的结果为失败，系统可以进行异常处理。
148.更进一步的，本快捷方式可以发送给其他用户使用，或者增加定时器定时执行从而衍生出更强大的功能。本实施例的方案可以适用于多种应用场景，例如，手机一键导航、一键扫描单车；电脑开机后，让电脑自动打开要打开的各种软件，进入工作模式；远程协助(比如远程设置闹钟)、备份一系列的操作；定时打卡等等。
149.本实施例的方案主要涉及四个模块，以下分别进行详细说明。
150.(1)信息采集模块：主要负责录屏，保存用户操作前、操作时、操作后的关键帧图像，并采集用户每次操作时的数据。比如每次操作的时间、类别(如点击屏幕，音量键)、如果是点击屏幕，还会记录坐标，是长按还是短按等等。
151.(2)存储模块：用来存储信息采集模块采集的数据，其数据结构可以是一个列表，类似下表一所示。这里按照时间先后顺序给每个操作编号，最先执行的操作是0001，之后是0002，以此类推。
152.表一：存储模块存储的数据
[0153][0154][0155]
(3)图像识别模块：根据操作的参数，结合操作时保存的关键帧图像，识别出用户操作的对象。每次操作前，对比当前图像和事先存储的操作前关键帧，判断出两帧图像是否存在差别。比如：操作对象是否还在；操作对象的位置是否一样；如果存在差别，则通知控制模块进行纠错。每次操作后，对比当前图像和事先存储的操作后关键帧，根据两帧图像是否存在差别，来判断当前操作是否执行成功；如果操作失败，则通知控制模块进行异常处理。
[0156]
(4)控制模块：用户录屏的时候，控制系统进入录屏初始状态，负责启动信息采集模块进行信息采集，之后将采集到的信息存储到存储模块。执行快捷方式后，按时间顺序和相关参数来执行事先存储好的操作步骤，并启动图像识别模块实时对比当前图像数据和事先存储的图像数据，根据识别结果来判断当前是否要进行纠错、重试、异常处理、放弃操作，或者提示用户选择接下来的操作。
[0157]
以下以用户通过使用“单车”app来扫描共享单车的场景来举例说明一下本发明实施例的实施流程，该流程包括信息采集流程、快捷方式执行流程、纠错流程、运行结果判断流程，以下详细进行说明。
[0158]
一、信息采集流程，包括以下步骤：
[0159]
(1)界面上会新增一个让用户录制快捷方式的入口，用户可以通过该入口启动自定义快捷方式功能；
[0160]
(2)系统切换到屏幕录制初始状态，一般是回到手机初始桌面；
[0161]
(3)信息采集模块保存一帧当前的截屏图像，并等待用户输入；
[0162]
(4)用户运行“单车”app，点击一下屏幕；
[0163]
(5)点击操作的同时，信息采集模块保存一帧操作时的图像，并存储下操作的坐标，时间，类型等参数；
[0164]
(6)操作结束，“单车”app运行成功，信息采集模块又保存一帧操作后的图像；
[0165]
(7)重复(3)到(6)的步骤，直到用户结束录制；
[0166]
(8)控制模块生成快捷方式。
[0167]
二、快捷方式执行流程，包括以下步骤：
[0168]
(1)界面上会新增一个让用户启动快捷方式的入口，或者可以让用户设置快捷方式的自动启动时间，当需要执行快捷方式时，控制模块从存储模块获取序号为0001的操作，并拿到该操作的各种参数和关键帧图像；
[0169]
(2)通过信息采集模块采集当前的截屏图像，并将当前图像跟0001号操作前关键帧进行比较，通过图像识别技术判断出“单车”app图标当前是否还在(如果界面上存在一个“danche”app图标，或者“bicycle”app图标，或者“bike”app图标，也认为对应于“单车”app的图标还在)，所在位置是否有变化：
[0170]
如果没有变化，执行操作0001；
[0171]
如果“单车”图标位置有变化，则需要进行纠错。通过图像识别技术，能够识别出“单车”应用图标所在的新坐标，之后控制模块将新坐标存储到存储模块相应的地方，并按照新坐标来执行操作0001；
[0172]
如果“单车”图标不在了，控制模块提示用户操作失败；
[0173]
(3)0001操作执行完毕后，采集一帧图像，与事先存储的0001操作执行后关键帧进行比较，判断操作执行是否成功：
[0174]
如果没有变化，则表示执行成功；可以继续执行下一步操作；
[0175]
如果“单车”应用启动失败，则提示用户操作失败，流程异常终止；
[0176]
(4)如果第(3)步执行成功，则针对序号为0002的操作，重复执行(1)到(3)的步骤；直到所有操作执行完毕，或者流程异常终止。
[0177]
三、纠错流程：
[0178]
需要纠错的原因，可能是由于“单车”app在桌面的位置发生了变化。通过实时图像识别技术，可以识别出当前截屏中哪个区域是“单车”app的图标，或者识别出(或进一步识别出)“单车”这两个中文字，进而得到“单车”app在截屏中的位置。而“单车”app在截屏中的新位置，就是要执行屏幕点击操作的新坐标。
[0179]
举例说明，图6是根据本发明实施例的应用坐标发生移动的示意图，如图6所示，左侧图是用户录制快捷方式时“单车”坐标的位置，之后用户由于某个原因，将“单车”应用的坐标改变了，变到了图6中右侧图所示位置。假设截屏左上角的坐标是(0,0)，通过图像识别技术，可以得到“单车”应用在图6中左侧图中的位置是(x1,y1)，右侧图中的位置是(x2，y2)。由于图标有一定的宽高的，所以在取坐标的时候，建议取图标中心点的坐标即可。
[0180]
通过图6中左侧图中的坐标来获取右侧图中的坐标，可以通过以下方式实现。
[0181]
一般情况下，截屏中的坐标和点击屏幕的坐标是一一对应的，也就是说“单车”图标在截屏上的坐标，就是用户点击屏幕的坐标。这种情况(x2,y2)就是“单车”的新点击坐标；
[0182]
比较特别的情况是，截屏中的坐标，不是点击屏幕的坐标。假设，“单车”在图6的左侧图中的坐标是(x1，y1)，用户的点击坐标是(xd1,yd1)，“单车”在图6的右侧图中的坐标是(x2,y2)，由于截屏中的坐标和点击屏幕的坐标是有对应关系的，可以通过如下算法计算出(xd2,yd2)：
[0183]
(x1,y1)/(xd1,yd1)＝(x2,y2)/(xd2,yd2)
[0184]
其中(x1，y1)、(x2,y2)是通过图像识别技术在截屏中得到的坐标，(xd1,yd1)是用户录制时通过信息采集模块采集到用户点击屏幕的坐标。
[0185]
四、运行结果判断流程：
[0186]
根据之前记录的用户正常操作打开“单车”应用正常运行时的界面的图像，通过图像比对可以确定当前操作后的图像是否与之一致。依靠图像识别技术，可以很容易的判断出“单车”应用是否运行成功。
[0187]
不仅仅是启动应用的操作，其他类型的操作运行形成与否也能够通过图像识别技
术判断出来。例如，switch开关的状态，通过图像识别技术也是能够判断出来的，可以知道当前开关的状态是开还是关。图7是根据本发明实施例的不同开关状态的示意图，如图7所示，左侧图是开关为关的图像，右侧图是开关为开的图像，两者区别是很明显的。
[0188]
总之，有了图像识别技术的使用，系统就好像有了一双“眼睛”一样，可以准确的识别出每个操作执行的前置条件是否满足，操作执行过后的结果是否符合预期。
[0189]
综上所述，本发明实施例的方案可以让用户自定义快捷方式，由于结合了图像识别技术，在快捷方式在执行过程中可以进行纠错，以及执行结果判断。
[0190]
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
[0191]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。