操作指令处理方法、控制方法、装置以及电子设备与流程

1.本技术涉及计算机技术领域，更具体地，涉及一种操作指令处理方法、控制方法、装置以及电子设备。


背景技术：

2.结合人工智能技术以及虚拟个人助理(语音助手)，可以使得电子设备通过听觉模态接收用户发出的语音指令并完成对应的交互任务。然而，在很多情况下，电子设备所支持的语音指令依赖于系统或者第三应用提供的接口，进而会造成语音指令的种类的不够丰富。


技术实现要素：

3.鉴于上述问题，本技术提出了一种操作指令处理方法、控制方法、装置以及电子设备，以实现改善上述问题。
4.第一方面，本技术提供了一种操作指令处理方法，所述方法包括：获取依次接收到的多个第一操作指令各自对应的操作对象以及操作方式，以得到依次操作的多个操作对象以及所述多个对象各自对应的操作方式；基于所述依次操作的多个操作对象以及所述多个操作对象各自对应的操作方式生成第二操作指令；存储所述第二操作指令，以用于响应于所述第二操作指令依次基于所述多个操作对象各自对应的操作方式，对所述多个操作对象进行操作。
5.第二方面，本技术提供了一种控制方法，所述方法包括：响应于获取到第二操作指令，获取所述第二操作指令对应的依次操作的多个操作对象以及所述多个操作对象各自对应的操作方式；基于所述多个操作对象各自对应的操作方式，对所述多个操作对象依次进行操作。
6.第三方面，本技术提供了一种操作指令处理装置，所述装置包括：操作获取单元，用于获取依次接收到的多个第一操作指令各自对应的操作对象以及操作方式，以得到依次操作的多个操作对象以及所述多个对象各自对应的操作方式；指令生成单元，用于基于所述依次操作的多个操作对象以及所述多个操作对象各自对应的操作方式生成第二操作指令；指令存储单元，用于存储所述第二操作指令，以用于响应于所述第二操作指令依次基于所述多个操作对象各自对应的操作方式，对所述多个操作对象进行操作。
7.第四方面，本技术提供了一种控制装置，所述装置包括：操作获取单元，用于响应于获取到第二操作指令，获取所述第二操作指令对应的依次操作的多个操作对象以及所述多个操作对象各自对应的操作方式；操作执行单元，用于基于所述多个操作对象各自对应的操作方式，对所述多个操作对象依次进行操作。
8.第五方面，本技术提供了一种电子设备，包括一个或多个处理器以及存储器；一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述的方法。
9.第六方面，本技术提供的一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码运行时执行上述的方法。
10.本技术提供的一种操作指令处理方法、控制方法、装置以及电子设备，可以先获取依次接收到的多个第一操作指令各自对应的操作对象以及操作方式，以得到依次操作的多个操作对象以及所述多个对象各自对应的操作方式，再基于所述依次操作的多个操作对象以及所述多个操作对象各自对应的操作方式生成第二操作指令，并存储所述第二操作指令，从而通过上述方式使得在于响应于第二操作指令后，可以自动依次基于所述多个操作对象各自对应的操作方式，对所述多个操作对象进行操作，使得不用用户再逐一手动的执行该第一操作指令，不仅提升了操作的便利性，也使得用户可以根据自己的需要来生成第二操作指令，提升了指令类型的丰富性。
附图说明
11.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
12.图1示出了本技术实施例提出的一种操作指令处理方法的一种应用场景的示意图；
13.图2示出了本技术实施例提出的另一种操作指令处理方法的一种应用场景的示意图；
14.图3示出了本技术实施例提出的一种操作指令处理方法的流程图；
15.图4示出了本技术实施例中一种第一操作指令的示意图；
16.图5示出了本技术实施例中另一种第一操作指令的示意图；
17.图6示出了本技术实施例中第一操作指令所作用的一种界面的示意图；
18.图7示出了本技术实施例中第一操作指令所作用的另一种界面的示意图；
19.图8示出了本技术实施例中第一操作指令所作用的另一种界面的示意图；
20.图9示出了本技术实施例中第一操作指令所作用的另一种界面的示意图；
21.图10示出了本技术实施例中第一操作指令所作用的另一种界面的示意图；
22.图11示出了本技术另一实施例提出的一种操作指令处理方法的流程图；
23.图12示出了本技术实施例中视图树结构的示意图；
24.图13示出了本技术又一种操作指令处理方法的流程图；
25.图14示出了本技术又一种操作指令处理方法的流程图；
26.图15示出了本技术又一实施例提出的一种操作指令处理方法的流程图；
27.图16示出了本技术一种控制方法的流程图；
28.图17示出了本技术实施例提出的一种指令处理装置的结构框图；
29.图18示出了本技术实施例提出的一种控制装置的结构框图；
30.图19示出了本技术提出的一种电子设备的结构框图；
31.图20是本技术实施例的用于保存或者携带实现根据本技术实施例的操作指令处理方法的程序代码的存储单元。
具体实施方式
32.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
33.智能终端设备的普及给生活带来了种种便利。结合人工智能技术以及虚拟个人助理(语音助手)，可以使得电子设备通过听觉模态接收用户发出的语音指令并完成对应的交互任务。
34.然而，在很多情况下，电子设备所支持的语音指令依赖于系统或者第三应用提供的接口，进而会造成语音指令的种类的不够丰富。具体地，相关的电子设备所支持的语音指令通常是由开发人员预先配置在电子设备中，因此，用户只能按照电子设备所支持的语音指令来进行指令的触发，造成语音指令的种类的不够丰富。并且，若预先配置的语音指令所对应操作的界面发生了变化(例如，语音指令所操作的控件的名称发生了变化)，而对应的语音指令并未对应界面的变化而更新，那么也会造成语音指令处于不可用的状态。
35.因此，发明人提出了本技术中的一种操作指令处理方法、控制方法、装置以及电子设备，可以先获取依次接收到的多个第一操作指令各自对应的操作对象以及操作方式，以得到依次操作的多个操作对象以及所述多个对象各自对应的操作方式，再基于所述依次操作的多个操作对象以及所述多个操作对象各自对应的操作方式生成第二操作指令，并存储所述第二操作指令，从而通过上述方式使得在于响应于第二操作指令后，可以自动依次基于所述多个操作对象各自对应的操作方式，对多个操作对象进行操作，使得不用用户再逐一手动的执行该第一操作指令，不仅提升了操作的便利性，也使得用户可以根据自己的需要来生成第二操作指令，提升了指令类型的丰富性。
36.下面先对本技术实施例所涉及的应用场景进行介绍。
37.在本技术实施例中，所提供的操作指令处理方法可以由电子设备执行。在由电子设备执行的这种方式中，本技术实施例提供的操作指令处理方法中所有步骤可以均由电子设备执行。例如，如图1所示，通过电子设备100的指令采集装置可以采集第一操作指令，并将采集到的第一操作指令传输给处理器，使得处理器可以获取第一操作指令对应的操作对象以及操作方式，进而处理器再基于获取到的依次操作的多个操作对象以及多个操作对象各自对应的操作方式生成第二操作指令，并存储所述第二操作指令。
38.再者，本技术实施例提供的操作指令处理方法也可以由服务器进行执行。对应的，在由服务器执行的这种方式中，可以由电子设备采集第一操作指令，并将采集的第一操作指令以及当前用户界面同步发送给服务器，然后由服务器来执行本技术实施例提供的操作指令处理方法以获取依次操作的多个操作对象以及所述多个对象各自对应的操作方式，进而生成第二操作指令。另外，还可以由电子设备和服务器协同执行。在由电子设备和服务器协同执行的这种方式中，本技术实施例提供的操作指令处理方法中的部分步骤由电子设备执行，而另外部分的步骤则由服务器来执行。
39.示例性的，如图2所示，电子设备100可以执行操作指令处理方法包括的：获取依次接收到的多个第一操作指令各自对应的操作对象以及操作方式，以得到依次操作的多个操作对象以及所述多个对象各自对应的操作方式，然后由服务器200来执行基于所述依次操作的多个操作对象以及所述多个操作对象各自对应的操作方式生成第二操作指令；存储所
述第二操作指令，然后再将所生成的第二操作指令返回给电子设备100，以便电子设备100可以响应于用户触发的第二操作指令而自动依次基于该多个操作对象各自对应的操作方式，对该多个操作对象进行操作。
40.需要说明的是，在由电子设备和服务器协同执行的这种方式中，电子设备和服务器分别执行的步骤不限于上述示例中所介绍的方式，在实际应用中，可以根据实际情况动态的调整电子设备和服务器分别执行的步骤。
41.下面则结合附图来对本技术所涉及的实施例进行介绍。
42.请参阅图3，本技术提供的一种操作指令处理方法，所述方法包括：
43.s110：获取依次接收到的多个第一操作指令各自对应的操作对象以及操作方式，以得到依次操作的多个操作对象以及所述多个对象各自对应的操作方式。
44.其中，用户在对电子设备进行操作的过程中，可以通过触发相应的指令来对电子设备中的某一操作对象进行控制。在本技术实施例中，用于触发对电子设备中的单个操作对象进行操作的操作指令为第一操作指令。在本技术实施例中，操作对象可以包括电子设备所显示的界面，也可以包括所显示界面中的控件。例如，若操作对象为所显示的界面，可以通过操作指令控制进行界面的滑动，也可以通过操作指令触发退出所显示的界面，或者通过操作指令将当前所显示的界面切换为另一个界面。若操作对象为界面中的控件，那么可以通过操作指令对该控件进行点击等操作。
45.其中，操作对象对应的操作方式用于描述用户具体是如何对操作对象进行操作。例如，若操作对象为界面，那么所对应的操作方式可以包括退出、滑动或者切换等。若操作对象为界面中的控件，那么操作方式可以包括单击、双击或者长按等。如图4所示，在图4的左侧所示的界面中，若所接收到的第一操作指令为退出当前界面，那么则该第一操作指令的操作对象为当前界面，操作方式为退出，电子设备在执行该第一操作指令后则会退出到图4右侧所示的桌面。再例如，如图5所示，若接收到的第一操作指令为播放武术视频，那么操作对象为名称为武术视频的控件，操作方式为点击，电子设备执行该第一操作指令后，则会如图5右侧图像所示的显示界面12用于对武术视频进行播放。
46.在一些情况下，用户为了实现控制意图会对电子设备进行连续的操作，对应的，电子设备则可以获取到用户依次触发的多个第一操作指令。示例性的，如图6-图10所示，在当前用户界面为图6所示的桌面的情况，用户为了实现触发启动护眼模式，电子设备可以先接收到内容为点击设置控件的第一操作指令，进而电子设备会切换为显示图7所示的设置界面，在显示图7所示的设置界面的情况下，电子设备可以接收到内容为点击显示与亮度控件的第一操作指令，进而显示图8所示的界面，在显示图8所示的界面的情况下，电子设备又可以进一步的接收到内容为点击护眼模式的第一操作指令，从而使得电子设备显示如图9所示的界面，在显示图9所示的界面的情况下，若电子设备接收到内容为点击立即启动的第一操作指令，则电子设备会显示如图10所示的状态，并启动护眼模式。从该示例可以看出，为了启用护眼模式，用户先后触发了四次操作，从而依次触发了4次第一操作指令。
47.为了使得后续用户可以通过触发一次操作指令就可以替代之前所执行的多次操作指令(第一操作指令)，电子设备可以将用户依次触发的多个第一操作指令各自所对应的操作对象，以及每个操作对象各自对应的操作方式进行记录，从而得到依次操作的多个操作对象，以及多个操作对象各自对应的操作方式。例如，基于前述图6-图10的示例，电子设
备所得到的依次操作的多个操作对象以及多个操作对象各自对应的操作方式可以记录为：(点击，设置，none)-》(点击，显示与亮度，none)-》(点击，护眼模式，none)-》(点击，立即启用，none)。其中，第一个第一操作指令对应的操作对象为设置控件，设置控件对应的操作方式为点击。第二个第一操作指令对应的操作对象为显示与亮度控件，显示与亮度控件对应的操作方式为点击。第三个第一操作指令对应的操作对象为护眼模式控件，护眼模式控件对应的操作方式为点击。第四个第一操作指令对应的操作对象为立即启用控件，立即启用控件对应的操作方式为点击。
48.s120：基于所述依次操作的多个操作对象以及所述多个操作对象各自对应的操作方式生成第二操作指令。
49.在本技术实施例中，第二操作指令可以理解为对应有多个操作对象以及每个操作对象的操作方式的操作指令。也就是说，第二操作指令是可以自动触发对连续对多个界面(或者控件)进行操作的操作指令。生成第二操作指令可以理解为获取第二操作指令对应的指令名称，并将第二操作指令的指令名称与依次操作的多个操作对象以及所述多个操作对象各自对应的操作方式进行关联。其中，第二操作指令的指令名称可以由用户进行配置，也可以将最后操作的操作对象的名称作为第二操作指令的指令名称。例如，若最后操作的操作对象为某个控件，则该操作对象的名称为该控件的描述信息。
50.s130：存储所述第二操作指令，以用于响应于所述第二操作指令依次基于所述多个操作对象各自对应的操作方式，对所述多个操作对象进行操作。
51.其中，存储第二操作指令则可以理解为存储第二操作指令的指令名称，并且会存储第二操作指令的指令名称与该多个操作对象以及多个操作对象各自对应的操作方式的关联关系，以便后续通过指令名称识别到接收到第二操作指令后，可以通过指令名称来获取对应的依次操作的多个操作对象，以及该多个操作对象各自对应的操作方式。例如，若电子设备中存储了打开护眼模式(第二操作指令的名称)，且该打开护眼模式对应了依次操作的操作对象a、操作对象b以及操作对象c。那么在电子设备接收到名称为打开护眼模式的操作指令后，则可以依次自动的对操作对象a、操作对象b以及操作对象c进行操作。
52.需要说明的是，在本技术实施例中，操作指令可以包括第一操作指令和第二操作指令两种类型，并且第二操作指令可以为语音形式的指令。那么电子设备为了区分用户当前通过语音形式所发出的指令是第一操作指令还是第二操作指令。作为一种方式，电子设备在接收到语音指令后，可以先检测该语音指令的内容是否与已经存储的第二操作指令的指令名称相同，若有对应的指令名称与语音指令的内容相同，则确定该语音指令为第二操作指令，否则，确定该语音指令为第一操作指令。
53.本实施例提供的一种操作指令处理方法，可以先获取依次接收到的多个第一操作指令各自对应的操作对象以及操作方式，以得到依次操作的多个操作对象以及所述多个对象各自对应的操作方式，再基于所述依次操作的多个操作对象以及所述多个操作对象各自对应的操作方式生成第二操作指令，并存储所述第二操作指令，从而通过上述方式使得在于响应于第二操作指令后，可以自动依次基于所述多个操作对象各自对应的操作方式，对所述多个操作对象进行操作，使得不用用户再逐一手动的执行该第一操作指令，不仅提升了操作的便利性，也使得用户可以根据自己的需要来生成第二操作指令，提升了指令类型的丰富性。
54.请参阅图11，本技术提供的一种操作指令处理方法，所述方法包括：
55.s210：进入指令生成模式后，若接收到的第一操作指令，基于接收到的第一操作指令获取对应的操作对象以及操作方式。
56.其中，获取依次操作的第一操作指令，并对应生成第二操作指令可以是在电子设备进入到指令生成模式之后进行的。并且，在本实施例中，电子设备可以有多种的进入指令生成模式的方式。
57.作为一种方式，可以在电子设备的负一屏中配置有指令生成模式触发控件，若检测到有作用于该触发控件的触控操作，则可以触发进入到指令生成模式。其中，负一屏可以理解为在移动终端已经显示最尽头的一张桌面的情况下，如果继续朝向该尽头方向的相对方向滑动屏幕时所显示的界面。
58.作为另一种方式，还可以通过电子设备自身的快捷工具界面来触发进入到指令生成模式。可选的，可以通过从屏幕的顶部朝向屏幕的底部执行滑动操作来触发显示该快捷工具界面，在该快捷工具界面中可以显示有指令生成模式触发控件。那么若检测到作用于该指令生成模式触发控件的触控操作，则可以触发电子设备进入到指令生成模式。
59.还有，作为又一种方式，还可以通过语音控制的方式来触发进入指令生成模式。在这种方式下，可以在启动电子设备的语音助手后，若获取到指定的语音内容则可以触发电子设备进入到指令生成模式。可选的，该指定的语音内容可以为指令生成，或者可以为我要建立新指令等。可选的，该指定的语音内容可以由用户根据自己的习惯进行设定。
60.需要说明的是，在本技术实施例中，第一操作指令的形式可以有多种。例如，可以为语音形式的指令，也可以为触控形式额指令。并且，在第一操作指令的形式不同的情况下，对应的获取第一操作指令对应的操作对象和操作方式手段也对应不同。
61.作为一种方式，第一操作指令为语音形式的指令，所述基于接收到的第一操作指令获取对应的操作对象以及操作方式，包括：获取第一操作指令对应的指令文本；基于所述指令文本得到操作方式；基于所述指令文本从操作描述信息中获取目标操作描述信息，所述操作描述信息为用于描述当前用户界面所包括操作的信息，所述当前用户界面为接收到第一操作指令时所显示的用户界面；
62.将所述目标操作描述信息所描述的对象作为操作对象。
63.可选的，所述基于所述指令文本从操作描述信息中获取目标操作描述信息，包括：基于所述指令文本获取控制目的、控制对象以及对象附属信息；
64.将所述控制对象与操作描述信息进行匹配，将与所述控制对象成功匹配的操作描述信息作为目标操作描述信息。
65.其中，电子设备在接收到语音形式的第一操作指令后，可以在接收到第一操作指令之后基于预先配置的自动语音识别方式(automatic speech recognition)将第一操作指令转换为对应的指令文本。例如，若接收到的第一操作指令为“打开相册”，那么在对该第一操作指令进行转换后所得到的指令文本则包括“打开相册”。
66.作为另外一种方式，可以将第一操作指令所转换得到的指令文本后，基于自然语言理解(nlu)的方式抽取指令文本内中的目的、控制对象和对象附属信息，整合为样式为{action,object,information}的三元组。其中，action表征意图，或者可以理解为控制目的，object表征控制对象，information则表征对象附属信息。例如，对第一操作指令进行转
换得到的指令文本为“播放陈情令”。基于自然语言理解的方式可以理解用户意图为：“播放”。控制对象为“陈情令”，对象附属信息为空，用三元组记为：{播放，陈情令，φ}。又比如对第一操作指令进行转换得到的指令文本为“帮我搜一下古董局中局”，意图为“查找”，控制对象为“搜索”，对象附属信；息为“古董局中局”，用三元组记为：{查找，搜索，古董局中局}。那么在从第一操作指令中获取控制目的或者意图后，则可以将意图和对象附属信息共同确定为第一操作指令对应操作对象的操作方式。
67.需要说明的是，用户在基于语音形式对电子设备进行控制的过程中，用户在发出语音的过程中，可能因为自己的发音习惯问题而使得所发出的语音较为随意，但是较为随意的语音所对应的第一操作指令可能并不能使得电子设备准确的确定用户的控制意图。例如，若第一操作指令本身对应的内容为“下一个”，对于该下一个可能所对应的意思可以为接来下的一个，所对应的意思也可能为下载一个。例如，在音频播放场景下一个可能所对应的意思可以为接来下的一个，例如，播放接下来的一首歌。而在软件下载场景中，下一个可能所对应的意思可以为下载一个。例如，下载一个应用程序。
68.为了能够更为准确的确定用户的真实意图，作为一种方式，在获取得到第一操作指令后，可以将第一操作指令直接转换为文本后的内容作为初始指令文本；根据目标界面对应的任务场景对初始指令文本进行更新得到第一操作指令对应的指令文本，再基于该指令文本进行三元组的提取以得到第一次操作指令对应的控制对象。其中，目标界面为获取到第一操作指令时所显示的界面。例如，电子设备在获取得到内容为下一个音乐的第一操作指令后，所得到的初始控制信息可以为下一个音乐。再者，电子设备也会检测目标界面的对应的任务场景，若确定目标界面对应的任务场景为音频播放场景，则可以对下一个音乐进行更新，更新后的控制信息可以为接下来的一个音乐。若确定目标界面对应的任务场景为应用程序下载场景，则可以对下一个音乐进行更新，更新后的控制信息可以为下载一个音乐播放程序。
69.可选的，所述操作描述信息包括当前用户界面所包括的控件以及控件对应的描述信息，所述将所述目标操作描述信息所描述的对象作为操作对象，包括：将所述目标操作描述信息所包括的描述信息对应的控件作为操作对象。需要说明的是，在基于前述方式在从第一操作指令从得到控制对象后，可以将控制对象与当前用户界面所包括的操作对象的操作描述信息进行匹配，从而将对应的操作描述信息与控制对象匹配的操作对象作为第一操作指令对应的操作对象。例如，若从第一操作指令中获取到的三元组为：{播放，陈情令，φ}，那么则可以将当前用户界面中包括的描述信息为操作描述信息作为目标描述信息，并且会将描述信息为陈情令的控件作为第一操作指令对应的操作对象。
70.作为另外一种方式，第一操作指令为触控形式的指令，所述基于接收到的第一操作指令获取对应的操作对象以及操作方式，包括：获取所述第一操作指令对应的操作方式；获取所述第一操作指令的操作位置；将所述操作位置与当前用户界面所包括控件的位置信息进行匹配；将对应的位置信息与所述操作位置成功匹配的控件作为操作对象。
71.需要说明的是，在操作描述信息包括当前用户界面中的控件以及控件对应的描述信息的情况下，可以通过实时对当前用户界面进行识别的方式来进行获取，也可以预先配置当前用户操作界面做包括的操作描述信息。其中可以通过下列识别方式中的至少一项对当前用户界面进行识别以得到当前用户界面所包括的控件以及控件对应的描述信息：基于
代码解析方式对所述当前用户界面进行识别；基于图文识别方式(例如，通过光学字符识别的方式)对所述当前用户界面进行识别；以及基于图标分类模型对所述当前用户界面进行识别。
72.作为一种方式，电子设备可以依次采用上述三种方式对当前用户界面进行识别以得到当前用户界面中的控件以及控件对应的描述信息。例如，电子设备可以先基于代码解析方式对所述当前用户界面进行识别，若能够识别成功，则可以直接得到当前用户界面所包括的控件以及控件对应的描述信息。若无法识别成功，则电子设备可以再采用图文识别方式对当前用户界面进行识别，若能够识别成功，则可以直接得到当前用户界面所包括的控件以及控件对应的描述信息。在得到基于图文识别方式得到的控件以及描述信息后，可以将该描述信息与从第一操作指令中得到的控制对象进行匹配，若能够成功匹配，则将该描述信息对应的控件作为第一操作指令的操作对象。若无法匹配成功，则可以再基于图标分类模型对所述当前用户界面进行识别，以得到通过图标分类模型所得到的控件以及描述信息，然后再将通过图标分类模型所得到描述信息与第一操作指令中得到的控制对象进行匹配，若能够成功匹配，则将该描述信息对应的控件作为第一操作指令的操作对象，若依然无法成功匹配，则可以发出让用户进行触控操作的提示信息。
73.其中，将控制对象与描述信息进行匹配，可以理解为对比控制对象与描述信息的文本内容是否相同，若相同则确定控制对象与描述信息匹配成功。例如，例如，对第一操作指令进行转换后得到的三元组包括{播放，陈情令，φ}，而所获取到的目标界面对应的操作描述信息包括控件1以及控件1对应的描述信息包括陈情令，还包括控件2以及控件1对应的描述信息包括古董局中局。那么在将这种情况下获取的控制对象(陈情令)与控件1和控件2各自对应的描述信息进行分别匹配后，可以确定控件1对应的描述信息可以与控制对象成功匹配，则可以确定控件1为第一操作指令对应的操作对象。
74.需要说明的是，在基于代码解析的方式对当前用户界面进行识别的过程中，可以将当前用户界面中的控件解析为图12中所示的视图树结构。在图12所示的视图树结构中，排布在最顶端的节点为根节点(root)，其中，根节点则表征的是当前用户界面中最基础的一个控件，在界面所包括的所有控件中，除了该最基础的一个控件外，其他所有控件均包含在该最基础的一个控件中。并且，排布位置越靠近顶部的节点所表征的控件的层级越接近于该最基础的一个控件。其中，视图组(viewgroup)则表征是视图树结构中的中间节点，每个视图组中可包含视图组图和/或视图节点，而视图节点(view)则表征的是叶节点。其中，所解析得到的视图节点则表征的是当前用户界面中实际所包括的控件。再者，对于其中的视图界面还会对应有控件的属性，例如，控件的位置信息(可以是坐标形式的位置信息)、控件文本内容以及描述信息等。
75.s220：基于所接收到的第一操作指令对应的操作方式对所对应的操作对象进行操作。
76.在本实施例中，在指令生成模式中，每当电子设备接收到一次第一操作指令后，电子设备可以及时的对第一操作指令进行响应而执行对应的操作。
77.s230：等待下一次的第一操作指令，直至退出所述指令生成模式。
78.前述介绍有多种的触发电子设备进入到指令生成模式的情况下，也对应有多种的退出指令生成模式的方式。
79.s240：根据在所述指令生成模式中依次接收到的第一操作指令，得到依次操作的多个操作对象以及所述多个对象各自对应的操作方式。
80.其中，在检测到退出指令生成模式后，则可以获取到依次操作的多个操作对象以及所述多个对象各自对应的操作方式。
81.s250：基于所述依次操作的多个操作对象以及所述多个操作对象各自对应的操作方式生成第二操作指令。
82.s260：存储所述第二操作指令，以用于响应于所述第二操作指令依次基于所述多个操作对象各自对应的操作方式，对所述多个操作对象进行操作。
83.作为一种方式，所述操作方式包括操作类型(例如，前述三元组中的控制目的)以及操作参数(例如，前述三元组中的对象描述信息)，所述存储所述第二操作指令，包括：获取所述第二操作指令的运行模式；对应存储所述第二操作指令以及对应的运行模式，以用于响应于所述第二操作指令后，根据所述运行模式依次基于所述多个操作对象各自对应的操作方式，对所述多个操作对象进行操作；其中，若运行模式为固定模式，在响应第二操作指令后多个操作对象各自对应的操作方式中的操作参数为生成所述第二操作指令时的多个操作对象各自对应的操作方式中操作参数；若运行模式为动态模式，在响应第二操作指令后多个操作对象各自对应的操作方式中的操作参数为从用户触发的第二操作指令中提取出的操作参数。
84.需要说明的是，在一些情况下，对于的一些操作指令而言所包括的多个操作对象可能是相同的，只是其中部分操作对象对应的操作参数会有所不同。例如，对于“给张三发1块红包”和“给李四发5块红包”这两个操作指令，所对应的操作对象中都会包括有输入框，但是对于“给张三发1块红包”这个操作指令，所对应的操作参数则为“张三”和“1”，而对于“给李四发5块红包”这个操作指令，所对应的操作参数则为“李四”和“5”。
85.在这种情况下，对于这些操作对象相同而仅仅是操作方式中的操作参数不同操作指令，则可以让用户选择对应的第二操作指令的运行模式，以便可以根据不同的运行模式对应进行第二操作指令的生成以及存储。例如，在获取第二操作指令的运行模式之前可以包括：检测多个依次接收到的多个操作对象中，是否有操作对象对应有操作参数。若检测到有操作对象对应有操作参数，则可以显示提示信息以提示用户选择运行模式，从而获取到所要存储的第二操作指令的运行模式。并且，在本实施例中，对于不同的运行模式，在对第二操作指令进行存储时所存储的内容会有不同。
86.可选的，对于动态模式而言，在执行第二操作指令的过程中，所需的操作参数是从用户所触发的第二操作指令的指令名称中获取的。因此，在动态模式下，在存储第二操作指令时，则可以仅存储依次操作的多个操作对象，然后在执行该第二操作指令的过程中，再从用户所触发的第二操作指令的指令名称中提取出依次操作的多个操作对象各自对应的操作参数。例如，对于指令名称为“给张三发1块红包”的第二操作指令，在进行第二操作指令的存储时，可以存储依次操作的两个输入框(操作对象)，而对于该依次操作的操作对象对应的操作参数则可以从“给张三发1块红包”这个指令名称中提取出。例如，先操作的输入框对应的操作参数可以为张三，后操作的输入框对应的操作参数可以为1。
87.下面在通过图13对本实施例涉及的操作指令处理方法涉及的一种流程进行下说明。
88.如图13所示，流程包括：
89.s270；用户开启指令生成模式。
90.s271：用户触发操作指令。
91.其中，s271中用户所触发的操作指令为第一操作指令。
92.s272：将用户触发的操作指令解析为三元组。
93.s273：解析当前用户界面的视图树结构。
94.s274：将当前用户界面中的控件的描述信息与三元组中的控制对象进行匹配。
95.s275：检测是否成功匹配。
96.s276：若匹配成功，记录操作指令对应的三元组，并执行对应的操作。
97.其中，执行对应的操作可以理解为执行s271中用户触发的操作指令所对应的操作。
98.s277：检测是否退出指令生成模式。
99.s278：若退出指令生成模式，则存储所生成的指令。
100.其中，所生成的指令则为理解为本技术实施例中的第二操作指令。
101.若未推出指令生成模式，则继续回到s271以等待用户触发的下一个操作指令。
102.s279：若匹配失败，则提示用户未匹配到对应的操作对象，并进入到s277。
103.下面在通过图14对本实施例涉及的操作指令处理方法涉及的一种流程进行下说明。
104.如图14所示，流程包括：
105.s280；用户开启指令生成模式。
106.s281：解析当前用户界面的视图树结构。
107.s282：检测屏幕点击操作。
108.其中，用户所触发的点击操作则可以理解为触发的一次第一操作指令。
109.s283：获取屏幕点击坐标。
110.s284：从视图树结构中找到与点击坐标对应的节点。
111.在找到与点击坐标对应的节点后，则可以将坐标对应的节点所对应的控件作为当次第一操作指令对应的操作对象，而对应的操作方式则为点击。
112.s285：记录操作指令对应的三元组。
113.其中，操作指令为当次的第一操作指令。
114.s286：检测是否退出指令生成模式。
115.s287：若退出指令生成模式，则存储所生成的指令。
116.其中，所生成的指令则为理解为本技术实施例中的第二操作指令。
117.若未退出指令生成模式，则继续回到s281以等待用户触发的下一次点击操作。
118.再者，在本技术实施例中，电子设备可以将所述生成的第二操作指令发送给其他的电子设备，从而实现第二操作指令的分享。例如，作为一种方式，电子设备可以通过聊天界面向其他电子设备的用户发送所生成的第二操作指令的名称，若其他电子设备的用户同意接收该第二操作指令，则电子设备可以进一步的将第二操作指令所对应的依次操作的多个操作对象，以及多个操作对象对应的操作方式上传给服务器，然后再由服务器推送给该其他电子设备进行存储，从而实现了不同用户之间进行第二操作指令的共享，也进一步的
丰富了单个用户可以使用的第二操作指令的丰富程度。
119.本实施例提供的一种操作指令处理方法，从而通过上述方式使得在于响应于第二操作指令后，可以自动依次基于所述多个操作对象各自对应的操作方式，对所述多个操作对象进行操作，使得不用用户再逐一手动的执行该第一操作指令，不仅提升了操作的便利性，也使得用户可以根据自己的需要来生成第二操作指令，提升了指令类型的丰富性。并且，在本实施例中，针对不同形式的第一操作指令可以对应有不同的获取对应的操作对象和操作方式的技术手段，从而使得本实施例提供的方法具有更好的通用性。并且，在本实施例中在获取第一操作指令的操作对象的过程中，可以是对当前用户界面进行实时识别以得到的操作对象，从而使得方案具有更好的实时性，而不用预先进行大量数据的存储。
120.请参阅图15，本技术提供的一种操作指令处理方法，所述方法包括：
121.s310：进入指令生成模式后，获取依次接收到的多个第一操作指令各自对应的操作对象以及操作方式，以得到依次操作的多个操作对象以及所述多个对象各自对应的操作方式。
122.在本实施例中，可以在进入指令生成模式后，可以对接收到第一操作指令以及第一操作指令对应的界面进行存储，然后可以从所存储的第一操作指令中选择依次接收到的多个第一操作指令，并根据所选择的第一操作指令以及对应的界面，来得到多个操作对象以及所述多个对象各自对应的操作方式。也就是说，在本实施例中，并不是电子设备在接收到用户触发的多个第一操作指令后，就会实时的进行第二操作指令的生成，而是可以先将第一操作指令以及对应的界面进行存储。然后，用户可以操作电子设备对已经存储的第一操作指令进行显示，并根据用户的选择从所显示的第一操作指令中确定出依次接收到的多个第一操作指令，再根据该依次接收到的多个第一操作指令以及对应的界面得到依次操作的多个操作对象以及所述多个对象各自对应的操作方式。
123.s320：基于所述依次操作的多个操作对象以及所述多个操作对象各自对应的操作方式生成第二操作指令。
124.s330：存储所述第二操作指令，以用于响应于所述第二操作指令依次基于所述多个操作对象各自对应的操作方式，对所述多个操作对象进行操作。
125.s340：退出所述指令生成模式。
126.本实施例提供的一种操作指令处理方法，从而通过上述方式使得在于响应于第二操作指令后，可以自动依次基于所述多个操作对象各自对应的操作方式，对所述多个操作对象进行操作，使得不用用户再逐一手动的执行该第一操作指令，不仅提升了操作的便利性，也使得用户可以根据自己的需要来生成第二操作指令，提升了指令类型的丰富性。并且，在本实施例中可以一次性的获取到依次输入的多个第一操作指令，进而可以批量的获取该多个第一操作指令各自对应的操作对象以及操作方式，可以提升生成第二操作指令的效率和灵活性。
127.请参阅图16，本技术提供的一种控制方法，所述方法包括：
128.s410：响应于获取到第二操作指令，获取所述第二操作指令对应的依次操作的多个操作对象以及所述多个操作对象各自对应的操作方式；
129.s420：基于所述多个操作对象各自对应的操作方式，对所述多个操作对象依次进行操作。
130.作为一种方式，所述响应于获取到第二操作指令之前还包括：若接收到语音指令，检测所述语音指令是否对应有依次操作的多个操作对象以及所述多个操作对象各自对应的操作方式；若有，则将所述语音指令作为获取到的第二操作指令。
131.作为一种方式，所述基于所述多个操作对象各自对应的操作方式，对所述多个操作对象依次进行操作之前还包括：
132.获取目标操作界面，所述目标操作界面为所述依次操作的多个操作对象中排序第一的操作对象所属界面；
133.所述基于所述多个操作对象各自对应的操作方式，对所述多个操作对象依次进行操作，包括：
134.若所述当前用户界面为所述目标操作界面，基于所述多个操作对象各自对应的操作方式，对所述多个操作对象依次进行操作；
135.若所述当前用户界面为所述目标操作界面，发出切换到显示所述目标操作界面的提示信息。
136.本实施例提供的一种操作指令处理方法，从而通过上述方式使得在于响应于第二操作指令后，可以自动依次基于所述多个操作对象各自对应的操作方式，对所述多个操作对象进行操作，使得不用用户再逐一手动的执行该第一操作指令，不仅提升了操作的便利性，也使得用户可以根据自己的需要来生成第二操作指令，提升了指令类型的丰富性。并且，在本实施例中，会对第二操作指令中对应的排序在第一的操作对象所在界面是否是当前用户界面进行检测，进而在排序在第一的操作对象所在界面与当前用户界面不同的情况下，可以主动提示用户进行界面切换，以便于可以第二操作指令的成功执行。
137.请参阅图17，本技术提供的一种操作指令处理装置500，所述装置500包括：
138.操作获取单元510，用于获取依次接收到的多个第一操作指令各自对应的操作对象以及操作方式，以得到依次操作的多个操作对象以及所述多个对象各自对应的操作方式。
139.指令生成单元520，用于基于所述依次操作的多个操作对象以及所述多个操作对象各自对应的操作方式生成第二操作指令。
140.指令存储单元530，用于存储所述第二操作指令，以用于响应于所述第二操作指令依次基于所述多个操作对象各自对应的操作方式，对所述多个操作对象进行操作。
141.作为一种方式，操作获取单元510，具体用于进入指令生成模式后，若接收到的第一操作指令，基于接收到的第一操作指令获取对应的操作对象以及操作方式；基于所接收到的第一操作指令对应的操作方式对所对应的操作对象进行操作；等待下一次的第一操作指令，直至退出所述指令生成模式；根据在所述指令生成模式中依次接收到的第一操作指令，得到依次操作的多个操作对象以及所述多个对象各自对应的操作方式。可选的，操作获取单元510，具体用于获取第一操作指令对应的指令文本；基于所述指令文本得到操作方式；基于所述指令文本从操作描述信息中获取目标操作描述信息，所述操作描述信息为用于描述当前用户界面所包括操作的信息，所述当前用户界面为接收到第一操作指令时所显示的用户界面；将所述目标操作描述信息所描述的对象作为操作对象。
142.可选的，操作获取单元510，具体用于基于所述指令文本获取控制目的、控制对象以及对象附属信息；将所述控制对象与操作描述信息进行匹配，将与所述控制对象成功匹
配的操作描述信息作为目标操作描述信息。
143.可选的，所述操作描述信息包括当前用户界面所包括的控件以及控件对应的描述信息，对应的，操作获取单元510，具体用于将所述目标操作描述信息所包括的描述信息对应的控件作为操作对象。
144.其中，操作获取单元510，具体用于通过下列识别方式中的至少一项对当前用户界面进行识别以得到当前用户界面所包括的控件以及控件对应的描述信息：基于代码解析方式对所述当前用户界面进行识别；基于图文识别方式对所述当前用户界面进行识别；以及基于图标分类模型对所述当前用户界面进行识别。
145.作为另外一种方式，第一操作指令为触控形式的指令。在这种方式中，操作获取单元510，具体用于获取所述第一操作指令对应的操作方式；获取所述第一操作指令的操作位置；将所述操作位置与当前用户界面所包括控件的位置信息进行匹配；将对应的位置信息与所述操作位置成功匹配的控件作为操作对象。
146.作为一种方式，装置500还包括模式管理单元540，用于触发进入指令生成模式。对应的，操作获取单元510，具体用于进入指令生成模式后，获取依次接收到的多个第一操作指令各自对应的操作对象以及操作方式，以得到依次操作的多个操作对象以及所述多个对象各自对应的操作方式。在这种方式中，模式管理单元540，还用于在存储所述第二操作指令之后退出所述指令生成模式。
147.作为一种方式，指令存储单元530，具体用于获取所述第二操作指令的运行模式；对应存储所述第二操作指令以及对应的运行模式，以用于响应于所述第二操作指令后，根据所述运行模式依次基于所述多个操作对象各自对应的操作方式，对所述多个操作对象进行操作；其中，若运行模式为固定模式，在响应第二操作指令后多个操作对象各自对应的操作方式中的操作参数为生成所述第二操作指令时的多个操作对象各自对应的操作方式中操作参数；若运行模式为动态模式，在响应第二操作指令后多个操作对象各自对应的操作方式中的操作参数为从用户触发的第二操作指令中提取出的操作参数。
148.请参阅图18，本技术提供的一种控制装置，所述装置600包括：
149.操作获取单元610，用于响应于获取到第二操作指令，获取所述第二操作指令对应的依次操作的多个操作对象以及所述多个操作对象各自对应的操作方式。
150.操作执行单元620，用于基于所述多个操作对象各自对应的操作方式，对所述多个操作对象依次进行操作。
151.作为一种方式，操作获取单元610，还用于若接收到语音指令，检测所述语音指令是否对应有依次操作的多个操作对象以及所述多个操作对象各自对应的操作方式；若有，则将所述语音指令作为获取到的第二操作指令。
152.作为一种方式，操作获取单元610，还用于获取目标操作界面，所述目标操作界面为所述依次操作的多个操作对象中排序第一的操作对象所属界面；若所述当前用户界面为所述目标操作界面，基于所述多个操作对象各自对应的操作方式，对所述多个操作对象依次进行操作；若所述当前用户界面为所述目标操作界面，发出切换到显示所述目标操作界面的提示信息。
153.本实施例提供的一种操作指令处理装置，可以先获取依次接收到的多个第一操作指令各自对应的操作对象以及操作方式，以得到依次操作的多个操作对象以及所述多个对
象各自对应的操作方式，再基于所述依次操作的多个操作对象以及所述多个操作对象各自对应的操作方式生成第二操作指令，并存储所述第二操作指令，从而通过上述方式使得在于响应于第二操作指令后，可以自动依次基于所述多个操作对象各自对应的操作方式，对所述多个操作对象进行操作，使得不用用户再逐一手动的执行该第一操作指令，不仅提升了操作的便利性，也使得用户可以根据自己的需要来生成第二操作指令，提升了指令类型的丰富性。
154.需要说明的是，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本技术所提供的几个实施例中，模块相互之间的耦合可以是电性。另外，在本技术各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
155.下面将结合图13对本技术提供的一种电子设备进行说明。
156.请参阅图13，基于上述的操作指令处理方法、装置，本技术实施例还提供的一种可以执行前述操作指令处理方法的电子设备1000。电子设备1000包括相互耦合的一个或多个(图中仅示出一个)处理器102、存储器104、摄像头106以及音频采集装置108。其中，该存储器104中存储有可以执行前述实施例中内容的程序，而处理器102可以执行该存储器104中存储的程序。
157.其中，处理器102可以包括一个或者多个处理核。处理器102利用各种接口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器104内的指令、程序、代码集或指令集，以及调用存储在存储器104内的数据，执行电子设备1000的各种功能和处理数据。可选地，处理器102可以采用数字信号处理(digital signal processing，dsp)、现场可编程门阵列(field－programmable gate array，fpga)、可编程逻辑阵列(programmable logic array，pla)中的至少一种硬件形式来实现。处理器102可集成中央处理器(central processing unit，cpu)、图像处理器(graphics processing unit，gpu)和调制解调器等中的一种或几种的组合。其中，cpu主要处理操作系统、用户界面和应用程序等；gpu用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器102中，单独通过一块通信芯片进行实现。作为一种方式，处理器102可以为神经网络芯片。例如，可以为嵌入式神经网络芯片(npu)。
158.存储器104可以包括随机存储器(random access memory，ram)，也可以包括只读存储器(read-only memory)。存储器104可用于存储指令、程序、代码、代码集或指令集。存储器104可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。
159.再者，电子设备1000除了前述所示的器件外，还可以包括网络模块110以及传感器模块112。
160.所述网络模块110用于实现电子设备1000与其他设备之间的信息交互，例如，传输设备控制指令、操纵请求指令以及状态信息获取指令等。而当电子设备200具体为不同的设备时，其对应的网络模块110可能会有不同。
161.传感器模块112可以包括至少一种传感器。具体地，传感器模块112可包括但并不限于：水平仪、光传感器、运动传感器、压力传感器、红外热传感器、距离传感器、加速度传感器、以及其他传感器。
162.其中，压力传感器可以检测由按压在电子设备1000产生的压力的传感器。即，压力传感器检测由用户和电子设备之间的接触或按压产生的压力，例如由用户的耳朵与移动终端之间的接触或按压产生的压力。因此，压力传感器可以用来确定在用户与电子设备1000之间是否发生了接触或者按压，以及压力的大小。
163.其中，加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别电子设备1000姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等。另外，电子设备1000还可配置陀螺仪、气压计、湿度计、温度计等其他传感器，在此不再赘述。
164.音频采集装置110，用于进行音频信号采集。可选的，音频采集装置110包括有多个音频采集器件，该音频采集器件可以为麦克风。
165.作为一种方式，电子设备1000的网络模块为射频模块，该射频模块用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或者其他设备进行通讯。所述射频模块可包括各种现有的用于执行这些功能的电路元件，例如，天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(sim)卡、存储器等等。例如，该射频模块可以通过发送或者接收的电磁波与外部设备进行交互。例如，射频模块可以向目标设备发送指令。
166.请参考图14，其示出了本技术实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
167.计算机可读存储介质800可以是诸如闪存、eeprom(电可擦除可编程只读存储器)、eprom、硬盘或者rom之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。
168.综上所述，本技术提供的一种操作指令处理方法、控制方法、装置以及电子设备，可以先获取依次接收到的多个第一操作指令各自对应的操作对象以及操作方式，以得到依次操作的多个操作对象以及所述多个对象各自对应的操作方式，再基于所述依次操作的多个操作对象以及所述多个操作对象各自对应的操作方式生成第二操作指令，并存储所述第二操作指令，从而通过上述方式使得在于响应于第二操作指令后，可以自动依次基于所述多个操作对象各自对应的操作方式，对所述多个操作对象进行操作，使得不用用户再逐一手动的执行该第一操作指令，不仅提升了操作的便利性，也使得用户可以根据自己的需要来生成第二操作指令，提升了指令类型的丰富性。
169.最后应说明的是：以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而
这些修改或者替换，并不驱使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。