设备控制方法、系统、装置、设备和存储介质与流程

1.本技术涉及数据处理领域，特别涉及一种设备控制方法、系统、装置、设备和存储介质。


背景技术：

2.随着互联网技术和人工智能的发展，可以通过多种智能设备实时互联，来组成一个智能设备系统，智能设备系统中的各个智能设备可以由一个终端来进行控制，用户可以向该终端发出交互指令，终端可以根据交互指令控制智能设备。
3.相关技术中，用户可以在终端上设置身份信息以及与身份信息绑定的交互模式。当终端接收到用户发出的交互指令时，可以识别用户的身份信息，并确定与身份信息绑定的交互模式，控制智能设备以该交互模式响应交互指令。
4.但是，由于智能设备系统中可能存在大量的智能设备，若由该用户一一为不同的智能设备设置交互模式，设置的过程较为繁琐，需要耗费大量的时间。


技术实现要素：

5.本技术实施例提供了一种设备控制方法、系统、装置、设备和存储介质，能够自动根据使用记录为不同用户提供不同的交互模式，降低设置过程的繁琐程度，所述技术方案如下：
6.一方面，提供了一种设备控制方法，所述方法包括：
7.响应于在目标环境中检测到用户，获取所述用户的设备使用记录，所述设备使用记录包括所述用户在历史使用过程中与不同设备进行交互所采用的至少一种交互模式；
8.响应于在所述目标环境中获取到的所述用户的交互指令，确定目标设备，所述目标设备用于对所述交互指令进行响应；
9.根据所述设备使用记录以及所述目标设备，确定目标交互模式；
10.控制所述目标设备采用所述目标交互模式响应所述交互指令。
11.在本技术中，检测到用户进入目标环境，终端可以获取用户的设备使用记录，设备使用记录可以反映用户对于交互模式的偏好。在此之后，终端可以根据用户的交互指令确定目标设备，并将设备使用记录以及目标设备发送给服务器，服务器可以根据设备使用记录以及目标设备确定目标交互模式，由于设备使用记录反映了用户对于交互模式的偏好，服务器确定出的目标交互模式也就可以反映用户的偏好，终端可以控制目标设备采用目标交互模式响应交互指令。通过上述技术方案，针对于不同的用户，服务器可以为其推荐不同的交互模式，由于推荐交互模式的过程中参考了用户的设备使用记录，而设备使用记录可以反映用户对于交互模式的偏好，用户对于交互模式的偏好也可以被称之为用户画像，因此服务器推荐的交互模式更加符合用户的偏好，交互模式的推荐效果更好，整个交互模式的推荐过程无需用户手动操作，避免了繁琐的设置过程。
12.在一种可能的实施方式中，所述根据所述设备使用记录以及所述目标设备，确定
目标交互模式包括：
13.根据所述设备使用记录，确定第一交互模式，所述第一交互模式为所述至少一种交互模式中使用情况符合条件的交互模式；
14.根据所述目标设备支持的交互模式以及所述第一交互模式，确定目标交互模式。
15.在这种实现方式下，服务器可以根据设备使用记录确定第一交互模式，第一交互模式可以为用户使用次数最多的交互模式，该第一交互模式也即是用户偏好的交互模式。服务器根据该第一交互模式和目标设备支持的交互模式来确定目标交互模式，可以保证目标交互模式在保证目标设备支持的前提下，最大限度的符合用户的偏好。终端控制目标设备采用目标交互模式与用户完成交互，交互的效果较好。
16.在一种可能的实施方式中，所述根据所述设备使用记录以及所述目标设备，确定目标交互模式包括：
17.根据所述设备使用记录以及所述目标设备，确定至少一个第二交互模式，所述至少一个第二交互模式为所述用户与所述目标设备进行交互时曾使用的交互模式；
18.将所述至少一种第二交互模式中使用情况符合条件的交互模式，确定为所述目标交互模式。
19.在这种实现方式下，服务器可以先从设备使用记录中筛选出用户与目标设备的交互记录，根据用户与目标设备的交互记录，确定出用户使用目标设备时最符合用户喜偏好的目标交互模式，后续终端可以控制目标设备以最符合用户偏好的交互模式与用户完成交互，交互的效果较好。
20.在一种可能的实施方式中，所述响应于在所述目标环境中获取到的所述用户的交互指令，确定目标设备包括：
21.响应于在所述目标环境中获取到的所述用户的交互指令,确定所述交互指令的交互意图；
22.查询所述目标环境内至少一个设备的设备能力信息，将所述设备能力信息与所述交互意图匹配的设备确定为所述目标设备。
23.在一种可能的实施方式中，所述响应于在所述目标环境中获取到的所述用户的交互指令，确定目标设备包括：
24.响应于在所述目标环境中获取到的交互指令携带设备信息，将所述目标环境中所述设备信息指示的设备确定为所述目标设备。
25.在一种可能的实施方式中，所述方法还包括：
26.响应于未获取到所述用户的设备使用记录，确定所述用户的年龄段；
27.根据所述用户的年龄段，确定与所述用户的年龄段对应的第三交互模式；
28.控制所述至少一个目标设备采用所述第三交互模式响应所述交互指令。
29.在这种实现方式下，即使服务器为获取到用户的用户信息，也可以根据用户的年龄自动确定对应的第三交互模式，在一定程度上实现了个性化推荐交互模式的效果，用户与设备进行交互的效果更好。
30.在一种可能的实施方式中，所述响应于在所述目标环境中获取到的所述用户的交互指令，确定目标设备之后，所述方法还包括：
31.响应于所述交互指令中携带第四交互模式，控制所述至少一个目标设备采用所述
第四交互模式响应所述交互指令。
32.在这种实现方式下，终端可以直接控制目标设备采用交第四交互模式响应交互指令，无需通过服务器确定交互模式，用户与目标设备进行交互的效率更高。
33.在一种可能的实施方式中，所述响应于在所述目标环境中获取到的所述用户的交互指令，确定目标设备之后，所述方法还包括：
34.响应于所述目标设备登录有所述用户的账户，确定第五交互模式，所述第五交互模式为登录所述账户的其他设备的使用情况符合条件的交互模式；
35.控制所述至少一个目标设备采用所述第五交互模式响应所述交互指令。
36.在这种实现方式下，服务器可以根据用户的其他设备确定第五交互模式，由于第五交互模式是用户其他设备上常用的交互模式，终端可以控制目标设备采用第五交互模式与用户完成交互，交互的效果较好。
37.在一种可能的实施方式中，所述根据所述设备使用记录以及所述目标设备，确定目标交互模式之前，所述方法还包括：
38.获取目标环境的环境信息，所述环境信息至少包括温度信息和时间信息；
39.所述根据所述设备使用记录以及所述目标设备，确定目标交互模式包括：
40.根据所述环境信息、所述设备使用记录以及所述设备标识，确定所述目标交互模式。
41.在这种实现方式下，服务器在确定目标交互模式时参考了目标环境的环境信息，可以在保证符合环境条件的情况下，终端可以控制目标设备以用户偏好的交互模式与用户完成交互，交互的效果较好。
42.在一种可能的实施方式中，所述控制所述至少一个目标设备以所述目标交互模式执行所述交互指令之后，所述方法还包括：
43.响应于所述用户的行为发生变化，根据变化后的行为重新确定交互模式；
44.控制所述至少一个目标设备采用重新确定的交互模式响应所述交互指令。
45.在这种实现方式下，服务器还可以根据用户的行为生成不同的交互方案，进一步提升了用户与目标设备交互时的便捷性，用户与目标设备进行交互的效果更好。
46.一方面，提供了一种设备控制装置，用于执行上述设备控制方法。具体地，该设备控制装置包括用于执行上述设备控制方法的功能模块。
47.一方面，提供一种电子设备，该电子设备包括处理器和存储器，该存储器中存储有至少一条指令，该指令由该处理器加载并执行以实现如上述设备控制方法所执行的操作。
48.一方面，提供一种计算机可读存储介质，该存储介质中存储有至少一条指令，该指令由处理器加载并执行以实现如上述设备控制方法所执行的操作。
附图说明
49.图1是本公开实施例提供的一种设备控制方法的实施环境示意图；
50.图2是根据一示例性实施例示出的一种设备控制方法的流程图；
51.图3是根据一示例性实施例示出的一种设备控制方法的逻辑框图；
52.图4是根据一示例性实施例示出的基于用户的年龄段的设备控制方法的流程图；
53.图5为根据一示例性实施例示出的一种设备控制方法的流程图；
54.图6是根据一示例性实施例示出的一种基于账户的设备控制方法的流程图；
55.图7是根据一示例性实施例示出的一种基于用户行为的设备控制方法的流程图；
56.图8是根据一示例性实施例示出的一种基于环境信息的设备控制方法的流程图；
57.图9是根据一示例性实施例示出的一种设备控制装置的结构示意图；
58.图10是根据一示例性实施例示出的一种终端的结构示意图；
59.图11是根据一示例性实施例示出的一种服务器的结构示意图。
具体实施方式
60.为使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开实施方式作进一步地详细描述。
61.本技术中术语“至少一个”的含义是指一个或多个，例如，至少一个设备是指一个或一个以上的设备。本技术中数据“多个”的含义是指两个或多个。本技术中术语“系统”和“网络”经常可互换使用。
62.本技术中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。
63.应理解，在本技术的各个实施例中，各个过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
64.应理解，根据a确定b并不意味着仅仅根据a确定b，还可以根据a和/或其它信息确定b。
65.应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
66.应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本技术的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
67.首先对本技术实施例涉及的名词进行解释：
68.交互模式：即用户发出指令，设备根据用户的指令做出相应操作的方式。交互模式可以包括以下几种：(1)传统交互模式，手动的打开和调节设备，也即是通过用户与设备的开关或调解旋钮进行物理接触，实现对设备的控制，例如用户通过旋转收音机的声音控制旋钮，来控制收音机发出声音的大小；(2)设备交互模式，通过智能手机，智能手表以及智能屏幕等设备控制其他设备，主要实现远程控制，环境监控能力，例如当用户想要控制智能窗帘关闭时，可以通过向智能手机发出“关闭窗帘”的指令，智能手机根据用户发出的指令，控制智能窗帘关闭；(3)手势交互模式，即智能设备通过感应用户体感，或通过摄像头识别手势来接收和实现用户发出的指令。比如用户一挥手，照明灯可以自行关闭，用户再一挥手，照明灯可以自行打开；(4)语音交互模式，通过语音和设备进行交互，主要分为两种，通过语音直接和设备进行交互和通过一款中间设备和其他设备展开交互。以通过语音直接和设备
进行交互为例，用户可以对智能音箱说“播放xx歌曲”，智能音箱可以直接播放相应的歌曲。
69.以下，示例性介绍本技术的硬件环境。
70.图1是本技术实施例提供的一种设备控制方法的实施环境的示意图。该实施环境包括：设备控制系统，设备控制系统可以包括终端100、智能设备200以及服务器300。
71.参见图1，终端100可以是车载终端、智能手机、平板电脑或者便携式计算机。当然，上述几种终端仅是举例，终端100也可以是其他支持设备控制功能的电子设备，本实施例对终端100的设备类型不做限定。在一些可能的实现方式中，终端100可以为智能设备200的一种。
72.终端100可以运行有支持设备控制的应用程序。该应用程序可以是智能设备控制应用、等。示例性的，终端100是用户使用的终端，终端100运行的应用程序内登录有用户账号，该用户账号可以预先在服务器中注册。终端100可以通过无线网络或有线网络与智能设备和服务器相连。
73.智能设备200可以是智能音箱、智能电视、智能洗衣机和智能热水器等。当然，上述几种智能设备仅是举例，智能设备200也可以是其他类型的智能设备，例如智能窗帘、智能热水壶等，本实施例对智能设备200的设备类型不做限定。
74.服务器300用于为支持设备控制的应用程序提供后台服务。例如，终端可以将采集到的信息发送给服务器300，由服务器300通过采集到的信息进行交互模式的推荐，并将推荐结果发送给终端。
75.服务器300可以对应维护有数据库301。服务器300可以是一台服务器，也可以是多台服务器组成的集群。数据库301中可以用于存储用户信息。服务器300可以访问数据库301，得到数据库301存储的用户信息以及设备使用记录，根据用户信息以及设备使用记录推荐交互模式。
76.本领域技术人员可以知晓，上述终端、智能设备、服务器或者数据库的数量可以更多或更少。比如上述终端、智能设备、服务器或者数据库可以仅为一个，或者上述为几十个或几百个，或者更多数量，此时虽图中未示出，设备控制系统还包括其他终端、其他智能设备、其他服务器或者其他数据库。
77.以上示例性介绍了系统架构，以下示例性介绍基于上文提供的系统架构进行设备控制的方法流程。
78.图2是本技术实施例提供的一种设备控制方法的流程图，图2是本技术实施例提供的一种设备控制方法的逻辑框图，参见图2和图3，方法包括：
79.201、响应于在目标环境中检测到用户，终端获取用户的设备使用记录，设备使用记录包括用户在历史使用过程中与不同设备进行交互所采用的至少一种交互模式。
80.其中，设备使用记录可以为用户与不同设备进行交互所采用的交互模式的记录，例如用户与智能屏幕采用触摸交互模式进行交互，用户采用语音交互模式与智能音箱进行交互。设备使用记录的形式可以参见表1。
81.表1
82.角色设备交互模式爷爷智能音箱语音奶奶智能音箱语音
爸爸智能屏幕语音妈妈智能屏幕触摸孩子智能音箱语音
………………
83.在一种可能的实施方式中，响应于在目标环境中检测到用户，终端可以对用户进行识别，根据识别结果确定用户的用户信息。终端可以根据用户的用户信息，获取用户的设备使用记录，其中，用户信息可以为标识用户的信息，例如可以为用户的家庭成员标识或者为用户的年龄段和性别的组合等信息，用户信息的记录形式可以参见表2。
84.表2
85.用户年龄段性别老爷子老年男老太婆老年女爸爸中年男妈妈中年女小宝孩子男
86.基于上述实施例，终端确定用户的用户信息，并根据用户信息，获取用户的设备使用记录可以包括至少三种可能的实施方式：
87.在一种可能的实施方式中，终端可以通过用户的图像来确定用户的用户信息，也即是，响应于在目标环境中检测到用户，终端可以获取用户的图像，对用户的图像进行图像识别，确定用户的用户信息。终端可以根据用户的用户信息，获取用户的设备使用记录。以用户进入厨房为例进行说明，终端可以与安装在厨房内的拍摄设备以及安装在厨房内的红外探测仪相连，当终端通过红外探测仪检测到有用户进入厨房，终端可以控制拍摄设备获取用户的图像，对用户的图像进行图像识别，确定用户在图像中所处区域，对该区域内的图像进行人脸识别，确定用户的用户信息。终端可以根据用户信息在存储有设备使用记录的存储空间中查询对应的设备使用记录。
88.下面对终端根据用户的图像确定用户信息的方法进行说明：终端可以存储有人脸识别模型，该人脸识别模型可以为通过家庭中不同用户的图像训练得到的，具有根据家庭中某个用户的图像确定用户身份信息的能力。终端通过拍摄设备获取用户的图像之后，可以将用户的图像输入人脸识别模型，通过人脸识别模型对用户的图像进行卷积处理，得到用户的图像对应的图像特征，根据图像特征确定用户在图像中所处的区域，根据该区域对应的图像特征生成特征图，根据特征图确定用户的图像与至少一个用户信息对应的概率，将概率符合目标条件的用户信息确定为用户的图像对应的用户信息。
89.当然，上述说明是以终端对用户图像进行识别，得到用户信息为例进行说明的，在另一种可能的实施方式中，终端可以将用户的图像发送给服务器，由服务器对用户的图像进行识别，得到用户的用户信息，例如由服务器训练上述人脸识别模型，并通过人脸识别模型得到用户的用户信息。相应的，也可以由服务器根据用户信息在服务器对应维护的设备使用记录数据库中进行查询，得到用户信息对应的设备使用记录，本技术实施例对此不做限定。
90.在一种可能的实施方式中，终端可以通过用户的生物信息，例如声音、指纹、体重
等来进行识别，确定用户的用户信息。以基于声音进行识别为例，该获取设备使用记录的过程可以包括：响应于在目标环境中检测到用户，终端可以获取用户发出的声音，对用户发出的声音进行识别，确定用户的用户信息。终端可以根据用户的用户信息，获取用户的设备使用记录。还是以用户进入厨房为例进行说明，终端可以与安装在厨房内的麦克风以及安装在厨房内的红外探测仪相连，当终端通过红外探测仪检测到有用户进入厨房，终端可以控制麦克风获取用户发出的声音，将用户发出的声音转化为频域信号，对频域信号进行特征提取，得到用户的声纹特征，根据用户的声纹特征，确定用户的用户信息。终端可以根据用户信息在存储有设备使用记录的存储空间中查询对应的设备使用记录。
91.下面对终端根据用户的语音确定用户信息的方法进行说明：终端可以训练一个声纹识别模型，该声纹识别模型可以为家庭中不同用户的声音训练得到的，具有根据家庭中某个用户的声音确定用户身份信息的能力。终端通过麦克风获取用户的声音之后，可以将用户的声音转化为时序序列，对时序序列进行时频转化，得到时序序列对应的频域信号，将频域信号输入语音识别模型，通过语音识别模型对用户的声音进行卷积处理，得到用户的声音对应的声纹特征，根据声纹特征确定用户的语音与至少一个用户信息对应的概率，将概率符合目标条件的用户信息确定为用户的图像对应的用户信息。其中，时频转化的方法可以采用傅里叶变换(fourier transform，ft)或者小波变换(wavelet transform，wt)，本技术实施例对此不做限定。
92.当然，上述说明是以终端对用户语音进行识别，得到用户信息为例进行说明的，在另一种可能的实施方式中，终端可以将用户的语音发送给服务器，由服务器对用户的语音进行识别，得到用户的用户信息，例如由服务器训练上述语音识别模型，并通过语音识别模型得到用户的用户信息。相应的，也可以由服务器根据用户信息在服务器对应维护的设备使用记录数据库中进行查询，得到用户信息对应的设备使用记录，本技术实施例对此不做限定。
93.在一种可能的实施方式中，终端可以通过用户携带的便携设备来确定用户的用户信息，便携设备可以为可穿戴设备或者移动终端，便携设备中可以存储有用户的用户信息，也即是，响应于在目标环境中检测到任一便携设备，终端可以向该便携设备发送用户信息获取请求，用户信息获取请求中可以携带有终端的标识。便携设备可以响应于用户信息获取请求，向终端发送用户信息。终端接收到用户信息之后，可以根据用户信息，获取用户的设备使用记录。还是以用户进入厨房为例进行说明，终端可以与安装在厨房内的检测设备相连，该检测设备具有获取目标范围内是否存在便携设备的能力。当终端通过该检测设备检测到目标范围内存在便携设备时，可以确定有用户进入厨房。终端可以通过该检测设备向便携设备发送用户信息获取请求，检测设备接收到便携设备返回的用户信息之后，可以将用户信息发送给终端。终端可以接收并根据用户信息在存储有设备使用记录的存储空间中查询对应的设备使用记录。
94.下面对终端通过检测设备检测便携设备，从便携设备获取用户信息的方式进行说明：检测设备可以在目标设备内广播连接信息，该连接信息用于引导便携设备与检测设备进行网络连接。便携设备响应于该连接信息，可以与检测设备建立网络连接，通过该网络连接向检测设备发送连接成功信息。响应于接收到连接成功信息，检测设备可以将该连接成功信息转发给终端，终端可以确定有便携设备进入目标范围。终端可以通过检测设备向便
携设备发送用户信息获取请求，便携设备响应于用户信息获取请求，通过检测设备向终端发送用户信息。终端获取用户信息。
95.需要说明的是，终端可以通过上述任一种方式来获取用户信息以及设备使用记录；还可以同时采用上述任意两种方式结合来获取用户信息以及设备使用记录；当然也可以同时采用上述三种方式或其他实现方式来获取用户信息以及设备使用记录，本技术实施例对此不做限定。
96.除此之外，设备使用记录可以存储在终端内，也可以存储在与终端相连的智能设备中，还可存储在服务器中，本技术实施例对此不做限定。
97.202、终端响应于在目标环境中获取到的用户的交互指令，确定目标设备，目标设备用于对交互指令进行响应。
98.其中，交互指令是指用户发出与智能设备进行交互的指令，交互指令可以包括语音交互指令以及触摸交互指令等。例如用户可以说出的“播报天气”，也即是一个语音交互指令；用户触摸设备屏幕上执行某种操作，例如点击“播放”按钮，也即是一个触摸交互指令。
99.在一种可能的实施方式中，终端可以响应于在目标环境中获取到的用户的交互指令,确定交互指令的交互意图。终端可以查询目标环境内至少一个设备的设备能力信息，将设备能力信息与交互意图匹配的设备确定为目标设备。
100.以交互指令为触摸交互指令为例，该目标设备的确定过程可以包括：终端响应于在目标环境中获取到的用户的语音交互指令，对语音交互指令进行语音识别，将语音交互指令转化为文本。终端可以在文本中查询与交互意图关联的第一关键词，根据第一关键词确定交互指令的交互意图。其中，第一关键词和交互意图的关联关系可以提前设定，例如，第一关键词“新闻”可以与交互意图“播放新闻”关联；第一关键词“菜谱”可以与交互意图“显示菜谱”关联。终端可以在目标环境中查询至少一个设备的设备能力信息，设备能力信息可以反映设备能够实现的功能，例如设备“智能音箱”可以与设备能力信息“播放新闻”、“播放音乐”以及“报告天气”对应；设备“智能屏幕”可以与设备能力信息“显示新闻”、“显示天气”以及“显示菜谱”对应。终端可以将设备能力信息与交互意图的匹配的设备确定为目标设备，比如，终端确定交互指令的交互意图为“播放新闻”，那么可以将该交互意图与智能音箱的设备信息能力“播放新闻”匹配。终端可以将智能音箱确定为目标设备。
101.在一种可能的实施方式中，终端响应于在目标环境中获取到的交互指令携带设备信息，将目标环境中设备信息指示的设备确定为目标设备。下面分别以交互指令为语音交互指令和触摸交互指令为例进行说明：
102.以交互指令为语音交互指令为例，该目标设备的确定过程可以包括：终端响应于在目标环境中获取到的用户的语音交互指令，对语音交互指令进行语音识别，将语音交互指令转化为文本。终端可以在文本中确定设备信息，设备信息可以为设备关键词，例如设备的名称。终端可以将设备信息指示的设备确定为目标设备。举例来说，用户可以发出语音交互指令“智能音箱播放xx歌曲”，终端可以对语音交互指令“智能音箱播放xx歌曲”进行语音识别，得到语音交互指令对应的文本。终端可以文本拆分为多种字符组，例如“智能”、“智能音”以及“智能音箱”，在存储有设备信息的存储空间中查询多种字符组。响应于查询到任一字符组，例如“智能音箱”，终端可以将该字符组“智能音箱”确定为设备信息，将目标环境中
设备信息指示的设备确定为目标设备，在这种情况下，目标设备也即是智能音箱。
103.以交互指令为触摸交互指令为例，该目标设备的确定过程可以包括：终端响应于在目标环境中获取到的用户的触摸交互指令，触摸交互指令中携带设备信息。终端可以从触摸交互指令中获取设备信息，将目标环境中设备信息指示的设备确定为目标设备。比如，用户可以在设备屏幕上进行触摸操作，选取目标环境中的智能音箱播放某个歌曲，设备屏幕可以将智能音箱对应的设备信息和歌曲对应的歌曲标识发送给终端。终端可以接收并根据设备信息确定目标设备为智能音箱。后续终端可以将歌曲的标识发送给该智能音箱，控制该智能音箱播放歌曲。
104.在一种可能的实施方式中，响应于在目标环境中获取到的语音交互指令携带与设备关联的内容，将目标环境中与该内容对应的设备确定为目标设备。具体来说，终端响应于在目标环境中获取到的用户的语音交互指令，对语音交互指令进行语音识别，将语音交互指令转化为文本。终端可以在文本中确定与设备关联的内容，其中，设备与内容的关联关系可以提前设置，例如可以为内容“新闻”与设备“智能音箱”设置关联关系，或者可以为内容“显示天气”与设备“智能屏幕”设置关联关系。终端可以根据内容与设备的关联关系，在目标环境中确定目标设备。举例来说，若用户的语音交互指令为“今天有什么新闻”，终端可以对语音交互指令为“今天有什么新闻”进行语音识别，将语音交互指令转化为文本。终端可以在文本“今天有什么新闻”中确定与设备关联的内容“新闻”，终端设备可以在存储有内容与设备对应关系的存储空间中进行查询，确定与“新闻”对应的设备“智能音箱”，“智能音箱”也即是目标设备。
105.203、终端向服务器发送设备使用记录以及目标设备的设备信息。
106.204、服务器接收终端发送的设备使用记录以及目标设备的设备信息，根据设备使用记录以及目标设备的设备信息，确定目标交互模式。
107.服务器可以基于不同的信息来确定目标交互模式，下面分多种可能实施方式来进行说明：
108.一、服务器可以根据设备使用记录，确定第一交互模式，第一交互模式为至少一种交互模式中使用情况符合条件的交互模式。服务器根据目标设备支持的交互模式以及第一交互模式，确定目标交互模式。
109.举例来说，服务器可以根据目标设备的标识，获取目标设备支持的交互模式。服务器可以根据设备使用记录获取用户在历史使用过程中，采用不同交互模式的次数，用户采用不同交互模式的次数形式可以参见表3。服务器可以将使用次数最多的交互模式确定为第一交互模式，第一交互模式也可以反映用户对于交互模式的偏好。服务器可以确定目标设备支持的交互模式中是否包含第一交互模式。若目标设备支持的交互模式中包含第一交互模式，那么可以将第一交互模式确定为目标交互模式；若目标设备支持的交互模式中不包含第一交互模式，则服务器可以将使用次数第二多的交互模式确定为第一交互模式，确定目标设备支持的交互模式中是否包含新确定的第一交互模式。若目标设备支持的交互模式中包含新确定的第一交互模式，那么可以将新确定的第一交互模式确定为目标交互模式。以此类推，直至确定出目标交互模式。在这种实现方式下，服务器可以根据设备使用记录确定第一交互模式，第一交互模式可以为用户使用次数最多的交互模式，该第一交互模式也即是用户偏好的交互模式。服务器根据该第一交互模式和目标设备支持的交互模式来
确定目标交互模式，可以保证目标交互模式在保证目标设备支持的前提下，最大限度的符合用户的偏好。终端控制目标设备采用目标交互模式与用户完成交互，交互的效果较好。
110.表3
111.交互模式使用次数语音80触摸55非接触手势60视线70脑电波54
…………
112.二、服务器可以根据设备使用记录以及目标设备，确定至少一个第二交互模式，至少一个第二交互模式为用户与目标设备进行交互时曾使用的交互模式。服务器可以将至少一种第二交互模式中使用情况符合条件的交互模式，确定为目标交互模式。
113.举例来说，服务器可以根据目标设备的标识，在设备使用记录中进行查询，确定至少一个第二交互模式，统计至少一个第二交互模式的使用次数，将使用次数最多的第二交互模式确定为目标交互模式。在这种实现方式下，服务器可以先从设备使用记录中筛选出用户与目标设备的交互记录，根据用户与目标设备的交互记录，确定出用户使用目标设备时最偏好的目标交互模式，后续终端可以控制目标设备以最符合用户偏好的交互模式与用户完成交互，交互的效果较好。
114.205、服务器向终端发送目标交互模式。
115.206、终端接收服务器发送的目标交互模式，控制目标设备采用目标交互模式响应交互指令。
116.在一种可能的实施方式中，终端接收到服务器发送的目标交互模式之后，可以根据目标设备的设备信息将目标交互模式发送给目标设备，控制目标设备采用目标交互模式响应交互指令。例如用户发出的交互指令为“今天天气怎么样”，目标设备为智能电视，服务器确定的目标交互模式为语音交互模式，那么终端可以向智能电视发送指令，控制智能电视采用语音交互模式反馈当前天气。
117.除此之外，一旦用户的行为发生变化，其所需要的交互模式可能也会发生变化，因此，可以基于行为变化来触发交互模式的重新确定，从而使得设备可以及时调整自身的交互模式，来适应用户的操作需求。在一种可能实现方式中，重新确定交互模式的方法可以包括：响应于用户的行为发生变化，服务器根据变化后的行为重新确定交互模式，服务器可以将重新确定交互模式发送给终端，终端接收重新确定交互模式，控制至少一个目标设备采用重新确定的交互模式响应交互指令。
118.在一种可能的实施方式中，终端可以通过拍摄设备实时获取用户图像，将用户图像发送给服务器，服务器可以对用户图像进行识别，确定用户的行为。响应于用户的行为发生变化，服务器可以根据变化后的行为重新确定交互模式，将重新确定的交互模式发送给终端，终端接收重新确定的交互模式，并控制至少一个目标设备采用重新确定的交互模式响应交互指令。举例来说，妈妈当前的行为时在智能冰箱的屏幕上采用手势交互的来查看菜谱，随后转身去切菜，服务器可以识别出妈妈的行为发生变化，根据妈妈的切菜行为重新
确定交互模式为语音交互模式。行为与交互模式的对应关系可以根据实际情况进行设置，表4提供了一种可能的设置方法。
119.表4
[0120][0121]
在本技术中，检测到用户进入目标环境，终端可以获取用户的设备使用记录，设备使用记录可以反映用户对于交互模式的偏好。在此之后，终端可以根据用户的交互指令确定目标设备，并将设备使用记录以及目标设备发送给服务器，服务器可以根据设备使用记录以及目标设备确定目标交互模式，由于设备使用记录反映了用户对于交互模式的偏好，服务器确定出的目标交互模式也就可以反映用户的偏好，终端可以控制目标设备采用目标交互模式响应交互指令。通过上述技术方案，针对于不同的用户，服务器可以为其推荐不同的交互模式，由于推荐交互模式的过程中参考了用户的设备使用记录，而设备使用记录可以反映用户对于交互模式的偏好，用户对于交互模式的偏好也可以被称之为用户画像，因此服务器推荐的交互模式更加符合用户的偏好，交互模式的推荐效果更好，整个交互模式的推荐过程无需用户手动操作，避免了繁琐的设置过程。
[0122]
除了采用步骤201-206提供的设备控制方法之外，本技术实施例还提供了以下几种设备控制方法。
[0123]
不同年龄段的用户可能对于交互模式的偏好不同，鉴于此，本技术还提供了一种基于用户的年龄段的设备控制方法，方法可以参见图4。图4是本技术实施例提供的一种基于用户的年龄段的设备控制方法的流程图，参见图4，方法包括：
[0124]
401、响应于未获取到用户的设备使用记录，服务器可以确定用户的年龄段，根据用户的年龄段，确定与用户的年龄段对应的第三交互模式。
[0125]
在一种可能的实施方式中，响应于未获取到用户的设备使用记录，终端可以获取用户图像，将用户图像发送给服务器，服务器可以根据用户图像确定用户的年龄段，根据用户的年龄段，确定与用户的年龄段对应的第三交互模式。举例来说，服务器可以训练一个年龄识别模型，该年龄识别模型可以采用历史时刻获取的用户图像为样本，以用户图像对应的用户年龄为监督训练得到的，具有根据用户图像确定用户年龄的能力。响应于未获取到用户的设备使用记录，终端可以通过拍摄设备获取用户的图像，将用户的图像发送给服务器，由服务器将用户的图像输入年龄识别模型，通过年龄识别模型对用户的图像进行卷积处理，得到用户的图像对应的图像特征，根据图像特征确定用户在图像中所处的区域，根据该区域对应的图像特征生成特征图，根据特征图确定用户的图像与至少一个年龄段对应的概率，将概率符合目标条件的年龄段确定为用户的年龄段。服务器可以根据目标年龄段与
第三交互模式的对应关系，确定第三交互模式，年龄段与第三交互模式的对应关系可以参见表5。
[0126]
表5
[0127][0128]
402、终端响应于在目标环境中获取到的用户的交互指令，确定目标设备，目标设备用于对交互指令进行响应。
[0129]
其中，确定目标设备方法可以参见步骤202，在此不再赘述。
[0130]
403、服务器向终端发送第三交互模式。
[0131]
404、终端接收服务器发送的第三交互模式，控制至少一个目标设备采用第三交互模式响应交互指令。
[0132]
在一种可能的实施方式中，终端可以根据目标设备的设备信息向目标设备发送第三交互模式，控制至少一个目标设备采用第三交互模式响应交互指令。
[0133]
通过步骤401-404，即使服务器未获取到用户的设备使用记录，也可以根据用户的年龄自动确定对应的第三交互模式，在一定程度上实现了个性化推荐交互模式的效果，用户与设备进行交互的效果更好。
[0134]
在一些情况下，用户可能在发出交互指令时指定了某种交互方式，终端可以直接控制目标设备采用用户指定的交互方式来响应交互指令，方法可以参见图5。图5是本技术实施例提供的一种设备控制方法的流程图，参见图5，方法包括：
[0135]
501、终端响应于在目标环境中获取到的用户的交互指令，确定目标设备，目标设备用于对交互指令进行响应。
[0136]
其中，确定目标设备方法可以参见步骤202，在此不再赘述。
[0137]
502、响应于交互指令中携带第四交互模式，终端控制至少一个目标设备采用第四交互模式响应交互指令。
[0138]
在一种可能的实施方式中，终端可以对交互指令进行识别，确定交互指令中是否存在与第四交互模式对应的关键词。响应于交互指令中存在与第四交互模式对应的关键词，终端可以控制至少一个目标设备采用第四交互模式响应交互指令。举例来说，用户以发出语音交互指令“播报今天的新闻”，终端可以将语音交互指令转化为文本，对文本进行关键词匹配，确定文本中是否存在与第四交互指令对应的关键词。响应于文本中存在与第四交互模式“语音交互模式”对应的关键词“播报”，终端可以控制目标设备以语音交互模式响应交互指令，比如终端可以控制智能音箱采用语音交互模式播报今天的新闻。
[0139]
通过步骤501和502，终端可以直接控制目标设备采用交第四交互模式响应交互指令，无需通过服务器确定交互模式，用户与目标设备进行交互的效率更高。
[0140]
在一些情况下，多个智能设备中可以登录有同一个用户的账户，用户在其中某个
设备上偏好的交互方式可能也是在另一个设备上偏好的交互方式，因此可以根据用户在某个设备上的交互方式确定用户在另一个设备上的交互方式，鉴于此，本技术实施例还提供了一种基于账户的设备控制方法，方法可以参见图6。图6是本技术实施例提供的一种基于账户的设备控制方法的流程图，参见图6，方法包括：
[0141]
601、终端响应于在目标环境中获取到的用户的交互指令，确定目标设备，目标设备用于对交互指令进行响应。
[0142]
其中，确定目标设备方法可以参见步骤202，在此不再赘述。
[0143]
602、终端将目标设备的设备信息发送给服务器。
[0144]
603、服务器接收终端发送的目标设备的设备信息，响应于目标设备登录有用户的账户，确定第五交互模式，第五交互模式为登录账户的其他设备的使用情况符合次数条件的交互模式。
[0145]
604、服务器将第五交互模式发送给终端。
[0146]
605、终端控制至少一个目标设备采用第五交互模式响应交互指令。
[0147]
举例来说，目标设备为智能电视，智能电视上登录有用户的账户，用户的手机上登录有同样的账户，用户在手机上使用次数最多的交互模式为语音交互，那么服务器可以将语音交互确定为第五交互模式，将第五交互模式发送给终端，终端可以控制智能电视采用语音交互模式来响应交互指令。
[0148]
通过步骤601-605，服务器可以根据用户的其他设备确定第五交互模式，由于第五交互模式是用户其他设备上常用的交互模式，终端可以控制目标设备采用第五交互模式与用户完成交互，交互的效果较好。
[0149]
由于用户当前的行为可能会对用户选取交互模式产生一定的影响，例如：刷牙时不适合采用语音交互模式，切菜时不适合采用语音交互模式，鉴于此，本技术实施例还提供了一种基于用户行为的设备控制方法，方法可以参见图7。图7是本技术实施例提供的一种基于用户行为的设备控制方法的流程图，参见图7，方法包括：
[0150]
701、终端获取用户的图像。
[0151]
在一种可能的实施方式中，终端可以通过拍摄设备实时获取用户的图像。
[0152]
702、终端将用户的图像发送给服务器。
[0153]
703、服务器接收终端发送的用户的图像，根据用户的图像确定用户行为，根据用户行为确定目标交互模式。
[0154]
在一种可能的实施方式中，服务器可以训练一个行为识别模型，该行为识别模型可以采用历史时刻获取的用户图像为样本，以用户图像对应的用户行为为监督训练得到的，具有根据用户图像确定用户行为的能力。服务器接收到用户的图像之后，可以将用户的图像输入行为识别模型，通过行为识别模型对用户的图像进行卷积处理，得到用户的图像对应的图像特征，根据图像特征确定用户在图像中所处的区域，根据该区域对应的图像特征生成特征图，根据特征图确定用户的图像与至少一个行为对应的概率，将概率符合目标条件的行为确定为用户的图像对应的行为。此后，服务器可以根据行为与交互模式的对应关系，确定与用户当前行为对应的目标交互模式。举例来说，若服务器根据用户的图像识别出用户当前的行为是刷牙，与刷牙对应的交互模式为触摸交互模式，那么服务器可以将触摸交互模式作为目标交互模式。
[0155]
704、服务器将目标交互模式发送给终端。
[0156]
705、终端接收服务器发送的目标交互模式，控制目标设备采用目标交互模式响应交互指令。
[0157]
通过步骤701-705，服务器可以根据用户当前的行为自动为用户推荐合适交互模式，提高了用户与设备进行交互的效率。
[0158]
由于用户所处的环境可能会对用户选取交互模式产生一定的影响，例如：温度较低的时候不适合采用触摸交互模式，时间段为深夜的时候不适合采用语音交互模式，鉴于此，本技术实施例还提供了一种基于目标环境的设备控制方法，方法可以参见图8。图8是本技术实施例提供的一种基于环境信息的设备控制方法的流程图，方法包括：
[0159]
801、响应于在目标环境中检测到用户，终端获取用户的设备使用记录，设备使用记录包括用户在历史使用过程中与不同设备进行交互所采用的至少一种交互模式。
[0160]
802、终端响应于在目标环境中获取到的用户的交互指令，确定目标设备，目标设备用于对交互指令进行响应。
[0161]
其中，确定目标设备方法可以参见步骤202，在此不再赘述。
[0162]
803、终端获取目标环境的环境信息。
[0163]
在一种可能的实施方式中，终端可以与目标环境中的温度测量装置相连，通过温度测量装置实时获取目标环境的温度信息。终端可以将接收的温度信息和当前时间信息进行结合，得到目标环境的环境信息。
[0164]
804、终端将目标环境的环境信息、设备使用记录以及目标设备的设备信息发送给服务器。
[0165]
805、服务器接收终端发送的环境信息、设备使用记录以及目标设备的设备信息，根据环境信息、设备使用记录以及目标设备，确定目标交互模式。
[0166]
在一种可能的实施方式中，服务器可以在设备使用记录中获取用户历史使用过程中在不同温度和时间下使用不同设备时采用的至少一种交互模式，用户使用不同设备时采用的至少一种交互模式的形式可以参见表6。服务器可以进一步根据环境信息筛选出历史交互过程中，用户处于当前温度和时间条件下与不同设备进行交互时所采用的交互模式。服务器可以统计用户处于当前温度和时间条件下与不同设备进行交互时所采用的交互模式的使用次数，将使用次数最多的交互模式确定为第六交互模式。服务器可以确定目标设备支持的交互模式，进一步确定目标设备支持的交互模式中是否包含第六交互模式。若目标设备支持的交互模式中包含第六交互模式，那么可以将第六交互模式确定为目标交互模式；若目标设备支持的交互模式中不包含第六交互模式，则服务器可以将使用次数第二多的交互模式确定为第六交互模式，确定目标设备支持的交互模式中是否包含新确定的第六交互模式。若目标设备支持的交互模式中包含新确定的第六交互模式，那么可以将新确定的第六交互模式确定为目标交互模式。以此类推，直至确定出目标交互模式。
[0167]
表6
[0168][0169]
举例来说，服务器可以根据环境信息确定目标环境当前的环境条件，比如，环境信息中包括当前环境温度为20℃，时间为21：20，那么服务器可以根据环境信息确定当前的环境条件为温度适宜，晚上。服务器可以根据当前的环境条件从设备使用记录中查询，确定用户历史交互过程中处于当前环境条件下与不同设备进行交互时所采用的至少一种交互模式的次数。服务器可以将使用次数最多的交互模式，比如语音交互模式，确定为第六交互模式。若服务器确定的目标设备为“智能音箱”，那么服务器可以查询“智能音箱”支持的交互模式包括“语音交互模式”以及“触摸交互模式”，由于“智能音箱”支持的交互模式中包括第六交互模式“语音交互模式”，那么服务器可以将“语音交互模式”确定为目标交互模式。在这种实现方式下，服务器在确定目标交互模式时参考了目标环境的环境信息，可以在保证符合环境条件的情况下，终端可以控制目标设备以用户偏好的交互模式与用户完成交互，交互的效果较好。
[0170]
需要说明的是，上述环境条件的确定可以根据实际情况进行设定，例如目标环境的温度信息为小于10℃时可以对应于寒冷；目标环境的温度为10-20℃之间可以对应于凉爽；目标环境的温度为20-25℃之间可以对应于舒适；目标环境的温度为25-35℃之间可以对应于炎热。时间信息为0：00-6：00可以对应于深夜；6：00-9：00可以对应于早上；9：00-12：00可以对应于上午；12：00-14：00可以对应于中午；14：00-18：00可以对应于下午；18：00-0：00可以对应于晚上。当然上述举例仅仅是为了便于理解而进行的，并不能对本技术造成不当限定。
[0171]
806、服务器将目标交互方式发送给终端。
[0172]
807、终端接收服务器发送的目标交互方式，控制目标设备采用目标交互模式响应交互指令。
[0173]
通过步骤801-807，服务器在确定目标交互模式时参考了目标环境的环境信息，可以在保证符合环境条件的情况下，终端可以控制目标设备以用户偏好的交互模式与用户完成交互，交互的效果较好。
[0174]
图9是本技术实施例提供的一种设备控制装置的结构示意图，参见图9，装置包括：获取单元901、目标设备确定单元902、目标交互模式确定单元903以及控制单元904。
[0175]
获取单元901，用于执行上述步骤201。
[0176]
目标设备确定单元902，用于执行上述步骤202。
[0177]
目标交互模式确定单元903，用于执行上述步骤204。
[0178]
控制单元904，用于执行上述步骤206。
[0179]
在一种可能的实施方式中，目标交互模式确定单元用于执行上述步骤204中目标设备支持的交互模式以及第一交互模式，确定目标交互模式的步骤。
[0180]
在一种可能的实施方式中，目标交互模式确定单元还用于执行上述步骤204中根
据第二交互模式确定目标交互模式的步骤。
[0181]
在一种可能的实施方式中，目标设备确定单元用于：执行上述步骤202中根据交互意图确定目标设备的步骤。
[0182]
在一种可能的实施方式中，目标设备确定单元还用于执行上述步骤202中而根据设备信息确定目标设备的步骤。
[0183]
在一种可能的实施方式中，控制单元，还用于执行上述步骤404。
[0184]
在一种可能的实施方式中，控制单元，还用于执行上述步骤502。
[0185]
在一种可能的实施方式中，控制单元，还用于执行上述步骤605。
[0186]
在一种可能的实施方式中，目标交互模式确定单元还用于执行上述步骤603。
[0187]
在一种可能的实施方式中控制单元还用于执行上述根据用户行为变化重新确定交互模式的步骤。
[0188]
在本技术中，检测到用户进入目标环境，终端可以获取用户的设备使用记录，设备使用记录可以反映用户对于交互模式的偏好。在此之后，终端可以根据用户的交互指令确定目标设备，并将设备使用记录以及目标设备发送给服务器，服务器可以根据设备使用记录以及目标设备确定目标交互模式，由于设备使用记录反映了用户对于交互模式的偏好，服务器确定出的目标交互模式也就可以反映用户的偏好，终端可以控制目标设备采用目标交互模式响应交互指令。通过上述技术方案，针对于不同的用户，服务器可以为其推荐不同的交互模式，由于推荐交互模式的过程中参考了用户的设备使用记录，而设备使用记录可以反映用户对于交互模式的偏好，用户对于交互模式的偏好也可以被称之为用户画像，因此服务器推荐的交互模式更加符合用户的偏好，交互模式的推荐效果更好，整个交互模式的推荐过程无需用户手动操作，避免了繁琐的设置过程。
[0189]
需要说明的是：上述实施例提供的设备控制的装置在设备控制时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的设备控制的装置与设备控制的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
[0190]
在一些可能的方式中，电子设备可以提供为终端，以下对终端的硬件结构进行示例性描述。
[0191]
图8是本技术实施例提供的一种终端100的结构示意图。终端100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，usb)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，sim)卡接口195等。其中传感器模块180可以包括压力传感器180a，陀螺仪传感器180b，气压传感器180c，磁传感器180d，加速度传感器180e，距离传感器180f，接近光传感器180g，指纹传感器180h，温度传感器180j，触摸传感器180k，环境光传感器180l，骨传导传感器180m等。
[0192]
可以理解的是，本技术实施例示意的结构并不构成对终端100的具体限定。在本技术另一些实施例中，终端100可以包括比图示更多或更少的部件，或者组合某些部件，或者
拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
[0193]
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，ap)，调制解调处理器，图形处理器(graphics processing unit，gpu)，图像信号处理器(image signal processor，isp)，控制器，视频编解码器，数字信号处理器(digital signal processor，dsp)，基带处理器，和/或神经网络处理器(neural-network processing unit，npu)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
[0194]
控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
[0195]
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从该存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
[0196]
在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，i2c)接口，集成电路内置音频(inter-integrated circuit sound，i2s)接口，脉冲编码调制(pulse code modulation，pcm)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，uart)接口，移动产业处理器接口(mobile industry processor interface，mipi)，通用输入输出(general-purpose input/output，gpio)接口，用户标识模块(subscriber identity module，sim)接口，和/或通用串行总线(universal serial bus，usb)接口等。
[0197]
i2c接口是一种双向同步串行总线，包括一根串行数据线(serial data line，sda)和一根串行时钟线(derail clock line，scl)。在一些实施例中，处理器110可以包含多组i2c总线。处理器110可以通过不同的i2c总线接口分别耦合触摸传感器180k，充电器，闪光灯，摄像头193等。例如：处理器110可以通过i2c接口耦合触摸传感器180k，使处理器110与触摸传感器180k通过i2c总线接口通信，实现终端100的触摸功能。
[0198]
i2s接口可以用于音频通信。在一些实施例中，处理器110可以包含多组i2s总线。处理器110可以通过i2s总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一些实施例中，音频模块170可以通过i2s接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。
[0199]
pcm接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过pcm总线接口耦合。在一些实施例中，音频模块170也可以通过pcm接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。该i2s接口和该pcm接口都可以用于音频通信。
[0200]
uart接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，uart接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过uart接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过uart接口向无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。
[0201]
mipi接口可以被用于连接处理器110与显示屏194，摄像头193等外围器件。mipi接口包括摄像头串行接口(camera serial interface，csi)，显示屏串行接口(display serial interface，dsi)等。在一些实施例中，处理器110和摄像头193通过csi接口通信，实现终端100的拍摄功能。处理器110和显示屏194通过dsi接口通信，实现终端100的显示功能。
[0202]
gpio接口可以通过软件配置。gpio接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，gpio接口可以用于连接处理器110与摄像头193，显示屏194，无线通信模块160，音频模块170，传感器模块180等。gpio接口还可以被配置为i2c接口，i2s接口，uart接口，mipi接口等。
[0203]
usb接口130是符合usb标准规范的接口，具体可以是mini usb接口，micro usb接口，usb type c接口等。usb接口130可以用于连接充电器为终端100充电，也可以用于终端100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他终端，例如ar设备等。
[0204]
可以理解的是，本技术实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对终端100的结构限定。在本技术另一些实施例中，终端100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
[0205]
充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过usb接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过终端100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为终端供电。
[0206]
电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。
[0207]
终端100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
[0208]
天线1和天线2用于发射和接收电磁波信号。终端100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
[0209]
移动通信模块150可以提供应用在终端100上的包括2g/3g/4g/5g等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，lna)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
[0210]
调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170a，受话器170b等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。
[0211]
无线通信模块160可以提供应用在终端100上的包括无线局域网(wireless local area networks，wlan)(如无线保真(wireless fidelity，wi-fi)网络)，蓝牙(bluetooth，bt)，全球导航卫星系统(global navigation satellite system，gnss)，调频(frequency modulation，fm)，近距离无线通信技术(near field communication，nfc)，红外技术(infrared，ir)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
[0212]
在一些实施例中，终端100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得终端100可以通过无线通信技术与网络以及其他设备通信。该无线通信技术可以包括全球移动通讯系统(global system for mobile communications，gsm)，通用分组无线服务(general packet radio service，gprs)，码分多址接入(code division multiple access，cdma)，宽带码分多址(wideband code division multiple access，wcdma)，时分码分多址(time-division code division multiple access，td-scdma)，长期演进(long term evolution，lte)，bt，gnss，wlan，nfc，fm，和/或ir技术等。该gnss可以包括全球卫星定位系统(global positioning system，gps)，全球导航卫星系统(global navigation satellite system，glonass)，北斗卫星导航系统(beidou navigation satellite system，bds)，准天顶卫星系统(quasi-zenith satellite system，qzss)和/或星基增强系统(satellite based augmentation systems，sbas)。
[0213]
终端100通过gpu，显示屏194，以及应用处理器等实现显示功能。gpu为图像处理的微处理器，连接显示屏194和应用处理器。gpu用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个gpu，其执行程序指令以生成或改变显示信息。
[0214]
显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，lcd)，有机发光二极管(organic light-emitting diode，oled)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，amoled)，柔性发光二极管(flex light-emitting diode，fled)，miniled，microled，micro-oled，量子点发光二极管(quantum dot light emitting diodes，qled)等。在一些实施例中，终端100可以包括1个或n个显示屏194，n为大于1的正整数。
[0215]
终端100可以通过isp，摄像头193，视频编解码器，gpu，显示屏194以及应用处理器等实现拍摄功能。
[0216]
isp用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传
递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将该电信号传递给isp处理，转化为肉眼可见的图像。isp还可以对图像的噪点，亮度，肤色进行算法优化。isp还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，isp可以设置在摄像头193中。
[0217]
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，ccd)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，cmos)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb，yuv等格式的图像信号。在一些实施例中，终端100可以包括1个或n个摄像头193，n为大于1的正整数。
[0218]
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当终端100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
[0219]
视频编解码器用于对数字视频压缩或解压缩。终端100可以支持一种或多种视频编解码器。这样，终端100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，mpeg)1，mpeg2，mpeg3，mpeg4等。
[0220]
npu为神经网络(neural-network，nn)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过npu可以实现终端100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
[0221]
外部存储器接口120可以用于连接外部存储卡，例如micro sd卡，实现扩展终端100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
[0222]
内部存储器121可以用于存储计算机可执行程序代码，该可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。此外，内部存储器121可以存储上述方法实施例中描述的识别模型。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储终端100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，ufs)等。处理器110通过运行存储在内部存储器121的指令，和/或存储在设置于处理器中的存储器的指令，执行终端100的各种功能应用以及数据处理。
[0223]
终端100可以通过音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，以及应用处理器等实现音频功能。例如音乐播放，录音等。
[0224]
音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。
[0225]
扬声器170a，也称“喇叭”，用于将音频电信号转换为声音信号。终端100可以通过扬声器170a收听音乐，或收听免提通话。
[0226]
受话器170b，也称“听筒”，用于将音频电信号转换成声音信号。当终端100接听电
话或语音信息时，可以通过将受话器170b靠近人耳接听语音。
[0227]
麦克风170c，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170c发声，将声音信号输入到麦克风170c。终端100可以设置至少一个麦克风170c。在另一些实施例中，终端100可以设置两个麦克风170c，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，终端100还可以设置三个，四个或更多麦克风170c，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。
[0228]
耳机接口170d用于连接有线耳机。耳机接口170d可以是usb接口130，也可以是3.5mm的开放移动终端平台(open mobile terminal platform，omtp)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the usa，ctia)标准接口。
[0229]
压力传感器180a用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180a可以设置于显示屏194。压力传感器180a的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180a，电极之间的电容改变。终端100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，终端100根据压力传感器180a检测该触摸操作强度。终端100也可以根据压力传感器180a的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。
[0230]
陀螺仪传感器180b可以用于确定终端100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180b确定终端100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180b可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180b检测终端100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消终端100的抖动，实现防抖。陀螺仪传感器180b还可以用于导航，体感游戏场景。
[0231]
气压传感器180c用于测量气压。在一些实施例中，终端100通过气压传感器180c测得的气压值计算海拔高度，辅助定位和导航。
[0232]
磁传感器180d包括霍尔传感器。终端100可以利用磁传感器180d检测翻盖皮套的开合。在一些实施例中，当终端100是翻盖机时，终端100可以根据磁传感器180d检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。
[0233]
加速度传感器180e可检测终端100在各个方向上(一般为三轴)加速度的大小。当终端100静止时可检测出重力的大小及方向。还可以用于识别终端姿态，应用于横竖屏切换，计步器等应用。
[0234]
距离传感器180f，用于测量距离。终端100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，终端100可以利用距离传感器180f测距以实现快速对焦。
[0235]
接近光传感器180g可以包括例如发光二极管(led)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。终端100通过发光二极管向外发射红外光。终端100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定终端
100附近有物体。当检测到不充分的反射光时，终端100可以确定终端100附近没有物体。终端100可以利用接近光传感器180g检测用户手持终端100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180g也可用于皮套模式，口袋模式自动解锁与锁屏。
[0236]
环境光传感器180l用于感知环境光亮度。终端100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180l也可用于拍照时自动调节白平衡。环境光传感器180l还可以与接近光传感器180g配合，检测终端100是否在口袋里，以防误触。
[0237]
指纹传感器180h用于采集指纹。终端100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。
[0238]
温度传感器180j用于检测温度。在一些实施例中，终端100利用温度传感器180j检测的温度，执行温度处理策略。例如，当温度传感器180j上报的温度超过阈值，终端100执行降低位于温度传感器180j附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，终端100对电池142加热，以避免低温导致终端100异常关机。在其他一些实施例中，当温度低于又一阈值时，终端100对电池142的输出电压执行升压，以避免低温导致的异常关机。
[0239]
触摸传感器180k，也称“触控器件”。触摸传感器180k可以设置于显示屏194，由触摸传感器180k与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180k用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180k也可以设置于终端100的表面，与显示屏194所处的位置不同。
[0240]
骨传导传感器180m可以获取振动信号。在一些实施例中，骨传导传感器180m可以获取人体声部振动骨块的振动信号。骨传导传感器180m也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器180m也可以设置于耳机中，结合成骨传导耳机。音频模块170可以基于该骨传导传感器180m获取的声部振动骨块的振动信号，解析出语音指令，实现语音功能。应用处理器可以基于该骨传导传感器180m获取的血压跳动信号解析心率信息，实现心率检测功能。
[0241]
按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。终端100可以接收按键输入，产生与终端100的用户设置以及功能控制有关的键信号输入。
[0242]
马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
[0243]
指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。
[0244]
sim卡接口195用于连接sim卡。sim卡可以通过插入sim卡接口195，或从sim卡接口195拔出，实现和终端100的接触和分离。终端100可以支持1个或n个sim卡接口，n为大于1的正整数。sim卡接口195可以支持nano sim卡，micro sim卡，sim卡等。同一个sim卡接口195可以同时插入多张卡。该多张卡的类型可以相同，也可以不同。sim卡接口195也可以兼容不同类型的sim卡。sim卡接口195也可以兼容外部存储卡。终端100通过sim卡和网络交互，实
现通话以及数据通信等功能。在一些实施例中，终端100采用esim，即：嵌入式sim卡。esim卡可以嵌在终端100中，不能和终端100分离。终端100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。
[0245]
在一些可能的实施方式中，电子设备可以提供为服务器，该服务器可以是云服务器、主机或个人计算机等。该服务器可以由一般性的总线体系结构来实现。
[0246]
参见图11，图11是本技术实施例提供的一种服务器的结构示意图，服务器1100可以是方法实施例全部或部分描述的内容中涉及的任一设备。服务器包括至少一个处理器1101、通信总线1102、存储器1103以及至少一个通信接口1104。
[0247]
处理器1101可以是一个通用中央处理器(central processing unit，cpu)、网络处理器(np)、微处理器、或者可以是一个或多个用于实现本技术方案的集成电路，例如，专用集成电路(application-specific integrated circuit，asic)，可编程逻辑器件(programmable logic device，pld)或其组合。上述pld可以是复杂可编程逻辑器件(complex programmable logic device，cpld)，现场可编程逻辑门阵列(field-programmable gate array，fpga)，通用阵列逻辑(generic array logic，gal)或其任意组合。
[0248]
通信总线1102用于在上述组件之间传送信息。通信总线1102可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0249]
存储器1103可以是只读存储器(read-only memory，rom)或可存储静态信息和指令的其它类型的静态存储设备，也可以是随机存取存储器(random access memory，ram)或者可存储信息和指令的其它类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、只读光盘(compact disc read-only memory，cd-rom)或其它光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其它磁存储设备，或者是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质，但不限于此。存储器1103可以是独立存在，并通过通信总线1102与处理器1101相连接。存储器1103也可以和处理器1101集成在一起。
[0250]
通信接口1104使用任何收发器一类的装置，用于与其它设备或通信网络通信。通信接口1104包括有线通信接口，还可以包括无线通信接口。其中，有线通信接口例如可以为以太网接口。以太网接口可以是光接口，电接口或其组合。无线通信接口可以为无线局域网(wireless local area networks，wlan)接口，蜂窝网络通信接口或其组合等。
[0251]
在具体实现中，作为一种实施例，处理器1101可以包括一个或多个cpu，如图3中所示的cpu0和cpu1。
[0252]
在具体实现中，作为一种实施例，计算机设备可以包括多个处理器，如图3中所示的处理器1101和处理器1105。这些处理器中的每一个可以是一个单核处理器(single-cpu)，也可以是一个多核处理器(multi-cpu)。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(如计算机程序指令)的处理核。
[0253]
在具体实现中，作为一种实施例，计算机设备还可以包括输出设备1106和输入设备1107。输出设备1106和处理器1101通信，可以以多种方式来显示信息。例如，输出设备
1106可以是液晶显示器(liquid crystal display，lcd)、发光二级管(light emitting diode，led)显示设备、阴极射线管(cathode ray tube，crt)显示设备或投影仪(projector)等。输入设备1107和处理器1101通信，可以以多种方式接收用户的输入。例如，输入设备1107可以是鼠标、键盘、触摸屏设备或传感设备等。
[0254]
在一些实施例中，存储器1103用于存储执行本技术方案的程序代码1110，处理器1101可以执行存储器1103中存储的程序代码1110。也即是，服务器可以通过处理器1101以及存储器1103中的程序代码1110，来实现方法实施例提供的方法。
[0255]
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由处理器执行以完成上述实施例中的设备控制方法。例如，该计算机可读存储介质可以是只读存储器(read-only memory,rom)、随机存取存储器(random access memory，ram)、只读光盘(compact disc read-only memory，cd-rom)、磁带、软盘和光数据存储设备等。
[0256]
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0257]
以上仅为本技术的可选实施例，并不用以限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。