电子设备及控制该电子设备的方法与流程

电子设备及控制该电子设备的方法
1.本技术是申请日为2018年12月26日、申请号为201880085453.5、发明名称为“电子设备及控制该电子设备的方法”的中国发明专利申请的分案申请。
技术领域
2.本公开涉及能够基于用户之间的关系提供服务的电子设备及控制该电子设备的方法。更具体地，电子设备可以提供适合于单个用户的动作的服务，或者理解多个用户之间的关系，并且提供适合多个用户的服务。
3.此外，本公开涉及使用机器学习算法模拟人脑功能(诸如识别或确定)的人工智能(ai)系统及其应用。


背景技术：

4.与传统的基于规则的智能系统不同，人工智能(ai)系统是具有人类水平智能的计算机系统，并且在这个系统中，机器自身训练、确定并变得智能。随着使用人工智能系统，识别率得到提高，并且用户的偏好可以被更准确地理解，并且因此，传统的基于规则的智能系统逐渐被基于深度学习的人工智能系统所取代。
5.人工智能技术由机器学习(如深度学习)和使用机器学习的基础技术组成。机器学习是自分类/自训练输入数据的特征的算法技术，以及基础技术是使用机器学习算法(诸如深度学习)的技术，并且由语言理解、视觉理解、推理/预测、知识表示、操作控制等的技术领域组成。
6.应用人工智能技术的各个领域如下。语言理解是识别人类的语言/字母并应用/处理它的技术，并且包括自然语言处理、机器翻译、转换系统、问答、语音识别/合成等。视觉理解是识别人类的视野中的对象并处理它的技术，并且包括对象识别、对象跟踪、图像搜索、人类识别、场景理解、空间理解、图像改进等。推断/预测是识别信息并对其进行逻辑推断和预测的技术，并且包括基于知识/可能性的推断、优化预测、基于偏好的计划、推荐等。知识表示是执行将人类的实验信息自动处理成知识数据的技术，并且包括知识构建(数据生成/分类)、知识管理(数据应用)等。操作控制是控制车辆的自动驾驶或机器人的运动的技术，并且包括运动控制(导航、碰撞或行进)、操纵控制(行为控制)等。
7.同时，最近已经开发了向用户提供各种服务的电子设备。然而，这种电子设备仅在特定状况下仅仅提供服务，或者仅提供用户命令的服务，并且在用户命令之前，电子设备不确定和提供用户期望的服务。


技术实现要素：

8.【技术问题】
9.已经做出了本公开以解决上述问题，并提供了一种电子设备及用于控制该电子设备的方法，该电子设备通过在用于用户所需的服务的命令之前确定状况来预期/主动提供服务。
10.此外，本公开涉及能够理解多个用户之间的关系并提供适合于多个用户的服务的电子设备。
11.【技术方案】
12.提供了一种使用人工智能神经网络模型控制电子设备的方法，所述方法包括:识别位于离电子设备预定距离内的用户的数量，基于用户的数量为多个的识别，获得关于多个用户的信息，通过将关于所述多个用户的信息输入到确定多个用户之间的关系的用户-用户神经网络模型来确定至少一个服务，向所述多个用户提供所述至少一个服务。
13.提供了一种使用人工智能神经网络模型的电子设备，所述设备包括:输入单元；输出单元；和处理器，被配置为：识别位于离电子设备预定距离内的用户的数量，基于用户数量为多个的识别，获得关于多个用户的信息，通过将关于多个用户的信息输入到确定多个用户之间的关系的用户-用户神经网络模型来确定至少一个服务，向所述多个用户提供所述至少一个服务。
14.提供了一种用于使用人工智能神经网络模型控制电子设备的方法来实现上述目的，该方法包括：通过检测至少一个用户来确定用户模式，获取检测到的至少一个用户的用户信息，基于所确定的用户模式和用户信息来确定要提供给检测到的至少一个用户的服务，以及提供与用户模式相对应的所确定的服务。
15.用户模式可以是第一用户模式和第二用户模式中的任何一个，并且第一用户模式可以是针对一个检测到的用户的用户模式，以及第二用户模式可以是针对多个检测到的用户的用户模式。
16.基于用户模式是第一用户模式，确定服务可以包括：通过将单个用户的信息、单个用户周围的对象的信息和单个用户周围的状况的信息中的至少一个作为输入数据输入到通过使用人工智能神经网络模型训练的模型来确定服务。
17.控制方法还可以包括，基于用户模式是第一用户模式，基于单个用户的信息、单个用户周围的对象的信息和单个用户周围的状况的信息中的至少一个来预测检测到的用户的下一个行为，并且确定服务包括：基于所预测的用户的下一个行为来确定服务。
18.基于用户模式是第二用户模式，确定服务还可以包括：确定多个用户之间的亲密程度，并且基于所确定的亲密程度来确定服务。
19.提供服务还可以包括：确定至少一个用户对服务的反应，并且基于至少一个用户的反应是积极的，向用户提供服务，并且基于至少一个用户的反应是消极的，通过将所检测的至少一个用户的信息、所确定的用户模式和所确定的服务的信息作为输入数据应用于数据识别模型，来确定要提供给检测到的至少一个用户的另一服务。
20.该控制方法还可以包括：用关于提供给用户的服务的信息作为学习数据来更新训练模型。
21.该控制方法还可以包括，基于电子设备是人形机器人，基于检测到的至少一个用户的注视(gaze)信息来确定机器人的注视。
22.提供了一种使用人工智能神经网络模型的电子设备来实现上述目的，该设备包括：输入单元、输出单元和处理器，该处理器被配置为：通过检测至少一个用户来确定用户模式，获取检测到的至少一个用户的用户信息，并基于所确定的用户模式和用户信息来确定要提供给检测到的至少一个用户的服务，其中，该处理器被配置为控制输出单元来提供
与用户模式相对应的所确定的服务。
23.用户模式可以是第一用户模式和第二用户模式中的任何一个，并且第一用户模式可以是针对一个检测到的用户的用户模式，以及第二用户模式可以是针对多个检测到的用户的用户模式。
24.基于用户模式是第一用户模式，处理器可以被配置为：通过将单个用户的信息、单个用户周围的对象的信息和单个用户周围的状况的信息中的至少一个作为输入数据输入到通过使用人工智能神经网络模型训练的模型来确定服务。
25.处理器可以被配置为：基于用户模式是第一用户模式，基于单个用户的信息、单个用户周围的对象的信息和单个用户周围的状况的信息中的至少一个来预测检测到的用户的下一个行为，并且基于所预测的用户的下一个行为来确定服务。
26.基于用户模式是第二用户模式，处理器可以被配置为：确定多个用户之间的亲密程度，并且基于所确定的亲密程度来确定服务。
27.处理器可以被配置为：确定至少一个用户对服务的反应，并且
28.基于至少一个用户的反应是积极的，向用户提供服务，并且基于至少一个用户的反应是消极的，通过将所检测的至少一个用户的信息、所确定的用户模式和所确定的服务的信息作为输入数据应用于数据识别模型，来确定要提供给检测到的至少一个用户的另一服务。
29.处理器可以被配置为：用关于提供给用户的服务的信息作为学习数据来更新训练的模型。
30.基于电子设备是人形机器人，处理器可以被配置为：基于检测到的至少一个用户的注视信息来确定机器人的注视。
31.提供了一种包括用于控制电子设备的程序的计算机可读记录介质以实现上述目的，其中，用于控制电子设备的方法包括:检测至少一个用户并确定用户模式；获取检测到的至少一个用户的用户信息；基于所确定的用户模式和用户信息，确定要提供给检测到的至少一个用户的服务；以及提供与用户模式相对应的所确定的服务。
32.【发明效果】
33.根据上述的本公开的实施例，电子设备可以检测电子设备周围的用户，并根据检测到的用户提供各种服务。
附图说明
34.图1是示出根据实施例的电子设备的配置的框图。
35.图2是具体示出根据实施例的电子设备的配置的框图。
36.图3是用于解释根据实施例的用于提供电子设备的服务的方法的流程图。
37.图4是用于解释根据实施例的用于在第一用户模式下的电子设备的操作的流程图。
38.图5是用于解释根据实施例的用于提供在第一用户模式下的电子设备的服务的方法的示例图。
39.图6是用于解释根据实施例的用于在第二用户模式下的电子设备100的操作的流程图。
40.图7是用于解释根据实施例的用于提供在第二用户模式下的电子设备的服务的方法的示例图。
41.图8至图11是用于解释根据实施例的使用学习算法生成数据识别模型、使用数据识别模型针对用户数据执行聚类、以及针对用户数据确定机器人的运动的方法的示例性视图。
42.图12是用于解释根据实施例的用于控制电子设备的方法的流程图。
具体实施方式
43.在下文，本公开的实施例将参考附图被描述。应当注意，这里使用的实施例和术语不是为了将本公开中公开的技术限制到特定实施例，而是它们应当被解释为包括本公开的实施例的所有修改、等同物和/或替代物。关于附图的解释，相似的附图标记可以用于相似的元件。除非另有具体定义，单数表达可以包含复数表达。在本公开中，诸如“a或者b”、“a[和/或]b中的至少一个”等的表达可以包括所列出的项目的全部可能的组合。表达“第一”、“第二”等可以表示相应的元件，而不管顺序和/或重要性，并且可以用于将一个元件与另一个元件区分开来，并且不限制这些元件。如果描述了某个(例如，第一)元件“可操作地或可通信地与另一个(例如，第二)元件耦合”、“可操作地或可通信地耦合到另一个(例如，第二)元件”、或“连接到另一个(例如，第二)元件”，则该某个元件可以直接或通过另一个元件(例如，第三元件)连接到另一个元件。
[0044]
取决于硬件或软件方面的情况，本公开中使用的表达“配置为”可以与其他表达互换使用，诸如“适合”、“具有...能力”、“适合于”、“制造成”和“能够”、“设计成”。在一些情形下，表达“被配置为...的设备”可以意味着该设备能够与另一设备或者组件一起执行操作。
[0045]
例如，短语“被配置为或者被设定为执行a、b、和c的处理器”可以意味着用于执行相应的操作的专用处理器(例如，嵌入式处理器)、或者通过运行存储在存储器设备中的一个或多个软件程序来执行相应的操作的通用处理器(例如，cpu或者应用处理器)。
[0046]
根据本公开的各种实施例的电子设备可以包括以下各项中的至少一个：例如，智能电话、平板pc、移动电话、视频电话、电子书阅读器、桌上型pc、膝上型pc、上网本计算机、工作站、服务器、pda、便携式多媒体播放器(pmp)、mp3播放器、移动医疗设备、相机、或者可穿戴设备。可穿戴设备可以包括以下各项中的至少一种：附件类型(例如，手表、戒指、手镯、脚踝手镯、项链、一副眼镜、隐形眼镜或头戴式设备(hmd))、织物或嵌入衣服类型(例如，电子布)、皮肤附着类型(例如，皮肤垫或纹身)或生物植入类型电路。
[0047]
此外，在一些实施例中，电子设备可以包括以下各项中的至少一种：例如，电视、数字视频盘(dvd)播放器、音频系统、冰箱、空调、真空吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、媒体盒(例如，samsung home syn
cm
、appletv
tm
或google tv
tm
)、游戏控制台(例如，xbox
tm
、play station
tm
)、电子词典、电子钥匙、摄像机、电子相框。
[0048]
在其他实施例中，电子设备可以包括以下各项中的至少一种：各种医疗设备(例如，各种便携式医疗测量设备(血糖计、心率计、血压计或温度测量设备)、磁共振血管造影术(mra)、磁共振成像(mri)、或计算机断层扫描(ct)扫描仪、或超声波设备等)、导航系统、全球导航卫星系统(gnss)、事件数据记录器(edr)、飞行数据记录器(fdr)、汽车信息娱乐设
备、海洋电子设备(例如，海洋导航设备、陀螺罗盘等)、航空电子设备、安全设备、汽车头部单元、工业或家用机器人、无人驾驶飞机、金融机构的atm、商店的销售点(pos)或物联网(例如，灯泡、各种传感器、洒水设备、火警警报器、恒温器、路灯、烤面包机、锻炼设备、热水箱、加热器、锅炉等)。根据一些实施例，电子设备可以是以下各项中的至少一个：家具、建筑/结构的一部分、或者汽车、电子板、电子签名接收设备、投影仪、或者各种测量设备(例如，水、电、燃气或者电磁波测量设备)。
[0049]
在其他实施例中，电子设备可以是各种机器人，包括人形机器人。根据本公开实施例的机器人可以是例如向个人用户提供服务的个人服务机器人、用于提供公共服务的公共服务机器人或者用于工业场所的工业机器人。此外，根据本公开实施例的机器人可以是例如通用机器人、工厂机器人、无人空间探索机器人或医疗机器人。这样的各种机器人可以是用腿移动(诸如人类或动物)的有腿机器人，安装有轮子或履带的轮式机器人，飞行机器人，水下机器人等。此外，根据本公开实施例的机器人可以是用软件实施的人工智能设备。
[0050]
在各种实施例中，电子设备可以是柔性的或者是上述各种设备中的两个或多个的组合。根据本公开实施例的电子设备不限于上述设备。
[0051]
在本公开中，术语“用户”可以指代使用电子设备的人或者可以指代使用电子设备的设备(例如，人工智能电子设备)。
[0052]
在下文中，将详细描述根据本公开的电子设备的配置和操作。
[0053]
图1是示出根据本公开的实施例的电子设备的配置的框图。
[0054]
具体地，电子设备100包括输入单元110、输出单元120和处理器130。
[0055]
输入单元110是用于获得电子设备100周围的各条数据的组件。例如，输入单元110可以获得关于电子设备100周围的用户或对象的数据。例如，输入单元110可以获得关于电子设备010周围的用户或对象的图像数据以及电子设备100周围的语音数据。在另一示例中，输入单元110可以从相邻电子设备获得各条数据。具体地，如果电子设备100是iot系统的一部分，则输入单元110可以从相邻的iot设备接收各条数据。
[0056]
输出单元120是用于输出各种服务的组件。例如，输出单元120可以输出用于发送信息的声音、图像或文本。此外，输出单元120可以输出用于提供服务的运动。此外，输出单元120可以输出用于提供服务的功能。
[0057]
处理器130可以控制电子设备100的一般操作。具体地，处理器130可以基于经由输入单元110获得的各条数据来确定要提供的服务。也就是说，处理器130可以检测电子设备100周围的用户，并确定检测到的用户所期望的服务。
[0058]
具体地，处理器130可以经由输入单元110检测至少一个用户，获得该至少一个用户的用户信息，并基于获得的用户信息确定用户模式。用户模式可以基于检测到的用户的数量来确定。例如，如果检测到的用户的数量是1，则处理器130可以将用户模式确定为第一用户模式。此外，如果检测到的用户的数量是两个或更多个，则处理器130可以将用户模式确定为第二用户模式。然而，本公开中检测到的用户可以意味着在电子设备100周围检测到的所有用户，或者也可以意味着电子设备100检测到以提供服务的用户。例如，尽管电子设备100检测到五个用户，但是如果电子设备100打算提供服务的用户的数量是一个，则电子设备可以将用户模式设置为第一用户模式。
[0059]
当用户模式是第一用户模式时，处理器130可以通过使用单个用户的信息、单个用
户周围的对象的信息和单个用户周围的状况的信息中的至少一个来确定要提供的服务。具体地，处理器130可以基于单个用户的信息来确定单个用户所期望的服务。单个用户所期望的服务可以基于对象的信息或用户周围的状况的信息(例如，天气、时间、温度、湿度或经济状况)来确定。
[0060]
当用户模式是第一用户模式时，处理器130可以通过使用单个用户的信息、单个用户周围的对象的信息和单个用户周围的状况的信息中的至少一个来预测单个用户的下一个行为。处理器130可以基于所预测的用户的下一个行为来确定要向用户提供的服务。也就是说，处理器130不仅仅提供与用户的当前状态相对应的服务，而是可以预测用户的下一个行为，并针对预测的行为确定和提供用户所需的服务。
[0061]
如果用户模式是第二用户模式，则处理器130可以确定多个检测到的用户之间的亲密程度(level of closeness)，并且基于所确定的亲密程度来确定要向多个用户提供的服务。具体地，处理器130可以通过分析多个用户的面部表情来确定用户之间的亲密程度。此外，处理器130可以通过分析多个用户之间的注视来确定用户之间的亲密程度。此外，处理器130可以基于多个用户的过去的信息来确定用户之间的亲密程度。例如，如果存在多个用户中的至少一个的过去的数据，则处理器130可以通过使用该至少一个用户的过去的数据来确定用户之间的亲密程度。
[0062]
处理器130可以控制输出单元120来提供所确定的服务。处理器130可以确定至少一个用户对所提供的服务的反应，并根据用户的反应提供新的服务。具体地，如果用户对所提供的服务的反应是积极的，则处理器130可以继续提供该服务。可替换地，如果用户对所提供的服务的反应是消极的，则处理器130可以停止提供该服务，并且确定并提供新的服务。具体地，处理器130可以基于至少一个检测到的用户的信息、所确定的用户模式以及用户已经消极地做出反应的服务的信息来确定新的服务。
[0063]
处理器130可以基于至少一个用户的信息和所确定的用户模式来确定要向用户提供的服务。具体地，处理器130可以将用户信息和用户模式输入到用人工智能算法训练的模型中作为输入数据，以便确定服务。稍后将描述人工智能算法和训练模型。
[0064]
当确定要提供给至少一个用户的服务时，处理器130可以控制输出单元120提供服务。
[0065]
图2是具体示出根据本公开的实施例的电子设备的配置的框图。
[0066]
具体地，除了输入单元110、输出单元120和处理器130之外，电子设备100还可以包括通信器140、存储器150和检测器160。
[0067]
输入单元110可以包括相机111、麦克风112、触摸面板113等，以获得各种外部输入。
[0068]
相机111是用于获得电子设备100周围的图像数据的组件。相机111可以捕捉静止图像或视频。例如，相机111可以包括一个或多个图像传感器(例如，前传感器或者后传感器)、透镜、图像信号处理器(isp)、或者闪光灯(例如，led或者氙灯)。相机111可以仅在满足特定条件时被激活，以防止不必要的功耗。例如，相机111可以仅在检测到电子设备100周围的用户时被激活。麦克风112是用于获得电子设备100周围的声音的组件。麦克风112可以通过接收外部音频信号来生成电子语音信息。麦克风112可以使用各种噪声去除算法来去除在接收外部音频信号的过程期间产生的噪声。以与相机111的情况相同的方式，麦克风112
可以仅在满足特定条件时被激活，以防止不必要的功耗。也就是说，麦克风112可以仅在电子设备100周围检测到用户时才被激活。此外，如果电子设备100是iot系统的一部分，则当满足条件(诸如前门打开、房间灯打开等)时，可以激活麦克风112。
[0069]
触摸面板113是用于接收各种用户输入的组件。触摸面板113可以通过用户操纵来接收数据。触摸面板也可以仅在与上述相同的条件下被激活，以防止不必要的功耗。另外，触摸面板113可以仅在检测到用户的触摸时被激活。触摸面板113可以与稍后将描述的显示器结合进行配置。
[0070]
除了上述的相机111、麦克风112和触摸面板113之外，输入单元110可以是用于接收各种数据的各种组件。
[0071]
输出单元112可以由驱动单元121、音频输出单元122和显示器123构成。
[0072]
驱动单元121是用于输出关于输入数据的各种运动的组件。如果根据本公开实施例的电子设备100是人形机器人，则驱动单元121可以包括与人类的关节相对应的至少一个关节。
[0073]
音频输出单元122是用于输出关于输入数据的各种声音的组件。音频输出单元122不仅可以输出通过由音频处理器(未示出)运行诸如解码、放大或噪声滤波的各种处理而获得的各条音频数据，还可以输出各种警报或语音消息。特别地，音频输出单元122可以被实施为扬声器，但是这仅仅是实施例，并且音频输出单元122可以被实施为能够输出音频数据的输出端子。
[0074]
显示器123是用于输出输入数据的各种图像的组件。在实施例中，显示器123可以输出用于表达情感的化身(avatar)图像。用于提供各种图像的显示器123可以实施为各种形式的显示面板。例如，显示面板可以用各种显示技术来实施，诸如液晶显示器(lcd)、有机发光二极管(oled)、有源矩阵有机发光二极管(am-oled)、硅上液晶(lcos)或数字光处理(dlp)。此外，显示器123可以以柔性显示器的形式与电子设备100的前表面区域、侧表面区域和后表面区域中的至少一个结合。
[0075]
通信器140可以运行与外部设备的通信。具体地，通信器140可以包括用于运行无线通信的各种通信芯片，诸如，wi-fi芯片141、蓝牙芯片142、nfc芯片143和无线通信芯片144。wi-fi芯片141、蓝牙芯片142和nfc芯片143中的每一个通过lan系统、wi-fi系统、蓝牙系统和nfc系统执行通信。当使用wi-fi芯片141或蓝牙芯片142时，可以首先发送或接收诸如ssid或会话密钥的各条连接信息，以允许通过使用这些连接信息进行通信连接，并且然后可以发送和接收各条信息。无线通信芯片144意味着基于各种通信标准(诸如，ieee、zigbee、第3代移动通信技术(3g)，第三代合作伙伴项目(3gpp)，长期演进(lte))运行通信的芯片。
[0076]
通信器140也可以由有线通信系统操作，包括以下各项中的至少一个：通用串行总线(usb)、高清晰度多媒体接口(hdmi)、推荐标准232(rs-232)、电力线通信、或者简单老式电话服务(pots)。具体地，通信器可以通过运行与外部设备的通信来发送或接收电子设备100周围的用户的各条数据。
[0077]
存储器150可以存储，例如，与电子设备100的至少另一组件有关的指令或者数据。根据实施例，存储器150可以存储软件和/或程序。所述程序可以包括，例如，内核、中间件、应用编程接口(api)和/或应用程序(或者“应用”)。内核、中间件、或者api的至少一些可以
被称为操作系统。内核可以例如控制或管理用于运行在其他程序中实现的操作或功能的系统资源。此外，内核可以提供用于通过在中间件、api或者应用程序中访问电子设备100的单个组件来控制或者管理系统资源的接口。
[0078]
中间件可以充当中介，使得api或应用程序可以与内核通信来发送和接收数据。此外，中间件根据从优先级的顺序来处理从应用程序接收的一个或多个工作请求。例如，中间件可以将使用电子设备100的系统资源的优先级的顺序应用于至少一个应用程序，并处理一个或多个工作请求。api是控制由内核或者中间件提供的功能的接口，并且可以包括，例如，用于文件控制、窗口控制、图像处理、或者字符控制的至少一个接口或功能(例如，指令)。
[0079]
此外，存储器150可以包括嵌入式存储器或外部存储器中的至少一个。嵌入式存储器可以包括例如易失性存储器(例如，dram、sram或sdram)和非易失性存储器(例如，一次性可编程rom(otprom)、prom、eprom、eeprom、掩码rom、闪速rom、闪速存储器、硬盘驱动器或固态驱动器(ssd))中的至少一种。外部存储器可以包括闪存驱动器，例如，紧凑型闪存(cf)、安全数字(sd)、微型sd、小型sd、极限数字(xd)、多媒体卡(mmc)、或记忆棒。外部存储器可以经由各种接口在功能上或者物理地连接到电子设备100。
[0080]
存储器150可以存储用户数据。例如，存储器150可以存储使用电子设备100的特定用户的过去的数据。
[0081]
检测器160是用于获得周围信息的组件。如上所述，检测器160可以由各种传感器构成，并且可以通过分析由传感器检测到的信息来获得用户数据。检测器160可以包括各种传感器，诸如红外传感器、压力传感器、照度传感器、湿度传感器和陀螺仪传感器。例如，如果检测器160包括红外传感器，则检测器160可以通过使用红外传感器获得关于用户存在或不存在的数据，或者获得关于用户的温度等的数据。此外，如果检测器160包括压力传感器，则检测器160可以获得关于与用户的物理接触的数据。此外，如果检测器160包括照度传感器、湿度传感器等，则检测器160可以获得指示关于用户的湿度或照度的信息作为用户数据。
[0082]
处理器130可以通过使用存储在存储器150中的各种程序来控制电子设备100的一般操作。
[0083]
处理器130可以由ram 131、rom 132、图形处理器133，主cpu 134，第一接口135-1至第n接口135-n以及总线136构成。ram 131、rom 132、图形处理器133、主cpu 134以及第一接口135-1至第n接口135-n可以经由总线136彼此连接。
[0084]
ram 131存储os和应用程序。具体地，当电子设备100被启动时，o/s被存储在ram 131中，并且由用户选择的各条应用数据可以被存储在ram 131中。
[0085]
rom 132可以存储用于系统引导的指令集合。输入接通指令以供电，主cpu 134根据存储在rom 132中的指令将存储在存储器150中的o/s复制到ram 131，并通过运行o/s来引导系统。如果引导完成，则主cpu 134将存储在存储器150中的各种应用程序复制到ram 131，并通过运行复制到ram 131的应用程序来运行各种操作。
[0086]
图形处理器133通过使用操作单元(未示出)和渲染单元(未示出)来生成包括诸如项目、图像、文本等的各种对象的屏幕。操作单元可以是通过使用从输入单元110接收的控制命令，根据屏幕的布局来计算属性值(诸如要显示的每个对象的坐标值、其形状、大小、颜
色等)的组件。渲染单元可以是基于由操作单元计算的属性值生成具有包括对象的各种布局的屏幕的组件。由渲染单元生成的屏幕可以显示在显示器130的显示区域中。
[0087]
主cpu 134可以通过访问存储器150使用存储在存储器150中的o/s来运行引导。主cpu 134可以通过使用存储在存储器150中的各种程序、内容、数据等来运行各种操作。
[0088]
第一接口135-1至第n接口135-n可以被连接到上述各种组件。第一接口135-1至第n接口135-n中的一个可以是经由网络连接到外部设备的网络接口。
[0089]
在下文中，将参考图3至图7详细描述根据本公开的各种实施例。
[0090]
图3是用于解释根据本公开的实施例的用于提供电子设备的服务的方法的流程图。
[0091]
电子设备100可以检测电子设备100周围的用户以提供服务(s310)。电子设备100可以根据检测到的用户的数量来确定用户模式(s320)。具体地，如果检测到的用户的数量是1个，则电子设备100可以将用户模式确定为第一用户模式，并且如果检测到的用户的数量是2个或更多个，则电子设备100可以将用户模式确定为第二用户模式。稍后将参考图4和图5描述在第一用户模式下的电子设备100的操作，并且稍后将参考图6和图7描述在第二用户模式下的电子设备100的操作。
[0092]
电子设备100可以根据所确定的用户模式来更新关系模型(s330)。具体地，电子设备100可以在第一用户模式下更新用户-上下文(context)模型，并且电子设备100可以在第二用户模式下更新用户-用户模型。
[0093]
在下文中，电子设备100可以根据用户模式来确定用户和上下文之间的关系或者确定用户之间的关系(s340)。电子设备100可以基于在步骤s340中确定的关系来确定要向用户提供的服务(s350)。
[0094]
电子设备100可以提供所确定的服务并确定用户反应。具体地，电子设备100可以确定用户对所提供的服务的反应是否是积极的(s360)。如果用户反应是积极的(s360-是)，则电子设备100可以继续提供该服务(s370)。如果用户反应是消极的(s360-否)，则电子设备100可以返回到步骤s350，并再次确定要向用户提供的服务。
[0095]
当服务被提供给用户时，电子设备100可以更新关系模型(s380)。也就是说，电子设备100可以输入与用户对所提供的服务的反应相关的信息，并更新关系模型。
[0096]
图4是用于解释根据本公开的实施例的用于在第一用户模式下的电子设备的操作的流程图。
[0097]
电子设备100可以检测电子设备100周围的用户以提供服务(s410)。电子设备100可以将用户模式确定为第一用户模式，因为检测到的用户的数量是1(s420)。
[0098]
电子设备100可以根据第一用户模式更新关系模型(s430)。也就是说，如上所述，电子设备100可以在第一用户模式下更新用户-上下文关系模型。具体来说，用户-上下文关系模型是用于理解单个用户和上下文之间的关系的关系模型。这里的上下文可以是各条信息，诸如对象、位置、时间、天气、温度、湿度、经济状况、社会问题等。用户-上下文关系模型可以基于用户和上下文的数据库来构建，基于图/本体(ontology)来构建，或者基于深度学习/贝叶斯预测来构建。
[0099]
当用户-上下文关系模型被更新时，电子设备100可以将检测到的用户和上下文信息输入到用户-上下文关系模型，并确定用户和上下文之间的关系(s440)。电子设备100可
以基于在步骤s440中确定的关系来确定要向用户提供的服务(s450)。
[0100]
电子设备100可以提供所确定的服务并确定用户反应。具体地，电子设备100可以确定用户对所提供的服务的反应是否是积极的(s460)。如果用户反应是积极的(s460-是)，则电子设备100可以继续提供该服务(s470)。如果用户反应是消极的(s460-否)，则电子设备100可以返回到步骤s350，并再次确定要向用户提供的服务。
[0101]
当服务被提供给用户时，电子设备100可以更新用户-上下文关系模型(s480)。也就是说，电子设备100可以输入与用户对所提供的服务的反应相关的信息，并更新用户-上下文关系模型。
[0102]
图5是用于解释根据本公开的实施例的用于提供在第一用户模式下的电子设备的服务的方法的示例图。
[0103]
参考图5，电子设备100可以检测单个用户(下文为母亲)。电子设备100可以通过将数据输入到用户-上下文模型来确定母亲当前正在烹饪。具体地，输入到用户-上下文模型的数据可以是检测到的用户(母亲)和上下文数据。这里的上下文数据可以是母亲所处的地方(厨房)、母亲使用的对象(炊具，诸如勺子或锅)、当前时间信息等。
[0104]
电子设备100可以分析检测到的母亲的过去的数据，并且确定母亲很可能将在完成烹饪后呼叫另一个用户(孩子)吃饭。
[0105]
预测母亲的下一个行为的电子设备100可以将向母亲提供孩子的状态的服务或者当饭食准备好时呼叫孩子的服务确定为要提供的服务，并且可以提供所确定的服务。也就是说，如图7的下侧所示，当电子设备100是机器人时，机器人可以移动到孩子的房间来查看孩子的状态，或者可以输出声音来叫孩子吃饭。
[0106]
在另一个实施例中，如果父亲来到客厅，电子设备100可以将父亲确定为提供服务的用户。电子设备100可以向用户-上下文模型输入数据，并确定父亲的状态和必要的服务。具体地，输入到用户-上下文模型的数据可以是检测到的用户(父亲)和上下文数据。上下文数据可以是父亲所处的位置(卧室到客厅)、当前时间信息(早晨)等。当父亲早上从卧室出来到客厅时，电子设备100可以确定父亲很可能从冰箱获得水并饮用它。电子设备100可以掌握电子设备100周围的水在哪里，并且通知父亲水在哪里或者提供水。
[0107]
根据上述实施例的电子设备100可以是机器人。也就是说，机器人可以移动以掌握周围的上下文信息和用户信息并提供服务。具体地，如果电子设备100是机器人，则机器人可以主要观察用户，并且可以观察用户周围的优选对象。此时，机器人可以在短的时间段内观察优选对象，并再次观察用户，从而持续掌握用户的状态。当机器人在房子中时，机器人可能不需要构建用户和房屋中的每个对象和地方之间关系数据。也就是说，机器人可以不构建用户仅相对于处于可变状态的对象(例如，tv、窗户、诸如宠物等的动态对象，而不是诸如房屋中的墙壁或桌子的固定对象)的关系。如果电子设备100是机器人，机器人可以以各种方式使用眼睛注视。例如，在机器人和用户之间交互的情况下，机器人可以看着用户。然而，如果在机器人和用户之间的交互中当机器人正看着用户时检测到另一个对象，则机器人的眼睛可以移动到另一个对象，并且然后机器人可以再次看着用户。通过这种方法，可以实现更像人类的机器人。
[0108]
然而，不限于此，并且电子设备100可以由家庭网络系统构成。也就是说，家庭网络系统可以收集房屋中的各条信息，检测需要服务的用户，并提供服务。
[0109]
图6是用于解释根据本公开的实施例的用于在第二用户模式下的电子设备100的操作的流程图。
[0110]
电子设备100可以检测多个用户以提供服务(s610)。电子设备100可以将用户模式确定为第二用户模式，因为检测到的用户的数量是2个或更多个(s620)。
[0111]
电子设备100可以根据第二用户模式更新关系模型(s630)。也就是说，如上所述，电子设备100可以在第二用户模式下更新用户-用户关系模型。具体地，用户-用户关系模型可以通过扩展用户-上下文关系模型来实施。也就是说，用户-用户关系模型是用于通过包括每个用户的用户-上下文关系模型来确定用户之间的关系的关系模型。用户-用户关系模型可以基于多个用户的数据库来构建，基于图/本体来构建，或者基于深度学习/贝叶斯预测来构建。
[0112]
当用户-用户关系模型被更新时，电子设备100可以向用户-用户关系模型输入多条检测到的用户信息，并确定多个用户之间的关系(s640)。电子设备100可以基于过去的数据和当前数据来确定多个用户之间的关系。过去的数据是与表示多个用户之间对话的次数的直方图相关的数据。此外，过去的数据可以是与用户用积极的词说出其他用户的名字的次数相关的数据。此外，过去的数据可以是与多个用户之间的社交媒体关系相关的数据。当前数据可以是通过分析多个用户的面部表情获得的数据。此外，当前数据可以是关于多个用户之间的注视识别的数据。关于注视识别的数据可以是例如与多个用户之间的注视的次数相关的数据。
[0113]
电子设备100可以基于在步骤s640中确定的关系来确定要向多个用户提供的服务(s650)。
[0114]
电子设备100可以提供所确定的服务并确定用户反应。具体地，电子设备100可以确定用户对所提供的服务的反应是否是积极的(s660)。如果用户反应是积极的(s660-是)，则电子设备100可以继续提供该服务(s670)。如果用户反应是消极的(s660-否)，则电子设备100可以返回到步骤s650，并再次确定要向用户提供的服务。
[0115]
当服务被提供给用户时，电子设备100可以更新用户-用户关系模型(s680)。也就是说，电子设备100可以输入与用户对所提供的服务的反应相关的信息，并更新用户-用户关系模型。
[0116]
图7是用于解释根据本公开的实施例的用于提供在第二用户模式下的电子设备的服务的方法的示例图。
[0117]
参考图7，电子设备100可以检测汽车中的多个用户。电子设备100可以确定多个检测到的用户之间的亲密程度。具体地，电子设备100可以通过关于多个用户的面部识别来分析多个用户的情绪状态，并且通过所分析的用户的情绪状态来确定多个用户之间的亲密程度。此外，电子设备100可以分析多个用户之间的注视，并分析多个用户之间的亲密程度。此外，如果存在多个用户当中的至少一个用户的过去的数据，则电子设备100可以基于至少一个用户的过去的数据来分析多个用户之间的亲密程度。
[0118]
电子设备100可以基于所确定的亲密程度来确定要提供的服务。例如，如果没有确定多个用户彼此不亲密，则电子设备100可以提供关于多个用户可能感兴趣的主题或笑料的信息，或者可以再现多个用户可能感兴趣的音乐或内容。如果存在多个用户的过去的数据，则电子设备100可以确定关于用户中的每一个可能感兴趣的主题、音乐、内容等的信息，
并且可以提供所有多个用户感兴趣的服务。
[0119]
在另一实施例中，电子设备100可以确定多个用户之间的亲密程度的变化，并根据多个用户之间的亲密程度的变化提供服务。例如，如果多个用户是母亲和孩子，则电子设备100可以确定母亲和孩子之间亲密程度的变化。电子设备100可以确定母亲和孩子之间的平均亲密程度，并且当亲密程度相对于平均亲密程度降低或增加时，可以提供合适的服务。例如，当母亲责骂孩子并且母亲和孩子之间的亲密程度降低时，电子设备100可以确定母亲和孩子之间的亲密程度相对于平均亲密程度降低。此时，电子设备100可以提供服务来增加母亲和孩子之间的亲密程度。例如，电子设备100可以向母亲或孩子提供儿童训练相关内容。
[0120]
在又一实施例中，电子设备100可以通过使用多个用户之间的过去的关系数据来提供合适的服务。例如，如果检测到的用户是母亲和孩子，并且当前状态是进餐时间，则电子设备100可以根据母亲在过去烹饪和在进餐时间与孩子一起吃晚餐的事实为孩子提供食谱。然而，如果检测到的用户是父亲和母亲，并且当前状态是进餐时间，则电子设备100可以根据父亲过去大部分时间没有做饭的事实来提供关于食物递送的信息。
[0121]
在下文中，将参考图8至图11描述根据本公开的实施例的用于使用学习算法生成数据识别模型并通过数据识别模型向用户提供服务的方法。
[0122]
参考图8，根据实施例的处理器130可以包括数据学习单元810和数据识别单元820。
[0123]
数据学习单元810可以训练数据识别模型以具有确定单个用户的状态或多个用户之间的关系的标准。另外，数据学习单元810可以训练数据识别模型以具有用于确定电子设备100相对于用户数据的操作的标准。数据学习单元810可以通过将学习数据应用于数据识别模型来生成具有确定标准的数据识别模型，用于确定要提供给用户的服务或者确定电子设备100相对于用户数据的操作。
[0124]
在实施例中，数据学习单元810可以通过使用用户信息和上下文信息作为学习数据来生成或训练数据识别模型。用户信息可以是用户的图像信息、语音信息、运动信息等，并且上下文信息可以是各条信息，诸如对象、位置、时间、天气、温度、湿度、经济状况、社会问题等。
[0125]
在另一实施例中，数据学习单元810可以通过使用多个用户的信息作为学习数据来生成或训练数据识别模型。多个用户的信息可以是图像信息、语音信息、运动信息、用户相对于多个用户的亲密程度信息、注视信息等。
[0126]
数据识别单元820可以基于识别数据来确定状况。数据识别单元820可以通过使用训练的数据识别模型从预定的识别数据中确定状况。数据识别单元820可以根据预定标准获得预定的识别数据，并将获得的识别数据作为输入值应用于数据识别模型，从而基于预定的识别数据确定(或估计)预定的状况。
[0127]
此外，通过将获得的识别数据作为输入值应用于数据识别模型而输出的结果值可以用于更新数据识别模型。
[0128]
具体地，根据本公开的实施例，数据识别单元820可以将关于语音信息的识别数据和关于图像信息的识别数据作为输入值应用于数据识别模型，从而获得通过确定电子设备100的状况(用户的当前状况、用户的下一个行为的估计或要向用户提供的服务)而获得的确定结果。
[0129]
数据学习单元810的至少一部分和数据识别单元820的至少一部分可以被实施为软件模块，或者可以以至少一个硬件芯片的形式生产并安装在电子设备上。例如，数据学习单元810和数据识别单元820中的至少一个可以以用于人工智能(ai)的专用硬件芯片的形式生产，或者可以作为通用处理器(例如，cpu或应用处理器)或图形专用处理器(例如，gpu)的一部分生产，并且安装在上述各种电子设备上。用于人工智能的专用硬件芯片可以是专用于可能性计算的专用处理器，并且可以以比传统通用处理器更高的并行处理性能快速处理人工智能领域中的计算过程，诸如机器训练。如果数据学习单元810和数据识别单元820被实施为软件模块(或包括指令的程序模块)，则软件模块可以存储在计算机可读的非暂时性计算机可读介质中。在这种情况下，软件模块可以由操作系统(o/s)提供，或者由预定的应用提供。另外，软件模块的一部分可以由操作系统(o/s)提供，而其另一部分可以由预定的应用提供。
[0130]
在这种情况下，数据学习单元810和数据识别单元820可以安装在一个电子设备100(或电子设备)上，或者可以分别安装在单独的电子设备100(或电子设备)上。例如，数据学习单元810和数据识别单元820中的一个可以被包括在一个电子设备100中，而其另一个可以被包括在一个外部服务器中。另外，关于数据学习单元810和数据识别单元820，由数据学习单元810构建的模型信息可以被提供给数据识别单元820，并且输入到数据识别单元820的数据可以以有线或无线方式作为附加学习数据被提供给数据学习单元810。
[0131]
图9是根据本公开的实施例的数据学习单元810的框图。
[0132]
参考图9，根据实施例的数据学习单元810可以包括数据获得单元810-1和模型学习单元810-4。另外，数据学习单元810还可以可选地包括预处理单元810-2、学习数据选择单元810-3和模型评估单元810-5中的至少一个。
[0133]
数据获得单元810-1可以获得用于确定单个用户的状况或多个用户之间的关系的学习数据。
[0134]
对于学习数据，可以使用由数据学习单元810或电子设备100的制造商收集或测试的数据。此外，根据本公开，学习数据可以包括由用户经由麦克风发出的以自然语言生成的语音数据。此外，学习数据可以包括用相机捕获的用户的运动数据。
[0135]
数据学习单元810还可以包括预处理单元810-2和学习数据选择单元810-3，以便改善数据识别模型的识别结果或者节省用于生成数据识别模型所需的资源或时间。
[0136]
预处理单元810-2可以预处理由数据获得单元810-1获得的数据。
[0137]
例如，预处理单元810-2可以以预定格式处理获得的数据，使得模型学习单元810-4能够容易地使用数据来训练数据识别模型。例如，预处理单元810-2可以将由数据获得单元810-1获得的语音数据处理成文本数据，并且可以将图像数据处理成预定格式的图像数据。经预处理的数据可以被提供给将在后面被描述的模型训练单元810-4作为学习数据。
[0138]
此外，学习数据选择单元810-3可以从经预处理的数据中选择训练所需的学习数据。所选择的数据可以被提供给模型学习单元810-4。学习数据选择单元810-3可以根据预定的选择标准从经预处理的数据中选择训练所需的学习数据。另外，学习数据选择单元810-3可以通过模型训练单元810-4的训练，根据预定的选择标准选择训练所需的学习数据。在本公开的实施例中，学习数据选择单元810-3可以从输入语音数据中仅选择特定用户发出的语音数据，并且可以从图像数据中仅选择除背景之外的包括人的区域。
[0139]
模型学习单元810-4可以通过使用学习数据来训练用于确定单个用户的状况或多个用户之间的关系的数据识别模型。例如，模型训练单元810-4可以通过使用至少一些学习数据作为确定标准的监督学习来训练数据识别模型。此外，模型学习单元810-4可以例如通过无监督学习(在没有特定监督的情况下，通过使用学习数据的自我训练，找出用于确定状况的确定标准)来训练数据识别模型。
[0140]
另外，模型学习单元810-4可以训练选择标准，用于确定哪个学习数据将用于确定单个用户的状况或多个用户之间的关系。
[0141]
可以通过考虑识别模型的应用领域、训练的对象、设备的计算机性能等来构建数据识别模型。数据识别模型可以是例如基于神经网络的模型。数据识别模型可以被设计成在计算机上模拟人类的大脑结构。数据识别模型可以包括多个网络节点，该多个网络节点包括权重并模拟人类的神经网络的神经元。多个网络节点可以形成相互的连接以模拟突触活动，因为神经元通过突触发送和接收信号。数据识别模型可以包括例如神经网络模型或从神经网络模型发展而来的深度学习模型。在深度学习模型中，多个网络节点可以位于彼此不同的深度(或层上)，并且可以根据卷积连接来发送和接收数据。例如，深度神经网络(dnn)、递归神经网络(rnn)和双向递归深度神经网络(brdnn)可以用作数据识别模型，但不限于此。
[0142]
根据实施例，如果预先构建的数据识别模型的数量多于一个，则模型学习单元810-4可以将具有与输入学习数据高度相关的基本学习数据的数据识别模型确定为要训练的数据识别模型。在这种情况下，可以为每种类型的数据预先分类基本学习数据片段(piece)，并且可以为每种类型的数据预先构建数据识别模型。例如，基本学习数据片段可以基于各种标准(诸如，生成学习数据的区域、生成学习数据的时间、学习数据的大小、学习数据的类型、学习数据的创建者、学习数据中对象的类型等)预先分类。
[0143]
另外，模型学习单元810-4可以例如通过使用包括误差反向传播或梯度下降的学习算法来训练数据识别模型。
[0144]
此外，模型学习单元810-4例如可以通过使用确定标准作为输入值的监督学习来训练数据识别模型。此外，模型学习单元810-4可以例如通过无监督学习(在没有特定监督的情况下，通过使用必需的学习数据的自我训练，找出单个用户的状况或多个用户之间的关系)来训练数据识别模型。此外，模型学习单元810-4可以例如通过使用关于通过训练确定单个用户的状况或多个用户之间的关系的结果是否准确的反馈的强化学习来训练数据识别模型。
[0145]
此外，当训练数据识别模型时，模型学习单元810-4可以存储所训练的数据识别模型。在这种情况下，模型学习单元810-4可以将训练的数据识别模型存储在电子设备100的存储器150中。此外，模型学习单元810-4可以将训练的数据识别模型存储在以有线方式或经由无线网络连接到电子设备100的服务器的存储器中。
[0146]
数据学习单元810还可以包括模型评估单元810-5，以便改善数据识别模型的识别结果。
[0147]
如果从评估数据输出的识别结果不满足预定标准，则模型评估单元810-5可以向数据识别模型输入评估数据，并使模型学习单元810-4再次执行训练。在这种情况下，评估数据可以是预定义用于评估数据识别模型的数据。
[0148]
例如，如果关于评估数据的训练的数据识别模型的识别结果当中的、具有不准确识别结果的评估数据片段的数量或比率超过预定阈值，则模型评估单元810-5可以评估不满足预定标准。例如，如果预定标准被定义为2％的比率，并且训练的数据识别模型对于总共1000条评估数据中的超过20条评估数据输出不准确的识别结果，则模型评估单元810-5可以评估训练的数据识别模型不合适。
[0149]
如果训练的数据识别模型的数量多于一个，则模型评估单元810-5可以评估训练的数据识别模型中的每一个是否满足预定标准，并将满足预定标准的模型确定为最终的数据识别模型。在这种情况下，如果满足预定标准的模型的数量多于一个，则模型评估单元810-5可以将按照高评估等级的顺序预先设置的任何一个或预定数量的模型确定为最终的数据识别模型。
[0150]
上述数据获得单元810-1、预处理单元810-2、学习数据选择单元810-3、模型学习单元810-4和模型评估单元810-5中的至少一个可以被实施为软件模块，或者可以以至少一个硬件芯片的形式生产并安装在电子设备上。例如，数据获得单元810-1、预处理单元810-2、学习数据选择单元810-3、模型学习单元810-4和模型评估单元810-5中的至少一个可以以用于人工智能(ai)的专用硬件芯片的形式生产，或者可以作为通用处理器(例如，cpu或应用处理器)或图形专用处理器(例如，gpu)的一部分生产，并且安装在上述各种电子设备上。
[0151]
此外，数据获得单元810-1、预处理单元810-2、学习数据选择单元810-3、模型学习单元810-4和模型评估单元810-5可以安装在一个电子设备上，或者可以分别安装在单独的电子设备上。此外，数据获得单元810-1、预处理单元810-2、学习数据选择单元810-3、模型学习单元810-4和模型评估单元810-5中的一些可以被包括在电子设备中，并且其其他部分可以被包括在服务器中。
[0152]
此外，数据获得单元810-1、预处理单元810-2、学习数据选择单元810-3、模型学习单元810-4和模型评估单元810-5中的至少一个可以被实施为软件模块。如果数据获得单元810-1、预处理单元810-2、学习数据选择单元810-3、模型学习单元810-4和模型评估单元810-5中的至少一个被实施为软件模块(或包括指令的程序模块)，则软件模块可以存储在由计算机可读的非暂时性计算机可读介质中。在这种情况下，至少一个软件模块可以由操作系统(o/s)提供，或者由预定的应用提供。另外，至少一个软件模块的一部分可以由操作系统(o/s)提供，而其另一部分可以由预定的应用提供。
[0153]
图10是根据本公开的实施例的数据识别单元820的框图。
[0154]
参考图10，根据实施例的数据识别单元820可以包括数据获得单元820-1和识别结果提供单元820-4。此外，数据识别单元820还可以可选地包括预处理单元820-2、识别数据选择单元820-3和模型更新单元820-5中的至少一个。
[0155]
数据获得单元820-1可以获得用于确定单个用户的状况或多个用户之间的关系的识别数据。
[0156]
识别结果提供单元820-4可以通过将由数据获得单元820-1获得的数据作为输入值应用于训练的数据识别模型来确定单个用户的状况或多个用户之间的关系。识别结果提供单元820-4可以根据数据的识别目的来提供识别结果。此外，识别结果提供单元820-4可以提供通过将由将在后面描述的预处理单元820-2预处理的数据作为输入值应用于训练的
数据识别模型而获得的识别结果。此外，识别结果提供单元820-4可以通过将由将在后面描述的识别数据选择单元820-3选择的数据作为输入值应用于数据识别模型来提供识别结果。
[0157]
数据识别单元820还可以包括预处理单元820-2和识别数据选择单元820-3，以便改善数据识别模型的识别结果或者节省用于提供识别结果所需的资源或时间。
[0158]
预处理单元820-2可以预处理由数据获得单元820-1获得的数据，以便在用于确定单个用户的状况或多个用户之间的关系的识别中使用数据。
[0159]
预处理单元820-2可以以预定义的格式处理所获得的数据，使得识别结果提供单元820-4容易地使用该数据来确定单个用户的状况或多个用户之间的关系。具体地，根据本公开的实施例，数据获得单元820-1可以获得用户数据(语音数据或图像数据)，以便确定单个用户的状况或多个用户之间的关系，并且预处理单元820-2可以如上所述以预定格式预处理用户数据。
[0160]
识别数据选择单元820-3可以在经预处理的数据片段当中选择用于确定单个用户的状况或多个用户之间的关系所需的识别数据。所选择的识别数据可以被提供给识别结果提供单元820-4。识别数据选择单元820-3可以根据预定选择标准在经预处理的数据当中选择用于确定单个用户的状况或多个用户之间的关系所需的识别数据。另外，识别数据选择单元820-3可以通过模型训练单元810-4的训练，根据预定选择标准选择数据。
[0161]
模型更新单元820-5可以基于对由识别结果提供单元820-4提供的识别结果的评估来控制要更新的数据识别模型。例如，模型更新单元820-5可以控制模型学习单元810-4通过将由识别结果提供单元820-4提供的识别结果提供给模型学习单元810-4来更新数据识别模型。
[0162]
数据识别单元820中的数据获得单元820-1、预处理单元820-2、识别数据选择单元820-3、识别结果提供单元820-4和模型更新单元820-5中的至少一个可以被实施为软件模块，或者可以以至少一个硬件芯片的形式生产并安装在电子设备上。例如，数据识别单元820中的数据获得单元820-1、预处理单元820-2、识别数据选择单元820-3、识别结果提供单元820-4和模型更新单元820-5中的至少一个可以以用于人工智能(ai)的专用硬件芯片的形式生产，或者可以作为通用处理器(例如，cpu或应用处理器)或图形专用处理器(例如，gpu)的一部分生产，并且安装在上述各种电子设备上。
[0163]
此外，数据识别单元820中的数据获得单元820-1、预处理单元820-2、识别数据选择单元820-3、识别结果提供单元820-4和模型更新单元820-5可以安装在一个电子设备上，或者可以分别安装在单独的电子设备上。例如，数据识别单元820中的数据获得单元820-1、预处理单元820-2、识别数据选择单元820-3、识别结果提供单元820-4和模型更新单元820-5中的一些可以被包括在电子设备中，并且其其他部分可以被包括在服务器中。
[0164]
此外，数据识别单元820中的数据获得单元820-1、预处理单元820-2、识别数据选择单元820-3、识别结果提供单元820-4和模型更新单元820-5中的至少一个可以被实施为软件模块。如果数据识别单元820中的数据获得单元820-1、预处理单元820-2、识别数据选择单元820-3、识别结果提供单元820-4和模型更新单元820-5中的至少一个被实施为软件模块(或包括指令的程序模块)，则软件模块可以存储在由计算机可读的非暂时性计算机可读介质中。在这种情况下，至少一个软件模块可以由操作系统(o/s)提供，或者由预定的应
用提供。另外，至少一个软件模块的一部分可以由操作系统(o/s)提供，而其另一部分可以由预定的应用提供。
[0165]
图11是示出根据实施例的通过将电子设备100和服务器1100彼此链接来训练和识别数据的示例的视图。
[0166]
参考图11，服务器1100可以执行对用于确定单个用户的状况或多个用户之间的关系的标准的训练，并且电子设备100可以基于服务器1100的训练结果来确定单个用户的状况或多个用户之间的关系。
[0167]
在这种情况下，服务器1100的模型学习单元810-4可以执行对用于确定哪个或哪些数据将被用于确定单个用户的状况或多个用户之间的关系或者如何通过使用数据来确定单个用户的状况或多个用户之间的关系的标准的训练。模型学习单元810-4可以通过获得将用于训练的数据并将获得的数据应用于将在后面描述的数据识别模型，来执行对用于确定单个用户的状况或多个用户之间的关系的标准的训练。
[0168]
此外，电子设备100的识别结果提供单元820-4可以通过将由识别数据选择单元820-3选择的数据应用于由服务器1100生成的数据识别模型来确定单个用户的状况或多个用户之间的关系。具体地，识别结果提供单元820-4可以将由识别数据选择单元820-3选择的数据发送到服务器1100，并请求服务器1100通过将由识别数据选择单元820-3选择的数据应用于识别模型来确定单个用户的状况或多个用户之间的关系。此外，识别结果提供单元820-4可以从服务器1100接收关于由服务器1100确定的单个用户的状况或多个用户之间的关系的信息。例如，当由识别数据选择单元820-3选择的用户数据被发送到服务器1100时，服务器1100可以将用户数据应用到预先存储的数据识别模型，并将关于单个用户的状况或多个用户之间的关系的信息发送到电子设备100。
[0169]
此外，电子设备100的识别提供单元820-4可以从服务器1100接收由服务器1100生成的识别模型，并且通过使用接收到的识别模型来确定单个用户的状况或者多个用户之间的关系。在这种情况下，电子设备100的识别结果提供单元820-4可以通过将由识别数据选择单元820-3选择的数据应用于接收的数据识别模型来确定单个用户的状况或多个用户之间的关系。例如，电子设备100可以从服务器1100接收并存储数据识别模型，并且通过将由识别数据选择单元820-3选择的用户数据应用于从服务器1100接收的数据识别模型来确定单个用户的状况或多个用户之间的关系。
[0170]
图12是用于解释根据本公开的实施例的用于控制电子设备的方法的流程图。
[0171]
电子设备100可以通过检测至少一个用户来确定用户模式(s1210)。第一用户模式可以是单个用户的用户模式，以及第二用户模式可以是多个用户的用户模式。
[0172]
电子设备100可以获得检测到的至少一个用户的用户信息(s1220)。如上所述，用户信息可以包括图像信息、语音信息、运动信息、移动信息等，并且广义的用户信息可以包括用户周围的各条上下文信息。
[0173]
电子设备100可以基于所确定的用户模式和用户信息来确定要向所检测的至少一个用户提供的服务(s1230)。电子设备100可以向用户提供所确定的服务(s1240)。
[0174]
然而，尽管描述了构成本公开的实施例的所有组件被组合成一个或组合操作，但是本公开不限于这样的实施例。也就是说，在本公开的目的范围内，所有组件中的一个或多个可以选择性地组合用于操作。此外，所有组件可以分别实施为独立的硬件，但是一些或所
有组件可以被选择性地组合以实施为具有程序模块的计算机程序，该程序模块运行在一个或多个硬件中组合的一些或全部功能。
[0175]
根据实施例的设备(例如，其模块或功能)或方法(例如，操作)的至少一部分可以用存储在能够由计算机以程序模块的形式读取的非暂时性计算机可读介质中的指令来实施。当指令由处理器(例如，处理器130)运行时，处理器可以执行对应于该指令的功能。
[0176]
该程序可以存储在非暂时性计算机可读介质中，并由计算机读取和运行，以实现本公开的实施例。
[0177]
非暂时性计算机可读介质可以是半永久存储数据并由机器可读的介质，可以包括寄存器、高速缓存或缓冲器，并且不包括诸如信号或电流的传输介质。
[0178]
具体地，程序可以被存储和被提供在非暂时性计算机可读介质中，诸如cd、dvd、硬盘、蓝光盘、usb、内部存储器(例如，存储器150)，存储器卡、以及rom或ram。
[0179]
此外，根据上述实施例的方法可以在计算机程序产品中提供。
[0180]
计算机程序产品可以包括s/w程序，可由存储s/w程序的计算机读取的存储介质，或在买方和卖方之间交换的商业上可获得的产品。
[0181]
例如，计算机程序产品可以包括以通过电子设备、电子设备的制造商或电子市场(例如，google play
tm
或app store
tm
)以电子方式分发的s/w程序的形式的产品(例如，可下载的应用)。对于电子分发，s/w程序的至少一些可以存储在存储介质中或临时生成。在这种情况下，存储介质可以是制造商的存储介质、应用商店的服务器或中继服务器。
[0182]
在上文中，已经示出并描述了本公开的优选实施例，但是本公开不限于上述具体实施例，本领域技术人员可以在不脱离权利要求中要求保护的本公开的主旨的情况下进行各种修改，并且这些修改不能从本公开的技术精神或前景中单独理解。