信息处理设备、信息处理方法和信息处理程序与流程

1.本公开涉及一种信息处理设备、信息处理方法和信息处理程序。具体地，本公开涉及一种将装置行为通知给用户的处理。


背景技术：

2.随着电气化生活的发展，多个装置(如家用电器)同时工作的机会越来越多。考虑到这种情况，提出了一项顺利且主动地使用多个装置的技术。
3.例如，在已知的一项技术中，连接到网络的装置经由该网络将错误通知给用户，用户能够经由电子邮件消息获知其结果的已知技术(例如，专利文献1)。此外，在已知的一项技术中，通过转换和输出用于诊断家用电器装置的状态的产品信息，通过捕获输出信号的图像以便诊断家用电器装置的状态并诊断家用电器设备是否发生了故障来处理故障(例如，专利文献2)。
4.引用列表
5.专利文献
6.专利文献1：日本公开专利公开号5
‑
274317
7.专利文献2：日本公开专利公开号2013
‑
149252


技术实现要素：

8.技术问题
9.根据上述常规技术，用户可以顺利操作多个装置(如家用电器)。
10.然而，常规技术仍有改进的余地。例如，在常规技术中，如果家用电器与网络通信不兼容或者如果家用电器不能显示要由进行诊断的装置识别的信息，则难以将装置的状态通知给用户。即，在一些情况下，除非使用发送通知的装置和能够以某种方式与发送通知的装置进行通信的装置的组合，否则无法实现该常规技术。
11.因此，本公开提出一种信息处理设备、信息处理方法和信息处理程序，其能够在不依赖于各个装置的性能的情况下顺利操作多种装置。
12.问题的解决方案
13.根据本公开，一种信息处理设备，包括控制单元，该控制单元执行检测作为感测信息的指示装置的操作状态的信息的处理，以及在检测到感测信息时，通过参考其中存储有与感测信息相关联的响应内容的存储单元，判断是否将装置的操作状态通知给用户的处理。
附图说明
14.图1是根据第一实施方式的信息处理的实例的示意图。
15.图2是根据第一实施方式的信息处理设备的配置实例的示意图。
16.图3是根据第一实施方式的响应内容表的实例的示意图。
17.图4是根据第一实施方式的处理流程的示意图。
18.图5是根据第二实施方式的信息处理的实例的示意图。
19.图6是根据第二实施方式的信息处理设备的配置实例的示意图。
20.图7是根据第二实施方式的装置信息表的实例的示意图。
21.图8是根据第二实施方式的处理流程的示意图。
22.图9是根据第二实施方式的变型的响应内容表的实例的示意图。
23.图10是根据第三实施方式的信息处理的实例的示意图。
24.图11是根据另一种实施方式的响应内容表的实例的示意图。
25.图12是根据另一种实施方式的用户信息表的示意图。
26.图13是根据本公开的系统配置的第一实例的框图。
27.图14是根据本公开的系统配置的第二实例的框图。
28.图15是根据本公开的系统配置的第三实例的框图。
29.图16是根据本公开的系统配置的第四实例的框图。
30.图17是根据本公开的系统配置的第五实例的框图。
31.图18是根据本公开的系统配置的具体实例其中之一的客户端
‑
服务器(client
‑
server)系统的示意图。
32.图19是根据本公开的系统配置的另一个具体实例的分布式系统的示意图。
33.图20是根据本公开的系统配置的第六实例的框图。
34.图21是根据本公开的系统配置的第七实例的框图。
35.图22是根据本公开的系统配置的第八实例的框图。
36.图23是根据本公开的系统配置的第九实例的框图。
37.图24是根据本公开的系统配置的更具体实例其中之一的包括中间服务器的系统实例的示意图。
38.图25是根据本公开的系统配置的更具体实例其中之一的包括作为主机的终端装置的系统实例的示意图。
39.图26是根据本公开的系统配置的更具体实例其中之一的包括边缘服务器(edge server)的系统实例的示意图。
40.图27是根据本公开的系统配置的更具体实例其中之一的包括雾计算(fog computing)的系统实例的示意图。
41.图28是根据本公开的系统配置的第十实例的框图。
42.图29是根据本公开的系统配置的第十一实例的框图。
43.图30是实现装置功能的计算机实例的硬件配置示意图。
具体实施方式
44.下文将参照附图对本公开的优选实施方式进行详细说明。此外，在各实施方式中，具有相同功能的部件用相同的附图标记，并省略重合部分的说明。
45.按照以下各项的顺序对本公开进行说明。
46.1.第一实施方式
[0047]1‑
1.根据第一实施方式的信息处理的实例
[0048]1‑
2.根据第一实施方式的信息处理设备的配置
[0049]1‑
3.根据第一实施方式的信息处理的流程
[0050]1‑
4.根据第一实施方式的变型
[0051]
2.第二实施方式
[0052]2‑
1.根据第二实施方式的信息处理的实例
[0053]2‑
2.根据第二实施方式的信息处理设备的配置
[0054]2‑
3.根据第二实施方式的信息处理的流程
[0055]2‑
4.根据第二实施方式的变型
[0056]
3.第三实施方式
[0057]
4.其他实施方式
[0058]4‑
1.异常声音检测
[0059]4‑
2.根据用户属性进行通知
[0060]4‑
3.根据装置的使用状态进行通知
[0061]4‑
4.各装置的配置
[0062]4‑
5.信息处理系统模式
[0063]4‑
6.其他
[0064]
5.根据本公开的信息处理设备的效果
[0065]
6.硬件配置
[0066]
(1.第一实施方式)
[0067]
[1
‑
1.根据第一实施方式的信息处理的实例]
[0068]
参考图1对根据本公开的第一实施方式的信息处理的实例进行描述。图1是根据第一实施方式的信息处理的实例的示意图。图1示出了由信息处理系统1执行根据第一实施方式的信息处理的实例，信息处理系统1包括根据本公开的信息处理设备100和作为根据本公开的装置的实例的家用电器10。
[0069]
信息处理设备100是根据本公开的信息处理设备的实例。例如，信息处理设备100具有通过语音或文字与用户进行对话的功能(也称为代理功能等)，并且执行各种信息处理，如针对用户的语音识别或响应生成。此外，信息处理设备100还能够起到根据使用代理功能的用户的请求对于所谓的物联网(iot)装置等执行各种控制的作用。信息处理设备100例如是智能扬声器、智能电话、电视机、平板终端等。此外，除了智能扬声器等，信息处理设备100还可以是穿戴式装置，如手表式终端或眼镜式终端，或者是具有代理功能的家用电器产品，如冰箱或洗衣机。
[0070]
家用电器10是根据本公开的装置的实例。例如，家用电器10是一种在用户家中或其他地方安装和使用的家用电器产品。在图1所示的实例中，假设家用电器10是洗衣机。此外，在第一实施方式中，假设家用电器10不具有经由网络与信息处理设备100进行通信的功能。此外，在图1所示的实例中，仅示出了一个家用电器10；然而，家用电器10的数量不限于图1所示的数量。
[0071]
在图1所示的实例中，信息处理设备100使用各种传感器，如麦克风或相机，检测(感测)家用电器10的操作状态。另外，信息处理设备100获取检测到的信息(以下简称“感测信息”)。例如，信息处理设备100能够获取由家用电器10输出的声音(例如，用于通知洗涤开
始或洗涤结束等的电子声音)，并且能够进一步再现所获取的声音。根据该处理，即使用户不在家用电器10附近，信息处理设备100也能够将家用电器10发出的电子声音通知给用户。
[0072]
顺便提及，在用户使用多个家用电器的环境中，如果将信息处理设备100获取的所有声音都通知给用户，则可能会给用户带来麻烦。例如，作为实例，在洗涤结束的情况下，向远离洗衣机的房间内的用户通知洗涤结束是有意义的；然而，对于位于洗衣机前的用户来说，接收洗衣机停止的通知多余且麻烦。即，对于将由信息处理设备100操作的家用电器产品的操作状态的通知，如果将用户肯定能知道的信息逐一通知，反而可能会降低用户的便利性。这样，在与家用电器的状态相关的通知技术中，要解决的问题是如何在不降低用户的便利性的情况下顺利地操作多个家用电器。
[0073]
因此，根据本公开的信息处理设备100通过将在下文进行描述的信息处理来解决上述问题。
[0074]
具体地，根据本公开的信息处理设备100检测作为感测信息的指示家用电器的操作状态的信息，以及在检测到感测信息时，通过参考其中存储有与感测信息相关联的响应内容的存储单元，判断是否将家用电器的操作状态通知给用户。因此，信息处理设备100能够根据用户的请求执行通知，而不会将家用电器的状态的通知逐一发送给用户；因而，可以适当地操作多个家用电器而不会使用户感到麻烦。
[0075]
下文将参照图1，结合信息处理的流程对根据本公开的第一实施方式的信息处理的实例进行描述。此外，在图1所示的实例中，信息处理设备100中所包括的处理单元在概念上被描述为检测单元141、通知单元142和ui单元143；然而，这些单元仅仅是为了描述方便，而信息处理设备100不必一定具有图1所示的功能配置。
[0076]
首先，根据信息处理设备100的检测单元141检测家用电器10发出的作为感测信息的实例的电子声音(在下文中，对这种类型的通知发出的声音有时称为“通知声音”)(步骤s1)。例如，信息处理设备100基于用于与预先存储在存储单元130中的通知声音进行模式匹配的算法来检测家用电器10发出的通知声音。此外，除了上述实例之外，信息处理设备100还可以使用各种已知方法来检测通知声音。例如，信息处理设备100还可以使用学习到的声音识别模型来检测家用电器10发出的通知声音，从而将通知声音与家用电器10输出的运转声音(在洗涤期间发出的振动声音等)相区分。
[0077]
此外，信息处理设备100还可以不仅检测通知声音，而且还检测家用电器10发出的电子显示作为感测信息。例如，信息处理设备100还可以通过使用相机等来检测洗涤结束时的闪烁显示。
[0078]
信息处理设备100将检测到的通知声音发送到通知单元142(步骤s2)。根据信息处理设备100的通知单元142判断由检测单元141检测到的通知声音是否是需要通知给用户的通知声音。
[0079]
具体地，信息处理设备100参考存储单元130(步骤s3)。尽管稍后将对细节进行描述，但存储单元130在其中将与指示是否需要将通知声音通知给用户的通知可用性相关的信息以及用于区分检测到的通知声音(例如，通知声音的模板)的信息存储为数据表。即，信息处理设备100参考存储单元130，然后判断在步骤s1中检测到的通知声音是否为“需要通知给用户的通知声音”。
[0080]
如果信息处理设备100判断在步骤s1中检测到的通知声音是需要通知给用户的通
知声音，则信息处理设备100将关于通知声音的数据(用于再现通知声音的波形数据、信号数据等)发送到用户界面(ui)单元143(步骤s4)。
[0081]
根据信息处理设备100的ui单元143是向用户发送信息并从用户接收信息的处理单元。例如，ui单元143控制在信息处理设备100中包括的显示器上显示信息的处理或从信息处理设备100中包括的语音输出装置(扬声器等)输出语音的处理。
[0082]
信息处理设备100将通知单元142发送的通知声音通知给用户(步骤s5)。例如，在步骤s1中，信息处理设备100输出与家用电器10上检测到的通知声音相同的声音。
[0083]
此时，信息处理设备100还可以通过将预先设置的响应内容与通知声音一起输出来对用户进行预定询问。例如，信息处理设备100进行询问，如“检测到这样的声音，那么从现在起要通知您这个声音吗？”。
[0084]
之后，信息处理设备100接收来自用户的反应(步骤s6)。例如，信息处理设备100接收表示在用户识别出通知声音之后，用户没有拒绝通知声音的通知的反应(例如，不包括否定表达的“知道了”或“谢谢你”的语音)。或者，信息处理设备100接收表示在用户识别出通知声音之后，用户拒绝通知声音的通知的反应(例如，包括否定表达的“不需要通知”或“保持安静”的语音)。或者，信息处理设备100接收用户对向用户做出的询问的反应(例如，指示用于在以后检测到相同声音时对响应进行判断的用户决定的语音，例如“请从现在开始让我知道那个声音”)。
[0085]
信息处理设备100将接收到的反应发送到通知单元142(步骤s7)。随后，信息处理设备100将接收到的反应反映至存储单元130中的数据库(步骤s8)。换言之，信息处理设备100基于用户的反应学习是否给予用户与通知声音相关的通知。
[0086]
如上所述，信息处理设备100检测指示家用电器10的操作状态的信息作为感测信息。然后，如果检测到感测信息，则信息处理设备100参考其中存储有与感测信息相关联的响应内容的存储单元130，然后判断是否将家用电器10的操作状态通知给用户。
[0087]
这样，当家用电器10发出某种通知声音时，信息处理设备100判断是否将主题信息通知给用户，然后给予用户通知。因此，信息处理设备100能够将通知声音通知给用户，从而信息处理设备100不会将用户不期望的通知声音通知给用户，而是将用户期望的通知声音通知给用户，使得信息处理设备100能够执行满足用户请求的通知。此外，如果用户不在家用电器10的附近，则信息处理设备100能够代表家用电器10向用户传递通知，使得信息处理设备100能够提高用户的便利性。此外，即使在家用电器10未连接到网络的状态下(例如，在家用电器10不是物联网装置的情况下)，信息处理设备100使用麦克风等来检测家用电器10发出的声音，使得无论家用电器10功能如何，信息处理设备100都能够可靠地检测通知声音。因此，无论每个家用电器10的性能如何，信息处理设备100都能够顺利地操作各种家用电器10。
[0088]
此外，图1示出了单个信息处理设备100执行根据本公开的信息处理的实例；然而，也可以安装多个信息处理设备100。例如，还可以与安装在用户附近的第一智能扬声器和安装在家用电器10附近的第二智能扬声器配合执行根据本公开的信息处理。在这种情况下，第二智能扬声器经由网络向第一智能扬声器发送与检测到的通知声音相关的信息。第一智能扬声器将家用电器10发出的通知声音与关于第二智能扬声器安装位置(例如，厨房等)的信息一起输出给用户。具体地，当第一智能扬声器输出家用电器10发出的通知声音时，第一
智能扬声器发送诸如“这种声音从厨房发出”的通知。因此，信息处理设备100能够肯定地将家用电器10相关且用户不能知道的信息传递给用户。
[0089]
下文将参照图2以及后续附图对执行上述信息处理的信息处理设备100和包括该信息处理设备100的信息处理系统1的配置进行详细描述。
[0090]
[1
‑
2.根据第一实施方式的信息处理设备的配置]
[0091]
参照图2对根据第一实施方式的信息处理设备100的配置进行描述。图2是根据第一实施方式的信息处理设备100的配置实例的示意图。
[0092]
如图2所示，信息处理设备100包括传感器120、输入单元121、通信单元122、存储单元130和控制单元140。
[0093]
传感器120是用于检测各种信息的装置。传感器120包括语音输入传感器120a，该语音输入传感器120a采集例如家用电器10发出的通知声音和用户讲话的语音。语音输入传感器120a是，例如，麦克风。此外，传感器120包括，例如，图像输入传感器120b。图像输入传感器120b是，例如，用于采集家用电器10、用户或用户在家里的情况的图像的相机。例如，图像输入传感器120b是，例如，能够获取到观察目标的距离或方向(深度数据等)的立体相机等。
[0094]
此外，传感器120还可以包括加速度传感器、陀螺仪传感器等。此外，传感器120还可以包括检测信息处理设备100的当前位置的传感器。例如，传感器120还可以接收全球定位系统(gps)卫星发射的无线电波，并基于接收到的无线电波来检测指示信息处理设备100的当前位置的位置信息(例如，纬度和经度)。
[0095]
此外，传感器120还可以包括检测外部设备发射的无线电波的无线电波传感器或检测电磁波的电磁波传感器。此外，传感器120还可以检测信息处理设备100所处的环境。具体地，传感器120还可以包括检测信息处理设备100周围的照度的照度传感器(illuminance sensor)、检测信息处理设备100周围的温度的温度传感器、检测信息处理设备100周围的湿度的湿度传感器、检测信息处理设备100所处的位置处的磁场的地磁传感器。
[0096]
此外，传感器120不必一定设置在信息处理设备100的内部。例如，传感器120也可以安装在信息处理设备100的外部，只要可以向信息处理设备100发送使用通信等感测的信息即可。
[0097]
输入单元121是一种用于接收用户的各种操作的装置。例如，通过键盘、鼠标、触摸面板等来实现输入单元121。如果信息处理设备100是智能扬声器，则输入单元121接收用户的语音输入；因此，语音输入传感器120a也可以作为输入单元121。
[0098]
通信单元122通过例如网络接口卡(nic)等来实现。通信单元122以有线或无线方式连接到网络n，并且经由网络n向其他信息处理设备100、执行语音识别处理的外部服务器等发送信息，以及从其他信息处理设备100、执行语音识别处理的外部服务器等接收信息。
[0099]
存储单元130，例如，通过诸如随机存取存储器(ram)或闪存之类的半导体存储器件或诸如硬盘或光盘之类的存储器件来实现。在第一实施方式中，存储单元130包括响应内容表131。
[0100]
响应内容表131在其中存储当检测到通知声音向用户输出响应时使用的响应内容。图3示出了根据第一实施方式的响应内容表131的实例。图3示出了根据第一实施方式的响应内容表131的实例。在图3所示的实例中，响应内容表131具有“通知声音id”、“响应内
容”等条目。此外，“响应内容”包括“通知可用性”和“通知消息”等子条目。
[0101]“通知声音id”指示用于标识通知声音的标识信息。此外，尽管未在图3中示出，通知声音id还可以包括关于识别检测到的通知声音的波形数据、信号数据等信息。
[0102]“响应内容”指示当检测到通知声音时输出给用户的响应的内容。“通知可用性”指示是否将通知声音通知给用户。“通知消息”指示与通知声音一起输出的消息的内容。在图3所示的实例中，通知消息的条目在概念上表示为“b01”；然而，实际上，将输出给用户的特定语音的内容存储在通知消息的条目中。
[0103]
即，在图3中，作为在响应内容表131中登记的信息的实例，由通知声音id为“a01”标识的通知声音指示当检测到通知声音(通知可用性为“是”)时要通知给用户的通知声音，并且指示通知消息为“b01”。
[0104]
重新参照图2继续描述。控制单元140是执行由信息处理设备100执行的信息处理的处理单元。如图2所示，控制单元140包括检测单元141、通知单元142和ui单元143。控制单元140通过例如在作为工作区的随机存取存储器(ram)等中执行存储在信息处理设备100中的程序(例如，根据本公开的信息处理程序)的中央处理单元(cpu)、微处理单元(mpu)、图形处理单元(gpu)等来实现。此外，控制单元140是控制器，并且还可以通过例如诸如专用集成电路(asic)或现场可编程门阵列(fpga)的集成电路来实现。
[0105]
检测单元141检测指示装置(家用电器10)的操作状态的信息作为感测信息。例如，检测单元141使用传感器120检测到的各种信息作为感测信息。
[0106]
例如，检测单元141检测家用电器10发出的将操作状态通知给用户的通知声音作为感测信息。具体地，检测单元141检测家用电器10开始操作时的电子声音或操作结束时的电子声音。
[0107]
例如，检测单元141参考预先存储在存储单元130中的通知声音的模板，然后通过与从家用电器10发出的通知声音核对(模式匹配)该模板来检测通知声音。或者，检测单元141检测家用电器10发出的电子声音，或者使用用于识别或分类电子声音类型的学习模型等来检测通知声音。
[0108]
此外，检测单元141还可以从传感器120检测到的语音中检测用户所说的语音。例如，检测单元141通过自动语音识别(asr)处理或自然语言理解(nlu)处理来分析检测到的语音中包括的用户的语意，然后检测所分析的信息。
[0109]
此外，作为语音分析的结果，如果不能找到用户的意图，则检测单元141还可以将该状态传递至ui单元143。例如，作为分析的结果，如果包括不能根据用户的语音估计的意图，则检测单元141将其内容传递至ui单元143。在这种情况下，ui单元143输出请求用户针对不清楚的信息再次精确地给出讲话的响应(讲话，例如“请再说一遍”等)。
[0110]
此外，检测单元141还可以经由图像输入传感器120b、加速度传感器、红外传感器等检测与关于用户的面部信息或用户的移动有关的各种信息，如用户身体的朝向、倾斜度、移动、移动速度等。即，检测单元141还可以经由传感器120来检测诸如位置信息、加速度、温度、重力、旋转(角速度)、照度、地磁、压力、接近度、湿度或旋转矢量等各种物理量作为语境。
[0111]
此外，检测单元141还可以检测与通信相关的信息。例如，如果存在多个信息处理设备100，则检测单元141还可以周期性地检测信息处理设备100之间的连接状态。这里提及
的连接状态是指示例如是否建立双向通信的信息等。
[0112]
通知单元142在检测到感测信息时参考其中存储有与感测信息相关联的响应内容的存储单元130，然后判断是否将装置的操作状态通知给用户。此外，装置的操作状态也可以是由检测单元141检测到的通知声音本身，或者也可以是指示装置的操作状态的消息等(指示家用电器10的操作结束的消息等)。
[0113]
例如，如果检测单元141检测到通知声音，则通知单元142参考在其中存储有与通知声音相关联的响应内容的存储单元130，然后判断是否将装置的操作状态通知给用户。具体地，通知单元142参考检测到的通知声音的响应内容，如果主题通知声音是设置为通知给用户的通知声音，则执行控制以将主题通知声音通知给用户。相对照地，如果检测到的通知声音未设置为通知给用户的通知声音，则通知单元142执行控制使得不将主题通知声音通知给用户。此外，如果检测到的通知声音未存储在存储单元130中，并且未设置是否通知用户状态，则通知单元142还可以将主题通知声音以及指示第一次检测到该通知声音的消息通知给用户。在这种情况下，通知单元142还可以向用户发送询问，例如“从现在开始，需要向您通知这个通知声音吗”。
[0114]
此外，在将装置的操作状态通知给用户之后，通知单元142基于接收到的用户的反应来更新与存储在存储单元130中的感测信息相关联的响应内容。
[0115]
具体地，通知单元142基于接收到的用户的反应来更新指示是否将与检测到的感测信息相关联的装置的操作状态通知给用户(例如，存储在图3所示的“通知可用性”条目中的信息)的设置。
[0116]
更具体地，通知单元142识别接收到的用户的语音，并且基于根据语音识别结果的用户的反应，更新指示是否将与检测到的感测信息相关联的装置的操作状态通知给用户的设置。例如，如果通知单元142从被通知了装置的操作状态的用户接收到肯定反应，例如“谢谢”，则通知单元142更新(或保持)设置，使得如过去那样将与主题通知声音相关联的操作状态通知给用户。或者，如果通知单元142从被通知了装置的操作状态的用户接收到否定反应，例如“不需要通知”，则通知单元142更新设置，使得从现在开始不将与主题通知声音相关联的操作状态通知给用户。
[0117]
此外，当通知单元142将装置的操作状态通知给用户时，通知单元142还可以将与装置的安装位置相关的信息连同操作状态一起通知给用户。例如，如果用户的家里安装了多个信息处理设备100，则每个信息处理设备100都能够存储每个装置的安装位置(指示诸如用户的家里、厨房或厕所的类别的信息)。然后，当通知单元142将通知声音通知给用户时，通知单元142还通知已经检测到装置的操作状态的信息处理设备100的安装位置。具体地，通知单元142将通知声音连同指示如“从厨房输出像这样的声音”的消息一起通知给用户。因此，用户能够粗略预测哪个家用电器10发出了通知声音。此外，如上所述，根据本公开的信息处理设备100有时与多个装置配合执行根据本公开的信息处理。在这种情况下，已经判断了是否将装置的操作状态通知给用户的装置和将操作状态通知给用户的装置也可以是不同的装置。即，通知单元142执行的通知处理不仅包括本装置向用户发送通知的处理，还包括本装置控制其他装置并使其他装置向用户发送通知的处理。
[0118]
ui单元143是向用户发送信息并从用户接收信息的处理单元。例如，ui单元143作为输出由通知单元142通知的信息(关于通知声音等声音信息等)并接收用户的语音输入的
接口。
[0119]
此外，ui单元143包括用于输出各种信息的机制。例如，ui单元143还可以包括用于输出声音的扬声器或用于输出视频图像的显示器。例如，ui单元143通过语音向用户输出由通知单元142生成的通知。此外，ui单元143还可以将通知单元142生成的对用户的通知转换为屏幕显示(图像数据)，并将转换后的图像输出到显示器。例如，ui单元143还可以与语音一起显示视频图像数据，其中通知单元142生成的消息以文字模式显示。另外，例如，ui单元143还可以通过语音向用户给出通知，并将由检测单元141获取的图像输出到显示器。
[0120]
[1
‑
3.根据第一实施方式的信息处理的流程]
[0121]
下文将参照图4对根据第一实施方式的信息处理的流程进行描述。图4是根据第一实施方式的处理流程的示意图。
[0122]
如图4所示，信息处理设备100判断是否检测到家用电器10发出的通知声音(步骤s101)。在未检测到通知声音的情况下(在步骤s101中为“否”)，信息处理设备100等待直到检测到通知声音。
[0123]
相对照地，在检测到通知声音的情况下(在步骤s101中为“是”)，信息处理设备100与存储在存储单元130中的通知声音核对检测到的通知声音(步骤s102)。
[0124]
然后，信息处理设备100判断检测到的通知声音是否与存储在存储单元130中的通知声音匹配(步骤s103)。如果两个通知声音匹配(在步骤s103中为“是”)，则信息处理设备100判断主题通知声音是否设置为能够通知给用户(步骤s104)。
[0125]
如果通知声音设置为能够通知给用户(例如，图3所示的“通知可用性”的条目下为“是”的情况)(在步骤s104中为“是”)，信息处理设备100基于存储在存储单元130中的响应内容将家用电器10的操作状态通知给用户(步骤s105)。相对照地，如果通知声音未设置为能够通知给用户(在步骤s104中为“否”)，则信息处理设备100结束该处理而不给予用户通知。
[0126]
此外，如果检测到的通知声音与存储在存储单元130中的通知声音不匹配(在步骤s103中为“否”)，则信息处理设备100向用户询问在以后检测到主题通知声音时用户期望的响应(步骤s106)。
[0127]
然后，信息处理设备100将用户的答复与检测到的声音(在步骤s101中检测到的通知声音)相关联，并将相关联的信息重新存储在存储单元130中(步骤s107)。
[0128]
[1
‑
4.根据第一实施方式的变型]
[0129]
可以对根据所描述的第一实施方式的信息处理进行各种变型。下文将对第一实施方式的变型进行描述。
[0130]
例如，信息处理设备100不需要具有图2所示的所有组件。例如，信息处理设备100不需要具有图3所示的响应内容表131。在这种情况下，信息处理设备100还可以经由网络访问保存与响应内容表131相关联的信息的外部服务器等，并且还可以获取与响应内容表131相关联的信息。
[0131]
此外，信息处理设备100还可以访问外部服务器等，并且适当地更新由响应内容表131保存的内容。例如，如果信息处理设备100接收到用户使用的家用电器10的注册，则信息处理设备100还可以从外部服务器等获取关于与家用电器10相关联的通知声音的数据。
[0132]
(2.第二实施方式)
[0133]
[2
‑
1.根据第二实施方式的信息处理的实例]
[0134]
下文将对第二实施方式进行描述。图5是根据第二实施方式的信息处理的实例的示意图。根据第二实施方式的信息处理由图5所示的信息处理设备100a执行。在第二实施方式中，信息处理设备100a检测从家用电器10a和家用电器10b中的每一个发出的通知声音。此外，在图5所示的实例中，家用电器10a为洗衣机，家用电器10b为电饭煲。此外，在下文的描述中，根据第一实施方式的信息处理设备100和根据第二实施方式的信息处理设备100a在不需要彼此区分时被简称为信息处理设备100。此外，在下文的描述中，根据第一实施方式的家用电器10和根据第二实施方式的家用电器10a或10b在不需要彼此区分时被简称为家用电器10。
[0135]
在图5所示的实例中，根据信息处理设备100a的检测单元141检测家用电器10a或家用电器10b发出的电子声音(步骤s11和步骤s12)。此时，信息处理设备100a使用例如阵列麦克风等，检测家用电器10a或家用电器10b的安装方向或位置。此外，如果检测到的方向处于相机的视场内，则信息处理设备100a对相机图像执行对象识别。因此，信息处理设备100a识别发出检测到的通知声音的家用电器10a或家用电器10b。
[0136]
之后，信息处理设备100a参考存储在存储单元130中的信息(步骤s13)。具体地，信息处理设备100a参考存储在存储单元130中的对象标签信息(例如，指示哪个家用电器与图像识别的结果相关联的信息)。然后，信息处理设备100a向通知单元142发送在步骤s11和步骤s12中检测到的通知声音分别与发出主题通知声音的家用电器10a和家用电器10b相关联的信息(步骤s14)。步骤s15的处理和后续处理与第一实施方式所述的相同；因此，将省略对其的描述。
[0137]
即，在第二实施方式中，信息处理设备100a通过图像识别来识别与感测信息相关联的家用电器10a或家用电器10b，然后将家用电器10a或家用电器10b的操作状态连同关于所识别的家用电器10a或家用电器10b的信息一起通知给用户。
[0138]
因此，信息处理设备100a能够向用户更详细地通知家用电器10a或家用电器10b的操作状态。具体地，信息处理设备100a能够将指示发出如“从电饭煲输出这样的声音”等通知声音的目标的信息与通知声音一起通知给用户。即，信息处理设备100a能够进一步提高使用多个家用电器10的用户的便利性。
[0139]
[2
‑
2.根据第二实施方式的信息处理设备的配置]
[0140]
图6是根据第二实施方式的信息处理设备100a的配置实例的示意图。与第一实施方式相比，信息处理设备100a还包括装置信息表132。
[0141]
装置信息表132在其中存储与装置(家用电器)有关的信息。图7是根据第二实施方式的装置信息表的实例的示意图。在图7所示的实例中，装置信息表132具有“装置id”、“装置类型”、“图像识别数据”等条目。
[0142]“装置id”指示用于标识装置的标识信息。此外，在本说明书中，假设对装置id和家用电器10使用相同的附图标记。例如，由装置id“10a”标识的装置表示“家用电器10a”。
[0143]“装置类型”指示装置的类型。装置的类型指示由例如家用电器10的属性或特性分类的信息。具体地，装置的类型是家用电器10的类别，例如“洗衣机”、“电饭煲”和“冰箱”。
[0144]“图像识别数据”表示作为图像识别结果而获得的数据。例如，在图像识别中，对象附有指示图像中包括的对象被识别为“洗衣机”或“电饭煲”的信息。图像识别数据是表示这
种图像识别结果的数据。在图7所示的实例中，图像识别数据项在概念上表示为“c01”；然而，实际上，将指示作为图像识别结果所提取的对象或所识别的对象的类型的特定数据等存储在图像识别数据的条目中。例如，如果通过信息处理设备100a执行的图像识别来获得由“c01”表示的数据，则信息处理设备100a能够通过参考装置信息表132来指定与该数据相关联的对象是由装置id“10a”标识的装置(在该实例中是家用电器10a)。
[0145]
即，图7示出了装置id为“10a”的家用电器10a指示装置类型是“洗衣机”且图像识别数据是“c01”，作为在装置信息表132中登记的信息的实例。
[0146]
重新参照图6继续描述。如上所述，根据第二实施方式的信息处理设备100a对家用电器10a或家用电器10b执行方向识别或图像识别，并且还对用户执行图像识别。
[0147]
例如，根据第二实施方式的通知单元142通过执行图像识别来识别与感测信息相关联的装置，并将装置的操作状态与关于所识别的装置的信息一起通知给用户。
[0148]
具体地，通知单元142将装置的类型、装置的名称和装置的安装位置中的至少一个连同装置的操作状态一起通知给用户。例如，控制单元140通知用户已经发出通知声音的家用电器10(例如，“冰箱”、“电饭煲”等)的类型或名称，或者通知用户放置家用电器10的位置(例如，“厨房”、“厕所”等)。
[0149]
此外，根据第二实施方式的检测单元141还可以使用传感器120不仅检测关于装置的信息，还检测关于用户的信息。具体地，检测单元141检测用户在用户家中的所处位置。然后，检测单元141验证用户是否在发出通知声音的家用电器10的附近。
[0150]
然后，基于检测到的用户所处位置和与感测信息相关联的装置之间的位置关系，根据第二实施方式的通知单元142还可以判断是否将装置的操作状态通知给用户。
[0151]
具体地，基于检测到的用户位置与安装与感测信息相关联的装置的位置之间的距离，通知单元142判断是否将装置的操作状态通知给用户。例如，检测单元141使用能够测量距离的传感器120(例如深度传感器)来检测用户与家用电器10之间的距离。或者，检测单元141通过执行图像识别处理来估计包括在同一图像中的用户与家用电器10之间的距离。
[0152]
然后，如果用户与家用电器10之间的距离超过预定阈值(例如，10米等)，则通知单元142将家用电器10发出的通知声音(即，家用电器10的操作状态)通知给用户。相对照地，如果用户与家用电器10之间的距离没有超过预定阈值，则通知单元142不需要将家用电器10发出的通知声音通知给用户。
[0153]
即，通知单元142检测家用电器10与用户之间的位置关系，然后判断是否给予用户通知。因此，用户能够避免麻烦的情况，如从信息处理设备100a接收到位置非常靠近用户的家用电器10的操作状态的通知的情况。相对照地，对于用户难以在视觉上识别其操作状态的家用电器10，用户能够经由信息处理设备100a获知操作状态。这样，信息处理设备100a能够实现用户高满意度的通知处理。
[0154]
此外，检测单元141不仅可以检测用户与家用电器10之间的距离，还可以检测进一步的详细信息。例如，检测单元141还可以通过已知的图像识别处理来检测用户面部的朝向或身体的朝向。然后，通知单元142还可以在家用电器10发出指示操作状态的信息时或者在家用电器10检测到作为感测信息的指示操作状态的信息时，根据用户的面部或身体的朝向来判断是否要将家用电器10的操作状态通知给用户。
[0155]
具体地，当家用电器10发出通知声音时，如果用户的面部或身体面向家用电器10
的方向，则通知单元142判断用户识别出家用电器10发出的通知声音。在这种情况下，通知单元142判断不需要再次将家用电器10的操作状态通知给用户，且不给予用户通知。相对照地，当家用电器10发出通知声音时，如果用户的面部或身体没有面向家用电器10的方向，则通知单元142判断用户没有识别出家用电器10发出的通知声音。在这种情况下，通知单元142判断需要将家用电器10的操作状态通知给用户并给予用户通知。这样，信息处理设备100a能够根据此时用户的情况执行通知处理。
[0156]
此外，通知单元142还可以不仅基于用户的面部或身体的朝向而且基于用户的位置区域来判断是否给出通知。例如，通知单元142还可以判断在家用电器10和用户都在相机的视角内的时间段内(即，家用电器10和用户包括在同一图像中的情况)不需要向用户进行通知。此时，通知单元142还可以设置不需要向用户进行通知的预定缓冲时间，例如，在用户离开拍摄范围之后的预定时间段内(例如，数秒)。此外，如果在用户离开拍摄范围(在拍摄框架外)之后经过了预定时间，则通知单元142还可以判断不需要向用户进行通知。
[0157]
此外，即使家用电器10和用户处于同一拍摄框架中，如果由于相机是广角相机而使得用户与家用电器10之间的距离超过预定距离，则通知单元142还可以判断即使用户和家用电器10在相机的视场内也给予用户通知。
[0158]
此外，如果通知单元142基于对用户执行的面部识别处理判断用户闭眼的状态长于预定时间段(即，判断用户处于睡眠状态)，则通知单元142还可以判断不需要通知。此外，即使信息处理设备100a没有相机，通知单元142也可以通过说话人的语音、状态判断处理等执行说话人识别来如上所述简单地实施处理。
[0159]
[2
‑
3.根据第二实施方式的信息处理的流程]
[0160]
下文将参照图8对根据第二实施方式的信息处理的流程进行描述。图8是根据第二实施方式的处理流程的示意图。
[0161]
如图8所示，信息处理设备100a判断是否检测到家用电器10发出的通知声音(步骤s201)。在未检测到通知声音的情况下(在步骤s201中为“否”)，信息处理设备100a等待直到检测到通知声音。
[0162]
相对照地，在检测到通知声音的情况下(在步骤s201中为“是”)，信息处理设备100a与存储在存储单元130中的通知声音核对通知声音，识别发出了通知声音的家用电器10，并获取与家用电器10相关的信息(步骤s202)。
[0163]
然后，信息处理设备100a判断检测到的通知声音是否与存储在存储单元130中的通知声音相匹配(步骤s203)。如果两个通知声音匹配(在步骤s203中为“是”)，则信息处理设备100a判断主题通知声音是否设置为能够通知给用户(步骤s204)。
[0164]
如果通知声音设置为能够通知给用户(在步骤s204中为“是”)，则信息处理设备100a进一步判断用户是否处于适于通知的位置(步骤s205)。例如，信息处理设备100a判断用户是否离开家用电器10大于或等于预定距离的距离。
[0165]
如果用户处于适于通知的位置(在步骤s205中为“是”)，则信息处理设备100a基于存储单元130中存储的响应内容将家用电器10的操作状态通知给用户(步骤s206)。相对照地，如果通知声音不是设置为能够通知给用户(在步骤s204中为“否”)，或者如果用户不在适于通知的位置(在步骤s205为“否”)，则信息处理设备100a结束该处理而不给予用户通知。
[0166]
此外，如果检测到的通知声音与存储在存储单元130中的通知声音不匹配(在步骤s203中为“否”)，则信息处理设备100a向用户询问在以后检测到主题通知声音时需要何种反应(步骤s207)。
[0167]
然后，信息处理设备100a将用户的答复与检测到的声音(在步骤s201中检测到的通知声音)相关联，并将相关联的信息重新存储在存储单元130中(步骤s208)。
[0168]
[2
‑
4.根据第二实施方式的变型]
[0169]
可以对根据所描述的第二实施方式的信息处理进行各种变型。下文将对第二实施方式的变型进行说明。
[0170]
例如，信息处理设备100a还可以对检测到的家用电器10或检测到的通知声音进行标记。这一点将参照图9进行描述。图9是根据第二实施方式的变型的响应内容表131b的实例的示意图。除了在响应内容表131和装置信息表132中指示的信息之外，响应内容表131b还具有“标签”条目。
[0171]
在通知声音被通知给用户之后或者在向用户进行关于通知声音的处理的询问之后，“标签”存储由用户指示的信息等。即，在图9中，作为在响应内容表131b中登记的信息的实例，指示通知声音id为“a11”的通知声音是由装置id“10a”指示的家用电器10a发出的通知声音，并且指示家用电器10a的装置类型为“洗衣机”。此外，对于通知声音id为“a11”的通知声音，还指示通知可用性为“是”，通知消息为“b11”，通知声音标签为“洗涤结束”。
[0172]
例如，如果信息处理设备100a检测到家用电器10a发出通知声音，则信息处理设备100a连同家用电器10a的识别结果一起向用户进行关于通知声音的询问。具体地，当信息处理设备100a进行如“以下声音是家用电器10a输出的，那么从现在起要通知您这个声音吗？”的询问时，如果用户给出如“让我知道
‘
洗涤结束
’”
的答复，则信息处理设备100a将通知声音与符合该答复的标签相关联。
[0173]
此后，如果信息处理设备100a检测到相同的通知声音，则信息处理设备100a参考响应内容表131b，并识别通知声音附有指示“洗涤结束”的标签。然后，如果信息处理设备100a检测到通知声音，则信息处理设备100a向用户输出与标签相符的如“洗涤已经完成”的通知消息。此时，信息处理设备100a也可以与消息一起输出通知声音，或者也可以省略输出通知声音本身。
[0174]
这样，当信息处理设备100a将装置的操作状态通知给用户时，信息处理设备100a将预先对感测信息进行标记的信息连同装置的操作状态一起通知给用户。即，信息处理设备100a不仅能够识别发出通知声音的家用电器10a或家用电器10b，而且能够为家用电器10a或家用电器10b发出的通知声音附上标签。因此，与仅通知声音的情况相比，用户能够接收转换为通过标记容易识别的信息的通知。
[0175]
(3.第三实施方式)
[0176]
下文将对第三实施方式进行描述。图10是根据第三实施方式的信息处理的实例的示意图。根据第三实施方式的信息处理由图10所示的信息处理设备100c执行。如图10所示，在第三实施方式中，信息处理设备100c包括存储单元130中的暂时存储区133。下文将参照图10对根据第三实施方式的信息处理的流程进行描述。此外，将省略对在第一实施方式或第二实施方式中描述过的处理的描述。
[0177]
信息处理设备100c检测家用电器10发出的通知声音(步骤s21)。信息处理设备
100c将检测到的通知声音发送到通知单元142(步骤s22)。信息处理设备100c参考存储单元130(步骤s23)，然后向ui单元143发送要根据存储单元130中存储的内容通知的内容(步骤s24)。此时，假设信息处理设备100c将在步骤s21中检测到的通知声音存储在存储单元130的暂时存储区133中。
[0178]
在图10所示的实例中，假设在步骤s21中检测到的通知声音是不通知给用户的通知声音(“通知可用性”为否)。在这种情况下，信息处理设备100c在不将通知声音的内容通知给用户的情况下不进行显示(步骤s25)。
[0179]
这里，假设用户听到家用电器10发出的通知声音并且期望向信息处理设备100c请求接收通知。在这种情况下，用户向信息处理设备100c表达请求，例如“从现在起，让我知道刚才发出的声音”(步骤s26)。
[0180]
信息处理设备100c向通知单元142发送请求(步骤s27)。信息处理设备100c访问存储单元130，参考存储在暂时存储区133中的通知声音，并更新与主题通知声音相关联的响应内容。具体地，信息处理设备100c将通知可用性为“否”的设置更新为“是”。
[0181]
这样，根据第三实施方式的信息处理设备100c将通知声音存储在暂时存储区133中，然后在一定时间段内(例如，在一分钟内)等待用户的指令。然后，如果从用户接收到指令，则信息处理设备100c根据从用户接收到的指令来更新存储在暂时存储区133中的通知声音的响应内容。因此，信息处理设备100c能够对从用户接收的各种请求执行灵活地学习。
[0182]
(4.其他实施方式)
[0183]
根据上述各实施方式的处理也可以以不同于上述实施方式的各种实施方式执行。
[0184]
[4
‑
1.异常声音检测]
[0185]
例如，信息处理设备100不仅可以检测家用电器10发出的通知声音，还可以检测与各种通知相关的信息。例如，如果信息处理设备100检测到作为感测信息的指示家用电器10的操作状态异常的异常声音，则信息处理设备100还可以将表示信息处理设备100检测到异常声音的信息连同家用电器10的操作状态一起通知给用户。这里提到的异常声音是，例如，相对于正常操作声音声压级超过预定阈值的声音等。如果检测到异常声音，信息处理设备100还可以将警报通知给用户，例如“洗衣机输出不常听到的声音”。
[0186]
此外，信息处理设备100还可以检测作为感测信息的除了声音之外的信息。例如，信息处理设备100还可以检测作为感测信息的在家用电器10周围观察到的关于光、温度、湿度、气味、振动和二氧化碳浓度的信息中的至少一个。例如，信息处理设备100根据各种传感器120检测家用电器10发出的光、温度等，并基于检测到的信息向给予用户通知。例如，信息处理设备100基于由气味传感器、图像传感器、光学传感器、触觉传感器、振动传感器、温度传感器、湿度传感器、二氧化碳浓度传感器等检测到的信息给予用户通知。
[0187]
此外，信息处理设备100还可以参考通过定义家用电器10的操作状态是否指示异常状态而获得的数据表，然后将已经检测到异常状态通知给用户。这一点将参照图11进行描述。图11是根据另一种实施方式的响应内容表131c的实例的示意图。
[0188]
与第一至第三实施方式相比，响应内容表131c具有如“检测条件”等条目。“检测条件”表示由传感器120检测的信息被检测作为感测信息的条件。
[0189]
例如，图11所示的实例指示，“在(某一种家用电器10的)温度超过40
°
的情况下”、“在(某一种家用电器10发出的)气味指数超过300的情况下”等检测条件下，检测主题信息
作为感测信息。
[0190]
信息处理设备100参考响应内容表131c，并在检测到感测信息时，将感测信息的内容连同标签一起通知给用户。例如，信息处理设备100将如“由于家用电器10的温度异常高，因此请检查”的通知消息与在家用电器10周围检测到的温度一起通知给用户。因此，信息处理设备100能够适当地将家用电器10的异常操作状态通知给用户。
[0191]
此外，用于判断异常状态的检测条件也可以在初次装运时安装在信息处理设备100中，并且可以通过接收用户的输入来更新，或者也可以通过家用电器10的制造商提供的外部服务器等来更新。
[0192]
[4
‑
2.根据用户属性的通知]
[0193]
此外，信息处理设备100还可以识别用户并根据用户给出通知。即，信息处理设备100还可以检测位于信息处理设备100附近的用户的属性，并且根据检测到的用户的属性来判断是否将装置的操作状态通知给用户。
[0194]
在这种情况下，信息处理设备100包括例如图12所示的用户信息表134。用户信息表134存储与使用信息处理设备100的用户相关的信息。图12是示出根据另一实施方式的装置信息表134的实例的示图。
[0195]
在图12所示的实例中，用户信息表134具有“用户id”、“属性”、“通知设置”等条目。
[0196]“用户id”指示用于标识用户的标识信息。“属性”指示在使用信息处理设备100时用户登记的关于用户的各种信息。例如，属性包括属性信息(用户简介)，属性信息包括用户的年龄、性别、居住场所、家庭结构等。此外，属性不限于由用户登记的信息，还可以包括由信息处理设备100自动识别的信息。例如，属性还可以包括通过信息处理设备100执行的图像识别估计的儿童信息或男女信息。
[0197]“通知设置”指示设置信息，其指示是否期望接收来自信息处理设备100的通知。在图12所示的实例中，通知设置的条目在概念上表示为“f01”；然而，实际上，在通知设置条目中存储针对每个通知声音或针对每种类型的家用电器10的指示每个用户是否期望接收通知的设置信息。
[0198]
即，在图12所示的实例中，,对于用户id“u01”标识的用户，指示属性为“男，成人”，通知设置为“f01”。
[0199]
当信息处理设备100检测到通知声音时，信息处理设备100参考用户信息表134并检查处于信息处理设备100附近的用户的通知设置。然后，信息处理设备100根据为每个用户生成的通知设置来判断是否给予主题用户通知。因此，信息处理设备100能够根据每个用户给出通知。
[0200]
此外，信息处理设备100还可以使用各种已知技术作为用于检测处于信息处理设备100附近的用户的方法。例如，信息处理设备100基于生物体发出的信息，使用检测生物体位置的生物传感器来检测处于信息处理设备100附近的用户。具体地，该生物传感器是检测生物体的温度(体温)的红外传感器(热成像法)、用于对生物体进行图像识别的图像传感器(相机)等。此外，信息处理设备100还可以使用测量到用户的距离的距离测量传感器等。距离测量传感器是通过照射光来测量到生物体的距离的距离传感器、超声波传感器等。此外，对于距离测量传感器，还可以使用例如光检测和测距，或者激光成像、检测和测距(激光雷达(lidar))等技术。此外，为了测量信息处理设备100与用户之间的距离，例如，也可以使用
在信息处理设备100中提供的诸如同步定位与地图构建(slam)的技术。
[0201]
[4
‑
3.根据装置的使用状态的通知]
[0202]
此外，信息处理设备100还可以获取输出通知的信息处理设备100的使用状态，然后，还可以根据所获取的使用状态输出通知。例如，信息处理设备100还可以控制在如显示器的显示单元上显示通知。具体地，信息处理设备100还可以根据给出通知的信息处理设备100再现的语音或根据显示的图像来控制通知。
[0203]
例如，可以想到，在家用电器10附近放置智能扬声器以及摆放用户观看广播节目的电视机作为信息处理设备100。如果放置在家用电器10附近的智能扬声器检测到从家用电器10输出的通知声音，则信息处理设备100在电视机的显示器上显示广播节目的时间段内不显示通知，然后，当广播节目切换到商业节目时输出通知。此外，还可以执行控制，从而在不阻挡所显示内容的视图的位置处显示通知。此外，例如，如果输出通知的信息处理设备100是智能手机，并且如果确定在屏幕上显示大的通知图像会造成妨碍，则还可以执行使用图标来显示通知的处理。获取这些使用状态的处理也可以基于与运行在信息处理设备100上的应用有关的信息来执行，或者也可以基于对显示在屏幕上的内容执行的图像分析来执行。
[0204]
上述这些实例仅是举例，不排除还有基于本发明可以想到的不同的实施方式，包括输出语音通知的信息处理设备100是不同类型的信息处理设备100(如再现语音内容的智能扬声器)的实例，或者输出通知的信息处理设备100是再现广播节目的智能电话的不同组合的实例。此外，也可以在检测家用电器10的通知声音的信息处理设备100和输出通知的信息处理设备100相同的情况下执行该实施方式。
[0205]
[4
‑
4.各装置的配置]
[0206]
在上述各实施方式中，对信息处理设备100是所谓的智能扬声器、智能电话、电视机或平板终端且以独立的方式执行处理的实例进行了描述。然而，信息处理设备100还可以与通过网络连接的服务器装置(所谓的云服务器等)配合执行根据本公开的信息处理。此外，例如，信息处理设备100还可以实现为与智能扬声器和智能电话配合。在这种情况下，例如，可以进行信息处理，使得用户手持的智能电话基于由智能扬声器检测到的通知声音进行通知。另外，可以执行信息处理，使得基于由具有代理功能的冰箱检测到的微波炉发出的通知声音，用户观看的电视机通过语音或通过在屏幕上显示来给出通知。
[0207]
此外，根据本公开的信息处理设备100还可以通过安装在智能电话等上的如ic芯片的方式来实现。
[0208]
[4
‑
5.信息处理系统的模式]
[0209]
此外，根据本公开的信息处理系统1可以包括各种变型。例如，如果信息处理设备100是物联网(iot)装置等，根据本公开的信息处理还可以通过相互配合的客户端(iot装置)和外部服务器(云服务器)等来实现。下文将列举作为信息处理系统1的模式的可想到的实例。此外，在下文描述的实例中，将描述其中每个装置都包括输入单元、处理单元和输出单元的实例。输入单元和输出单元对应于，例如，图2所示的通信单元122。此外，处理单元对应于，例如，图2所示的控制单元140。此外，在下文描述的变型中，信息处理系统的变型称为“系统2”。此外，信息处理设备100的变型称为“信息处理设备11”、“信息处理设备12”或“信息处理设备13”。另外，将信息处理设备11等的变型称为“信息处理设备11a”、“信息处理设
备11b”、“信息处理设备11c”等。
[0210]
(第一实例)
[0211]
图13是根据本公开实施方式的系统配置的第一实例的框图。参照图13，系统2包括信息处理设备11。输入单元200、处理单元300和输出单元400全部在信息处理设备11中实现。信息处理设备11可以是如下所述的终端装置或服务器。在第一实例中，为了实现根据本公开实施方式的功能，信息处理设备11还可以是不经由网络与外部装置通信的独立装置。此外，信息处理设备11还可以与外部装置通信以用于另一功能，因此不一定必须是独立装置。输入单元200与处理单元300之间的接口250a和处理单元300与输出单元400之间的接口450a中的每一个都可以是包括在装置中的接口。
[0212]
在第一实例中，信息处理设备11可以是，例如，终端装置。在这种情况下，输入单元200可以包括输入装置、传感器和从外部服务获取信息的软件。从外部服务获取信息的软件从，例如，终端装置执行的服务的应用软件获取数据。处理单元300通过设置在根据存储在存储器或存储装置中的程序进行操作的终端装置中的处理器或处理电路来实现。输出单元400可以包括输出装置、控制装置和向外部服务提供信息的软件。向外部服务提供信息的软件可以向在例如终端装置中执行的服务的应用软件提供信息。
[0213]
或者，在第一实例中，信息处理设备11也可以是服务器。在这种情况下，输入单元200可以包括从外部服务获取信息的软件。从外部服务获取信息的软件从例如外部服务的服务器(也可以是信息处理设备11本身)获取数据。处理单元300通过包括在根据存储在存储器或存储装置中的程序进行操作的终端装置中的处理器来实现。输出单元400可以包括向外部服务提供信息的软件。将信息提供给外部服务的软件将信息提供给例如外部服务的服务器(也可以是信息处理设备11本身)。
[0214]
(第二实例)
[0215]
图14是根据本公开实施方式的系统配置的第二实例的框图。参照图14，系统2包括信息处理设备11和13。输入单元200和输出单元400在信息处理设备11中实现。相对照地，处理单元300在信息处理设备13中实现。信息处理设备11和信息处理设备13经由网络进行通信，以实现根据本公开实施方式的功能。输入单元200和处理单元300之间的接口250b以及处理单元300和输出单元400之间的接口450b都可以是装置之间的通信接口。
[0216]
在第二实例中，信息处理设备11可以是，例如，终端装置。在这种情况下，与上述第一实例类似，输入单元200可以包括从输入装置、传感器和外部服务获得信息的软件。与上述第一实例类似，输出单元400还可以包括向输出装置、控制装置、外部服务提供信息的软件。或者，信息处理设备11还可以是向外部服务发送信息和从外部服务接收信息的服务器。在这种情况下，输入单元200可以包括从外部服务获取信息的软件。此外，输出单元400可以包括向外部服务提供信息的软件。
[0217]
此外，在第二实例中，信息处理设备13可以是服务器或终端装置。处理单元300通过包括在根据存储在存储装置的存储器中的程序进行操作的信息处理设备13中的处理器或处理电路来实现。信息处理设备13还可以是作为，例如，服务器的专用装置。在这种情况下，信息处理设备13还可以安装在数据中心中或安装在家庭中。或者，信息处理设备13能够作为关于另一功能的终端装置；然而，关于根据本公开实施方式的功能，信息处理设备13也可以是不实现输入单元200和输出单元400的装置。在下文描述的实例中，信息处理设备13
也可以是上述意义上的服务器或者也可以是终端装置。
[0218]
例如，考虑信息处理设备11是穿戴式装置，信息处理设备13是通过蓝牙(bluetooth)(注册商标)等连接到穿戴式装置的移动装置的情况。在穿戴式装置接收到用户操作的输入(输入单元200)的情况下，移动装置基于根据操作输入发送的请求执行处理(处理单元300)，并从穿戴式装置输出该处理的结果(输出单元400)，可以说该穿戴式装置作为上述第二实例中的信息处理设备11，该移动装置作为信息处理设备13。
[0219]
(第三实例)
[0220]
图15是根据本公开实施方式的系统配置的第三实例的框图。参照图15，系统2包括信息处理设备11a、11b和13。输入单元200在信息处理设备11a中实现。输出单元400在信息处理设备11b中实现。此外，处理单元300在信息处理设备13中实现。信息处理设备11a和11b与信息处理设备13经由网络进行通信以实现根据本公开实施方式的功能。输入单元200和处理单元300之间的接口250b以及处理单元300和输出单元400之间的接口450b都可以是装置之间的通信接口。然而，在第三实例中，因为信息处理设备11a和信息处理设备11b是单独的装置，所以接口250b和450b中的每一个可都以包括不同类型的接口。
[0221]
在第三实例中，信息处理设备11a和11b可以是，例如，终端装置。在这种情况下，与上述第一实例类似，输入单元200可以包括从输入装置、传感器和外部服务获得信息的软件。与上述第一实例类似，输出单元400还可以包括向输出装置、控制装置和外部服务提供信息的软件等。或者，信息处理设备11a和11b中的一个或两个也可以是用于从外部服务获取信息并向外部服务提供信息的服务器。在这种情况下，输入单元200可以包括从外部服务获取信息的软件。此外，输出单元400可以包括向外部服务提供信息的软件。
[0222]
此外，在第三实例中，与上述第二实例类似，信息处理设备13可以是服务器或终端装置。处理单元300通过包括在根据存储在存储器或存储装置中的程序进行操作的信息处理设备13中的处理器或处理电路来实现。
[0223]
在上述第三实例中，实现输入单元200的信息处理设备11a和实现输出单元400的信息处理设备11b是单独的装置。因此，例如，可以实现基于信息处理设备11a(第一用户持有或使用的终端装置)从信息处理设备11b(与第一用户不同的第二用户持有或使用的终端装置)获得的输入来输出处理的结果的功能。此外，还可以实现，例如，基于信息处理设备11a(第一用户持有或使用的终端装置)从信息处理设备11b(非第一用户在当时手持的终端装置，例如，安装于用户的家中，而用户不在家里)获得的输入来输出处理的结果的功能。或者，信息处理设备11a和信息处理设备11b中的每一个也可以是由同一用户持有或使用的终端装置。例如，如果信息处理设备11a和11b是用户在身体的不同部位穿戴的穿戴式装置或者是穿戴式装置和移动装置的组合，则可以为用户提供这些装置相互配合的功能。
[0224]
(第四实例)
[0225]
图16是根据本公开实施方式的系统配置的第四实例的框图。参照图16，系统2包括信息处理设备11和13。在第四实例中，输入单元200和输出单元400在信息处理设备11中实现。相对照地，处理单元300通过信息处理设备11和信息处理设备13以分离的方式实现。信息处理设备11经由网络与信息处理设备13通信，以实现根据本公开实施方式的功能。
[0226]
如上所述，在第四实例中，处理单元300以分离的方式在信息处理设备11与信息处理设备13之间实现。更具体地，处理单元300包括在信息处理设备11中实现的处理单元300a
和300c，并且包括在信息处理设备13中实现的处理单元300b。处理单元300a基于从输入单元200经由接口250a提供的信息执行处理，然后将处理的结果提供给处理单元300b。在这个意义上，可以说处理单元300a执行预处理。相对照地，处理单元300c基于从处理单元300b提供的信息执行处理，然后将处理的结果经由接口450a提供给输出单元400。在这个意义上，可以说处理单元300c执行后处理。
[0227]
此外，在附图所示的实例中，示出了执行预处理的处理单元300a和执行后处理的处理单元300c两者；然而，实际上，也可以仅存在处理单元中的一个。换言之，信息处理设备11还可以实现执行预处理的处理单元300a而不实现执行后处理的处理单元300c，并且处理单元300b提供的信息也可以不进行任何处理就提供给输出单元400。类似地，信息处理设备11还可以实现执行后处理的处理单元300c，但是不需要实现执行预处理的处理单元300a。
[0228]
在处理单元300a和处理单元300b之间以及处理单元300b和处理单元300c之间有接口350b。接口350b是装置之间的通信接口。相对照地，如果信息处理设备11实现处理单元300a，则接口250a是包括在装置中的接口。类似地，如果信息处理设备11实现处理单元300c，则接口450a是包括在装置中的接口。
[0229]
此外，除了处理单元300a和处理单元300c中的一个或两个由包括在信息处理设备11中的处理器或处理电路实现之外，上述第四实例与上述第二实例相同。换言之，信息处理设备11可以是向终端装置或外部服务发送信息或从终端装置或外部服务接收信息的服务器。此外，信息处理设备13可以是服务器或终端装置。
[0230]
(第五实例)
[0231]
图17是根据本公开实施方式的系统配置的第五实例的框图。参照图17，系统2包括信息处理设备11a、11b和13。输入单元200在信息处理设备11a中实现。输出单元400在信息处理设备11b中实现。此外，处理单元300以分离的方式在信息处理设备11a和11b以及信息处理设备13中实现。信息处理设备11a和11b以及信息处理设备13经由网络进行通信，以实现根据本公开实施方式的功能。
[0232]
如图所示，在第五实例中，处理单元300以分离的方式在信息处理设备11a和11b与信息处理设备13之间实现。更具体地，处理单元300包括在信息处理设备11a中实现的处理单元300a、在信息处理设备13中实现的处理单元300b和在信息处理设备11b中实现的处理单元300c。以分离的方式配置的处理单元300与上述第四实例的相同。然而，在第五实例中，因为信息处理设备11a和信息处理设备11b是单独的装置，所以接口350b1和350b2中的每一个都可以包括不同类型的接口。
[0233]
此外，除了处理单元300a和处理单元300c中的一个或两个由包括在信息处理设备11a或信息处理设备11b中的处理器或处理电路实现之外，第五实例与上述第三实例相同。换言之，信息处理设备11a和11b可以是用于向终端装置或外部服务发送信息和从终端装置或外部服务接收信息的服务器。此外，信息处理设备13可以是服务器或终端装置。此外，在下面的描述中，将省略对分别具有输入单元和输出单元的终端或服务器中的处理单元的描述；然而，在任何实例中，装置中的一个或全部都可以包括处理单元。
[0234]
(客户端
‑
服务器系统的实例)
[0235]
图18是根据本公开实施方式的系统配置的更具体实例的客户端
‑
服务器系统的示意图。在附图所示的实例中，信息处理设备11(或信息处理设备11a或11b)是终端装置，信息
处理设备13是服务器。
[0236]
如图所示，终端装置包括，例如，移动装置11
‑
1，如智能电话、平板电脑或笔记本电脑(pc)；穿戴式装置11
‑
2，如眼戴式或隐形眼镜式终端、手表式终端、手镯式终端、环型终端、耳机、衣服安装式或衣服集成式终端、鞋子安装式或鞋子集成式终端、或项链式终端；车载装置11
‑
3，例如汽车导航系统或后座娱乐系统；电视机11
‑
4；数码相机11
‑
5；消费性电子产品(ce)装置11
‑
6，如记录器、游戏装置、空调、冰箱、洗衣机或台式电脑(pc)；机器人装置；包括与设施一起安装的传感器的装置；以及安装在街道上的数字标识牌(数字标牌)11
‑
7。这些信息处理设备11(终端装置)经由网络与信息处理设备13(服务器)通信。在上述实例中，终端装置和服务器之间的网络对应于接口150b、接口250b或接口350b。此外，这些装置还可以单独地彼此联系地操作，或者也可以构造所有装置能够以联系方式操作的系统。
[0237]
此外，图18所示的实例示出，以便容易地理解在客户端
‑
服务器系统中实现系统2的实例；因此，如上述每个实例中所解释的原因一样，系统2不局限于这种客户端
‑
服务器系统。换言之，例如，信息处理设备11和13两者也可以都是终端装置，但信息处理设备11和13两者也可以都是服务器。如果信息处理设备11包括信息处理设备11a和11b，则信息处理设备11a和11b中的一个可以是终端装置，而另一个可以是服务器。此外，如果信息处理设备11是终端装置，则终端装置的实例不限于终端装置11
‑
1至11
‑
7，并且还可以包括不同类型的终端装置。
[0238]
(分布式系统的实例)
[0239]
将参照图19对系统2的另一配置实例进行描述。图19是根据本公开实施方式的系统配置的另一具体实例的分布式系统的示意图。在所示的实例中，信息处理设备11(或者，信息处理设备11a或11b)是节点，并且信息处理设备11经由网络彼此连接。
[0240]
在图19所示的分布式系统中，可以在装置之间彼此配合地操作，对数据执行分发管理，以及分配处理。因此，能够减少处理负荷，改善实时性(提高响应时间和处理速度)，以及确保安全性。
[0241]
此外，分布式系统还能够以分布式配合的方式进行机器学习，并且能够处理大量数据。
[0242]
此外，在图19所示的分布式系统中，不需要集中式系统中使用的服务器，并且可以相互监控数据，保证数据的可信性。具体地，例如，可以与所有参与者(所有信息处理设备11)共享交易信息(分类账)并且严格地保持有效性(称为区块链)。在区块链中，实际上难以对所有参与者的所有分类账进行操作，从而更可靠地确保可信性。此外，在区块链中，如果要操作包括前一区块中的数据，则需要重新计算包括在主题区块和后续区块中的所有哈希值，从而增加处理负荷且该处理实际上是不可能的；因此，能够更可靠地确保可信度。
[0243]
此外，在区块链中，所有参与者共享交易信息(分布式数据库)，并且基于特定协议执行对分布式数据库的写入，从而可以防止特定参与者进行欺诈，并且因此可以维持公平性。
[0244]
(第六实例)
[0245]
图20是示出根据本公开实施方式的系统配置的第六实例的框图。参照图20，系统2包括信息处理设备11、12和13。输入单元200和输出单元400在信息处理设备11中实现。相对照地，处理单元300以分布式方式在信息处理设备12和信息处理设备13中实现。信息处理设
备11和信息处理设备12，以及信息处理设备12和信息处理设备13经由网络彼此通信，以实现根据本公开实施方式的功能。
[0246]
如上所述，在第六实例中，处理单元300以分布式方式在信息处理设备12和信息处理设备13之间实现。更具体地，处理单元300包括在信息处理设备12中实现的处理单元300a和300c以及在信息处理设备13中实现的处理单元300b。处理单元300a基于由输入单元200经由接口250b提供的信息执行处理，然后将处理的结果经由接口350b提供给处理单元300b。相对照地，处理单元300c基于由处理单元300b经由接口350b提供的信息执行处理，然后将处理的结果经由接450b提供给输出单元400。此外，在附图所示的实例中，示出了执行预处理的处理单元300a和执行后处理的处理单元300c两者；然而，在实践中，可以存在处理单元中的一个。
[0247]
在第六实例中，信息处理设备12处于信息处理设备11和信息处理设备13之间。更具体地，例如，信息处理设备12可以是处于作为终端装置的信息处理设备11和作为服务器的信息处理设备13之间的终端装置或服务器。信息处理设备12是终端装置的情况的实例包括信息处理设备11是穿戴式装置，信息处理设备12是经由蓝牙(bluetooth)(注册商标)等连接到穿戴式装置的移动装置，信息处理设备13是经由因特网连接到移动装置的服务器的情况。此外，信息处理设备12是服务器的情况的实例包括信息处理设备11是各种终端装置，信息处理设备12是经由网络连接到终端装置的中间服务器，信息处理设备13是经由网络连接到中间服务器的服务器的情况。
[0248]
(第七实例)
[0249]
图21是示出根据本公开实施方式的系统配置的第七实例的框图。参照图21，系统2包括信息处理设备11a、11b、12和13。在图中所示的实例中，输入单元200在信息处理设备11a中实现。输出单元400在信息处理设备11b中实现。相对照地，处理单元300以分布式方式在信息处理设备12和信息处理设备13中实现。信息处理设备11a和11b和信息处理设备12，以及信息处理设备12和信息处理设备13经由网络彼此通信，以实现根据本公开实施方式的功能。
[0250]
第七实例是上述第三实例和第六实例的组合的实例。换言之，在第七实例中，实现输入单元200的信息处理设备11a和实现输出单元400的信息处理设备11b是单独的装置。更具体地，第七实例包括这样的情况，即信息处理设备11a和11b是用户在身体的不同部位穿戴的穿戴式装置，信息处理设备12是经由蓝牙(bluetooth)(注册商标)等连接到这些穿戴式装置的移动装置，信息处理设备13是经由因特网连接到移动装置的服务器。此外，第七实例还包括这样的情况，即信息处理设备11a和11b是多个终端装置(其可以由同一用户持有或使用，或者也可以由不同的用户持有或使用)，信息处理设备12是经由网络连接到每个终端装置的中间服务器，信息处理设备13是经由网络连接到中间服务器的服务器。
[0251]
(第八实例)
[0252]
图22是示出根据本公开实施方式的系统配置的第八实例的框图。参照图22，系统2包括信息处理设备11、12a、12b和13。输入单元200和输出单元400在信息处理设备11中实现。相对照地，处理单元300以分布式方式在信息处理设备12a和12b和信息处理设备13中实现。信息处理设备11和信息处理设备12a和12b，以及信息处理设备12a和12b和信息处理设备13经由网络彼此通信，以实现根据本公开实施方式的功能。
[0253]
第八实例设计为具有如下配置的实例，即在上述第六实例中，执行预处理的处理单元300a和执行后处理的处理单元300c分别通过单独的信息处理设备12a和12b实现。因此，信息处理设备11和信息处理设备13与上述第六实例中的相同。此外，信息处理设备12a和12b也可以分别是服务器或终端装置。例如，在系统2中，如果信息处理设备12a和12b都是服务器，可以说处理单元300是以分布式方式在3个服务器(信息处理设备12a、12b和13)中实现。此外，以分布式方式实现处理单元300的服务器的数量不限于三个，也可以是两个或也可以是四个或更多。这些实例可以根据，例如，在此描述的第八实例或将在下文描述的第九实例来理解；因此，省略其说明。
[0254]
(第九实例)
[0255]
图23是示出根据本公开实施方式的系统配置的第九实例的框图。参照图23，系统2包括信息处理设备11a、11b、12a、12b和13。在第九实例中，输入单元200在信息处理设备11a中实现。输出单元400在信息处理设备11b中实现。相对照地，处理单元300以分布式方式在信息处理设备12a和12b和信息处理设备13中实现。信息处理设备11a和信息处理设备12a，信息处理设备11b和信息处理设备12b，以及信息处理设备12a和12b和信息处理设备13经由网络进行通信，以实现根据本公开实施方式的功能。
[0256]
第九实例是上述第七实例和第八实例的组合的实例。换言之，在第九实例中，实现输入单元200的信息处理设备11a和实现输出单元400的信息处理设备11b是单独的装置。信息处理设备11a和11b分别与不同的中间节点(信息处理设备12a和12b)进行通信。因此，在第九实例中，与上述第八实例类似，处理单元300以分布式方式在三个服务器(信息处理设备12a、12b和13)中实现，并且可以使用信息处理设备11a和11b(其可以是由同一用户持有或使用的或者由不同用户持有或使用的终端装置)来实现根据本公开的实施方式的功能。
[0257]
(包括中间服务器的系统的实例)
[0258]
图24是示出根据本公开实施方式的系统配置的更具体实例其中之一的包括中间服务器的系统实例的示意图。在附图所示的实例中，信息处理设备11(或信息处理设备11a或11b)是终端装置，信息处理设备12是中间服务器，信息处理设备13是服务器。
[0259]
与上文参照图18描述的实例类似，终端装置的实例可以包括移动装置11
‑
1、穿戴式装置11
‑
2、车载装置11
‑
3、电视机11
‑
4、数码相机11
‑
5、ce装置11
‑
6、机器人装置和标识牌11
‑
7。这些信息处理设备11(终端装置)经由网络与信息处理设备12(中间服务器)进行通信。在上述实例中，终端装置和中间服务器之间的网络分别对应于接口250b和接口450b。此外，信息处理设备12(中间服务器)经由网络与信息处理设备13(服务器)通信。在中间服务器和服务器之间的网络对应于上述实例中的接口350b。
[0260]
此外，图24所示的实例被示出为使得可以容易地理解在包括中间服务器的系统中实现系统2的实例，而且如上述每个实例中所解释的原因，系统2不局限于这种类型的系统。
[0261]
(包括作为主机的终端装置的系统实例)
[0262]
图25是示出根据本公开实施方式的系统配置的更具体实例其中之一的包括作为主机的终端装置的系统实例的示意图。在附图所示的实例中，信息处理设备11(或信息处理设备11a或11b)是终端装置，信息处理设备12是作为主机的终端装置，信息处理设备13是服务器。
[0263]
在附图所示的实例中，终端装置可以包括，例如，穿戴式装置11
‑
2、车载装置11
‑
3、
数码相机11
‑
5、机器人装置、包括与设施一起安装的传感器的装置、以及ce装置11
‑
6。这些信息处理设备11(终端装置)经由如蓝牙(注册商标)或wi
‑
fi等网络与信息处理设备12进行通信。在附图中，移动装置12
‑
1示为作为主机的终端装置的实例。终端装置与移动装置之间的网络对应于上述实例中的接口250b或450b。信息处理设备12(移动装置)经由如因特网等网络与信息处理设备13(服务器)进行通信。移动装置和服务器之间的网络对应于上述实例中的接口350b。
[0264]
此外，图25所示的实例被示出为使得可以容易地理解在包括作为主机的终端装置的系统中实现系统2的实例，而且如上述每个实例中所解释的原因，系统2不局限于这种类型的系统。此外，在附图所示的实例中，作为主机的终端装置不限于移动装置12
‑
1，具有适当通信功能和处理功能的各种终端装置都可以作为主机。此外，作为终端装置的实例在附图中示出的穿戴式装置11
‑
2、车载装置11
‑
3、数码相机11
‑
5以及ce装置11
‑
6不从实例中排除不同于这些装置的终端装置，而是仅仅是在信息处理设备12是移动装置12
‑
1的情况下可以作为信息处理设备11的典型终端装置的实例。
[0265]
(包括边缘服务器的系统实例)
[0266]
图26是示出根据本公开实施方式的系统配置的更具体实例其中之一的包括边缘服务器的系统实例的示意图。在附图所示的实例中，信息处理设备11(或信息处理设备11a或11b)是终端装置，信息处理设备12是边缘服务器，信息处理设备13是服务器。
[0267]
与上文参照图18描述的实例类似，终端装置的实例可以包括移动装置11
‑
1、穿戴式装置11
‑
2、车载装置11
‑
3、电视机11
‑
4、数码相机11
‑
5、ce装置11
‑
6、机器人装置和标识牌11
‑
7。这些信息处理设备11(终端装置)经由网络与信息处理设备12(边缘服务器12
‑
2)进行通信。终端装置和边缘服务器之间的网络对应于上述实例中的接口250b或450b。信息处理设备12(边缘服务器)经由如因特网等网络与信息处理设备13(服务器)进行通信。边缘服务器和服务器之间的网络对应于上述实例中的接口350b。
[0268]
在图26所示的实例中，边缘服务器12
‑
2(例如，边缘服务器12
‑
2a至12
‑
2d)分布在比服务器13更靠近终端装置(信息处理设备11)的位置，使得其能够减少通信延迟，提高处理速度，提高实时性。
[0269]
此外，图26所示的实例被示出为使得可以容易地理解在包括边缘服务器的系统中实现系统2的实例，而且如上述每个实例中所解释的原因，系统2不局限于这种类型的系统。
[0270]
(包括雾计算的系统实例)
[0271]
图27是示出根据本公开实施方式的系统配置的更具体实例其中之一的包括雾计算的系统实例的示意图。在附图所示的实例中，信息处理设备11(或信息处理设备11a或11b)是终端装置，信息处理设备12是雾计算，信息处理设备13是服务器。
[0272]
与上文参照图18描述的实例类似，终端装置的实例可以包括移动装置11
‑
1、穿戴式装置11
‑
2、车载装置11
‑
3、电视机11
‑
4、数码相机11
‑
5、ce装置11
‑
6、机器人装置和标识牌11
‑
7。这些信息处理设备11(终端装置)经由网络与信息处理设备12(雾计算12
‑
3)进行通信。终端装置和雾计算之间的网络对应于上述的接口250b或450b。信息处理设备12(雾计算)经由如因特网等网络与信息处理设备13(服务器)进行通信。雾计算和服务器之间的网络对应于上述实例中的接口350b。
[0273]
在云和装置之间的分布式处理环境中，雾计算12
‑
3分布在比云(服务器13)更靠近
装置(信息处理设备11)的区域中。具体地，雾计算12
‑
3作为包括边缘计算的系统配置，该边缘计算使用以分布式方式优化地布置按领域或地区分类的计算资源的机制来构建。
[0274]
在图27所示的实例中，例如，可以想到使用以下雾作为雾计算12
‑
3：在移动装置11
‑
1上执行数据管理和处理的移动性雾12
‑
3a；在穿戴式装置11
‑
2上执行数据管理和处理的穿戴式雾12
‑
3b；在车载装置11
‑
3上执行数据管理和处理的车载雾12
‑
3c；在电视机11
‑
4上执行数据管理和处理的电视机终端雾12
‑
3d；在数码相机11
‑
5上执行数据管理和处理的相机终端雾12
‑
3e；在ce装置11
‑
6上执行数据管理和处理的ce雾12
‑
3f；以及在标识牌11
‑
7上执行数据管理和处理的标识牌雾12
‑
3g。可以彼此在雾之间执行数据循环。
[0275]
在雾计算中，可以在靠近装置的位置分配计算资源，并且执行各种处理，例如数据的管理、累积或转换，使得可以减少通信延迟的，提高处理速度以及改善实时性。
[0276]
此外，图27所示的实例被示出为使得可以容易地理解在包括雾计算的系统中实现系统2的实例，而且如上述每个实例中所解释的原因，系统2不局限于这种类型的系统。
[0277]
(第十实例)
[0278]
图28是示出根据本公开实施方式的系统配置的第十实例的框图。参照图28，系统2包括信息处理设备11a、12a和13。在第十实例中，输入单元200在信息处理设备11a中实现。此外，处理单元300以分布式方式在信息处理设备12a和信息处理设备13中实现。输出单元400在信息处理设备13中实现。信息处理设备11a和信息处理设备12a，以及信息处理设备12a和信息处理设备13经由网络彼此通信，以实现根据本公开实施方式的功能。
[0279]
第十实例是在上述第九实例中，信息处理设备11b和12b并入信息处理设备13中的实例。换言之，在第十实例中，实现输入单元200的信息处理设备11a和实现处理单元300a的信息处理设备12a是单独的装置；然而，处理单元300b和输出单元400都通过相同的信息处理设备13实现。
[0280]
第十实例实现这样的配置，其中，例如，通过作为中间终端装置或服务器的信息处理设备12a中的处理单元300a执行的处理，将包括在作为终端装置的信息处理设备11a中的输入单元200获取的信息提供给作为服务器或终端的信息处理设备13，然后通过处理单元300b执行的处理由输出单元400输出。此外，也可以省略信息处理设备12a执行的中间处理。这种配置可以用于例如基于从信息处理设备11a提供的信息，在服务器或信息处理设备13中执行预定处理，然后在服务器或信息处理设备13中累积处理的结果或输出处理的结果的服务中。处理的累积结果可由例如另一服务使用。
[0281]
(第十一实例)
[0282]
图29是示出根据本公开实施方式的系统配置的第十一实例的框图。参照图29，系统2包括信息处理设备11b、12b和13。在第十一实例中，输入单元200在信息处理设备13中实现。此外，处理单元300以分布式方式在信息处理设备13和信息处理设备12b中实现。输出单元400在信息处理设备11b中实现。信息处理设备13和信息处理设备12b，以及信息处理设备12b和信息处理设备11b经由网络彼此通信，以实现根据本公开实施方式的功能。
[0283]
第十一实例是这样的实例，其中，在上述第九实例中，信息处理设备11a和12a并入信息处理设备13中。换言之，在第十一实例中，实现输出单元400的信息处理设备11b和实现处理单元300c的信息处理设备12b是单独的装置；然而，输入单元200和处理单元300b通过相同的信息处理设备13实现。
[0284]
第十一实例实现这样的配置，其中，例如，通过处理单元300b执行的处理，将包括在作为服务器或终端装置的信息处理设备13a中的输入单元200获取的信息提供给作为中间终端装置的信息处理设备12b，然后通过处理单元300c执行的处理由作为终端装置的信息处理设备11b中的输出单元400输出。此外，也可以省略信息处理设备12b执行的中间处理。这种配置可以用于例如基于在服务器或信息处理设备13中获取的信息，在服务器或信息处理设备13中执行预定处理，然后将服务中处理的结果提供给信息处理设备11b的服务中。要获取的信息可以由例如不同的服务提供。
[0285]
[4
‑
6.其他]
[0286]
此外，在附图中示出的每个单元的部件仅用于概念性地示出其功能，而不一定是如在附图中示出的那样物理配置。换言之，单独或集成装置的具体形状不限于附图。具体地，可以根据各种负载或使用条件通过功能性地或物理地分离或集成任何单元来配置全部或部分装置。例如，检测单元141和通知单元142也可以集成。
[0287]
此外，可以以任何适当的组合来使用上述实施方式和变型中的每一个，只要处理彼此不冲突。
[0288]
此外，本说明书中描述的效果仅是示例性的而非限制性的，并且其他效果也是可能的。
[0289]
(5.根据本公开的信息处理设备的效果)
[0290]
如上所述，根据本公开的信息处理设备(实施方式中的信息处理设备100等)包括控制单元(实施方式中的控制单元140)。控制单元检测作为感测信息的指示装置(在本实施方式中，家用电器10等)的操作状态的信息。此外，当检测到感测信息时，控制单元参考在其中存储有与感测信息相关联的响应内容的存储单元(实施方式中的存储单元130等)，然后判断是否将装置的操作状态通知给用户。
[0291]
这样，信息处理设备判断是否将与检测到的感测信息相关的装置的操作状态通知给用户，使得信息处理设备能够仅将需要的信息通知给用户，而不会在用户使用多个装置时造成麻烦。因此，信息处理设备能够避免降低用户的便利性，并且能够顺利地操作多个家用电器。
[0292]
此外，控制单元检测装置发出的将操作状态通知给用户的通知声音作为感测信息，当检测到通知声音时，参考其中存储有与通知声音相关联的响应内容的存储单元，然后判断是否将装置的操作状态通知给用户。因此，信息处理设备能够判断是否将与装置发出的通知声音相关的操作状态通知给用户。
[0293]
此外，控制单元基于在将装置的操作状态通知给用户之后接收到的用户的反应，更新与存储在存储单元中的感测信息相关联的响应内容。因此，信息处理设备能够根据用户的请求更新要通知给用户的内容。
[0294]
此外，控制单元基于接收到的用户的反应来更新指示是否将与所检测到的感测信息相关联的装置的操作状态通知给用户的设置。因此，信息处理设备能够根据用户的请求适当地更新与通知相关的判断标准。
[0295]
此外，控制单元识别从用户接收的的语音，并且基于根据语音识别的结果的用户的反应，更新指示是否将与检测到的感测信息相关联的装置的操作状态通知给用户的设置。因此，信息处理设备能够基于用户的语音更新响应内容，而无需接收用户的如按键操作
等输入操作。
[0296]
此外，当控制单元将装置的操作状态通知给用户时，控制单元将与装置的安装位置相关的信息连同操作状态一起通知给用户。因此，信息处理设备能够将如指示安装位置处的哪个装置发出通知声音的信息等详细信息通知给用户。
[0297]
此外，控制单元基于图像识别来识别与感测信息相关联的装置，并将装置的操作状态连同关于所识别的装置的信息一起通知给用户。因此，信息处理设备能够将如指示哪个装置发出通知声音的信息等详细信息通知给用户。
[0298]
此外，控制单元将装置的类型、装置的名称和装置的安装位置中的至少一个连同装置的操作状态一起通知给用户。因此，信息处理设备能够将如指示何种装置发出通知声音的信息等详细信息通知给用户。
[0299]
此外，控制单元检测用户所处的位置，并且基于用户所处位置和与感测信息相关联的装置之间的位置关系来判断是否将装置的操作状态通知给用户。因此，信息处理设备能够仅通知处于附近的用户，使得信息处理设备能够执行不会对用户造成麻烦的通知。
[0300]
此外，控制单元检测用户所处的位置，并基于用户的位置与安装有与感测信息相关联的装置的位置之间的距离来判断是否将装置的操作状态通知给用户。因此，信息处理设备能够根据状态执行适当的通知，如不给予在家用电器附近的用户通知的情况。
[0301]
此外，控制单元在装置发出指示操作状态的信息时或者在检测到作为感测信息的指示装置的操作状态的信息时，根据用户的面部或身体的朝向来判断是否将装置的操作状态通知给用户。因此，信息处理设备能够根据声音发出时的实际状态，如用户是否识别从家用电器发出的声音的状态，判断是否执行通知。
[0302]
此外，控制单元检测位于信息处理设备附近的用户的属性，并且根据检测到的用户的属性来判断是否将装置的操作状态通知给用户。因此，信息处理设备能够根据用户的详细请求执行通知，如仅向成人用户给出通知而不向儿童用户给出通知的请求。
[0303]
此外，当控制单元将装置的操作状态通知给用户时，控制单元将先前对感测信息执行了标记的信息与装置的操作状态一起通知给用户。因此，信息处理设备能够将装置的操作状态更详细地通知给用户。
[0304]
此外，当控制单元检测到作为感测信息的指示装置的操作状态异常的异常声音时，控制单元将表示已经检测到异常声音的信息与装置的操作状态一起通知给用户。因此，信息处理设备能够肯定地通知用户装置中发生了异常情况。
[0305]
此外，控制单元检测关于在家用电器周围观察到的光、温度、湿度、气味、振动和二氧化碳浓度的信息中的至少一个作为感测信息。因此，即使在信息不是通知声音的情况下，信息处理设备也能够肯定地将与装置的操作相关的信息通知给用户。
[0306]
(6.硬件配置)
[0307]
如根据上述每个实施方式的信息处理设备100等信息处理设备通过，例如，具有图30所示的配置的计算机1000实现。下文以根据第一实施方式的信息处理设备100为例进行描述。图30是示出实现信息处理设备100的功能的计算机1000的实例的硬件配置示意图。计算机1000包括cpu1100、ram1200、只读存储器(rom)1300、硬盘驱动器(hdd)1400、通信接口1500和输入/输出接口1600。计算机1000中的每个单元通过总线1050连接。
[0308]
cpu1100基于存储在rom1300或hdd1400中的程序进行操作，对每个单元进行控制。
例如，cpu1100将存储在rom1300或hdd1400中的程序加载到ram1200中，然后执行与各种程序相关联的处理。
[0309]
rom1300存储有cpu1100在启动计算机1000时执行的基本输入输出系统(bios)等的引导程序或依赖于计算机1000的硬件的程序等。
[0310]
hdd1400是计算机可读记录介质，以非暂时性的方式在其中记录由cpu1100执行的程序、由这些程序使用的数据等。具体地，hdd1400是在其中记录作为程序数据1450的实例的根据本公开的信息处理程序的介质。
[0311]
通信接口1500是用于计算机1000连接到外部网络1550(例如，因特网)的接口。例如，cpu1100经由通信接口1500接收另一装置的数据，并将cpu1100生成的数据发送到该另一装置。
[0312]
输入/输出接口1600是用于连接输入/输出装置1650和计算机1000的接口。例如，cpu1100经由输入/输出接口1600从如键盘、鼠标或遥控器等输入装置接收数据。此外，cpu1100经由输入/输出接口1600将数据发送到输出设备，如显示器、扬声器、打印机。此外，输入/输出接口1600还可以作为读取记录在预定记录介质(媒体)中的程序等的媒体接口。这里提到的介质之一的实例包括如数字通用盘(dvd)和相变可重写盘(pd)等光学记录介质、如磁光盘(mo)等磁光记录介质、磁带介质、磁记录介质、半导体存储器等。
[0313]
例如，当计算机1000作为根据第一实施方式的信息处理设备100时，计算机1000中的cpu1100通过执行加载到ram1200上的信息处理程序实现控制单元140等的功能。此外，hdd1400存储根据本公开的信息处理程序和包括在存储单元130中的数据。此外，cpu1100从hdd1400中读取程序数据1450并执行程序；然而，作为另一实例，cpu1100还可以经由外部网络1550从其它装置获取这些程序。
[0314]
此外，本技术还可以如下配置。
[0315]
(1)一种信息处理设备，包括：
[0316]
控制单元，该控制单元执行：
[0317]
检测作为感测信息的指示装置的操作状态的信息的处理，以及
[0318]
在检测到感测信息时，通过参考其中存储有与感测信息相关联的响应内容的存储单元，判断是否将装置的操作状态通知给用户的处理。
[0319]
(2)根据(1)所述的信息处理设备，其中，
[0320]
控制单元：
[0321]
检测装置发出的将操作状态通知给用户的通知声音作为感测信息；以及
[0322]
在检测到通知声音时，通过参考在其中存储有与通知声音相关联的响应内容的存储单元来判断是否将装置的操作状态通知给用户。
[0323]
(3)根据(1)或(2)所述的信息处理设备，其中，控制单元基于在将装置的操作状态通知给用户之后从用户接收到的反应，更新与存储在存储单元中的感测信息相关联的响应内容。
[0324]
(4)根据(3)所述的信息处理设备，其中，所述控制单元基于从用户接收到的反应来更新指示是否将与所检测到的感测信息相关联的装置的操作状态通知给用户的设置。
[0325]
(5)根据(3)或(4)所述的信息处理设备，其中，
[0326]
所述控制单元：
[0327]
识别从用户接收到的语音；以及
[0328]
基于根据语音识别的结果的用户的反应，更新指示是否将与检测到的感测信息相关联的装置的操作状态通知给用户的设置。
[0329]
(6)根据(1)至(5)中任一项所述的信息处理设备，其中，控制单元将装置的操作状态通知给用户时，控制单元将与装置的安装位置相关的信息与操作状态一起通知给用户。
[0330]
(7)根据(1)或(6)所述的信息处理设备，其中，
[0331]
控制单元：
[0332]
基于图像识别来识别与感测信息相关联的装置；以及
[0333]
将所识别的装置的操作状态与关于所识别的装置的信息一起通知给用户。
[0334]
(8)根据(7)所述的信息处理设备，其中，控制单元将装置的类型、装置的名称和装置的安装位置中的至少一个与装置的操作状态一起通知给用户。
[0335]
(9)根据(1)至(8)中任一项所述的信息处理设备，其中，
[0336]
控制单元：
[0337]
检测用户所处的位置；以及
[0338]
基于用户所处位置和与感测信息相关联的装置之间的位置关系，判断是否将装置的操作状态通知给用户。
[0339]
(10)根据(9)所述的信息处理设备，其中，
[0340]
所述控制单元：
[0341]
检测用户所处的位置；以及
[0342]
基于用户所处位置和与感测信息相关联的装置的安装位置之间的距离，判断是否将装置的操作状态通知给用户。
[0343]
(11)根据(9)或(10)所述的信息处理设备，其中，控制单元在装置发出指示操作状态的信息时或者在检测到作为感测信息的指示装置的操作状态的信息时，根据用户的面部或身体的朝向来判断是否将装置的操作状态通知给用户。
[0344]
(12)根据(9)至(11)中任一项所述的信息处理设备，其中，
[0345]
控制单元：
[0346]
检测处于信息处理设备附近的用户的属性；以及
[0347]
根据检测到的用户的属性，判断是否将装置的操作状态通知给用户。
[0348]
(13)根据(1)至(12)中任一项所述的信息处理设备，其中，当控制单元将装置的操作状态通知给用户时，控制单元将先前对感测信息执行了标记的信息与装置的操作状态一起通知给用户。
[0349]
(14)根据(1)至(13)中任一项所述的信息处理设备，其中，当控制单元检测到作为感测信息的指示装置的操作状态异常的异常声音时，控制单元将表示检测到异常声音的信息与装置的操作状态一起通知给用户。
[0350]
(15)根据(1)至(14)中任一项所述的信息处理设备，其中，所述控制单元检测在装置周围观察到的关于光、温度、湿度、气味、振动和二氧化碳浓度的信息中的至少一个作为感测信息。
[0351]
(16)根据(1)至(15)中任一项所述的信息处理设备，其中，控制单元控制在显示单元上显示通知。
[0352]
(17)根据(1)至(16)中任一项所述的信息处理设备，其中，
[0353]
控制单元：
[0354]
获取信息处理设备的使用状态；以及
[0355]
基于使用状态来控制通知输出。
[0356]
(18)根据(17)所述的信息处理设备，其中，使用状态包括与信息处理设备输出的内容相关的信息。
[0357]
(19)一种由信息处理设备执行的信息处理方法，该信息处理方法包括：
[0358]
检测作为感测信息的指示装置的操作状态的信息；
[0359]
在检测到感测信息时，通过参考其中存储有与感测信息相关联的响应内容的存储单元，判断是否将装置的操作状态通知给用户。
[0360]
(20)一种信息处理程序，该信息处理程序使信息处理设备执行包括以下步骤的处理：
[0361]
检测作为感测信息的指示装置的操作状态的信息；
[0362]
在检测到感测信息时，通过参考其中存储有与感测信息相关联的响应内容的存储单元，判断是否将装置的操作状态通知给用户。
[0363]
附图标记：
[0364]
1 信息处理系统
[0365]
10 家用电器
[0366]
100 信息处理设备
[0367]
120 传感器
[0368]
120a 语音输入传感器
[0369]
120b 图像输入传感器
[0370]
121 输入单元
[0371]
122 通信单元
[0372]
130 存储单元
[0373]
131 响应内容表
[0374]
132 装置信息表
[0375]
133 暂时存储区
[0376]
134 用户信息表
[0377]
140 控制单元
[0378]
141 检测单元
[0379]
142 通知单元
[0380]
143 用户界面(ui)单元。