信息处理设备和信息处理方法与流程

1.本技术涉及一种信息处理设备和信息处理方法，并且更具体地涉及一种能够使用更佳的输出模态输出信息的信息处理设备和信息处理方法。


背景技术：

2.用户有时期望在使用电子装置时指定电子装置的输出模态。
3.此外，已经公开了用于根据从语音或图像获得的用户信息和系统状态来切换信息提供级别和输出模式的技术(例如，参见专利文献1)。
4.引用列表
5.专利文献
6.专利文献1：日本专利申请特开2011
‑
253375号。


技术实现要素：

7.本发明要解决的问题
8.顺便说一句，在期望指定电子装置的输出模态的情况下，一些电子装置具有有限的输出模态，并且需要用于使用更佳的输出模态来输出信息的技术。
9.本技术是鉴于这种情况而做出的，并且使得可以使用更佳的输出模态来输出信息。
10.问题的解决方案
11.本技术的一方面的信息处理设备是包括处理单元的信息处理设备，该处理单元被配置为执行以下处理：获取关于每个电子装置的输出模态的装置信息；基于获取的装置信息从多个电子装置中选择具有输出信息的输出模态的电子装置；以及从选择的电子装置的输出模态输出该信息。
12.本技术的一方面的信息处理方法是这样一种信息处理方法，其中，信息处理设备获取关于每个电子装置的输出模态的装置信息，基于获取的装置信息从多个电子装置中选择具有输出信息的输出模态的电子装置，以及从选择的电子装置的输出模态输出该信息。
13.在本技术的一方面的信息处理设备和信息处理方法中，获取关于每个电子装置的输出模态的装置信息，基于获取的装置信息从多个电子装置中选择具有输出信息的输出模态的电子装置，以及从选择的电子装置的输出模态输出该信息。
14.本技术的一方面的信息处理设备是包括处理单元的信息处理设备，该处理单元被配置为执行以下处理：基于包括期望的输出模态的用户信息和关于每个电子装置的输出模态的装置信息，从多个电子装置中选择具有与用户的期望的输出模态相对应的输出模态的电子装置；经由网络接收从另一信息处理设备发送的用于输出信息的输出命令，该另一信息处理设备将输出命令从与期望的输出模态相对应的输出模态发送到选择的电子装置；以及基于接收的输出命令从与期望的输出模态相对应的输出模态输出该信息。
15.本技术的一方面的信息处理方法是这样一种信息处理方法，其中信息处理设备：
基于包括期望的输出模态的用户信息和关于每个电子装置的输出模态的装置信息，从多个电子装置中选择具有与用户的期望的输出模态相对应的输出模态的电子装置；经由网络接收从另一信息处理设备发送的用于输出信息的输出命令，该另一信息处理设备将输出命令从与期望的输出模态相对应的输出模态发送到选择的电子装置；以及基于接收的输出命令从与期望的输出模态相对应的输出模态输出该信息。
16.在本技术的一方面的信息处理设备和信息处理方法中，基于包括期望的输出模态的用户信息和关于每个电子装置的输出模态的装置信息，从多个电子装置中选择具有与用户的期望的输出模态相对应的输出模态的电子装置；经由网络接收从另一信息处理设备发送的用于输出信息的输出命令以，该另一信息处理设备将输出命令从与期望的输出模态相对应的输出模态发送到选择的电子装置；以及基于接收的输出命令从与期望的输出模态相对应的输出模态输出该信息。
17.注意，本技术的一方面的信息处理设备可以是独立的设备或构成一个设备的内部区块。
附图说明
18.图1是示出包括应用本技术的电子装置的系统的实施例的配置的示例的框图。
19.图2是示出应用本技术的电子装置的配置的示例的框图。
20.图3是示出作为自装置进行操作的电子装置的功能配置的示例的框图。
21.图4是示出作为链接装置进行操作的电子装置的功能配置的示例的框图。
22.图5是用于说明输出模态决定处理的流程的流程图。
23.图6是示出用户信息表的示例的图。
24.图7是示出链接装置信息表的第一示例的图。
25.图8是示出链接装置信息表的第二示例的图。
26.图9是示出能够语音大声读出的自装置对输出进行输出的情况的示例的图。
27.图10是示出从能够语音大声读出的链接装置请求输出的情况的示例的图。
28.图11是示出能够进行屏幕输出的自装置对输出进行输出的情况的示例的图。
29.图12是示出从能够进行屏幕输出的链接装置请求输出的情况的示例的图。
30.图13是用于说明链接装置选择处理的流程的流程图。
31.图14是用于说明第二候选模态选择处理的流程的流程图。
32.图15是用于说明最佳输出模态选择处理的流程的流程图。
33.图16是用于说明最佳输出模态选择处理的流程的流程图。
34.图17是示出用户属性/输出模态对应表的示例的图。
35.图18是示出用户信息表的另一示例的图。
36.图19是示出用户信息设置屏幕的示例的图。
37.图20是示出装置链接期间的链接确认信息的示例的图。
38.图21是示出包括应用本技术的电子装置的系统的实施例的配置的另一示例的框图。
39.图22是示出应用本技术的系统的实施例的配置的第一示例的框图。
40.图23是示出应用本技术的系统的实施例的配置的第二示例的框图。
41.图24是示出应用本技术的系统的实施例的配置的第三示例的框图。
42.图25是示出应用本技术的系统的实施例的配置的第四示例的框图。
43.图26是示出分布式系统的图，该分布式系统作为应用本技术的系统的实施例的配置的其它特定示例中的一个。
44.图27是示出计算机的配置示例的图。
具体实施方式
45.在下文中，将参考附图描述本技术的实施例。注意，将按以下顺序给出说明。
46.1.本技术的实施例
47.2.系统配置
48.3.计算机配置
49.<1.本技术的实施例>
50.(系统配置)
51.图1示出了包括应用本技术的电子装置的系统的实施例的配置的示例。
52.在图1中，电子装置10
‑
1至10
‑
n(n：等于或大于2的整数)和路由器20经由家庭网络30彼此连接。该家庭网络30例如被配置有诸如无线局域网(lan)的网络。
53.电子装置10
‑
1例如被配置为诸如信息装置、视频装置、音频装置或家用电器的装置。
54.注意，信息装置包括例如智能电话、移动电话、智能手表、平板终端、游戏机、个人计算机等。此外，视频装置包括例如电视接收器、投影仪、显示设备等。
55.此外，音频装置包括例如智能扬声器、扬声器、耳机等。此外，家用电器包括例如大家电，诸如洗衣机、冰箱和微波炉等。注意，这里列出的装置是示例，并且可以包括例如机器人，诸如动物形状或人形状的家用机器人、机器人真空吸尘器等。
56.电子装置10
‑
1可以使用最佳输出模态(output modal)输出信息。这里，输出模态是设置在电子装置10
‑
1至10
‑
n中的每一个中的(信息)表示方式。此外，电子装置10
‑
1可以经由家庭网络30与诸如电子装置10
‑
2至10
‑
n的其它电子装置10交换信息。
57.类似于电子装置10
‑
1，电子装置10
‑
2至10
‑
n均被配置为诸如信息装置的装置。电子装置10
‑
2至10
‑
n中的每一个可以使用最佳输出模态输出信息。此外，电子装置10
‑
2至10
‑
n中的每一个可以与其它电子装置10交换信息。
58.此外，在图1中，路由器20可以与因特网50连接，并且电子装置10
‑
1至10
‑
n中的每一个可以经由因特网50与服务器40交换各种信息。
59.服务器40例如被配置有一个或多个服务器，并且安装在数据中心等中。服务器40通过数据库管理关于用户和设备等的信息，并且可以响应于来自电子装置10
‑
1至10
‑
n中的任何一个的请求经由因特网50提供各种信息。
60.在下面的描述中，注意，在不必区分电子装置10
‑
1至10
‑
n的情况下，将它们简称为电子装置10。
61.此外，如下面将详细描述的，由于电子装置10包括两种类型的装置，即作为操作主体(subject)的自装置(self
‑
apparatus)和根据操作内容与自装置链接地操作的链接装置，所以作为自装置进行操作的电子装置10也被描述为电子装置10a，尽管作为链接装置进
行操作的电子装置10在下面的描述中也将被描述为与之区别的电子装置10b。
62.(电子装置配置)
63.图2示出了图1的电子装置10的配置的示例。
64.在图2中，电子装置10包括处理单元100、输入单元101、输出单元102、传感器单元103、通信单元104和存储单元105。
65.处理单元100例如被配置有诸如中央处理单元(cpu)或微控制器的处理器、现场可编程门阵列(fpga)等。处理单元100是控制每个单元的操作并且执行各种算术处理的中央处理设备。
66.输入单元101包括例如麦克风101
‑
1、按钮101
‑
2等作为供用户使用的输入接口。
67.麦克风101
‑
1将包括用户语音和环境声音的外部声音转换为电信号，并且将作为结果获得的语音信息提供给处理单元100。此外，按钮101
‑
2是物理按钮，并且根据用户的操作向处理单元100提供操作信息。
68.虽然这里示出了麦克风101
‑
1和按钮101
‑
2被包括作为输入单元101的情况，但是注意，可以包括与下面描述的显示器102
‑
1组合的触摸面板，或者诸如键盘或鼠标的其它输入装置。
69.输出单元102包括例如作为供用户使用的输出接口的显示器102
‑
1、扬声器102
‑
2、电子声音蜂鸣器102
‑
3、振动元件102
‑
4和灯102
‑
5。
70.例如，显示器102
‑
1是诸如液晶显示器(lcd)或有机发光二极管(oled)显示器的显示设备。显示器102
‑
1根据从处理单元100提供的输出命令显示信息。
71.扬声器102
‑
2是再现例如诸如语音和音乐的声音的语音输出设备。扬声器102
‑
2输出与从处理单元100提供的输出命令相对应的声音。电子声音蜂鸣器102
‑
3是例如能够输出诸如“pee”的电子声音的声音产生设备。电子声音蜂鸣器102
‑
3根据从处理单元100提供的输出命令输出电子声音。
72.振动元件102
‑
4响应于从处理单元100提供的输出命令而振动以向用户给出振动刺激。例如，灯102
‑
5是包括诸如发光二极管(led)的光源的发光设备。灯102
‑
5响应于从处理单元100提供的输出命令而发光。
73.尽管这里示出了输出单元102包括显示器102
‑
1、扬声器102
‑
2等的情况，但是注意，输出单元可以包括其它输出装置，例如机器人驱动部件(例如，头部、手等)。
74.传感器单元103例如被配置有各种传感器设备等。该传感器设备包括例如测量传感器103
‑
1、图像传感器103
‑
2等。
75.测量传感器103
‑
1可以包括例如检测磁场(磁通量)的大小和方向的磁传感器、检测加速度的加速度传感器、检测角度(姿态)、角速度和角加速度的陀螺仪传感器、检测相邻物体的接近传感器等。测量传感器103
‑
1感测用户、其附近区域等，并且将得到的环境信息(包括感测信息)提供给处理单元100。
76.图像传感器103
‑
2包括例如图像传感器和信号处理单元。图像传感器103
‑
2通过由信号处理单元对由图像传感器对对象成像而获得的成像信号执行各种信号处理来生成图像信息，并且将图像信息提供给处理单元100。
77.虽然这里已经描述了传感器单元103包括测量传感器103
‑
1、图像传感器103
‑
2等的情况，但是注意，传感器单元可以包括例如用于测量周围环境的传感器(诸如检测温度的
温度传感器、检测湿度的湿度传感器或检测环境亮度的环境光传感器)，或另一传感器设备(诸如检测诸如呼吸、脉搏、指纹或虹膜的生物信息的生物传感器)。
78.通信单元104被配置有支持符合预定标准的无线通信或有线通信的通信模块等。例如，该通信模块与诸如无线lan或蜂窝通信(例如，高级lte或5g)的通信方法兼容。通信单元104在处理单元100的控制下与另一电子装置10或服务器40交换各种信息。
79.例如，存储单元105被配置有存储设备，诸如半导体存储器或硬盘驱动器(hdd)。存储单元105在处理单元100的控制下存储各种信息。
80.注意，图2所示的电子装置10的配置是示例，并且不必包括全部部件，并且例如可以不包括诸如输入单元101和传感器单元103的一些部件。可替换地，可以将其它部件添加到图2所示的电子装置10的配置中。
81.(自装置的功能配置)
82.图3示出了作为自装置进行操作的电子装置10a的功能配置的示例。
83.在电子装置10a中，处理单元100包括用户识别单元121、输出模态决定单元122和环境识别单元123。
84.用户识别单元121具有识别将作为信息输出目的地的用户的功能。用户识别单元121包括扬声器识别单元131、面部识别单元132和识别结果集成单元133。
85.扬声器识别单元131使用从麦克风101
‑
1提供的语音信息执行扬声器识别处理，并且将识别结果提供给识别结果集成单元133。在该扬声器识别处理中，例如，可以使用诸如从语音信息提取特征量，对特征量建模并通过使用特征量来识别个体的语音的扬声器识别算法的已知技术。
86.面部识别单元132使用从图像传感器103
‑
2提供的图像信息执行面部识别处理，并且将识别结果提供给识别结果集成单元133。例如，在该面部识别处理中，可以使用诸如面部识别算法的已知技术，该面部识别算法从图像信息中提取显著特征，搜索具有匹配特征的图像，并且识别个体的面部。
87.识别结果集成单元133集成从扬声器识别单元131提供的扬声器识别结果和从面部识别单元132提供的面部识别结果，识别将作为信息输出目的地的用户(现场用户)，并且将用户识别结果提供给输出模态决定单元122。作为该用户识别结果，例如，可以使用分配给所识别用户的用户id。
88.输出模态决定单元122参考预先注册的用户信息，并且根据从识别结果集成单元133提供的用户识别结果(用户id)获取期望的输出模态。
89.此外，在输出模态决定单元122将所识别用户的期望的输出模态作为自装置的输出模态的情况下，输出模态决定单元向自装置的输出单元102提供与期望的输出模态相对应的信息输出命令。因此，在作为自装置进行操作的电子装置10a中，与期望的输出模态相对应的输出单元102根据来自输出模态决定单元122的输出命令输出信息。
90.另一方面，在输出模态决定单元122不具有所识别用户的期望的输出模态作为自装置的输出模态的情况下，输出模态决定单元参考(获取)预先注册的链接装置信息，并且选择具有所识别用户的期望的输出模态的链接装置。
91.然后，输出模态决定单元122控制通信单元104经由家庭网络30向链接装置发送信息的输出命令，该链接装置具有与期望的输出模态相对应的输出单元102。因此，在作为链
接装置进行操作的电子装置10b中，与期望的输出模态相对应的输出单元102根据从作为自装置进行操作的电子装置10a发送的输出命令输出信息。
92.这里，在所识别用户没有设置期望的输出模态的情况下，仅需要从自装置的输出模态(输出单元102)输出与来自输出模态决定单元122的输出命令相对应的信息。
93.此外，输出模态决定单元122可以控制通信单元104经由因特网50从服务器40获取用户信息和链接装置信息。
94.即，服务器40具有存储用户信息表的用户信息存储单元401和存储链接装置信息表的链接装置信息存储单元402，并且可以响应于来自电子装置10a的请求提供存储在用户信息表中的用户信息或存储在链接装置信息表中的链接装置信息。换句话说，可以说用户信息表和链接装置信息表是在与家庭网络30连接的多个电子装置10之间共享的信息。
95.注意，用户识别单元121仅需要执行扬声器识别和面部识别中的至少一个，并且在仅执行扬声器识别和面部识别中的一个的情况下，识别结果集成单元133不需要集成识别结果，并且与一个识别结果相对应的用户识别结果(用户id)被提供给输出模态决定单元122。
96.此外，例如，假设以下两种模式作为电子装置10a识别用户的定时。第一种是当电子装置10a试图通知用户信息时。这种情况的示例包括呼入和电子邮件通知、警报和提醒、错误通知等。
97.第二种是当用户从电子装置10a请求信息时。这里，例如，包括用户操作遥控器或利用麦克风进行语音输入的情况。具体地，例如，在用户使用语音ai助理服务的情况下，包括诸如“告诉我明天的天气”、“我想要注册时间表”和“我想要搜索信息”的语音话语。
98.此外，在作为自装置进行操作的电子装置10a难以通过用户识别单元121识别用户的情况下，电子装置可经由家庭网络30从与作为链接装置进行操作的电子装置10b链接的电子装置10b获取用户识别信息，从而实现使用该用户识别信息的用户识别。
99.环境识别单元123使用从传感器单元103(例如，测量传感器103
‑
1等)、通信单元104等提供的环境信息(包括感测信息)执行环境识别处理，并且将识别结果提供给输出模态决定单元122。
100.该环境信息可以包括例如各种信息，诸如关于用户的信息(例如，指示用户位置的信息)，关于其它装置的信息(例如，关于其它设备的信息，诸如智能手表活动信息，或指示其它装置的使用状态的信息)，以及关于附近区域的信息。此外，在该环境识别处理中，例如，通过使用环境信息执行环境识别算法，可以获得识别结果，诸如用户当前在哪个房间或用户附近是什么装置。
101.即，在作为自装置进行操作的电子装置10a不包括用于用户识别的设备(照相机或麦克风)的情况下，可以使用来自与该装置链接的其它电子装置10的信息来执行诸如用户识别的处理。
102.具体地，当智能扬声器输出信息时，存在通过使用安装在位于同一房间中的电视接收器中的照相机的图像信息来执行用户识别的情况。此外，在一些情况下，当电视接收器输出信息时，使用智能电话的全球定位系统(gps)信息来确定用户是否在房间中。
103.在根据所识别用户的期望的输出模态决定输出模态的处理中，输出模态决定单元122可以考虑从环境识别单元123提供的环境识别结果来决定输出模态，并且将输出命令通
知给自装置或链接装置的输出单元102。
104.(链接装置的功能配置)
105.图4示出了作为链接装置进行操作的电子装置10b的功能配置的示例。
106.在电子装置10b中，处理单元100包括输出命令分析单元141和输出控制单元142。此外，在电子装置10b中，在通信单元104经由家庭网络30从作为自装置进行操作的电子装置10a接收输出命令的情况下，通信单元将输出命令提供给输出命令分析单元141。
107.输出命令分析单元141分析从通信单元104提供的输出命令，并且将分析结果提供给输出控制单元142。
108.输出控制单元142基于来自输出命令分析单元141的输出命令的分析结果向输出单元102提供与期望的输出模态相对应的控制信号。因此，在作为链接装置进行操作的电子装置10b中，与期望的输出模态相对应的输出单元102根据从作为自装置进行操作的电子装置10a发送的输出命令输出信息。
109.如以上所描述的配置电子装置10。
110.(输出模态决定处理的流程)
111.接下来，将参考图5的流程图描述由电子装置10a(的处理单元100)执行的输出模态决定处理的流程。
112.在步骤s11中，输出模态决定单元122参考用户信息表并且确定信息输出目的地是否是注册用户。
113.这里，图6示出了用户信息表的示例。在该用户信息表中，为每个用户id存储了用户名称、性别、年龄和期望的输出模态。
114.具体地，“hiroshi”、“yuki”、“yuta”和“yuzo”的四个用户已经注册了用户id“01”至“04”。
115.关于hiroshi，已经注册了性别为男性和年龄38岁，但是还没有注册期望的输出模态。yuki是一名38岁的女性，其被注册为“始终期望屏幕输出”作为期望的输出模态。
116.此外，yuta已经注册为10岁男性，但尚未注册期望的输出模态。yuzo是一名75岁男性，对他来说“在语音大声读出时慢慢说话”被注册为期望的输出模态。
117.注意，该用户信息是在例如购买电子装置10的时刻注册的。当在诸如智能电话或电视接收器的电子装置10上显示设置屏幕并且用户执行在设置屏幕上的项中输入或选择信息的操作时，在例如服务器40的用户信息存储单元401(的用户信息表)中注册用户信息。
118.此外，当注册该用户信息时，可以为每个用户设置期望的输出模态。该设置依赖于用户的帐户并由所有电子装置10共享。作为期望的输出模态的变化，例如，可例举以下(a)至(f)中所示的那些。
119.(a)为所有通知设置语音大声读出(包括电子声音翻译)
120.(b)为所有通知设置用屏幕或光输出
121.(c)语音大声读出处理中音量和语速的设置
122.(d)屏幕输出中字符的颜色和大小的设置
123.(e)振动通知中振幅或振动模式的设置
124.(f)光通知中颜色和照明模式的设置
125.返回图5的描述，在步骤s11的确定处理中确定信息输出目的地是注册用户的情况
下，处理进行到步骤s12。
126.在步骤s12中，输出模态决定单元122参考链接装置信息表，并确定是否注册了期望的输出模态。
127.这里，图7示出了链接装置信息表的示例。在该链接装置信息表中，为分配给电子装置10的每个装置id提供设备名称和输出模态的项，并且存储与每个项相对应的信息。
128.具体地，电视接收器、智能电话a、智能电话b、智能扬声器、机器人真空吸尘器、冰箱和洗衣机被注册为设备id“00”至“06”。这里应注意，“屏幕”是指屏幕输出，“语音”是指语音大声读出(例如，文本转语音(tts)，而“电子声音”是指作为输出模态的电子声音输出。
129.由于电视接收器，智能电话a和智能电话b在输出单元102中包括显示器102
‑
1和扬声器102
‑
2，所以输出模态包括“屏幕”和“语音”。由于智能扬声器和机器人真空吸尘器在输出单元102中包括扬声器102
‑
2，所以输出模态包括“语音”。冰箱和洗衣机在输出单元102中包括电子声音蜂鸣器102
‑
3，输出模态包括“电子声音”。
130.注意，例如，在诸如购买电子装置10的时刻手动或自动执行链接装置信息的注册。
131.例如，在手动注册的情况下，在诸如智能电话的电子装置10上显示设置屏幕，并且用户操作该设置。此外，在自动注册的情况下，例如，当新的电子装置10与家庭网络30连接时，包括诸如装置id、装置名称和输出模态的信息的设置信息经由因特网50被发送到服务器40，并被存储在链接装置信息表中。
132.返回到图5的描述，在步骤s12的确定处理中确定注册了期望的输出模态的情况下，处理进行到步骤s13。
133.在步骤s13中，输出模态决定单元122参考链接装置信息表，并确定期望的输出模态是否存在于自装置中。
134.在步骤s13的确定处理中确定期望的输出模态存在于自装置中的情况下，处理进行到步骤s14。
135.在步骤s14中，输出模态决定单元122使用用户期望的输出模态从自装置输出信息。在这种情况下，在作为自装置进行操作的电子装置10a中，与期望的输出模态相对应的输出单元102根据来自输出模态决定单元122的输出命令输出信息。
136.此外，在步骤s13的确定处理中确定在自装置中不存在期望的输出模态的情况下，处理进行到步骤s15。
137.在步骤s15中，输出模态决定单元122参考链接装置信息表，并确定是否存在具有期望的输出模态的链接装置。
138.在步骤s15的确定处理中确定存在具有期望的输出模态的链接装置的情况下，处理进行到步骤s16。
139.在步骤s16中，输出模态决定单元122使用用户期望的输出模态从链接装置输出信息。在这种情况下，在作为链接装置进行操作的电子装置10b中，与期望的输出模态相对应的输出单元102根据从作为自装置进行操作的电子装置10a发送的输出命令输出信息。
140.此外，在步骤s11的确定处理中确定信息输出目的地不是注册用户的情况下，在步骤s12的确定处理中确定没有注册期望的输出模态的情况下，或者在s15的确定处理中确定不存在具有期望的输出模态的链接装置的情况下，处理进行到步骤s17。
141.在步骤s17中，输出模态决定单元122使用默认输出模态从自装置输出信息。在这
种情况下，在作为自装置进行操作的电子装置10a中，与预设的默认输出模态相对应的输出单元102根据来自输出模态决定单元122的输出命令输出信息。
142.当步骤s14、s16和s17的任何处理结束时，输出模态决定处理终止。
143.以上已经描述了输出模态决定处理的流程。在该输出模态决定处理中，获取用户信息和链接装置信息，并且基于所获取的用户信息和链接装置信息从多个电子装置10中选择具有输出信息的输出模态的电子装置10，并且从选择的电子装置的输出模态输出信息。
144.(链接装置信息表的另一示例)
145.图8示出了在图5的步骤s12、s13和s15的处理中引用的链接装置信息表的另一示例。
146.在图8中，链接装置信息表针对每个装置id设置有装置名称、屏幕反馈、声音反馈、光学反馈、振动和操作的项，并且存储与每个项相对应的信息。
147.此外，屏幕反馈项包括运动图像输出和字母数字输出的项(例如，能够仅输出数字字母数字字符等)，声音反馈项包括语音大声读出和电子声音输出的项，并且光学反馈项包括多种颜色的光发射和单一颜色的光发射的项。
148.此外，图8中的白圈(
○
)表示可以支持由每个项表示的输出模态。即，与以上描述的图7的链接装置信息表相比，图8的链接装置信息表以细分的方式示出了输出模态。
149.由于电视接收器包括显示器102
‑
1和扬声器102
‑
2，所以输出模态包括“运动图像输出”和“字母数字输出”，以及“语音大声读出”和“电子声音输出”。
150.智能电话a和b每个都包括显示器102
‑
1、扬声器102
‑
2、电子声音蜂鸣器102
‑
3、振动元件102
‑
4和灯102
‑
5，并且因此每个都包括“运动图像输出”和“字母数字输出”、“语音大声读出”和“电子声音输出”、“单一颜色的光发射”和“振动”作为输出模态。
151.智能扬声器包括扬声器102
‑
2、电子声音蜂鸣器102
‑
3和灯102
‑
5，并且因此包括“语音大声读出”、“电子声音输出”和“多种颜色的光发射”作为输出模态。机器人真空吸尘器包括电子声音蜂鸣器102
‑
3和驱动部件，并且因此包括“电子声音输出”和“操作”作为输出模态。即，机器人真空吸尘器可以通过自装置的运动输出信息。
152.冰箱和洗衣机各自包括显示器102
‑
1、电子声音蜂鸣器102
‑
3和灯102
‑
5，并且因此各自包括“字母数字输出”、“电子声音输出”和“单一颜色光发射”作为输出模态。微波炉包括显示器102
‑
1和电子声音蜂鸣器102
‑
3，并且因此包括“字母数字输出”和“电子声音输出”作为输出模态。
153.智能手表包括显示器102
‑
1、扬声器102
‑
2、电子声音蜂鸣器102
‑
3、振动元件102
‑
4和灯102
‑
5，并且因此分别包括“运动图像输出”和“字母数字输出”、“语音大声读出”和“电子声音输出”、“多种颜色的光发射”和“振动”作为输出模态。
154.注意，图8的链接装置信息表是示例，并且可以添加或删除另一输出模态。此外，可以包括其它信息作为细分的输出模态。例如，屏幕反馈可以通过诸如屏幕大小或分辨率的函数来分类。
155.(输出模态决定的具体示例)
156.接下来，将参考图9至图12描述选择输出模态和决定输出装置的示例。
157.由于以下描述图示了电子装置10
‑
1至10
‑
6是智能扬声器、智能电话、电视接收器、洗衣机、冰箱和智能手表的情况，因此电子装置也被描述为智能扬声器10
‑
1、智能电话10
‑
2、电视接收器10
‑
3、洗衣机10
‑
4、冰箱10
‑
5和智能手表10
‑
6。
158.(a)由能够语音大声读出的自装置输出的情况
159.在图9中，智能扬声器10
‑
1、智能电话10
‑
2和电视接收器10
‑
3是包括“语音”作为输出模态并且能够大声读出信息的装置。
160.例如，假设这样的情况，其中用户发出“告诉我本周天气”的话语并且用户已经将“始终期望语音大声读出”注册为期望的输出模态。
161.此时，由于智能扬声器10a
‑
1包括“语音”作为输出模态，所以例如智能扬声器作为自装置进行操作，大声读出文本“每周天气。星期一到星期三将是晴天，星期五和星期六将下雨。最高温度
……”
，并且从扬声器102
‑
2输出与期望的输出模态相对应的文本。
162.这样，在能够语音大声读出的自装置应对期望语音大声读出的用户的情况下，自装置通过语音大声读出输出信息而不执行装置链接。虽然该示例已经图示了智能扬声器10a
‑
1执行例如大声读出的情况，但是注意，智能电话10
‑
2或电视接收器10
‑
3可以根据环境信息等执行大声读出。
163.(b)请求从能够语音大声读出的链接装置输出的情况
164.在图10中，洗衣机10
‑
4和冰箱10
‑
5包括作为输出模态的“电子声音”，但不包括“语音”，并且不是能够语音大声读出信息的装置。
165.例如，假设这样的情况，其中洗衣机10
‑
4完成洗涤并且执行该洗涤的用户已经将“始终期望语音大声读出”注册为期望的输出模态。
166.此时，由于洗衣机10a
‑
4作为自装置进行操作，但不包括“语音”作为输出模态，所以洗衣机参考链接装置信息表，并且决定智能扬声器10b
‑
1作为包括“语音”作为输出模态的链接装置。洗衣机10a
‑
4经由家庭网络30向智能扬声器10b
‑
1发送用于输出洗涤已经完成的事实的输出命令。
167.因此，智能扬声器10b
‑
1接收从洗衣机10a
‑
4发送的输出命令，大声读出文本“洗涤完成”，并且从扬声器102
‑
2输出与期望的输出模态相对应的文本。
168.这样，在不能执行语音大声读出的自装置应对期望语音大声读出的用户的情况下，链接装置通过执行装置链接并通过自装置从链接装置请求输出来语音大声读出信息。
169.(c)能够屏幕输出的自装置对输出进行输出的情况
170.在图11中，智能电话10
‑
2、电视接收器10
‑
3和智能手表10
‑
6包括作为输出模态的“屏幕”，并且是能够屏幕输出信息的装置。
171.例如，假设这样的情况，其中用户发出“告诉我本周天气”的话语并且用户已经将“始终期望屏幕输出”注册为期望的输出模态。
172.此时，由于电视接收器10a
‑
3包括作为输出模态的“屏幕”，所以例如电视接收器作为自装置进行操作，并且从显示器102
‑
1输出与期望的输出模态相对应的关于每周天气的信息。
173.这样，在能够屏幕输出的自装置应对期望屏幕输出的用户的情况下，自装置通过屏幕输出来输出信息而不执行装置链接。尽管在该示例中示出了电视接收器10
‑
3执行屏幕输出的情况，但是注意，智能电话10
‑
2或智能手表10
‑
6可以根据例如环境信息等来执行屏幕输出。
174.(d)从能够屏幕输出的链接装置请求输出的情况
175.在图12中，智能扬声器10
‑
1包括“语音”作为输出模态，但不包括“屏幕”，因此不是能够屏幕输出信息的装置。
176.例如，假设这样的情况，其中用户发出“告诉我本周天气”的话语并且用户已经将“始终期望屏幕输出”注册为期望的输出模态。
177.此时，由于智能扬声器10a
‑
1作为自装置进行操作但不包括作为输出模态的“屏幕”，所以智能扬声器参考链接装置信息表并决定电视接收器10b
‑
3作为包括作为输出模态的“屏幕”的链接装置。智能扬声器10a
‑
1经由家庭网络30向电视接收器10b
‑
3发送用于输出关于每周天气的信息的输出命令。
178.因此，电视接收器10b
‑
3接收从智能扬声器10a
‑
1发送的输出命令，并且从显示器102
‑
1输出与期望的输出模态相对应的关于每周天气的信息。
179.这样，在不能执行屏幕输出的自装置应对期望屏幕输出的用户的情况下，链接装置通过执行装置链接并通过自装置从链接装置请求输出由屏幕输出来输出信息。
180.如以上所描述的，在本技术中，一个装置(自装置)借用另一装置(链接装置)的输出模态，使得即使该装置具有有限的输出模态，该链接装置也可以使用每个用户的最佳输出模态来输出信息。
181.即，尽管通常的做法是考虑可访问性并选择最佳输出模态，但前提是该装置本身包括诸如屏幕输出或语音大声读出的输出模态，并且因此输出模态在家用电器中特别受限，并且在这种情况下难以设置可达性。
182.特别地，在使用电子装置10的用户中，存在例如视觉或听觉上身体有缺陷的人，或者需要考虑可达性的用户，例如儿童和老年人。对于这些用户，如果电子装置10的输出模态是有限的，则不可能正确地从装置接收反馈。
183.例如，当在视觉受损用户向仅具有“屏幕”作为输出模态的装置询问每周天气的情况下仅通过屏幕输出来输出关于每周天气的信息时，用户不能确认显示在屏幕上的信息。另一方面，在本技术中，即使仅具有“屏幕”作为输出模态的装置(自装置)也可以通过借用另一装置(链接装置)的输出模态而通过语音输出每周天气，并且因此可以充分考虑可达性。
184.此外，例如，在从仅具有“语音”作为对听力受损用户的输出模态的装置大声读出消息的情况下，用户不能确认大声读出的语音。另一方面，在本技术中，即使仅具有“语音”作为输出模态的装置(自装置)也可以通过借用另一装置(链接装置)的输出模态的屏幕输出来输出关于每周天气的信息。
185.接下来，将描述使用应用本技术的电子装置的情况的各种示例。
186.(链接装置选择处理的流程)
187.首先，将参考图13的流程图描述由电子装置10a(的处理单元100)执行的链接装置选择处理的流程。
188.该链接装置选择处理是与于图5的步骤s16相对应的处理，并且是在存在具有用户期望的输出模态的多个链接装置的情况下从链接装置中选择输出目的地的链接装置的处理。
189.这里示出的是两个装置，即智能电话10b
‑
2和电视接收器10b
‑
3作为具有用户期望的输出模态(例如，屏幕输出、语音大声读出等)的链接装置存在的情况。
190.然而，由于电视接收器10b
‑
3被设置为默认输出目的地，所以这里根据情况选择智能电话10b
‑
2作为输出目的地。此外，接收信息的用户被称为用户a。
191.在步骤s31中，输出模态决定单元122基于诸如环境信息的信息在电视接收器10b
‑
3和智能电话10b
‑
2中的每一个上获取关于离用户a的距离的距离信息。
192.这里，分别获取关于电视接收器10b
‑
3与用户a之间的距离的信息，以及关于智能电话10b
‑
2与用户a之间的距离的信息，并且该距离信息可以例如由作为自装置的电子装置10a来计算或者从另一电子装置10获取。
193.在步骤s32中，输出模态决定单元122基于距离信息确定用户a是否存在于电视接收器10b
‑
3的预定范围内(例如，在5m的半径内)。注意，诸如5m半径内的预定范围可以由设计者或用户适当地设置。
194.在步骤s32的确定处理中确定用户a存在于电视接收器10b
‑
3的预定范围内的情况下，处理进行到步骤s33。
195.在步骤s33中，输出模态决定单元122基于诸如图像信息或环境信息的信息来确定在电视接收器10b
‑
3周围是否仅存在用户a(例如，前方位置)。
196.在步骤s33的确定处理中确定在附近区域仅存在用户a的情况下，处理进行到步骤s34。
197.在步骤s34中，输出模态决定单元122选择电视接收器10b
‑
3作为输出目的地链接装置，并且经由家庭网络30发送输出命令以从电视接收器10b
‑
3输出(例如，屏幕输出)详细信息。因此，用户a可以看到例如在电视接收器10b
‑
3上显示的详细信息。
198.此外，在步骤s33的确定处理中确定在附近区域存在用户a以外的人的情况下，处理进行到步骤s35和s36。
199.即，输出模态决定单元122经由家庭网络30向电视接收器10b
‑
3发送输出命令，以从电视接收器10b
‑
3提示用户a观看智能电话10b
‑
2(s35)。此外，输出模态决定单元122经由家庭网络30向智能电话10b
‑
2发送输出命令，以从用户a拥有的智能电话10b
‑
2输出(屏幕输出)详细信息(s36)。
200.这样，为了避免在其他人的前面输出(屏幕输出)关于用户a的信息，电视接收器10b
‑
3的输出限于简单的通知，并且从用户a拥有的智能电话10b
‑
2输出(屏幕输出)信息的细节。
201.另一方面，在步骤s32的确定处理中确定用户a不存在于电视接收器10b
‑
3的预定范围内的情况下，处理进行到步骤s37。
202.在步骤s37中，输出模态决定单元122基于距离信息确定用户a是否存在于智能电话10b
‑
2的预定范围内(例如，在5m的半径内)。注意，诸如5m半径内的预定范围可以由设计者或用户适当地设置。
203.在步骤s37的确定处理中确定用户a存在于智能电话10b
‑
2的预定范围内的情况下，处理进行到步骤s36。
204.在步骤s36中，输出模态决定单元122经由家庭网络30向智能电话10b
‑
2发送输出命令，以从用户a拥有的智能电话10b
‑
2输出(屏幕输出)详细信息。
205.此外，在步骤s37的确定处理中确定用户a不存在于智能电话10b
‑
2的预定范围内的情况下，处理进行到步骤s38。
206.在步骤s38中，输出模态决定单元122经由家庭网络30向电视接收器10b
‑
3发送输出命令，以从电视接收器10b
‑
3输出(屏幕输出)概要信息。
207.即，由于在这种情况下电视接收器10b
‑
3和智能电话10b
‑
2都远离用户a，所以仅从设置为默认输出目的地的电视接收器10b
‑
3输出信息的概要。
208.当步骤s34、s35、s36和s38的处理结束时，链接装置选择处理终止。
209.以上已经描述了链接装置选择处理的流程。在该链接装置选择处理中，在存在具有相同输出模态的多个链接装置的情况下，可以通过感测用户周围的环境来选择最佳链接装置。
210.这里，装置的优先级排序可以通过用于从多个链接装置中选择最佳链接装置的某种规则来预先决定。
211.例如，通过如以上所描述的将电视接收器10b
‑
3设置为默认输出目的地，在将屏幕输出或语音大声读出设置为用户期望的输出模态的情况下，首先从电视接收器10b
‑
3输出信息。可替换地，在存在具有用户期望的输出模态的多个链接装置的情况下，例如，可以以存储在链接装置信息表(图7)中的装置id的升序来选择装置。
212.此外，在从多个链接装置中选择最佳链接装置的处理中可以使用诸如语音信息、图像信息和环境信息的各种信息。
213.例如，在选择链接装置的处理中考虑关于设备是否存在于用户附近的信息的情况下，仅需要使用诸如图像信息或环境信息(包括感测信息)等信息来计算用户与装置之间的位置关系。此外，在考虑关于谁在使用该装置的信息的情况下，例如，可以通过使用图像信息或语音信息来执行使用面部或语音的用户识别。
214.此外，在选择链接装置的处理中，通过例如基于感测信息计算指示用户的面部朝向或视线的信息，可以考虑诸如装置是否在用户的视野中，或者用户是否注意到装置的信息。此外，可以考虑要给出其通知的信息(消息)的内容。例如，如果该信息包括个人信息，则用户可能不希望该信息被其他用户看到或听到，并且因此有必要考虑该信息来选择链接装置。
215.此外，在考虑用户期望的输出模态的情况下，重要的是，例如，如果期望屏幕输出，则显示器在用户的视场中，并且可以基于诸如图像信息或环境信息的信息在用户的视野中优先选择链接装置(的显示)。此外，例如，如果用户期望语音大声读出，重要的是，从链接装置(的扬声器)输出的语音具有可以到达用户耳朵的距离和音量，并且可以基于诸如语音信息、图像信息、环境信息等的信息来优先选择用户附近的链接装置(的扬声器)。
216.具体地，假设这样的情况，其中特定家用电器(自装置)可以请求从安装在起居室中的电视接收器10b
‑
3和安装在卧室中的智能扬声器10b
‑
1输出信息，作为能够在用户家中进行语音大声读出的链接装置。此时，用户将语音大声读出设置为期望的输出模态。
217.在这种情况下，当用户在起居室中时，内置在电视接收器10b
‑
3中的图像传感器103
‑
2捕获该情况，并且选择电视接收器10b
‑
3作为链接装置。因此，在起居室中，用户可以通过电视接收器10b
‑
3确认大声读出的语音的内容(信息)。
218.(第二候选模态选择处理的流程)
219.接下来，将参考图14的流程图描述由电子装置10a(的处理单元100)执行的第二候选模态选择处理的流程。
220.这里，假设这样的场景，其中作为自装置的智能扬声器10a
‑
1试图选择作为链接装置的电视接收器10b
‑
3并且从电视接收器10b
‑
3输出(例如，屏幕输出)信息，但用户a不在电视接收器10b
‑
3附近。然而，“发光”(由光发射模式通知)此时被设置为第二候选输出模态。
221.在步骤s51中，输出模态决定单元122基于诸如环境信息的信息获取关于电视接收器10b
‑
3与用户a之间的距离的距离信息。该距离信息可以由作为自装置的智能扬声器10a
‑
1计算，或者可以从诸如电视接收器10b
‑
3的另一电子装置10获取。
222.在步骤s52中，输出模态决定单元122基于距离信息确定用户a是否存在于电视接收器10b
‑
3的预定范围内(例如，在5m的半径内)。
223.在步骤s52的确定处理中确定用户a存在于电视接收器10b
‑
3的预定范围内的情况下，处理进行到步骤s53，并且从电视接收器10b
‑
3输出信息(屏幕输出)。因此，用户a可以看到例如在电视接收器10b
‑
3上显示的信息。
224.另一方面，在步骤s52的确定处理中确定用户a不存在于电视接收器10b
‑
3的预定范围内的情况下，处理进行到步骤s54。
225.在步骤s54中，输出模态决定单元122基于从诸如环境信息的信息获得的距离信息来确定用户a是否存在于智能扬声器10a
‑
1的预定范围内(例如，在5m的半径内)。
226.这里，虽然智能扬声器10a
‑
1和智能手表10
‑
6被设置为具有为“发光”的第二候选输出模态的装置，但是作为自装置的智能扬声器10
‑
1a试图通过作为链接装置的电视接收器10b
‑
3输出(屏幕输出)信息，并且因此首先检查是否可以利用智能扬声器10a
‑
1的led给出通知。
227.在步骤s54的确定处理中确定用户a存在于智能扬声器10a
‑
1的预定范围内的情况下，处理进行到步骤s55，并且执行步骤s55和s53的处理。
228.即，输出模态决定单元122选择自装置作为具有第二候选的输出模态的设备，并且向灯102
‑
5提供输出命令以使智能扬声器10a
‑
1的led发光并提示用户a观看电视接收器10b
‑
3(s55)。
229.此外，输出模态决定单元122经由家庭网络30向电视接收器10b
‑
3发送输出命令，以从电视接收器10b
‑
3输出(屏幕输出)信息(s53)。因此，例如，当用户a确认智能扬声器10a
‑
1的led发光时，用户a可以看到响应于该发光而显示在电视接收器10b
‑
3上的信息。
230.此外，在步骤s54的确定处理中确定用户a不存在于智能扬声器10a
‑
1的预定范围内的情况下，处理进行到步骤s56。
231.在步骤s56中，输出模态决定单元122基于从诸如环境信息的信息获得的距离信息来确定用户a是否存在于智能手表10
‑
6的预定范围内(例如，在5m的半径内)。
232.这里，由于在较早检查的智能扬声器10a
‑
1处的led不能给出具有为“发光”的第二候选输出模态的装置的通知，所以随后检查是否可以用智能手表10
‑
6的led给出通知。
233.在步骤s56的确定处理中确定用户a存在于智能手表10
‑
6的预定范围内的情况下，处理进行到步骤s57，并且执行步骤s57和s53的处理。
234.即，输出模态决定单元122选择智能手表10b
‑
6作为具有第二候选输出模态的输出目的地链接装置，并且经由家庭网络30发送输出命令以使智能手表10b
‑
6的led发光并提示用户a观看电视接收器10b
‑
3(s57)。
235.此外，输出模态决定单元122经由家庭网络30向电视接收器10b
‑
3发送输出命令，
以从电视接收器10b
‑
3输出(屏幕输出)信息(s53)。因此，例如，当用户a确认智能手表10b
‑
6的led发光时，用户a可以看到响应于该发光而显示在电视接收器10b
‑
3上的信息。
236.此外，在步骤s56的确定处理中确定用户a不存在于智能手表10b
‑
6的预定范围内的情况下，处理进行到步骤s53，并且从电视接收器10b
‑
3输出信息(屏幕输出)。即，由于即使在这种情况下使用第二候选输出模态也难以通知用户，所以仅通过电视接收器10b
‑
3的屏幕输出来执行输出。
237.当步骤s53的处理结束时，第二候选模态选择处理终止。
238.以上已经描述了第二候选模态选择处理的流程。在该第二候选模态选择处理中，在由用户设置期望的输出模态的处理中设置第二候选输出模态，从而即使在用户附近没有具有期望的输出模态的链接装置的情况下，也可以从具有第二候选输出模态的链接装置输出信息。
239.尽管在以上示例中，在“屏幕输出”被设置为期望的输出模态的情况下，“发光”被设置为第二候选输出模态，但是本发明不限于此，并且可以使用任何组合，例如，在“语音大声读出”被设置为期望的输出模态的情况下，“电子声音”(通过音调或模式通知)被设置为第二候选输出模态。
240.这里，选择第二候选输出模态所需的信息可以包括例如以下信息。
241.即，可以基于诸如图像信息或环境信息的信息来考虑指示用户与具有用户期望的输出模态的链接装置之间的位置关系的信息。此外，可以考虑指示用户与自装置(试图输出信息的装置)之间的位置关系，或用户与具有第二候选输出模态的链接装置之间的位置关系的信息。
242.在给出其通知的信息内容很重要的情况下，注意，即使用户不在附近，也必须使用户注意该通知。
243.此外，在具有用户期望的输出模态的链接装置中没有一个在用户附近的情况下，例如，即使当未设置第二候选输出模态时，也可以采取以下措施。
244.即，在装置主动向用户通知信息的情况下，用户可能不在装置附近。在这种情况下，多个装置可以彼此链接地吸引用户的注意力，并且使用户主动获得信息。
245.例如，假设这样的场景，其中已经将屏幕输出设置为期望的输出模态的用户已经离开安装有电视接收器和智能电话的房间，并且该装置试图将该信息通知给用户。即，在该场景中，没有能够在用户附近执行屏幕输出的装置。
246.此时，智能扬声器安装在用户移动到的房间中，并且该智能扬声器使得用户通过例如以特殊模式使led发光来识别信息通知的存在，从而提示用户返回到起居室。因此，已经返回到起居室的用户可以确认从智能电话或电视接收器的屏幕输出。
247.此外，与动物形状或人形状的家用机器人或诸如机器人真空吸尘器的自推进设备链接地，例如，在用户不在如以上所描述的试图给出信息通知的装置附近的情况下，狗形状的机器人也可以追逐用户并使用户识别信息通知的存在。
248.(最佳输出模态选择处理的流程)
249.接下来，将参考图15和图16的流程图描述由电子装置10a(的处理单元100)执行的最佳输出模态选择处理的流程。
250.注意，例如，在图5的输出模式决定处理中的步骤s11的确定处理中确定信息输出
目的地不是注册用户的情况(图5的s11中的“否”)下，或者在步骤s12的确定处理中确定期望的输出模态没有被注册的情况下(图5的s12中为“否”)，执行该最佳输出模态选择处理。
251.即，尽管在用户未注册的情况下或在图5的输出模态决定处理中未设置期望的输出模态的情况下在步骤s17的处理中选择默认输出模态，但是即使在这种情况下也通过使用诸如图像信息或环境信息的信息来选择最佳输出模态。
252.这里，将参考图15的流程图首先描述在信息输出目的地是未注册用户的情况下或者即使信息输出目的地是注册用户也没有设置期望的输出模态的情况下，从用户及其环境状态选择最佳输出模态的最佳模态选择处理的流程。
253.在步骤s71中，环境识别单元123获取用户及其附近区域的感测信息作为环境信息。因此，环境识别单元123可以基于获取的感测信息来识别用户及其环境状态。
254.在步骤s72中，环境识别单元123基于环境识别结果确定用户是否可以看到屏幕。
255.在步骤s72的确定处理中确定用户可以看到屏幕的情况下，处理进行到步骤s73。
256.在步骤s73中，输出模态决定单元122向显示器102
‑
1提供输出命令，并且通过屏幕输出来输出信息。因此，在用户可以看到屏幕的情况下，通过屏幕输出来输出信息。
257.此时，在自装置不具有屏幕输出功能的情况下，注意，通过执行装置链接并经由家庭网络30向链接装置发送输出命令来执行来自链接装置的信息的屏幕输出。
258.另一方面，在步骤s72的确定处理中确定用户不能看到屏幕的情况下，处理进行到步骤s74。即，由于假设如果在例如用户正注意书籍的情况下通过屏幕输出来输出信息，则用户不会注意信息，所以这里选择语音大声读出。
259.在步骤s74中，环境识别单元123基于环境识别结果确定用户周围的噪声水平是否高于预定阈值。
260.在步骤s74的确定处理中确定用户周围的噪声水平高于阈值的情况下，处理进行到步骤s75。
261.在步骤s75中，输出模态决定单元122分别向显示器102
‑
1和扬声器102
‑
2提供输出命令，并且通过语音大声读出和屏幕输出来输出信息。此时，在自装置不具有语音大声读出和屏幕显示功能中的至少一个的情况下，注意，通过执行装置链接并将输出命令发送到链接装置，来自链接装置的信息通过语音大声读出或屏幕输出来输出。
262.此外，在步骤s74的确定处理中确定用户周围的噪声水平低于阈值的情况下，处理进行到步骤s76。
263.在步骤s76中，输出模态决定单元122向扬声器102
‑
2提供输出命令，并且通过语音大声读出来输出信息。此时，在自装置不具有语音大声读出功能的情况下，注意，通过执行装置链接并且将输出命令发送到链接装置，来自链接装置的信息通过语音大声读出来输出。
264.因此，在环境噪声电平低的情况下，由于用户可以容易地听到语音，所以仅通过语音大声读出来输出信息(s76)。另一方面，例如，在用户佩戴耳机而不能听到声音的情况下，或者在环境噪声水平高的情况下，选择屏幕输出而不是语音大声读出，并且可以使用多个输出模态输出信息(s75)。
265.当步骤s73、s75和s76的任何处理结束时，最佳输出模态选择处理终止。
266.接下来，将参考图16的流程图描述在信息输出目的地是未注册用户的情况下或即
使信息输出目的地是注册用户也没有设置期望的输出模态的情况下，从用户属性选择最佳输出模态的最佳输出模态选择处理的流程。
267.在步骤s91中，用户识别单元121基于图像信息或语音信息估计用户属性。用户属性包括例如诸如年龄和性别的信息。
268.在步骤s92中，输出模态决定单元122参考用户属性/输出模态对应表。例如，该用户属性/输出模态对应表由服务器40经由因特网50提供。
269.在步骤s93中，输出模态决定单元122确定在用户属性/输出模态对应表中是否描述了与估计的用户属性相对应的输出模态的变化。
270.在步骤s93的确定处理中确定描述了与估计的用户属性相对应的输出模态的变化的情况下，处理进行到步骤s94。
271.在步骤s94中，输出模态决定单元122输出反映用户属性/输出模态对应表中描述的输出模态的变化的信息。
272.这里，图17示出了用户属性/输出模态对应表的示例。在该用户属性/输出模态对应表中，为诸如年龄或性别的每个用户属性存储输出模态变化。
273.具体地，“通过语音大声读出而不是电子声音输出”和“此时将音量增加1.2倍”被注册为“估计年龄为70岁或以上”的用户属性的输出模态变化。此外，“在屏幕输出的情况下使用平假名而不是日本汉字”被注册为“估计年龄小于10岁”的用户属性的输出模态变化。
274.这样，在未注册或未设置期望的输出模态的用户的属性被估计(识别)为老年人(例如，70岁或以上)的情况下，例如，在语音大声读出中输出1.2倍于正常音量的音量。注意，例如音量增加多少倍的设置由例如设计者决定。
275.返回到图16的描述，在步骤s93的确定处理中确定没有描述与估计的用户属性相对应的输出模态的变化的情况下，处理进行到步骤s95。在步骤s95中，输出模态决定单元122使用默认输出模态输出信息。
276.当步骤s94或s95的处理结束时，最佳输出模态选择处理终止。
277.以上已经描述了最佳输出模态选择处理的流程。在该最佳输出模态选择处理中，可以为尚未注册或尚未设置期望的输出模态的用户选择更佳的输出模态而不是默认输出模态。
278.这里，选择最佳输出模态所需的信息可以包括例如以下信息。即，关于用户的行为历史的信息(例如，视线或面部朝向的跟踪、对象识别等)，关于诸如年龄或性别的用户属性的估计结果的信息，以及关于周围环境的识别的信息(例如，环境噪声状态等)。
279.(多个人使用的装置的示例)
280.例如，在可以选择诸如安装在起居室中的电视接收器10
‑
3的多个输出模态并且多个人(例如家庭成员等)使用一个电子装置10的情况下，为每个用户设置优先级排序，并且可以根据优先级排序使用期望的输出模态来执行输出。
281.另一方面，关于诸如电子邮件和消息的通知，以及诸如明天天气和今天的日程的临时通知，可以根据链接装置的使用状态来分类出信息输出目的地。
282.例如，通过参考图18所示的用户信息表，可以选择用于全家观看电视的输出模态。即，在图18的用户信息表中，添加优先级作为每个用户id的项，并且按照yuki、hiroshi、yuta和yuzo的顺序设置优先级。
283.这里，由于用户id 02yuki(始终期望屏幕输出)的优先级被设置为最高，所以字幕模式始终打开。在yuki不在起居室中的情况下，注意，具有次高优先级的用户id 01的hiroshi的设置是优先的。
284.此外，在yuki正在观看电视的情况下，例如在屏幕输出上显示对yuki的信息通知，例如在屏幕上弹出信息。另一方面，在除了yuki之外的家庭成员正在观看电视的情况下，通过例如yuki拥有的智能电话10
‑
2的屏幕输出来执行向yuki的信息通知。
285.(用户信息设置屏幕的示例)
286.如以上所描述的，通过在电子装置10上显示设置屏幕，在诸如购买电子装置10的时刻注册用户信息。图19示出了在智能电话10
‑
2的显示器102
‑
1上显示的用户信息设置屏幕210的示例。
287.在图19中，与用户信息表的项相对应地在用户信息设置屏幕210上显示用户名称、性别、年龄和期望的输出模态的项，并且通过执行输入或选择对应于这些项的信息的操作等，在服务器40的用户信息存储单元401(的用户信息表)中注册用户信息。
288.(链接确认信息的示例)
289.此外，在装置链接期间响应于主装置的请求从链接装置输出信息的情况下，可以给出链接确认信息的通知以使用户确认从链接装置输出信息。图20示出在装置链接期间的链接确认信息的示例。
290.例如，在图20中，电视接收器10
‑
3响应于来自主装置的请求通过语音大声读出来输出信息。此时，电视接收器10
‑
3将用于给出响应于主装置的请求而执行语音大声读出的通知的信息(例如，耳朵图标等)显示为链接确认信息220。因此，用户可以看到链接确认信息220，并且响应于来自主装置的请求确认电视接收器10
‑
3正在执行语音大声读出。
291.(系统的其它配置)
292.图21示出了包括应用本技术的电子装置的系统的实施例的配置的另一示例。
293.在图21中，电子装置10
‑
1至10
‑
n(n：等于或大于2的整数)经由家庭网络30彼此连接。
294.电子装置10
‑
1被配置为诸如信息装置的装置，并且存储用户信息存储单元401和链接装置信息存储单元402。电子装置10
‑
1响应于来自电子装置10
‑
2至10
‑
n中的任何一个的请求，经由家庭网络30发送用户信息或链接装置信息。
295.电子装置10
‑
2至10
‑
n可以基于经由家庭网络30从电子装置10
‑
1接收的用户信息和链接装置信息来执行诸如以上描述的输出模态决定处理(图5)的处理。
296.注意，电子装置10
‑
1可以大声读出存储在用户信息存储单元401和链接装置信息存储单元402中的用户信息和链接装置信息，并且执行诸如以上描述的输出模态决定处理(图5)的处理。
297.此外，电子装置10
‑
1可以代替电子装置10
‑
2至10
‑
n执行诸如以上描述的输出模态决定处理(图5)的处理，并且将处理结果发送到电子装置10
‑
2至10
‑
n。此外，电子装置10
‑
1可以被配置为将用户信息存储单元401和链接装置信息存储单元402作为数据库进行管理的服务器。
298.这样，当电子装置10
‑
1至10
‑
n中的预定电子装置10用作主机并且另一电子装置10向主机进行查询时，获取用户信息和链接装置信息，并且执行装置链接。
299.尽管以上描述已经说明了本地侧的电子装置10a中的处理单元100具有用户识别单元121、输出模态决定单元122和环境识别单元123，但是注意，用户识别单元121到环境识别单元123的功能的全部或部分可以并入云侧的服务器40中。即，用户识别单元121至环境识别单元123中的每一个可以被并入本地侧的电子装置10a或云侧的服务器40中。
300.此外，在以上描述中，语音ai助理服务是理解用户的话语意图并根据其内容提供适当输出的服务。此外，智能扬声器是具有与交互式语音操作相对应的ai助理功能的扬声器。智能手表是配备有小显示器和cpu的多功能手表型可穿戴设备。
301.<2.系统配置>
302.以上已经描述了本技术的实施例。如以上所描述的，应用本技术的电子装置10包括处理单元100、输入单元101和输出单元102，并且这些部件由一个或多个信息处理设备实现。以下描述将说明实现配置为系统的电子装置10的信息处理设备的组合的示例，以及更具体的示例。
303.(第一示例)
304.图22示出了应用本技术的系统的实施例的配置的第一示例。
305.在图22中，系统1包括信息处理设备10。处理单元100、输入单元101和输出单元102都在信息处理设备10中实现。信息处理设备10可以用作如下所描述的终端设备或服务器。
306.在该第一示例中，信息处理设备10可以是不经由网络与外部设备通信以实现根据本技术的实施例的功能的独立设备。注意，信息处理设备10可以与外部设备通信以用于其它功能，并且因此不必是独立设备。
307.输入单元101与处理单元100之间的接口150a以及处理单元100与输出单元102之间的接口160a均可用作设备中的接口。
308.在第一示例中，信息处理设备10被配置为例如终端设备。在这种情况下，输入单元101可以包括输入设备、传感器、从外部服务获取信息的软件等。从外部服务获取信息的软件从例如用于在终端设备中执行的服务的应用软件获取数据。
309.当包括在终端设备中的处理器或处理电路根据存储在存储器或存储设备中的程序操作时，实现处理单元100。输出单元102可以包括输出设备、控制设备、向外部服务提供信息的软件等。向外部服务提供信息的软件可以向例如在终端设备中执行的服务的应用软件提供信息。
310.可替换地，在第一示例中，信息处理设备10可以是服务器。在这种情况下，输入单元101可以包括从外部服务获取信息的软件。从外部服务获取信息的软件从例如外部服务的服务器(其可以是信息处理设备10本身)获取数据。
311.当包括在终端设备中的处理器根据存储在存储器或存储设备中的程序操作时，实现处理单元100。输出单元102可以包括向外部服务等提供信息的软件。向外部服务提供信息的软件向例如外部服务的服务器(其可以是信息处理设备10本身)提供信息。
312.(第二示例)
313.图23示出了应用本技术的系统的实施例的配置的第二示例。
314.在图23中，系统1包括信息处理设备10和11。处理单元100在信息处理设备10中实现。另一方面，输入单元101和输出单元102在信息处理设备11中实现。
315.信息处理设备10和信息处理设备11经由网络彼此通信，以实现根据本技术的实施
例的功能。输入单元101与处理单元100之间的接口150b以及处理单元100与输出单元102之间的接口160b都可以用作设备之间的通信接口。
316.在第二示例中，信息处理设备11被配置为例如终端设备。在这种情况下，与以上描述的第一示例类似，输入单元101可以包括输入设备、传感器、从外部服务获取信息的软件等。类似于以上描述的第一示例，输出单元102还可以包括输出设备、控制设备、向外部服务提供信息的软件等。
317.可替换地，信息处理设备11可以是用于与外部服务交换信息的服务器。在这种情况下，输入单元101可以包括从外部服务获取信息的软件。此外，输出单元102可以包括向外部服务提供信息的软件。
318.此外，在第二示例中，信息处理设备10被配置为服务器或终端设备。当包括在信息处理设备10中的处理器或处理电路根据存储在存储器或存储设备中的程序操作时，实现处理单元100。
319.信息处理设备10可以是被配置为例如服务器的专用设备。在这种情况下，信息处理设备10可以安装在数据中心等中，或者可以安装在家中。
320.可替换地，信息处理设备10可以是这样的设备，该设备不实现关于根据本技术的实施例的功能的输入单元101和输出单元102，而是可以用作关于其它功能的终端设备。在以下示例中，信息处理设备10可以是以上描述的意义上的服务器或终端设备。
321.这里作为示例考虑信息处理设备11是可穿戴设备，并且信息处理设备10是通过蓝牙(注册商标)等与可穿戴设备连接的移动设备的情况。
322.在可穿戴设备接受(输入单元101)用户的操作输入，并且移动设备基于根据操作输入发送的请求执行(处理单元100)处理并从可穿戴设备输出(输出单元102)处理结果的情况下，可以说可穿戴设备用作以上描述的第二示例中的信息处理设备11，并且移动设备用作信息处理设备10。
323.(第三示例)
324.图24示出了应用本技术的系统的实施例的配置的第三示例。
325.在图24中，系统1包括信息处理设备10、11a和11b。处理单元100在信息处理设备10中实现。此外，输入单元101在信息处理设备11a中实现。输出单元102在信息处理设备11b中实现。
326.信息处理设备10和信息处理设备11a和11b经由网络彼此通信，以便实现根据本技术的实施例的功能。输入单元101与处理单元100之间的接口150b以及处理单元100与输出单元102之间的接口160b都可以用作设备之间的通信接口。
327.然而，在第三示例中，由于信息处理设备11a和信息处理设备11b是单独的设备，所以接口150b和160b可以包括不同类型的接口。
328.在第三示例中，信息处理设备11a和11b被配置为例如终端设备。在这种情况下，与以上描述的第一示例类似，输入单元101可以包括输入设备、传感器、从外部服务获取信息的软件等。类似于以上描述的第一示例，输出单元102还可以包括输出设备、控制设备、向外部服务提供信息的软件等。
329.可替换地，信息处理设备11a和11b中的一个或两者可以是用于从外部服务获取信息并向外部服务提供信息的服务器。在这种情况下，输入单元101可以包括从外部服务获取
信息的软件。此外，输出单元102可以包括向外部服务提供信息的软件。
330.此外，在第三示例中，与以上描述的第二示例类似的，信息处理设备10被配置为服务器或终端设备。当包括在信息处理设备10中的处理器或处理电路根据存储在存储器或存储设备中的程序操作时，实现处理单元100。
331.在以上描述的第三示例中，实现输入单元101的信息处理设备11a和实现输出单元102的信息处理设备11b是单独的设备。因此，例如实现了将基于由信息处理设备11a获取的输入的处理结果从信息处理设备11b输出的功能，处理设备11a是第一用户所拥有或使用的终端设备，信息处理设备11b是不同于第一用户的第二用户所拥有或使用的终端设备。
332.此外，还实现了将基于由信息处理设备11a获取的输入的处理结果从信息处理设备11b输出的功能，信息处理设备11a是第一用户所拥有或使用的终端设备，信息处理设备11b是在当时不在第一用户附近的终端设备(例如，在用户不在家中期间位于家中)。
333.可替换地，信息处理设备11a和信息处理设备11b可以都是同一用户拥有或使用的终端设备。例如，在信息处理设备11a和11b是要安装在用户的不同部位上的可穿戴设备的情况下，或者在信息处理设备是可穿戴设备和移动设备的组合的情况下，可以向用户提供通过链接这些设备而获得的功能。
334.(第四示例)
335.图25示出了应用本技术的系统的实施例的配置的第四示例。
336.在图25中，系统1包括信息处理设备10和11。在第四示例中，处理单元100是分布式的并且实现在信息处理设备10和信息处理设备11中。另一方面，输入单元101和输出单元102在信息处理设备11中实现。
337.信息处理设备10和信息处理设备11经由网络彼此通信，以便实现根据本技术的实施例的功能。
338.如以上所描述的，在该第四示例中，处理单元100是分布式的并且实现在信息处理设备10和信息处理设备11中。更具体地，处理单元100包括由信息处理设备10实现的处理单元100b，以及由信息处理设备11实现的处理单元100a和100c。
339.处理单元100a基于经由接口150a从输入单元101提供的信息执行处理，并且将处理结果提供给处理单元100b。在此意义上，可以说处理单元100a执行预处理。
340.另一方面，处理单元100c基于从处理单元100b提供的信息执行处理，并且经由接口160a将处理结果提供给输出单元102。在这个意义上，可以说处理单元100c执行后处理。
341.尽管在示出的示例中示出了执行预处理的处理单元100a和执行后处理的处理单元100c，但是注意，实际上可以仅存在其中之一。
342.即，信息处理设备11可以实现执行预处理的处理单元100a，但不实现执行后处理的处理单元100c，并且从处理单元100b提供的信息可以被原样提供给输出单元102。类似地，信息处理设备11可以实现执行后处理的处理单元100c，但不实现执行预处理的处理单元100a。
343.接口170b分别插置于处理单元100a与处理单元100b之间，以及处理单元100b与处理单元100c之间。接口170b是装置之间的通信接口。
344.另一方面，在信息处理设备11实现处理单元100a的情况下，接口150a是设备中的接口。类似地，在信息处理设备11实现处理单元100c的情况下，接口160a是设备中的接口。
345.注意，除了处理单元100a和处理单元100c中的一个或两者由包括在信息处理设备11中的处理器或处理电路实现之外，以上描述的第四示例类似于以上描述的第二示例。即，信息处理设备11被配置为用于与终端设备或外部服务交换信息的服务器。此外，信息处理设备10被配置为服务器或终端设备。
346.(分布式系统的示例)
347.接下来，参考图26描述系统1的其它配置示例。图26示出了分布式系统，该分布式系统作为根据应用本技术的系统的实施例的配置的其它特定示例中的一个。
348.在图26中，信息处理设备10(或信息处理设备11a和11b)是节点，并且这些信息处理设备10经由网络彼此连接。
349.在图26所示的分布式系统中，可以使设备彼此链接地单独操作，以分布式方式管理数据，并且进行分布式处理。因此，可以减少处理负载，提高实时性能(提高响应时间和处理速度)，并确保安全性。
350.此外，在该分布式系统中，还可以以分布式协作方式执行机器学习，并且可以处理大量数据。
351.此外，图26中所示的分布式系统不需要集中式系统中的服务器，并且可以相互监视数据以确保可信性。具体地，例如，交易信息(分类帐)可以由所有参与者(每个信息处理设备10)共享，以严格地保持合法性(所谓的区块链)。
352.在区块链中，实质上不可能伪造所有参与者的所有分类帐，并且因此可能更可靠地确保可信性。此外，在区块链中，由于在伪造该区块中包括的数据时有必须重新计算过去区块之后的区块中包括的所有散列值，所以处理负载过高并且实际上是不可能的，所以可以更可靠地确保可信性。
353.此外，在区块链中，所有参与者共享交易信息(分布式数据库)并通过形成特定共识来写入到这种分布式数据库，这防止了特定参与者的欺诈并且保持了公平性。
354.<3.计算机配置>
355.以上描述的一系列处理(例如，图5的输出模态决定处理等)可以由硬件或软件执行。在由软件执行一系列处理的情况下，构成软件的程序安装在每个设备的计算机中。图27是示出可编程地执行以上描述的一系列处理的计算机硬件的配置示例的框图。
356.在计算机中，中央处理单元(cpu)1001、只读存储器(rom)1002和随机存取存储器(ram)1003通过总线1004彼此连接。输入/输出接口1005进一步与总线1004连接。输入单元1006、输出单元1007、存储单元1008、通信单元1009和驱动器1010与输入/输出接口1005连接。
357.输入单元1006包括麦克风、键盘、鼠标等。输出单元1007包括扬声器、显示器等。存储单元1008包括硬盘、非易失性存储器等。通信单元1009包括网络接口等。驱动器1010驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移动记录介质1011。
358.在如以上所描述的配置的计算机中，cpu 1001经由输入/输出接口1005和总线1004将记录在rom 1002或存储单元1008中的程序加载到ram 1003中，并执行程序，从而执行以上描述的一系列处理。
359.例如，由计算机(cpu 1001)执行的程序可以作为封装介质等被记录和提供在可移动记录介质1011上。此外，还可以经由有线或无线传输介质(诸如局域网、因特网或数字卫
星广播)来提供程序。
360.在计算机中，通过将可移动记录介质1011安装在驱动器1010中，可以经由输入/输出接口1005将程序安装在存储单元1008中。此外，程序可以由通信单元1009经由有线或无线传输介质接收并且安装在存储单元1008中。另外，程序可以预先安装在rom 1002或存储单元1008中。
361.这里，由计算机根据程序执行的处理不一定必须以本文中描述为流程图的顺序按时间顺序执行。即，由计算机根据程序执行的处理还包括并行或单独执行的处理(例如，并行处理或对象处理)。此外，程序可以由一个计算机(处理器)处理，或者可以由多个计算机以分布式方式处理。
362.注意，本技术的实施例不限于以上描述的实施例，并且可以进行各种修改而不脱离本技术的要旨。
363.此外，以上描述的流程图中所示的处理的每个步骤可以由一个设备执行，或者可以由多个设备共享和执行。此外，在一个步骤包括多个处理的情况下，包括在一个步骤中的多个处理可以由一个设备执行或者由多个设备共享和执行。
364.注意，本技术可以具有以下配置。
365.(1)一种信息处理设备，
366.包括处理单元，所述处理单元被配置为执行以下处理：
367.获取关于每个电子装置的输出模态的装置信息；
368.基于获取的装置信息从多个电子装置中选择具有输出信息的输出模态的电子装置；以及
369.从选择的电子装置的输出模态输出所述信息。
370.(2)根据(1)所述的信息处理设备，
371.其中，所述处理单元
372.进一步获取关于用户的用户信息，并且
373.基于获取的用户信息和装置信息从所述多个电子装置中选择具有与所述用户信息相对应的输出模态的电子装置。
374.(3)根据(2)所述的信息处理设备，
375.其中，所述用户信息包括所述用户的期望的输出模态，并且
376.所述处理单元选择具有与所述期望的输出模态相对应的输出模态的电子装置。
377.(4)根据(3)所述的信息处理设备，
378.其中，所述多个电子装置包括作为操作主体的自装置和与所述自装置链接地操作的链接装置。
379.(5)根据(4)所述的信息处理设备，
380.其中，在所述自装置不具有与所述期望的输出模态相对应的输出模态的情况下，所述处理单元选择具有与所述期望的输出模态相对应的输出模态的链接装置。
381.(6)根据(5)所述的信息处理设备，其特征在于
382.所述处理单元经由网络将输出命令发送到选择的链接装置，所述输出命令用于将信息从与所述期望的输出模态相对应的输出模态输出。
383.(7)根据(6)所述的信息处理设备，
384.其中，所述处理单元
385.在所述自装置具有与所述期望的输出模态相对应的输出模态的情况下选择所述自装置，并且
386.将所述输出命令输出到选择的自装置的输出模态。
387.(8)根据(4)至(7)中任一项所述的信息处理设备，
388.其中，在选择了具有与所述期望的输出模态相对应的输出模态的多个链接装置的情况下，所述处理单元基于通过感测所述用户附近区域而获得的感测信息来从多个选择的链接装置中选择最佳链接装置。
389.(9)根据(3)至(8)中任一项所述的信息处理设备，
390.其中，所述用户信息进一步包括所述用户的第二候选期望的输出模态，并且
391.在不能选择具有与所述期望的输出模态相对应的输出模态的电子装置的情况下，所述处理单元选择具有与所述第二候选期望的输出模态相对应的输出模态的电子装置。
392.(10)根据(3)至(9)中任一项所述的信息处理设备，
393.其中，所述用户信息包括每个用户的优先级，并且
394.所述处理单元根据所述优先级选择具有与期望的输出模态相对应的输出模态的电子装置。
395.(11)根据(1)至(10)中任一项所述的信息处理设备，
396.其中，所述处理单元
397.估计用户的属性，并且
398.根据估计的属性改变输出模态的内容。
399.(12)根据(1)至(11)中任一项所述的信息处理设备，
400.其中，所述输出模态包括屏幕反馈、声音反馈、光学反馈、振动和操作中的至少一个。
401.(13)根据(12)所述的信息处理设备，
402.其中，所述输出模态中的至少一个包括更细分的功能。
403.(14)根据(3)至(10)中任一项所述的信息处理设备，
404.其中，所述处理单元
405.基于所述用户的识别信息来识别所述用户，并且
406.选择具有与识别的用户的期望的输出模态相对应的输出模态的电子装置。
407.(15)根据(4)至(10)中任一项所述的信息处理设备，
408.信息处理设备包括在所述多个电子装置中，并且
409.信息处理设备作为所述自装置进行操作。
410.(16)根据(2)至(10)中任一项所述的信息处理设备，
411.其中，经由因特网从服务器获取所述装置信息和所述用户信息中的至少一个。
412.(17)一种信息处理方法，
413.其中，信息处理设备
414.获取关于每个电子装置的输出模态的装置信息，
415.基于获取的装置信息从多个电子装置中选择具有输出信息的输出模态的电子装置，以及
416.从选择的电子装置的输出模态输出所述信息。
417.(18)一种信息处理设备，
418.包括处理单元，所述处理单元被配置为执行以下处理：
419.基于包括期望的输出模态的用户信息和关于每个电子装置的输出模态的装置信息，从多个电子装置中选择具有与用户的所述期望的输出模态相对应的输出模态的电子装置；经由网络从另一信息处理设备接收用来输出信息的输出命令，所述另一信息处理设备将所述输出命令从与所述期望的输出模态相对应的输出模态发送到选择的电子装置；以及
420.基于接收的输出命令从与所述期望的输出模态相对应的输出模态输出所述信息。
421.(19)根据(18)所述的信息处理设备，
422.信息处理设备包括在所述多个电子装置中，并且
423.信息处理设备作为与作为操作主体的自装置链接的链接装置进行操作，
424.其中，所述输出命令是从所述自装置发送的。
425.(20)一种信息处理方法，
426.其中，信息处理设备
427.基于包括期望的输出模态的用户信息和关于每个电子装置的输出模态的装置信息，从多个电子装置中选择具有与用户的所述期望的输出模态相对应的输出模态的电子装置；经由网络从另一信息处理设备接收用来输出信息的输出命令，所述另一信息处理设备将所述输出命令从与所述期望的输出模态相对应的输出模态发送到选择的电子装置；以及
428.基于接收的输出命令从与所述期望的输出模态相对应的输出模态输出所述信息。
429.附图标记列表
430.10、10
‑
1至10
‑
n电子装置
431.10a自装置
432.10b链接装置
433.20路由器
434.30家庭网络
435.40服务器
436.50因特网
437.100处理单元
438.101输入单元
439.101
‑
1麦克风
440.101
‑
2按钮
441.102
‑
1显示器
442.102
‑
2扬声器
443.102
‑
3电子声音蜂鸣器
444.102
‑
4振动元件
445.102
‑
5灯
446.102输出单元
447.103传感器单元
448.104通信单元
449.105存储单元
450.121用户识别单元
451.122输出模态决定单元
452.123环境识别单元
453.131扬声器识别单元
454.132面部识别单元
455.133识别结果集成单元
456.141输出命令分析单元
457.142输出控制单元
458.401用户信息存储单元
459.402链接装置信息存储单元
460.1001中央处理器。