智能体装置、智能体方法及存储介质与流程

1.本发明涉及智能体装置、智能体方法及存储介质。


背景技术：

2.近年来，已知有如下技术：代替操作者通过手操作来输入对操作对象的设备的指示等，而通过操作者讲话并对讲话中包含的指示等进行声音识别，从而能够通过声音简便地进行输入操作(例如，参照日本特开2001
‑
147134号公报)。


技术实现要素：

3.发明要解决的课题
4.在此，有时操作者通过讲话来进行多个指示。然而，在以往的技术中，在通过讲话进行了多个指示的情况下，难以决定优先执行哪个指示。
5.本发明的方案的目的之一在于提供能够按照适当的顺序执行通过讲话作出的多个指示的智能体装置、智能体方法及存储介质。
6.用于解决课题的方案
7.本发明的智能体装置、智能体方法及存储介质采用了以下的结构。
8.(1)本发明的一方案的智能体装置具备：取得部，其取得表示利用者讲话的声音的数据；声音识别部，其基于由所述取得部取得的所述数据，来识别所述利用者的讲话内容；确定部，其确定所述讲话内容中包含的指示；输出控制部，其使包含显示部的信息输出装置输出对由所述确定部确定出的指示进行响应的信息；判定部，其在由所述确定部确定出多个所述指示的情况下，判定所述确定出的多个所述指示是否能够同时执行；以及优先级附加部，其在由所述判定部判定为多个所述指示不能够同时执行的情况下，基于所述讲话内容中包含的多个所述指示与由所述显示部显示着的内容之间的关联性，来对所述讲话内容中包含的多个所述指示附加优先级，所述输出控制部在由所述确定部确定出多个所述指示的情况下，使所述信息输出装置从被所述优先级附加部附加的所述优先级高的所述指示起依次输出与所述指示相应的信息。
9.(2)的方案是在上述(1)的方案的智能体装置中，所述判定部参照不能够同时执行的指示的列表信息，来判定所述确定出的多个所述指示是否能够同时执行。
10.(3)的方案是在上述(1)或(2)的方案的智能体装置中，所述输出控制部在由所述判定部判定为多个所述指示能够同时执行的情况下，使所述信息输出装置输出对多个所述指示进行响应的信息。
11.(4)本发明的另一方案的智能体装置具备：取得部，其取得表示利用者讲话的声音的数据；声音识别部，其基于由所述取得部取得的所述数据，来识别所述利用者的讲话内容；确定部，其确定所述讲话内容中包含的指示；输出控制部，其使包含显示部的信息输出装置输出对由所述确定部确定出的指示进行响应的信息；以及优先级附加部，其基于所述讲话内容中包含的多个所述指示与由所述显示部显示着的内容之间的关联性，来对所述讲
话内容中包含的多个所述指示附加优先级，所述输出控制部在由所述确定部确定出多个所述指示的情况下，使所述信息输出装置从被所述优先级附加部附加的所述优先级高的所述指示起依次输出与所述指示相应的信息。
12.(5)的方案是在上述(1)至(4)中任意的方案的智能体装置中，所述优先级附加部在所述讲话内容中包含的多个所述指示均与由所述显示部显示着的内容无关的情况、或者均与由所述显示部显示着的内容有关的情况下，基于多个所述指示被讲出的顺序，来附加所述优先级。
13.(6)的方案是在上述(1)至(5)中的任意的方案的智能体装置中，所述优先级附加部在所述讲话内容中包含的多个所述指示均与由所述显示部显示着的内容无关的情况、或者均与由所述显示部显示着的内容有关的情况下，基于连接多个所述指示的连接词，来附加所述优先级。
14.(7)的方案是在上述(1)至(6)中的任意的方案的智能体装置中，所述优先级附加部在所述讲话内容中包含的多个所述指示均与由所述显示部显示着的内容无关的情况、或者均与由所述显示部显示着的内容有关的情况下，基于所述讲话内容中包含的表示所述指示的顺序的语句，来附加所述优先级。
15.(8)的方案是在上述(1)至(7)中的任意的方案的智能体装置中，所述优先级附加部在所述讲话内容中包含的多个所述指示均与由所述显示部显示着的内容无关的情况、或者均与由所述显示部显示着的内容有关的情况下，基于所述讲话内容中包含的表示所述指示的时机的语句，来附加所述优先级。
16.(9)本发明的又一方案的智能体方法使计算机进行如下处理：取得表示利用者讲话的声音的数据；基于所取得的所述数据，来识别所述利用者的讲话内容；确定所述讲话内容中包含的指示；使包含显示部的信息输出装置输出对确定出的指示进行响应的信息；在确定出多个所述指示的情况下，判定所述确定出的多个所述指示是否能够同时执行；在判定为多个所述指示不能够同时执行的情况下，基于所述讲话内容中包含的多个所述指示与由所述显示部显示着的内容之间的关联性，来对所述讲话内容中包含的多个所述指示附加优先级；以及在确定出多个所述指示的情况下，使信息输出装置从被附加的所述优先级高的所述指示起依次输出与所述指示相应的信息。
17.(10)本发明的另一方案的存储介质存储有程序，所述程序使计算机进行如下处理：取得表示利用者讲话的声音的数据；基于所取得的所述数据，来识别所述利用者的讲话内容；确定所述讲话内容中包含的指示；使包含显示部的信息输出装置输出对确定出的指示进行响应的信息；在确定出多个所述指示的情况下，判定所述确定出的多个所述指示是否能够同时执行；在判定为多个所述指示不能够同时执行的情况下，基于所述讲话内容中包含的多个所述指示与由所述显示部显示着的内容之间的关联性，来对所述讲话内容中包含的多个所述指示附加优先级；以及在确定出多个所述指示的情况下，使信息输出装置从被附加的所述优先级高的所述指示起依次输出与所述指示相应的信息。
18.发明效果
19.根据(1)～(10)的方案，能够按适当的顺序执行通过讲话作出的多个指示。
20.根据(2)的方案，能够按更适当的顺序执行指示。
21.根据(5)～(8)的方案，能够更加精度良好地决定执行的指示的顺序。
附图说明
22.图1是表示实施方式的智能体系统的结构的一例的图。
23.图2是表示实施方式的智能体装置的结构的一例的图。
24.图3是表示从驾驶员座观察到的车室内的一例的图。
25.图4是表示从上方观察车辆而得到的车室内的一例的图。
26.图5是表示列表信息的内容的一例的图。
27.图6是表示实施方式的服务器装置的结构的一例的图。
28.图7是表示回答信息的内容的一例的图。
29.图8是表示对指示附加优先级的场景的一例的图。
30.图9是表示基于所附加的优先级而使信息输出装置输出信息的场景的一例的图。
31.图10是表示实施方式的智能体装置的一系列处理的流程的流程图。
32.图11是表示实施方式的服务器装置的一例的处理的流程的流程图。
33.图12是表示变形例的智能体装置的一例的图。
34.附图标记说明：
[0035]1…
智能体系统、100、100a
…
智能体装置、102、202
…
通信部、106、106、106a、106b、106c、106d、106e
…
话筒、108、108a、108b、108c、108d、108e
…
扬声器、110、110a、110b、110c
…
显示部、120、120a、210
…
控制部、121
…
取得部、211
…
取得部、122
…
声音合成部、123
…
通信控制部、215
…
通信控制部、124
…
确定部、125
…
判定部、126
…
优先级附加部、127
…
输出控制部、150、150a、230
…
存储部、152
…
车载设备信息、154
…
列表信息、200
…
服务器装置、212
…
讲话区间提取部、213
…
声音识别部、214
…
智能体数据生成部、232
…
回答信息、m
…
车辆、sd1、sd2
…
智能体声音、sp、sp1、sp2
…
讲话、ve、ve1、ve2、ve3、ve4
…
车载设备。
具体实施方式
[0036]
以下，参照附图来说明本发明的智能体装置、智能体方法及存储介质的实施方式。
[0037]
<实施方式>
[0038]
[系统结构]
[0039]
图1是表示实施方式的智能体系统1的结构的一例的图。实施方式的智能体系统1例如具备搭载于车辆m的智能体装置100、以及在车辆m外存在的服务器装置200。车辆m例如是二轮、三轮、四轮等的车辆。这些车辆的驱动源可以是柴油发动机、汽油发动机等内燃机、电动机、或者它们的组合。电动机使用由与内燃机连结的发电机发出的发电电力、或者二次电池、燃料电池的放电电力来动作。
[0040]
智能体装置100与服务器装置200以经由网络nw能够通信的方式连接。网络nw包括lan(local area network)、wan(wide area network)等。网络nw例如可以包括利用了wi
‑
fi、bluetooth(注册商标、以下省略)等无线通信的网络。
[0041]
智能体系统1也可以由多个智能体装置100及多个服务器装置200构成。以后说明智能体系统1具备一个智能体装置100和一个服务器装置200的情况。
[0042]
智能体装置100使用智能体功能来取得来自车辆m的乘员的声音，并将取得的声音向服务器装置200发送。另外，智能体装置100基于从服务器装置得到的数据(以下称作智能
体数据)等，来与乘员对话，或者提供图像、影像等信息，或者控制搭载于车辆m的车载设备ve、其他装置。
[0043]
服务器装置200与搭载于车辆m的智能体装置100通信，从智能体装置100取得各种数据。服务器装置200基于取得的数据生成适合作为对车辆m的乘员的响应的智能体数据，并将所生成的智能体数据向智能体装置100提供。
[0044]
[智能体装置的结构]
[0045]
图2是表示实施方式的智能体装置100的结构的一例的图。实施方式的智能体装置100例如具备通信部102、话筒(麦克风microphone)106、扬声器108、显示部110、控制部120及存储部150。这些装置、设备可以通过can(controller area network)通信线等多路通信线、串行通信线、无线通信网等互相连接。需要说明的是，图2所示的智能体装置100的结构只不过是一例，既可以省略结构的一部分，也可以还追加别的结构。
[0046]
通信部102包括nic(network interface controller)等通信接口。通信部102经由网络nw与服务器装置200等通信。
[0047]
话筒106是将车室内的声音电信号化并将其收集的声音输入装置。话筒106将收集到的声音的数据(以下称作声音数据)向控制部120输出。例如，话筒106设置于乘员就座于车室内的座椅时的前方附近。例如，话筒106设置于脚垫灯(mat lamp)、转向盘、仪表板、或座椅的附近。话筒106也可以在车室内设置多个。
[0048]
扬声器108例如设置于车室内的座椅附近或显示部110附近。扬声器108基于由控制部120输出的信息来输出声音。
[0049]
显示部110包括lcd(liquid crystal display)、有机el(electroluminescence)显示器等显示装置。显示部110基于由控制部120输出的信息来显示图像。将扬声器108与显示部110组合起来是“信息输出装置”的一例。
[0050]
图3是表示从驾驶员座观察到的车室内的一例的图。图示的例子的车室内设置有话筒106a～106c、扬声器108a～108c、以及显示部110a～110c。话筒106a例如设置于转向盘，主要收集驾驶员讲话的声音。话筒106b例如设置于副驾驶员座正面的仪表板(前围板或装饰件)ip，主要收集副驾驶员座的乘员讲话的声音。话筒106c例如设置于仪表板的中央(驾驶员座与副驾驶员座之间)附近。
[0051]
扬声器108a例如设置于驾驶员座侧的车门的下部，扬声器108b例如设置于副驾驶员座侧的车门的下部，扬声器108c例如设置于显示部110c的附近、即仪表板ip的中央附近。
[0052]
显示部110a例如是在驾驶员对车外视觉辨识时的视线的前方显示虚像的hud(head
‑
up display)装置。hud装置例如是通过向车辆m的前风窗玻璃、或者称作合成器的具有光投过性的透明的构件投射光，来让乘员视觉辨识虚像的装置。乘员主要是驾驶员，但也可以是驾驶员以外的乘员。
[0053]
显示部110b设置于驾驶员座(离转向盘最近的座位)的正面附近的仪表板ip，设置于乘员能够从转向盘的间隙或越过转向盘能够视觉辨识的位置。显示部110b例如是lcd、有机el显示装置等。在显示部110b例如显示车辆m的速度、发动机转速、燃料余量、散热器水温、行驶距离、以及其他信息的图像。
[0054]
显示部110c设置于仪表板ip的中央附近。显示部110c例如与显示部110b同样，是lcd、有机el显示装置等。显示部110c显示电视节目、电影等条目。
[0055]
需要说明的是，在车辆m中，可以还在后部座位附近设置话筒和扬声器。图4是表示从上方观察车辆m而得到的车室内的一例的图。在车室内，除了设置由图3例示的话筒扬声器以外，可以还设置话筒106d、106e、以及扬声器108d、108e。
[0056]
话筒106d例如设置于在副驾驶员座st2的后方设置的后部座位st3的附近(例如副驾驶员座st2的后表面)，主要收集就座于后部座位st3的乘员讲话的声音。话筒106e例如设置于在驾驶员座st1的后方设置的后部座位st4的附近(例如驾驶员座st1的后表面)，主要收集就座于后部座位st4的乘员讲话的声音。
[0057]
扬声器108d例如设置于后部座位st3侧的车门的下部，扬声器108e例如设置于后部座位st4侧的车门的下部。
[0058]
需要说明的是，说明了图1例示的车辆m如图3或图4所例示那样是具备乘员即驾驶员能够操作的转向盘的车辆，但并不限定于此。例如，车辆m也可以是不存在顶盖、即不存在车室(或不存在其明确的划分)的车辆。
[0059]
另外，在图3或图4的例子中，说明了驾驶操作车辆m的驾驶员就座的驾驶员座与其他不进行驾驶操作的乘员就座的副驾驶员座、后部座位处于一个室内的情况，但并不限定于此。例如，车辆m也可以是代替转向盘而具备转向车把的跨骑型机动二轮车辆。
[0060]
另外，在图3或图4的例子中，说明了车辆m为具备转向盘的车辆的情况，但并不限定于此。例如，车辆m也可以是未设置转向盘这样的驾驶操作设备的自动驾驶车辆。自动驾驶车辆例如是指，不依赖于乘员的操作而控制车辆的转向和加减速中的一方或双方来执行驾驶控制。
[0061]
返回图2的说明，控制部120例如具备取得部121、声音合成部122、通信控制部123、确定部124、判定部125、优先级附加部126及输出控制部127。这些构成要素例如通过cpu(central processing unit)、gpu(graphics processing unit)等处理器执行程序(软件)来实现。另外，这些构成要素中的一部分或全部也可以通过lsi(large scale integration)、asic(application specific integrated circuit)、fpga(field
‑
programmable gate array)等硬件(包括电路部：circuitry)来实现，还可以通过软件与硬件的协同配合来实现。程序可以预先保存于存储部150(具备非暂时性的存储介质的存储装置)，也可以保存于dvd、cd
‑
rom等能够装卸的存储介质(非暂时性的存储介质)，并通过存储介质装配于驱动装置来安装于存储部150。
[0062]
存储部150通过hdd、闪存器、eeprom(electrically erasable programmable read only memory)、rom(read only memory)、或ram(random access memory)等实现。在存储部150中例如保存供处理器参照的程序等、车载设备信息152、以及列表信息154。车载设备信息152是表示搭载于车辆m的车载设备ve的一览的信息。
[0063]
图5是表示列表信息154的内容的一例的图。列表信息154例如是表示不能够同时执行的指示的信息。该指示例如是乘员讲话的声音中包含的与车载设备ve的动作相关的指示。图5所示的列表信息154中，作为不能够同时执行的指示，包含“对同一控制对象的指示”、“指定两个目的地的指示”、“对不能够同时控制的车载设备ve1和车载设备ve2的指示”、“对不能够同时控制的车载设备ve3和车载设备ve4的指示”。
[0064]
返回图2的说明，取得部121从话筒106取得声音数据、其他信息。
[0065]
声音合成部122在通信部102从服务器装置200接收的智能体数据中包含声音控制
内容的情况下，生成与作为声音控制通过讲话而进行声音指示的声音数据对应的、人工的合成声音。以下，将声音合成部122生成的人工的合成声音也记载作智能体声音。
[0066]
通信控制部123通过通信部102向服务器装置200发送由取得部121取得的声音数据。通信控制部123通过通信部102接收从服务器装置200发送的智能体数据。
[0067]
确定部124确定智能体数据中包含的对车载设备ve的指示。确定部124例如为了确定智能体数据中包含的车载设备ve，将车载设备信息152中包含的车载设备ve分别作为检索关键词，来检索智能体数据。确定部124作为检索的结果将确定包含于智能体数据的一个或多个车载设备ve确定为指示对象的车载设备ve。智能体数据例如是“讲话内容”的一例。
[0068]
判定部125在由确定部124确定的指示对象的车载设备ve为多个的情况下，基于列表信息154，来判定该多个指示是否能够同时执行。
[0069]
需要说明的是，关于明确不能够同时执行的指示，判定部125也可以不使用列表信息154而判定多个指示是否能够同时执行。明确不能够同时执行的指示，例如是指对同一指示对象的相反的指示等。具体而言，是“提高音响设备的音量(指示a)、降低音量(指示b)”等、“使车辆m停止(指示a)、使车辆m的速度上升(指示b)”等指示。
[0070]
优先级附加部126在由判定部125判定为不能够同时执行智能体数据中包含的多个指示的情况下，对智能体数据中包含的多个指示附加优先级。关于优先级附加部126附加优先级的处理的详细情况，见后述。
[0071]
输出控制部127当根据智能体数据中包含的指示而由声音合成部122生成智能体声音时，使扬声器108输出该智能体声音。另外，输出控制部127根据智能体数据中包含的指示，来使显示部110显示图像数据。另外，输出控制部127也可以使显示部110显示声音数据的识别结果(短句等文本数据)的图像。
[0072]
在此，输出控制部127在由优先级附加部126对多个指示分别附加有优先级的情况下，从多个指示中的所附加的优先级高的指示起依次使扬声器108输出与指示相应的智能体声音，或者使显示部110显示所指示的图像数据。
[0073]
[服务器装置的结构]
[0074]
图6是表示实施方式的服务器装置200的结构的一例的图。实施方式的服务器装置200例如具备通信部202、控制部210及存储部230。
[0075]
通信部202包括nic等通信接口。通信部202经由网络nw与搭载于各车辆m的智能体装置100等通信。
[0076]
控制部210例如具备取得部211、讲话区间提取部212、声音识别部213、智能体数据生成部214及通信控制部215。这些构成要素例如通过cpu、gpu等处理器执行程序(软件)来实现。另外，这些构成要素中的一部分或全部也可以通过lsi、asic、fpga等硬件(包括电路部：circuitry)来实现，还可以通过软件与硬件的协同配合来实现。程序可以预先保存于存储部230(具备非暂时性的存储介质的存储装置)，也可以保存于dvd、cd
‑
rom等能够装卸的存储介质(非暂时性的存储介质)，并通过存储介质装配于驱动装置而安装于存储部230。
[0077]
存储部230由hdd、闪存器、eeprom、rom或ram等实现。存储部230中，例如除了保存有供处理器参照的程序以外，还保存有回答信息232等。
[0078]
图7是表示回答信息232的内容的一例的图。回答信息232中，例如意思信息与使控制部120执行的控制内容建立了对应关系。意思信息例如是指由声音识别部213从讲话内容
整体识别的意思。控制内容中，例如包括与对车载设备ve的指示(控制)相关的车载设备控制、输出智能体声音的声音控制、使显示部110显示的图像控制等。例如，在回答信息232中，将“使空调起动”的车载设备控制、“起动了空调”这样的声音控制、以及显示车室内温度及设定温度的显示控制与“空调的起动”这样的意思信息建立了对应关系。
[0079]
返回图6，取得部211通过通信部202取得从智能体装置100发送的声音数据。
[0080]
讲话区间提取部212从由取得部121取得的声音数据中提取乘员正讲话的期间(以下称作讲话区间)。例如，讲话区间提取部212可以利用零交叉法，基于声音数据中包含的声音信号的振幅来提取讲话区间。另外，讲话区间提取部212也可以基于混合高斯分布模型(gmm；gaussian mixture model)，从声音数据中提取讲话区间，还可以通过与将讲话区间特有的声音信号模板化了的数据库进行模板匹配处理，来从声音数据中提取讲话区间。
[0081]
声音识别部213按由讲话区间提取部212提取的每个讲话区间来识别声音数据，并将所识别的声音数据文本化，由此生成包含讲话内容的文本数据。例如，声音识别部213将讲话区间的声音信号分离为低频率、高频率等多个频带，并将分类出的各声音信号进行傅里叶变换，由此生成频谱图。声音识别部213将生成的频谱图向递归型神经网络输入，由此从频谱图得到字符串。递归型神经网络例如可以通过利用教示数据来预先学习，在该教示数据中，与学习用的声音对应的已知的字符串作为教示标签而与根据该学习用的声音生成的频谱图建立了对应关系。而且，声音识别部213将从递归型神经网络得到的字符串的数据作为文本数据输出。
[0082]
另外，声音识别部213进行自然语言的文本数据的语法解析，将文本数据分为词素，根据各词素识别文本数据中包含的词句的意思。
[0083]
智能体数据生成部214基于由声音识别部213识别出的讲话内容的意思，参照回答信息232的意思信息，来取得与吻合的意思信息建立了对应关系的控制内容。需要说明的是，作为识别结果，在识别出“打开空调”、“请接通空调的电源”等意思的情况下，智能体数据生成部214将上述的意思置换为标准文字信息“空调的起动”等。由此，即使在指示的讲话内容中存在讲话的差异的情况下，也能够容易取得与指示相符的控制内容。
[0084]
另外，智能体数据生成部214生成用于使与所取得的控制内容(例如，车载设备控制、声音控制及显示控制中的至少一方)对应的处理执行的智能体数据。
[0085]
通信控制部215通过通信部202将由智能体数据生成部214生成的智能体数据向智能体装置100发送。由此，智能体装置100能够通过控制部120执行与智能体数据对应的控制。
[0086]
[关于附加优先级的处理]
[0087]
以下，使用图8和图9，来说明优先级附加部126附加优先级的处理的详细情况。图8是表示对指示附加优先级的场景的一例的图。图9是表示基于所附加的优先级而使信息输出装置输出信息的场景的一例的图。
[0088]
在图8中，乘员作为指示设定目的地的讲话sp1而讲出“去动物园”。输出控制部127基于根据讲话sp1而生成的智能体数据，使导航装置确定到“动物园”为止的移动路径，并使显示部110显示表示由导航装置确定的移动路径的图像im1。而且，乘员作为指示设定目的地的讲话sp2而讲出“去便利店”。
[0089]
在该情况下，确定部124识别为在讲话sp1和讲话sp2中包含对车载设备ve及导航
装置作出的设定目的地的多个指示。在该情况下，由确定部124确定的对车载设备ve的指示存在多个，因此判定部125基于列表信息154来判定该多个指示是否能够同时执行。如上所述，列表信息154中，作为不能够同时执行的指示而包含“对同一控制对象的指示”。因此，判定部125判定为由确定部124确定的对车载设备ve的多个指示不能够同时执行。在由判定部125判定为对车载设备ve的多个指示不能够同时执行的情况下，优先级附加部126对多个指示分别附加优先级。
[0090]
[(1)基于显示于显示部的内容而进行的优先级的附加]
[0091]
优先级附加部126例如在进行了乘员的讲话(讲话sp1～sp2)的场景中，基于与显示于显示部110的内容之间的关联性，来附加优先级。如上所述，在讲出了讲话sp1的场景中，在显示部110显示有表示到“动物园”为止的移动路径的图像im1。因此，在讲话sp1所示的指示与讲话sp2所示的指示中，讲话sp1所示的指示与显示部110的内容(在该情况下，为到“动物园”为止的路径)之间的关联性高。因此，优先级附加部126对讲话sp1中包含的指示附加高的优先级，对讲话sp2中包含的指示附加比讲话sp1中包含的指示低的优先级。
[0092]
优先级附加部126例如基于讲话sp1所涉及的智能体数据和讲话sp2所涉及的智能体数据，来分别确定讲话sp1所涉及的智能体数据中包含的指示、以及讲话sp2的智能体数据中包含的指示。优先级附加部126取得表示输出控制部127的控制履历的信息、或者车载设备ve(在该情况下，为导航装置)的控制状态所涉及的信息，并确定正在显示于显示部110的内容。而且，优先级附加部126基于所确定的各种信息，来确定讲话sp1所涉及的指示和讲话sp2所涉及的指示中的、与正在显示于显示部110的内容之间的关联性高的指示，并附加优先级。
[0093]
输出控制部127基于由优先级附加部126附加的优先级，从优先级高的指示起依次执行与指示相应的控制。另外，输出控制部127基于由优先级附加部126附加的优先级，从优先级高的指示起依次使信息输出装置输出与指示相应的信息。
[0094]
在图9中，输出控制部127基于根据讲话sp1而生成的智能体数据，来使导航装置确定到“动物园”为止的移动路径，并且基于根据讲话sp2而生成的智能体数据，使导航装置确定在到“动物园”为止的移动路径的途中存在的“便利店”作为途经地点。而且，输出控制部127使显示部110显示图像im2，该图像im2示出到“动物园”为止的移动路径，并且示出在到“动物园”为止的移动路径的途中存在的“便利店”作为途经地点。输出控制部127在使扬声器108输出由声音合成部122生成的与到“动物园”为止的移动路径相关的智能体声音sd1之后，使扬声器108输出由声音合成部122生成的与“便利店”相关的智能体声音sd2。智能体声音sd1例如为“已将目的地设定为动物园。为您引导路径。”等声音，智能体声音sd2例如为“将到动物园为止的路径上的便利店追加为途经地点。”等声音。
[0095]
在此，如图像im1～im2所示，在车辆m的附近存在在到动物园为止的路径的途中存在的便利店cs1、以及虽然从到动物园为止的路径脱离但是距车辆m的当前位置最近的便利店cs2。在不由优先级附加部126进行优先级的附加的情况下，输出控制部127依次处理与讲话sp相应的指示。因此，输出控制部127在基于讲话sp1所示的指示而使导航装置确定了到动物园为止的移动路径之后，基于讲话sp2所示的指示，使导航装置取消到动物园为止的移动路径，并确定到最近的便利店cs2为止的移动路径。在该情况下，车辆m前往从到动物园为止的移动路径脱离的便利店cs2落脚后去往动物园，到动物园为止的行程绕远。
[0096]
另一方面，在由优先级附加部126进行了优先级的附加的情况下，输出控制部127从优先级高的指示起依次进行处理。在该情况下，车辆m去往动物园，并且前往在到动物园为止的路径上存在的便利店cs1落脚，因此能够高效地移动到动物园。因此，根据本实施方式的智能体装置100，能够按照对于车辆m的乘员而言适当的顺序来执行通过讲话作出的多个指示。
[0097]
[(2)基于讲话的顺序而进行的优先级的附加]
[0098]
需要说明的是，在上述中，说明了优先级附加部126例如基于与显示于显示部110的内容之间的关联性，来附加优先级的情况，但并不限定于此。优先级附加部126例如也可以在讲话sp中包含的多个指示均与显示于显示部110的内容无关的情况、或者均与显示于显示部110的内容有关的情况下，基于讲话sp的顺序，来附加优先级。在该情况下，优先级附加部126对先讲出的讲话sp1中包含的指示附加高的优先级，对比讲话sp1靠后讲出的讲话sp2中包含的指示附加比讲话sp1中包含的指示低的优先级。
[0099]
[(3)基于连接词而进行的优先级的附加]
[0100]
另外，优先级附加部126例如也可以在讲话sp中包含的多个指示均与显示于显示部110的内容无关的情况、或者均与显示于显示部110的内容有关的情况下，基于连接表示指示的语句的连接词，来附加优先级。例如，在“进行(指示a)
‘
然后’进行(指示b)。”(例1)、“进行(指示a)
‘
同样地’进行(指示b)。”(例2)等乘员的讲话sp中，包含“然后”、“同样地”等表示指示的执行顺序的连接词。在该情况下，在存储部150存储有表示连接词的信息、以及表示连接词之前的语句和连接词之后的语句之间的顺序(或者优先级)的信息互相建立了对应关系的连接词信息(未图示)，优先级附加部126基于连接词信息，对多个指示分别附加优先级。
[0101]
优先级附加部126在如(例1)、(例2)那样包含表示指示a比指示b先执行的连接词的情况下，对指示a附加高的优先级，对指示b附加比指示a低的优先级。
[0102]
[(4)基于表示顺序的语句而进行的优先级的附加]
[0103]
另外，优先级附加部126例如也可以在讲话sp中包含的多个指示均与显示于显示部110的内容无关的情况、或者均与显示于显示部110的内容有关的情况下，基于表示指示的顺序的语句，来附加优先级。例如，在“进行(指示a)
‘
之后’进行(指示b)。”(例3)、“进行(指示a)
‘
之前’进行(指示b)。”(例4)等乘员的讲话sp中，包含“之后”、“之前”等表示指示的执行顺序的连接词。在该情况下，在存储部150存储有对表示顺序的语句进行示出的信息、以及对表示顺序的语句之前的语句与表示顺序的语句之后的语句之间的顺序进行示出的信息互相建立了对应关系的顺序语句信息(未图示)，优先级附加部126基于顺序语句信息，对多个指示分别附加优先级。
[0104]
优先级附加部126在如(例3)那样包含表示指示a比指示b先执行的语句的情况下，对指示a附加高的优先级，对指示b附加比指示a低的优先级。另外，优先级附加部126在如(例4)那样包含表示指示b比指示a先执行的语句的情况下，对指示b附加高的优先级，对指示a附加比指示b低的优先级。
[0105]
[(5)基于表示时机的语句而进行的优先级的附加]
[0106]
另外，优先级附加部126例如也可以在讲话sp中包含的多个指示均与显示于显示部110的内容无关的情况、或者均与显示于显示部110的内容有关的情况下，基于表示指示
的时机的语句，来附加优先级。例如，在
“‘
17点’抵达小学(指示a)，
‘
18点’抵达游泳学校(指示b)”(例5)等乘员的讲话sp中，包含表示进行指示的时机的语句。在该情况下，优先级附加部126基于表示各指示的时机的语句，以使时机早的指示的优先级高的方式对多个指示分别附加优先级。
[0107]
优先级附加部126在如(例5)那样包含表示指示a比指示b先执行的语句的情况下，对指示a附加高的优先级，对指示b附加比指示a低的优先级。
[0108]
[处理流程]
[0109]
接着，使用流程图来说明实施方式的智能体系统1的处理的流程。需要说明的是，以下将智能体装置100的处理与服务器装置200的处理分开说明。另外，以下所示的处理的流程可以在规定的时机反复执行。规定的时机例如是指从声音数据中提取到使智能体装置起动的特定词(例如唤醒词)的时机、接受到搭载于车辆m的各种开关中的使智能体装置100起动的开关的选择的时机等。
[0110]
图10是表示实施方式的智能体装置100的一系列处理的流程的流程图。首先，取得部121在识别到唤醒词之后，判定是否由话筒106收集到乘员的声音数据(即，是否存在乘员的讲话)(步骤s100)。取得部121在收集到乘员的声音数据之前的期间进行等待。接着，通信控制部123使通信部102对服务器装置200发送声音数据(步骤s102)。接着，通信控制部123使通信部102从服务器装置200接收智能体数据(步骤s104)。
[0111]
确定部124确定所接收的智能体数据中包含的对车载设备ve的指示(步骤s106)。判定部125判定是否由确定部124确定出对车载设备ve的指示(即，在讲话内容中是否包含对车载设备ve的指示)(步骤s108)。判定部125在未由确定部124确定出对车载设备ve的指示的情况下，结束处理。
[0112]
判定部125在判定为包含对车载设备ve的指示的情况下，判定是否在智能体数据中包含对车载设备ve的多个指示(步骤s110)。判定部125在判定为在智能体数据中包含对车载设备ve的指示但不是多个指示(一个指示)的情况下，进入步骤s114进行处理。判定部125在判定为在智能体数据中包含对车载设备ve的多个指示的情况下，基于列表信息154来判定该多个指示是否能够同时执行(步骤s112)。判定部125在判定为对车载设备ve的多个指示能够同时执行的情况下，进入步骤s114进行处理。
[0113]
输出控制部127同时使信息输出装置输出与由确定部124确定出的对车载设备ve的一个或多个指示相应的信息(步骤s114)。输出控制部127例如根据智能体数据中包含的指示，来控制车载设备ve。另外，输出控制部127例如当根据智能体数据中包含的指示而由声音合成部122生成智能体声音时，使扬声器108输出该智能体声音。另外，输出控制部127根据智能体数据中包含的指示，使显示部110显示所指示的图像数据。
[0114]
输出控制部127同时使信息输出装置输出与多个指示相应的信息，例如是指使扬声器108a～108c中的任意的扬声器108同时输出各指示的智能体数据所涉及的智能体声音，或者使显示部110a～110c中的任意的显示部110显示各指示的智能体数据所涉及的图像。需要说明的是，也可以是，输出控制部127无论优先级如何，都使扬声器108a～108c中的任意的(例如，一个)扬声器108依次输出各指示的智能体数据所涉及的智能体声音，或者无论优先级如何，都使显示部110a～110c中的任意的(例如，一个)显示部110依次显示各指示的智能体数据所涉及的图像。
[0115]
优先级附加部126在由判定部125判定为对车载设备ve的多个指示不能够同时执行的情况下，对多个指示分别附加优先级(步骤s116)。优先级附加部126例如可以基于与显示于显示部110的内容之间关联性来对多个指示分别附加优先级，也可以基于讲话sp的顺序来对多个指示分别附加优先级，还可以基于连接表示指示的语句的连接词来对多个指示分别附加优先级，还可以基于表示指示的顺序的语句来对多个指示分别附加优先级，还可以基于表示指示的时机的语句来对多个指示分别附加优先级。
[0116]
输出控制部127使信息输出装置将与由确定部124确定出的对车载设备ve的多个指示相应的信息按照从与优先级高的指示相应的信息起依次输出(步骤s118)。
[0117]
图11是表示实施方式的服务器装置200的一例的处理的流程的流程图。首先，通信部202从智能体装置100取得声音数据(步骤s200)。接着，讲话区间提取部212提取声音数据中包含的讲话区间(步骤s202)。接着，声音识别部213根据所提取的讲话区间中的声音数据来识别讲话内容。具体而言，声音识别部213使声音数据为文本数据，最终识别文本数据中包含的词句(步骤s204)。智能体数据生成部214生成基于讲话内容整体的意思的智能体数据(步骤s206)。接着，通信控制部215借助通信部202将智能体数据向智能体装置100发送(步骤s208)。
[0118]
[实施方式的总结]
[0119]
如以上所说明那样，本实施方式的智能体系统1具备：取得部121，其取得表示利用者(在该一例中为乘员)讲话的声音的声音数据；声音识别部213，其基于由取得部121取得的声音数据，来识别乘员的讲话内容；确定部124，其确定讲话内容中包含的指示；输出控制部127，其使包含显示部110的信息输出装置输出对由确定部124确定出的指示进行响应的信息；判定部125，其在由确定部124确定出多个指示的情况下，判定所确定的多个指示是否能够同时执行；以及优先级附加部126，其在由判定部125判定为多个指示不能够同时执行的情况下，基于讲话内容中包含的多个指示与由显示部110显示着的内容之间的关联性，来对讲话内容中包含的多个指示附加优先级，输出控制部127在由确定部124确定出多个指示的情况下，使信息输出装置从被优先级附加部126附加的优先级高的指示起依次输出与指示相应的信息。由此，本实施方式的智能体系统1能够按照对于车辆m的乘员而言适当的顺序执行通过讲话而作出的多个指示。
[0120]
<变形例>
[0121]
在上述的实施方式中，说明了搭载于车辆m的智能体装置100与服务器装置200互不相同的装置，但并不限定于此。例如，智能体功能所涉及的服务器装置200的构成要素也可以包含于智能体装置100的构成要素中。在该情况下，服务器装置200也可以作为由智能体装置100的控制部120虚拟地实现的虚拟机而发挥功能。以下，将包含服务器装置200的构成要素在内的智能体装置100a作为变形例进行说明。需要说明的是，在变形例中，关于与上述的实施方式同样的构成要素标注同样的附图标记，并省略此处的具体的说明。
[0122]
图12是表示变形例的智能体装置100a的一例的图。智能体装置100a例如具备通信部102、话筒106、扬声器108、显示部110、控制部120a及存储部150a。控制部120a例如具备取得部121、声音合成部122、通信控制部123、确定部124、判定部125、优先级附加部126、输出控制部127、讲话区间提取部212、声音识别部213及智能体数据生成部214。
[0123]
另外，存储部150a例如除了供处理器参照的程序之外，还包含车载设备信息152、
列表信息154及回答信息232。回答信息232也可以通过从服务器装置200取得的最新的信息而被更新。
[0124]
智能体装置100a的处理例如是如下处理：在图10所示的流程图的步骤s100的处理之后，执行图11所示的流程图的步骤s202～步骤s206的处理，之后，执行图10所示的流程图的步骤s106以后的处理。
[0125]
根据以上说明的变形例的智能体装置100a，除了起到与第一实施方式同样的效果之外，还不需要每次取得来自乘员的声音就经由网络nw进行与服务器装置200之间的通信，因此能够更迅速地识别讲话内容。另外，即使是车辆m不能够与服务器装置200通信的状态，也能够生成智能体数据并向乘员提供信息。
[0126]
以上使用实施方式说明了本发明的具体实施方式，但本发明丝毫不被这样的实施方式限定，在不脱离本发明的主旨的范围内能够施加各种变形及替换。