一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

代理装置、代理系统以及非暂时性记录介质的制作方法

2021-07-30 17:59:00 来源:中国专利 TAG:代理 暂时性 介质 相对应 使用者
代理装置、代理系统以及非暂时性记录介质的制作方法

本公开涉及提供与使用者的提问相对应的回答的代理装置、代理系统以及非暂时性记录介质。



背景技术:

日本特开2001-141500号公报中公开了一种提供与各种车载单元的操作有关的信息的车辆用代理处理装置。

设想如下的场景:将日本特开2001-141500号公报的车辆用代理处理装置应用于用于检索用户手册的代理,对于与功能等有关的使用者的提问推定该提问的意图并将用户手册的信息作为回答而返回。在该情况下,出现对于使用者的提问而将多个回答作为选择项来提示的情形,在例如使用者回复“第二个”时,在推定提问的意图的代理中存在无法推定“第二个”回复的意图的可能性。



技术实现要素:

本公开的目的是提供代理装置、代理系统以及非暂时性记录介质,在推定提问的意图的代理中,当对于使用者的提问呈现多个回答作为选择项时能够抑制不能够推定使用者的意图的情况。

第一方案为一种代理装置,该代理装置包括存储器和与所述存储器连接的处理器,所述处理器构成为,从向使用者通知信息的通知装置接收由所述使用者输入的输入信息,在接收到的所述输入信息为所述使用者的提问的情况下,基于通过对所述输入信息执行推定所述提问的意图的推定处理而获得的意图,取得所述提问的回答,在取得了多个所述回答的情况下,向所述通知装置提供将多个所述回答作为选择项的选择项信息,在接收到新的输入信息的情况下,判定所述新的输入信息是需要所述推定处理的信息还是与所述选择项相对应的选择结果所涉及的选择信息,在所述新的输入信息为所述选择信息的情况下,不执行所述推定处理,向所述通知装置提供关于与所述选择结果对应的回答的回答信息。

第一方案的代理装置对于使用者通过通知装置输入的提问,能够向该通知装置提供通过推定该提问的意图而获得的回答。在该代理装置中,在接收到的输入信息为使用者的提问的情况下,基于通过推定处理而获得的提问的意图,取得部取得回答。在此,在代理装置取得了多个回答的情况下,通过通知装置取得选择项信息,使用者能够确认多个回答的选择项。并且,在使用者向通知装置输入与选择项相对应的选择结果时,代理装置将该选择结果所涉及的选择信息作为新的输入信息而接收。另一方面,在该代理装置中,在判定为新的输入信息是选择信息时,对于该选择信息,不执行推定处理,向通知装置提供与选择结果对应的一个回答的回答信息。根据该代理装置,在对于使用者的提问而将多个回答作为选择项来提示的情况下,关于使用者的选择结果,不经过推定处理而直接向使用者提示回答,由此抑制在传达选择结果时不能够推定使用者的意图。

第二方案在第一方案的代理装置的基础上,所述处理器构成为,通过对学习完成模型输入所述接收部接收到的所述输入信息来进行所述推定处理,所述学习完成模型是使用与设想的提问关联的多个表达方式的信息和与所述表达方式相对应的正确的回答的信息而生成的。

在第二方案的代理装置中,使用通过预先进行机器学习而生成的学习完成模型来推定意图。根据该代理装置,通过学习更多的表达方式,能够提高与使用者的提问相对应的意图的推定精度。

第三方案在第一方案或第二方案的代理装置的基础上,所述处理器构成为,在从所述通知装置取得的所述输入信息为需要所述推定处理的信息的情况下,使所述输入信息文本化来提供,在从所述通知装置取得的所述输入信息与所述选择结果对应的情况下,提供所述选择信息。

在第三方案的代理装置中,在从通知装置取得了选择项的选择结果所涉及的输入信息的情况下,将输入信息不是作为文本信息而是作为选择信息来提供。在该代理装置中,在使用者从提示的选择项中选择了回答的情况下,能够通过编号、记号、符号等来检索回答,能够减轻生成回答信息的处理的负担。

第四方案在第三方案的代理装置的基础上,所述处理器构成为,在提供所述选择项信息的情况下,存储能够确定所述通知装置的确定信息以及所述选择项信息,在从所述通知装置取得了所述确定信息以及与所述选择结果对应的所述输入信息的情况下,根据存储的所述确定信息以及所述选择项信息来确定与所述选择结果对应的回答,将对确定的所述回答进行识别的识别信息作为所述选择信息来提供,向所述通知装置提供与所述识别信息一致的回答所涉及的所述回答信息。

在第四方案的代理装置中,存储向使用者通知的选择项和通知目的地的信息,在接收到与使用者选择了选择项相伴的输入信息的情况下,提供识别信息并要求回答。根据该代理装置,在使用者从提示的选择项中选择了回答的情况下,能够利用识别信息来检索回答,能够降低生成回答信息的处理的负荷。

第五方案在第一方案~第四方案中的任一方案的代理装置的基础上,所述处理器构成为,将对多个所述回答进行识别的数字与各所述回答一起作为所述选择项信息而向所述通知装置提供。

在第五方案的代理装置中,将对多个回答进行识别的数字与各回答一起作为选择项信息而向通知装置提供。根据该代理装置,能够提高回答的识别性。

第六方案为一种代理系统,该代理系统具备代理装置和搭载于车辆的通知装置,所述代理装置包括存储器和与所述存储器连接的处理器,所述处理器构成为,从向使用者通知信息的所述通知装置接收由所述使用者输入的输入信息,在接收到的所述输入信息为所述使用者的提问的情况下,基于通过对所述输入信息执行推定所述提问的意图的推定处理而获得的意图,取得所述提问的回答,在取得了多个所述回答的情况下,向所述通知装置提供将多个所述回答作为选择项的选择项信息,在接收到新的输入信息的情况下,判定所述新的输入信息是需要所述推定处理的信息还是与所述选择项相对应的选择结果所涉及的选择信息,在所述新的输入信息为所述选择信息的情况下,不执行所述推定处理,向所述通知装置提供关于与所述选择结果对应的回答的回答信息。

在第六方案的代理系统中,车辆中搭载有通知装置,能够提供与来自乘员即使用者的提问相对应的回答。根据该代理系统,能够提高车辆中的使用者的操作的便利性。

第七方案在第六方案的代理系统的基础上,所述代理系统还具备接口装置,该接口装置包括存储器和与所述存储器连接的处理器,所述接口装置的所述处理器构成为,在从所述通知装置取得的所述输入信息为需要所述推定处理的信息的情况下,使所述输入信息文本化来向所述代理装置提供,在从所述通知装置取得的所述输入信息与所述选择结果对应的情况下,向所述代理装置提供所述选择信息。

第七方案的代理系统能够提供与来自车辆的乘员即使用者的提问相对应的回答。该代理系统将通知装置搭载于车辆,在通知装置与代理装置之间设有接口装置。在该代理系统中,在接口装置从通知装置取得选择项的选择结果所涉及的输入信息的情况下,将输入信息不是作为文本信息而是作为选择信息向代理装置提供。根据该代理系统,在使用者从提示的选择项中选择了回答的情况下,能够通过编号、记号、符号等来检索回答,能够降低代理装置中的生成回答信息的处理的负荷。并且,能够提高车辆中的使用者的操作的便利性。

第八方案为一种非暂时性记录介质,该非暂时性记录介质储存有程序,该程序使计算机执行以下处理:从向使用者通知信息的通知装置接收由所述使用者输入的输入信息,在接收到的所述输入信息为所述使用者的提问的情况下,基于通过对所述输入信息执行推定所述提问的意图的推定处理而获得的意图,取得所述提问的回答,在取得了多个所述回答的情况下,向所述通知装置提供将多个所述回答作为选择项的选择项信息,在接收到新的输入信息的情况下,判定所述新的输入信息是需要所述推定处理的信息还是与所述选择项相对应的选择结果所涉及的选择信息,在所述提供中,在所述新的输入信息为所述选择信息的情况下,不执行所述推定处理,向所述通知装置提供关于与所述选择结果对应的回答的回答信息。

第八方案的储存有程序的非暂时性记录介质能够使计算机执行如下处理:对于使用者通过通知装置输入的提问,向该通知装置提供通过推定该提问的意图而获得的回答。在执行该程序的计算机中,在接收到的输入信息为使用者的提问的情况下,基于通过推定处理而获得的提问的意图来取得回答。在此,在计算机取得了多个回答的情况下,通过通知装置取得选择项信息,使用者能够确认多个回答的选择项。并且,在使用者向通知装置输入与选择项相对应的选择结果时,计算机将该选择结果所涉及的选择信息作为新的输入信息而接收。另一方面,在执行该程序的计算机中,在判定为新的输入信息为选择信息时,对于该选择信息,不执行推定处理,向通知装置提供与选择结果对应的一个回答的回答信息。根据该程序,在对于使用者的提问而将多个回答作为选择项来提示的情况下,关于使用者的选择结果,不经过推定处理而直接向使用者提示回答,由此抑制在传达选择结果时不能够推定使用者的意图。

根据本公开,在推定提问的意图的代理中,当对于使用者的提问呈现多个回答作为选择项时能够抑制不能够推定使用者的意图的情况。

附图说明

图1是例示第一实施方式的手册提供系统的概略结构的图。

图2是例示第一实施方式的车辆的硬件结构的框图。

图3是例示第一实施方式的服务器的硬件结构的框图。

图4是例示第一实施方式的代理服务器的功能结构的框图。

图5是说明第一实施方式的手册提供系统的功能的框图。

图6是表示选择项信息的内容的一例的图。

图7是表示第一实施方式的手册提供系统中的接收到提问的情况下的处理的流程的一例的顺序图。

图8是表示第一实施方式的手册提供系统中的推定提问的意图的情况下的处理的流程的一例的顺序图。

图9是表示第一实施方式的手册提供系统中的接收到选择结果的情况下的处理的流程的一例的顺序图。

图10是表示第一实施方式的手册提供系统中的取得回答的情况下的处理的流程的一例的顺序图。

图11是表示向乘员提示选择项信息所涉及的选择项的例子的图。

图12是表示向乘员提示回答信息所涉及的回答的例子的图。

图13是例示第二实施方式的代理服务器的功能结构的框图。

具体实施方式

[第一实施方式]

如图1所示,作为第一实施方式的代理系统的手册提供系统10包括多个车辆12和多个服务器30。各车辆12中搭载有作为通知装置的车载设备20。并且,服务器30包括作为以人机接口(humanmachineinterface、以下称为“hmi”)起作用的接口装置的hmi服务器14、作为代理装置的代理服务器16以及用户手册(owner'smanual、以下有时简称为“om”)服务器18。

各车辆12的车载设备20、hmi服务器14以及om服务器18分别经由网络n1而相互连接。并且,hmi服务器14和代理服务器16通过网络n2而相互连接。需要说明的是,代理服务器16也可以与其他的服务器30一样连接于网络n1。

(车辆)

如图2所示,本实施方式的车辆12包括车载设备20、多个ecu22、作为声音输入装置的麦克风24、作为操作输入装置的输入开关26、作为显示装置的监视器28、扬声器29。

车载设备20包括cpu(centralprocessingunit:中央处理器)20a、rom(readonlymemory:只读存储器)20b、ram(randomaccessmemory:随机存取存储器)20c、车内通信i/f(interface:接口)20d、无线通信i/f20e以及输入输出i/f20f。cpu20a、rom20b、ram20c、车内通信i/f20d、无线通信i/f20e以及输入输出i/f20f经由内部总线20g而相互以能够通信的方式连接。

cpu20a是中央运算处理单元,执行各种程序或者对各部进行控制。即,cpu20a从rom20b读出程序并将ram20c作为作业区域来执行程序。cpu20a是处理器的一例。

rom20b存储各种程序以及各种数据。本实施方式的rom20b中存储有用于控制车载设备20的控制程序。

ram20c作为作业区域而暂时存储程序或数据。ram20c是存储器的一例。

车内通信i/f20d是用于与ecu22连接的接口。该接口使用基于can协议的通信标准。车内通信i/f20d与外部总线20h连接。ecu22按照车辆12的每个功能而设置多个。作为本实施方式的ecu22,例示车辆控制ecu、发动机ecu、制动器ecu、车身ecu、相机ecu、多媒体ecu。

无线通信i/f20e是用于与服务器30进行通信的无线通信模块。该无线通信模块使用例如5g、lte、wi-fi(注册商标)等的通信标准。无线通信i/f20e与网络n1连接。

输入输出i/f20f是用于与搭载于车辆12的麦克风24、输入开关26、监视器28以及扬声器29进行通信的接口。

麦克风24设于车辆12的前立柱以及仪表板(dashboard)等,是收集使用者即车辆12的乘员发出的声音的装置。

输入开关26设于仪表面板(instrumentpanel)、中控台、方向盘等,是输入由乘员的手指进行的操作的开关。作为输入开关26,可采用例如按钮式的数字键以及触摸板等。

监视器28设于仪表面板、仪表盘(meterpanel)等,是用于显示用户手册以及后述的回答信息、选择项信息所涉及的图像的液晶监视器。监视器28也可以设为兼作输入开关26的触摸面板。

扬声器29设于仪表面板、中控台、前立柱、仪表板等,是用于输出回答信息、选择项信息所涉及的声音的装置。

(服务器)

如图3所示,服务器30包括作为硬件处理器的一例的cpu30a、与存储器相当的rom30b、ram30c、储存器(storage)30d以及通信i/f30e。cpu30a、rom30b、ram30c、储存器30d以及通信i/f30e经由内部总线30g而相互以能够通信的方式连接。cpu30a、rom30b、ram30c以及通信i/f30e的功能与上述的车载设备20的cpu20a、rom20b、ram20c以及无线通信i/f20e相同。

储存器30d包括hdd(harddiskdrive:硬盘驱动器)或ssd(solidstatedrive:固态驱动器),存储各种程序以及各种数据。

cpu30a从储存器30d中加载程序并将ram30c作为作业区域来执行程序,由此作为oma对话控制部36即接收部50、取得部52、判定部54、提供部56和意图推定部38起作用。

本实施方式的储存器30d中存储有处理程序100以及数据组110。处理程序100是用于实现服务器30具有的各功能的程序。

(hmi服务器)

hmi服务器14具有接收来自车载设备20的提问并且向代理服务器16询问与用户手册所涉及的提问相对应的回答的功能。

如图5所示,在本实施方式的hmi服务器14中,cpu30a通过执行处理程序100而以作为选定部的hmi对话控制部32来起作用。

hmi对话控制部32在与车载设备20之间进行通信。hmi对话控制部32取得从车载设备20发送的与车辆12的乘员有关的声音信息,进行声音识别,将声音信息转换成文本信息。在此,在本实施方式中,假定以车辆12的乘员的说话来进行提问。因此,与乘员的说话有关的声音信息为通过乘员向车载设备20输入的输入信息。例如,“请告知灯的关闭方法”、“圆圈a的开关是什么?”等乘员发出的提问所涉及的声音信息成为输入信息。

并且,hmi对话控制部32根据转换的文本信息来理解乘员的说话的意图。然后,hmi对话控制部32在理解为乘员进行了用户手册所涉及的提问的情况下,对于代理服务器16执行该提问所涉及的询问。然后,hmi对话控制部32将提问所涉及的文本信息向代理服务器16发送,从代理服务器16接收回答所涉及的回答信息或选择项信息。

并且,hmi对话控制部32将从代理服务器16接收的回答信息或选择项信息向车载设备20发送。需要说明的是,回答信息以及选择项信息包括与提问相对应的回答所涉及的文本信息以及声音信息。该文本信息包括用于浏览用户手册的html数据的url。

并且,hmi服务器14具有在向车载设备20提示了选择项的情况下从车载设备20接收与选择项相对应的选择结果并且基于该选择结果来取得从代理服务器16选择的一个回答的功能。在该情况下,hmi对话控制部32进行以下的处理。

首先,hmi对话控制部32在从代理服务器16接收到选择项信息的情况下将后述的车辆信息以及选择项信息存储于储存器30d。车辆信息是确定信息的一例。接着,hmi对话控制部32取得从车载设备20发送的与车辆12的乘员有关的声音信息,进行声音识别。并且,hmi对话控制部32作为理解了乘员的意图的结果而进行乘员是否正在进行与选择项相对应的选择的判断。

hmi对话控制部32在乘员正在进行与选择项相对应的选择的情况下,根据从车载设备20接收到的车辆信息以及声音信息和存储于储存器30d的车辆信息以及选择项信息来确定与选择结果对应的回答。并且,hmi对话控制部32将后述的om产品编号以及意图标签作为选择信息而向代理服务器16发送。om产品编号与意图标签的组合是对确定的回答进行识别的识别信息的一例。

(代理服务器)

代理服务器16作为对用户手册所涉及的提问进行处理的代理(owner'smanualagent(以下称为“oma”))起作用。代理服务器16从hmi服务器14取得车辆12的车辆信息和提问所涉及的文本信息,向hmi服务器14提供与提问相对应的回答所涉及的回答信息或者多个回答所涉及的选择项信息。

在本实施方式的代理服务器16中,cpu30a通过执行处理程序100而作为图4所示的oma对话控制部36以及意图推定部38起作用。并且,oma对话控制部36包括接收部50、取得部52、判定部54以及提供部56。

并且,代理服务器16的数据组110包括图5所示的车辆om对应数据200、意图推定id管理数据210、qa数据220、单词标准化数据230以及学习完成模型240。

车辆om对应数据200是存储有车辆12的车身编号、车型、等级、装备品等所涉及的车辆信息与给每个用户手册赋予的om产品编号之间的对应关系的数据。

意图推定id管理数据210是存储有om产品编号与意图推定引擎之间的对应关系的数据。意图推定id管理数据210中存储有与om产品编号对应的意图推定引擎id。意图推定引擎id是指给执行后述的意图推定处理的每个意图推定引擎赋予的id。该意图推定引擎设于类似或关联的每个用户手册。

qa数据220是对与附于每个回答的意图标签有关联的回答信息进行保持的数据。在此,“意图标签”是指作为由乘员的说话内容推定意图的结果而提供的标签编号。回答信息包括与提问相对应的回答所涉及的显示用文本、显示用图像、朗读用文本、用户手册显示用的url等信息。

单词标准化数据230是在意图推定处理的前处理中使用的单词的标准化用的数据。该前处理是使表述的不统一以及表达的不统一统一的处理。例如,单词标准化数据230是表示“断开”和“off”为相同的词的信息,包括用于使表述不统一统一的数据。并且,例如单词标准化数据230是“轮胎空气压力警告灯”和“空气压力警告灯”指代相同的东西的信息,包括用于使不同的表达统一的数据。

学习完成模型240是通过使用以与某提问关联的多个表达方式所涉及的文本信息为输入且以该提问的回答所涉及的意图标签为输出的教师数据来进行机器学习而生成的数据。本实施方式的教师数据中定义了与多个表达方式相对应的正确的回答。学习完成模型240预先准备了按照每个意图推定引擎而学习的模型。

在oma对话控制部36中,首先,接收部50接收车辆信息以及文本信息。接着,在oma对话控制部36中,在文本信息为乘员的提问的情况下,取得部52基于车辆信息以及文本信息来取得与提问相对应的回答。取得的回答是通过经由推定提问的意图的意图推定处理来获得的。

详细而言,取得部52参照车辆om对应数据200,根据车辆12的车辆信息来取得与该车辆12对应的om产品编号。在取得部52无法取得om产品编号的情况下,向hmi对话控制部32通知“超出服务范围”的内容。并且,取得部52参照意图推定id管理数据210,根据取得的om产品编号来取得适用于该车辆12的oma意图推定引擎id。

然后,取得部52以提问所涉及的文本信息以及oma意图推定引擎id为输入值,向意图推定部38进行询问,取得与回答相当的意图标签。在意图标签一个也无法取得的情况下,提供部56将表示“不适用”的不适用信息向hmi服务器14发送。另一方面,取得部52在取得的意图标签为一个的情况下,参照qa数据220,根据取得的意图标签以及om产品编号来取得对应的回答信息。

并且,取得部52在取得的意图标签存在多个的情况下,参照qa数据220,生成多个回答的选择项所涉及的选择项信息。例如如图6所示,选择项信息按照每个回答编号而包括意图标签、声音用文本、显示用文本、应该参照的om产品编号的组合。声音用文本是从设于车辆12的扬声器29输出的声音数据,显示用文本是在设于车辆12的监视器28中显示的文本数据。

另一方面,在图5所示的oma对话控制部36中,判定部54在接收部50接收到新的文本信息的情况下,判定该文本信息是需要意图推定处理的信息还是与选择项相对应的选择结果所涉及的选择信息。

并且,在oma对话控制部36中,提供部56将不适用信息、回答信息以及选择项信息中的某一个朝向hmi服务器14的hmi对话控制部32发送。补充而言,在取得部52无法取得意图标签的情况下,将不适用信息向hmi服务器14发送。并且,在取得部52取得了一个意图标签的情况下或者从hmi对话控制部32接收到om产品编号以及意图标签的情况下,将对应的回答信息向hmi服务器14发送。而且,在取得部52取得了多个意图标签的情况下,将生成的选择项信息向hmi服务器14发送。

作为推定部的意图推定部38执行作为推定乘员的提问的意图的推定处理的意图推定处理。该意图推定处理使用与意图推定引擎id对应的意图推定引擎来执行。在意图推定处理中,详细而言,执行以下的处理。首先,意图推定部38对于取得的文本信息所涉及的文本,使用单词标准化数据230来进行前处理。通过前处理来使表述的不统一以及表达的不统一统一。接着,意图推定部38向按照每个意图推定引擎而准备的学习完成模型240中输入进行了前处理的文本信息,输出意图标签以及意图标签的确信度。确信度相当于向学习完成模型240中输入的文本信息为推定的意图标签的概率。然后,意图推定部38将确信度超过规定值即担保有预定的概率以上的可靠性的意图标签提供给oma对话控制部36。

(om服务器)

om服务器18是提供用户手册的服务器30。om服务器18的数据组110包括用户手册所涉及的html数据即om数据300。在车辆12的监视器28中显示了回答信息以及选择项信息所涉及的图像的情况下,在乘员选择该图像中包含的url时,对于om服务器18执行与该url对应的html数据的发送要求。由此,将与url对应的用户手册的html数据向车载设备20发送,显示于监视器28。

(控制的流程)

关于本实施方式的手册提供系统10中执行的处理的流程,使用图7~图10的顺序图和图11以及图12的信息提示的例子来进行说明。

在图7的步骤s10中,车载设备20接收乘员的说话。详细而言,车载设备20的cpu20a将乘员朝向麦克风24说出的声音作为声音信息而取得。例如,在车辆12中室内灯点亮的状态下,乘员进行“请告知灯的关闭方法”这样的发言。在该情况下,通过说话接收,取得“请告知灯的关闭方法”这样的发言来作为声音信息。

在步骤s11中,车载设备20将车辆12的车辆信息与取得的声音信息一起朝向hmi服务器14发送。

在步骤s12中,在hmi服务器14中,hmi对话控制部32进行声音识别。由此,声音信息被转换成文本信息。需要说明的是,在该声音识别中,在与提问相当的词语包含于文本信息的情况下判定为声音信息是提问。

在步骤s13中,hmi对话控制部32将文本信息和车辆信息朝向代理服务器16的oma对话控制部36发送。在上述的例子中,将判定为提问的“请告知灯的关闭方法”的文字列作为文本信息来发送。

在步骤s14中,oma对话控制部36确定请求类别。在该确定中,oma对话控制部36在接收到的信息为文本信息的情况下确定为需要意图推定处理的意图推定,在接收到的信息为包括om产品编号以及意图标签的识别信息的情况下确定为回答取得。需要说明的是,确定方法并不限于此,也可以对于hmi对话控制部32发送的信息附上确定提问或选择结果的标志,通过oma对话控制部36对该标志进行确认来确定请求类别。

需要说明的是,通过步骤s13而oma对话控制部36接收到文本信息,因此在步骤s14中oma对话控制部36确定为请求类别为意图推定。

在步骤s15中,oma对话控制部36判定请求类别是意图推定还是回答取得。oma对话控制部36在判定为请求类别是意图推定的情况下进入步骤s20。另一方面,oma对话控制部36在判定为请求类别是回答取得的情况下进入步骤s50。

需要说明的是,在步骤s14中确定了请求类别是意图推定,因此在步骤s15中oma对话控制部36中判定为请求类别是意图推定,进入步骤s20。

接着,使用图8来说明请求类别是意图推定的情况下的处理的流程。

在图8的步骤s20中,oma对话控制部36根据车辆信息来确定对应的om产品编号。即,确定与车辆12的车身编号、车型、等级以及装备品等对应的用户手册。

在步骤s21中,oma对话控制部36根据om产品编号来确定对应的意图推定引擎id。即,确定与车辆12的用户手册对应的意图推定引擎。

在步骤s22中,oma对话控制部36将从hmi服务器14取得的文本信息和意图推定引擎id提供给意图推定部38。

在步骤s23中,意图推定部38执行意图推定处理。由此,意图推定部38输出与文本信息对应的一个或多个意图标签。在本实施方式的例子中,对于“请告知灯的关闭方法”这样的文本信息,至少输出前照灯的关闭方法所涉及的289号的意图标签、室内灯的关闭方法所涉及的13号的意图标签(参照图6)。

在步骤s24中,意图推定部38将确信度超过预定值的意图标签提供给oma对话控制部36。需要说明的是,在没有输出确信度超过预定值的意图标签的情况下,意图推定部38将表示没有意图标签的无标签信息提供给oma对话控制部36。

在步骤s25中,oma对话控制部36生成选择项信息。即,如图6所示,按照每个回答编号来生成由意图标签、声音用文本、显示用文本、应该参照的om产品编号的组合构成的列表。

在图8的步骤s26中,oma对话控制部36向hmi服务器14发送选择项信息。

在步骤s27中,hmi对话控制部32生成提示信息。提示信息是向车载设备20发送的信息,且是省略了意图标签以及om产品编号等不需要用监视器28以及扬声器29进行提示的信息后的选择项信息。需要说明的是,也可以将选择项信息直接作为提示信息。

在步骤s28中,hmi对话控制部32向车载设备20发送提示信息。

在步骤s29中,hmi对话控制部32将步骤s11中取得的车辆信息和步骤s26中取得的选择项信息存储于hmi服务器14的储存器30d。

在步骤s30中,车载设备20将接收到的提示信息提示给车辆12的乘员。详细而言,车载设备20的cpu20a使接收到的提示信息所涉及的图像显示于监视器28,使接收到的提示信息所涉及的声音从扬声器29输出。例如如图11所示,cpu20a使“1.关闭前照灯”、“2.关闭室内灯”等多个选择项显示于监视器28,使“选择哪一个”这样的声音从扬声器29输出。

接着,使用图9来说明乘员从选择项中选择了一个回答的情况下的处理的流程。

在图9的步骤s40中,车载设备20接收乘员的说话。详细情况与步骤s10一样。例如如图11那样在监视器28中显示了选择项的情况下,乘员朝向麦克风24进行“2号”这样的发言。在该情况下,通过说话接收而取得“2号”这样的发言作为声音信息。

在步骤s41中,车载设备20将车辆12的车辆信息与取得的声音信息一起朝向hmi服务器14发送。

在步骤s42中,在hmi服务器14中,hmi对话控制部32进行声音识别。由此,声音信息被转换成文本信息。需要说明的是,在该声音识别中,在附于选择项的编号、监视器28中的与选择项的显示位置对应的词语等包含于文本信息的情况下判定为声音信息是选择结果。

在步骤s43中,hmi对话控制部32参照存储于储存器30d的车辆信息以及选择项信息,确定选择结果的回答。补充而言,hmi对话控制部32参照储存器30d,从储存器30d取得与步骤s41中取得的车辆信息相同的车辆信息所关联的选择项信息,并且取得该选择项信息中包含的om产品编号。然后,将步骤s42中进行了文本化的回答的编号以及选择项的位置信息等应用于选择项信息中包含的回答的排列,取得意图标签。

在步骤s44中,hmi对话控制部32将取得的om产品编号与意图标签的组合向代理服务器16的oma对话控制部36发送。在图6以及图11所示的例子中,基于“2号”的文本信息,将om产品编号“om123-4”与意图标签“13”的组合作为选择信息来发送。

在步骤s45中,oma对话控制部36确定请求类别。详细情况与步骤s14一样。

需要说明的是,通过步骤s44而oma对话控制部36取得了om产品编号以及意图标签,因此在步骤s45中oma对话控制部36确定为请求类别是回答取得。

在步骤s46中,oma对话控制部36判定请求类别是意图推定还是回答取得。详细情况与步骤s15一样。

需要说明的是,在步骤s45中确定了请求类别是回答取得,因此在步骤s46中在oma对话控制部36中判定为请求类别是回答取得,进入步骤s50。

接着,使用图10来说明请求类别是回答取得的情况下的处理的流程。

在图10的步骤s50中,oma对话控制部36检索回答信息。即,oma对话控制部36参照与om产品编号对应的qa数据220,取得与意图标签对应的回答信息。

在步骤s51中,oma对话控制部36向hmi服务器14发送回答信息。

在步骤s52中,hmi对话控制部32生成提示信息。提示信息是省略了意图标签以及om产品编号等不需要用监视器28以及扬声器29进行提示的信息后的回答信息。需要说明的是,也可以将回答信息直接作为提示信息。

在步骤s53中,hmi对话控制部32向车载设备20发送提示信息。

在步骤s54中,车载设备20将接收到的提示信息提示给车辆12的乘员。详细情况与步骤s30一样。例如如图12所示,cpu20a使对室内灯的关闭方法进行说明的图像显示于监视器28,使“室内灯的关闭方法”这样的声音从扬声器29输出。需要说明的是,通过选择在监视器28的图像中显示的文字列“点击这里了解详细情况”(例如触摸在触摸面板即监视器28中显示的文字列),能够使用户手册的内容显示。

在步骤s55中,hmi对话控制部32消除在hmi服务器14的储存器30d中存储的信息中的与提示的回答信息对应的车辆信息以及选择项信息。

(第一实施方式的总结)

在本实施方式的手册提供系统10中,对于车辆12的乘员通过车载设备20输入的提问,能够向车载设备20提供通过推定该提问的意图而获得的回答。在代理服务器16中,在接收部50中接收到的输入信息即文本信息为使用者的提问的情况下,基于通过推定处理而获得的提问的意图,取得部52取得回答。在此,在取得部52取得了多个回答的情况下,提供部56将选择项信息向hmi服务器14发送,hmi服务器14将选择项信息作为提示信息向车载设备20发送。通过车载设备20接收提示信息,乘员能够在监视器28上确认多个回答的选择项。

并且,在乘员向车载设备20输入与选择项相对应的选择结果时,例如乘员说出附于选择项的编号时,在代理服务器16中,接收部50将该选择结果所涉及的选择信息作为新的输入信息而接收。另一方面,在代理服务器16中,在判定部54中判定为新的输入信息是选择信息时,提供部56将与选择结果对应的一个回答的回答信息向hmi服务器14发送,hmi服务器14将选择项信息作为提示信息向车载设备20发送。在该情况下,在代理服务器16中,对于选择信息,没有执行意图推定处理。

在此,在对于编号以及记号等选择信息而执行了意图推定处理的情况下,例如作为乘员说出了“2号”的结果而将“2号”的文本信息作为输入值来执行意图推定处理的情况下,无法推定提问的意图,因此无法取得意图标签。相对于此,在本实施方式中,基于“2号”这样的选择项中的回答的编号,hmi服务器14能够从代理服务器16直接取得回答。即,根据本实施方式,在对于乘员的提问而将多个回答作为选择项来提示的情况下,关于乘员的选择结果,能够不经过意图推定处理而直接将回答提示给乘员。由此,抑制在传达选择结果时不能够推定乘员的意图。

并且,在本实施方式的代理服务器16中,意图推定部38使用通过预先进行机器学习而生成的学习完成模型240来推定意图。因此,根据本实施方式,通过学习更多的表达方式,能够提高与乘员的提问相对应的意图的推定精度。

并且,在本实施方式的hmi服务器14中,在向车载设备20发送选择项信息即提示信息时,hmi对话控制部32存储选择项信息和车辆信息。并且,hmi对话控制部32在从车载设备20接收到与乘员的选择项的选择相伴的声音信息的情况下,通过将om产品编号与意图标签的组合即识别信息向代理服务器16发送来要求回答。因此,根据本实施方式的hmi服务器14,在乘员从提示的选择项中选择了回答的情况下,hmi对话控制部32能够利用识别信息来直接检索代理服务器16内的回答。由此,能够降低生成回答信息的代理服务器16的处理的负荷。并且,在进行回答取得的情况下,能够不通过文本信息而通过编号、记号、符号等来检索回答,因此能够抑制hmi服务器14与代理服务器16之间的通信容量。

而且,通过将本实施方式的手册提供系统10应用于车辆12,能够提高车辆12中的乘员、尤其驾驶员的操作的便利性。

[第二实施方式]

在第一实施方式中,形成为使hmi服务器14以及代理服务器16不同的服务器30,但是在第二实施方式中,也可以如图13所示的那样将hmi服务器14与代理服务器16合并。

根据本实施方式的手册提供系统10,除了抑制通信容量以外,能够获得与第一实施方式同样的效果。

[备注]

在上述各实施方式中,使基于乘员的说话的声音信息为对于hmi服务器14的输入信息,但并不限于此,也可以使基于乘员对于触摸面板即监视器28的操作的操作信息为输入信息。该情况下的操作信息可列举例如与乘员对于监视器28输入的文字列有关的文本信息。

在上述第二实施方式中,将手册提供系统10中包括的hmi服务器14与代理服务器16合并,但是也可以进一步将om服务器18合并。并且,也可以将hmi服务器14、代理服务器16、om服务器18中的一部分的服务器30合并。并且,在代理服务器16中,也可以将oma对话控制部36以及意图推定部38的功能分别配置于不同的服务器30。

需要说明的是,上述实施方式中cpu20a、30a读取软件(程序)并执行的各种处理也可以由除cpu以外的各种处理器来执行。作为该情况下的处理器,例示fpga(field-programmablegatearray:现场可编程门阵列)等在制造后能够变更电路结构的pld(programmablelogicdevice:可编程逻辑器件)以及asic(applicationspecificintegratedcircuit:专用集成电路)等具有为了执行特定的处理而专门设计的电路结构的处理器即专用电路等。并且,上述的接收处理既可以利用这些各种处理器中的一个来执行,也可以利用同种或不同种的两个以上的处理器的组合(例如多个fpga以及cpu与fpga的组合等)来执行。并且,这些各种处理器的硬件上的构造更详细而言为将半导体元件等电路元件组合而成的电路。

并且,在上述实施方式中,说明了各程序预先存储(安装)于计算机能够读取的非暂时性记录介质的方案。例如,服务器30中的处理程序100预先存储于储存器30d。但是并不限于此,各程序也可以以记录于cd-rom(compactdiscreadonlymemory:紧凑型光盘只读储存器)、dvd-rom(digitalversatilediscreadonlymemory:数字通用光盘只读储存器)以及usb(universalserialbus:通用串行总线)存储器等非暂时性记录介质的方式提供。并且,程序也可以为经由网络从外部装置下载的方式。

上述各实施方式中的处理不仅可以通过一个处理器来执行,也可以由多个处理器协作地执行。上述实施方式中说明的处理的流程也是一例,可以在不脱离主旨的范围内删除不必要的步骤、或者追加新的步骤、或者更换处理顺序。

再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文章

  • 日榜
  • 周榜
  • 月榜