图像形成系统、其控制方法以及存储介质与流程

1.本发明涉及允许语音操作的图像形成系统及其控制方法、以及存储其控制程序的存储介质。


背景技术：

2.已知与智能扬声器协作的诸如打印机的图像形成装置(例如，参见日本特开2019
‑
18394号公报(jp 2019
‑
18394a))。用户可以通过将语音输入到智能扬声器中来进行图像形成装置的各种设置。例如，图像形成装置可以由在办公室中使用不同语言的多个用户共享。因此，对于每个用户而言，舒适的操作环境是不同的。用户通过向智能扬声器输入语音来改变图像形成装置中使用的语言，诸如图像形成装置的显示设备的显示语言。
3.然而，由于每当用户开始使用传统的图像形成装置时，都需要用户改变显示设备的显示语言的设置，因此这花费了时间和精力。


技术实现要素：

4.本发明提供了能够减少用户设置显示语言的时间和精力的图像形成系统及其控制方法、以及存储其控制程序的存储介质。
5.因此，本发明的第一方面提供了一种图像形成系统，其包括：图像形成设备，其被构造为在片材上形成图像；显示设备，其被构造为显示信息；麦克风，其被构造为获得语音；获得单元，其被构造为基于通过所述麦克风获得的关于短语的音频信息，来获得多个词信息；指定单元，其被构造为使用所述多个词信息来指定语言；以及更新单元，其被构造为基于由所述指定单元指定的语言来更新所述显示设备的显示语言。
6.因此，本发明的第二方面提供了一种图像形成系统的控制方法，所述图像形成系统具有图像形成设备、显示设备以及麦克风，所述控制方法包括：基于通过所述麦克风获得的关于短语的音频信息，来获得多个词信息；使用所述多个词信息来指定语言；以及基于所指定的语言来更新所述显示设备的显示语言。
7.因此，本发明的第三方面提供了一种非暂时性计算机可读存储介质，其存储使计算机执行第二方面的控制方法的控制程序。
8.根据本发明，能够减少用户设置显示语言的时间和精力。
9.通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
附图说明
10.图1是示出根据本发明实施例的图像形成系统的构造图。
11.图2是示意性示出图1中的mfp的硬件构造的框图。
12.图3是示意性示出图1中的智能扬声器的硬件构造的框图。
13.图4是示意性示出图1中的云服务器的控制器的硬件构造的框图。
14.图5是示意性示出作为图1中的mfp的软件模块的设备控制模块的构造的框图。
15.图6是示意性示出作为图1中的智能扬声器的软件模块的音频控制模块的构造的框图。
16.图7a、图7b和图7c是用于描述作为图1中的云服务器的软件模块的音频数据转换控制模块的图。
17.图8是示出图1中的云服务器生成的具有语言设置的作业信息(下文中称为“语言设置作业信息”)的示例的图。
18.图9是示出图1中的云服务器生成的语言设置作业信息的示例的图。
19.图10是示出当图1中的图像形成系统通过语音输入接收作业执行指令时执行的处理的过程的序列图。
20.图11是示出由图1中的云服务器执行的语音操作服务执行处理的过程的流程图。
21.图12是示出当在图11的步骤s1101中将第一语音识别方法用于文本数据的转换时，步骤s1102的语言确定处理的过程的流程图。
22.图13是示出当在图11的步骤s1101中将第二语音识别方法用于文本数据的转换时，步骤s1102的语言确定处理的过程的流程图。
23.图14是示出图11的步骤s1103的操作确定处理的过程的流程图。
24.图15是示出图11的步骤s1105的作业执行处理的过程的流程图。
25.图16是示出图15的步骤s1502的作业信息生成处理的过程的流程图。
26.图17是示意性示出实施例中的日语的语言设置作业信息的生成的流程的图。
27.图18是示意性示出实施例中的英语的语言设置作业信息的生成的流程的图。
28.图19是示出由从云服务器接收语言设置作业信息的mfp执行的语言设置切换处理的流程图。
29.图20是示出当通过语音输入指示复印作业的执行时mfp的操作面板的画面转变的图。
30.图21是示出当通过语音输入指示email send(电子邮件发送)作业的执行时mfp的操作面板的画面转变的图。
31.图22是示出当图1的图像形成系统通过语音输入接收作业设置改变指令时执行的处理的过程的序列图。
32.图23是示出图11的步骤s1107的作业设置处理的过程的流程图。
33.图24是示出图23的步骤s2301的作业设置信息生成处理的过程的流程图。
34.图25是示意性示出实施例中的具有日语语言设置的作业设置信息的生成的流程的图。
35.图26是示意性示出实施例中的具有英语语言设置的作业设置信息的生成的流程的图。
36.图27是示出由从云服务器接收由语言设置作业信息的mfp执行的语言设置切换处理的流程图。
37.图28是示出当通过用户的语音输入复印作业的设置时mfp的操作面板的画面转变的图。
38.图29是示出当通过用户的语音输入email send作业的设置时mfp的操作面板的画面转变的图。
39.图30是示出实施例中的语言确定结果的示例的图。
具体实施方式
40.下面将参照附图详细描述根据本发明的实施例。应该注意，以下实施例并不限制根据权利要求的本发明，并且实施例中描述的特性特征的全部组合并非总是本发明的方案所不可缺少的。
41.图1是示出根据本发明实施例的图像形成系统100的构造图。如图1所示，图像形成系统100配设有作为图像形成装置的mfp(多功能外围设备)101、作为语音获得设备的智能扬声器102以及云服务器103。mfp101和智能扬声器102连接到网络104。并且云服务器103通过网关105连接到网络104。由此，mfp 101、智能扬声器102和云服务器103可通过网络104通信。
42.图像形成系统100能够控制mfp 101执行与智能扬声器102获得的用户语音操作相对应的处理。例如，当用户给出诸如“对此复印”的复印作业执行指令时，智能扬声器102通过网络104将与该复印作业执行指令相对应的音频数据(音频信息)发送至云服务器103。当接收到音频数据时，云服务器103生成与音频数据相对应的设备操作数据，并将该设备操作数据通过网络104发送到mfp 101。mfp 101执行复印作业作为与接收到的设备操作数据相对应的处理，并且通过网络104将指示已经执行了复印作业的响应发送到云服务器103。当接收到响应时，云服务器103生成响应消息数据，并通过网络104将响应消息数据发送给智能扬声器102。智能扬声器102输出与接收到的响应消息数据相对应的“现在复印”的音频消息。
43.mfp 101是配备有诸如打印功能和扫描功能的多种功能的多功能装置。mfp 101配设有mfp的自身装置数据106和mfp的其他装置数据107。mfp的自身装置数据106包括在通过网络104的数据通信中使用的mfp 101的ip地址和mac地址。mfp的其他装置数据107例如包括当mfp 101使用云服务器103的服务时使用的账户信息和关于响应通知的url信息，该响应通知向云服务器103通知与从云服务器103接收的设备操作数据相对应的处理的执行结果。
44.智能扬声器102是配备有音频辅助功能并配设有智能扬声器的自身装置数据108和智能扬声器的其他装置数据109的扩音器。智能扬声器的自身装置数据108包括在通过网络104的数据通信中使用的智能扬声器102的ip地址和mac地址。智能扬声器的其他装置数据109包括当智能扬声器102使用云服务器103的服务时使用的账户信息，和与稍后描述的唤醒词相对应的云服务器103的服务url。
45.云服务器103配设有云服务器的自身装置数据110和云服务器的其他装置数据111。云服务器的自身装置数据110包括当mfp 101或智能扬声器102通过网络104使用云服务器的服务时使用的服务url信息和关于响应通知的上述url信息。云服务器的其他装置数据111包括发布给mfp 101和智能扬声器102的账户信息、以及mfp 101和智能扬声器102的ip地址和mac地址。云服务器103通过使用云服务器的其他装置数据111中包括的ip地址和mac地址，通过网络104与mfp 101和智能扬声器102进行通信。
46.通过网络104发送和接收各种数据，诸如智能扬声器102生成的音频数据和云服务器103生成的设备操作数据。网关105例如是基于ieee802.11标准(诸如ieee802.11a和
ieee802.11b)的无线lan路由器。应当注意，网关105可以是基于除ieee802.11标准之外的无线通信标准的构造。此外，网关105可以是基于以太网标准(诸如10base
‑
t、100base
‑
t和1200base
‑
t)的有线lan路由器。
47.图2是示意性示出图1中的mfp 101的硬件构造的框图。如图2所示，mfp 101配设有控制器200、操作面板209、打印引擎(图像形成设备)211和扫描器213。控制器200与操作面板209、打印引擎211和扫描器213连接。此外，控制器200配设有cpu(中央处理单元)202、ram203、rom 204、存储单元205、网络i/f 206、显示控制器207、操作i/f208、打印控制器210和扫描控制器212。cpu 202、ram 203、rom 204、存储单元205、网络i/f 206、显示控制器207、操作i/f 208、打印控制器210和扫描控制器212通过系统总线201相互连接。
48.cpu 202控制整个mfp 101的操作。cpu 202读取存储在rom 204或存储单元205中的控制程序，并进行各种控制处理，诸如读取控制处理和打印控制处理。ram 203是cpu 202的主存储器。ram 203用作cpu 202的工作区域，并且用作将存储在rom 204或存储设备205中的控制程序展开到的临时存储区域。rom 204存储cpu 202运行的控制程序。存储单元205存储打印数据、图像数据、程序、设置信息等。尽管本实施例的mfp 101被构造为使得单个cpu 202将使用单个存储器(ram 203)执行后述处理，但是mfp 101的构造不限于该构造。例如，mfp 101可以被构造为使得多个cpu、ram、rom和存储单元将协作地执行后述处理。此外，mfp 101可以使用诸如asic(专用集成电路)或fpga(现场可编程门阵列)的硬件电路来执行一些处理。
49.当mfp 101通过网络104与其他装置通信时，使用网络i/f 206。例如，mfp 101通过pdl分析模块(未示出)分析通过网络i/f 206接收的打印数据。pdl分析模块是用于分析打印数据的软件模块，并基于由各种页面描述语言表达的打印数据来生成由打印引擎211打印的图像数据。用于启动pdl分析模块的程序被存储在存储单元205或rom 204中。
50.显示控制器207和操作i/f 208与操作面板209连接。操作i/f 208进行操作面板209的画面的显示控制。当用户操作操作面板209时，mfp101通过显示控制器207获得与用户的操作相对应的事件。
51.打印控制器210与打印引擎211连接。打印控制器210将上述pdl分析模块生成的图像数据传输到打印引擎211。打印引擎211在片材上形成接收到的图像数据。电子照相系统、喷墨系统等被用作打印引擎211的打印系统。当使用电子照相系统时，通过显影形成在感光构件上的静电潜像、将显影后的调色剂图像转印到片材上、并且定影转印的调色剂图像，来在片材上形成图像。当使用喷墨系统时，通过排出墨在片材上形成图像。
52.扫描控制器212与扫描器213连接。扫描器213读取片材上的图像并生成图像数据。由扫描器213生成的图像数据被存储在存储单元205中。此外，使用扫描器213生成的图像数据在片材上形成图像。扫描器213具有原稿进给器(未示出)，并且可以通过逐个输送堆叠在原稿进给器上的原稿来读取原稿。
53.图3是示意性示出图1中的智能扬声器的硬件构造的框图。如图3所示，智能扬声器102配设有控制器300、麦克风308、扩音器310和led312。控制器300与麦克风308、扩音器310和led 312连接。此外，控制器300配设有cpu 302、ram 303、rom 304、存储单元305、网络i/f306、麦克风i/f 307、音频控制器309和显示控制器311。cpu 302、ram303、rom 304、存储单元305、网络i/f 306、麦克风i/f 307、音频控制器309和显示控制器311通过系统总线301相
互连接。
54.cpu 302是控制整个控制器300的操作的中央处理单元。ram 303是易失性存储器。rom 304是非易失性存储器，并且存储cpu 302的启动程序。存储单元305是具有比ram 303更大的存储器容量的存储设备，并且可以是sd卡。应当注意，存储单元305可以是闪速rom，而不是sd卡，或者可以是具有与sd卡的功能等效的功能的其他存储设备。例如，存储单元305存储控制器300执行的智能扬声器102的控制程序。
55.当响应于用户的电源接通操作来启动智能扬声器102时，cpu 302运行存储在rom 304中的启动程序。该启动程序读取存储在存储单元305中的控制程序并将相关控制程序展开到ram 303上。cpu 302运行展开到ram 303上的控制程序，并进行各种控制处理。此外，cpu 302将在运行控制程序时使用的数据存储到ram 303或存储单元305中。cpu 302通过网络i/f 306与网络104上的其他装置通信。
56.网络i/f 306包括能够基于ieee802.11标准根据无线通信系统进行通信的电路和天线。应当注意，网络i/f 306可以采用基于以太网标准的线缆通信系统，而不是无线通信系统。麦克风i/f 307连接到麦克风308。麦克风i/f 307根据来自cpu 302的指令，将通过麦克风308接收的用户语音转换为编码音频数据，并将转换后的音频数据存储到ram 303中。
57.麦克风308例如是安装在智能电话等中的紧凑型mems麦克风。应当注意，麦克风308不限于mems麦克风，并且可以是能够获得用户语音的其他设备。在该实施例中，优选地在预定位置处布置三个或更多个麦克风308，以便指定用户语音的到达方向。
58.音频控制器309连接到扩音器310。音频控制器309根据来自cpu302的指令将音频数据转换为模拟语音信号，并通过扩音器310输出声音。
59.扩音器310再现指示智能扬声器102正在响应的音频响应，并且还再现由云服务器103合成的声音。扩音器310是用于再现声音的通用设备。
60.显示控制器311连接到led 312。显示控制器311根据来自cpu 302的指令控制led 312的发光。在实施例中，显示控制器311控制led 312的发光以指示智能扬声器102正在获得用户的语音。led 312例如是用户可见的蓝色led。led 312是通用设备。在实施例中，智能扬声器102可以配设有显示设备，该显示设备能够显示指示智能扬声器102正在获得用户语音的文本和图片来代替led 312的发光。
61.图4是示意性示出图1中的云服务器103的控制器400的硬件构造的框图。如图4所示，控制器400配设有cpu 402、ram 403、rom 404、存储单元405和网络i/f 406。cpu 402、ram 403、rom 404、存储单元405和网络i/f 406通过系统总线401相互连接。
62.cpu 402是控制整个控制器300的操作的中央处理单元。ram 403是易失性存储器。rom 404是非易失性存储器，并且存储cpu 402的启动程序等。存储单元405是具有比ram 403更大的存储器容量的存储设备，并且可以是硬盘驱动器(hdd)。应当注意，存储单元405可以是固态驱动器(ssd)，或者可以是具有与hdd的功能等效的功能的其他存储设备。存储单元405存储例如控制器400执行的云服务器103的控制程序。
63.当启动云服务器103时，cpu 402运行存储在rom 404中的启动程序。该启动程序读取存储在存储单元405中的控制程序，并将相关控制程序展开到ram 403上。cpu 402运行展开到ram 403上的控制程序，并进行各种控制处理。此外，cpu 402将在运行控制程序时使用的数据存储到ram 403或存储单元405中。cpu 402通过网络i/f 406与网络104上的其他装
置通信。
64.图5是示意性示出作为图1中的mfp 101的软件模块的设备控制模块500的构造的框图。如图5所示，设备控制模块500包括数据发送/接收模块501、数据分析模块502、作业控制模块503、数据管理模块504、显示模块505、操作对象确定模块506、扫描模块507和打印模块508。因为cpu 202运行从rom 204展开到ram 203的控制程序，所以实现了由这些模块执行的处理。
65.数据发送/接收模块501控制根据tcp/ip通过网络i/f 206在mfp 101与网络104上的其他装置之间的数据发送和接收。例如，数据发送/接收模块501控制云服务器103生成的设备操作数据的接收。此外，数据发送/接收模块501控制从mfp 101到云服务器103的各种通知的发送。各种通知例如包括指示作业执行结果的通知和指示作业执行状态的通知。
66.数据分析模块502将由数据发送/接收模块501接收的设备操作数据转换为设备控制模块500的模块可以解释的命令，并将相应的命令发送给作业控制模块503、数据管理模块504以及显示模块505。
67.作业控制模块503向打印控制器210和扫描控制器212给出指令以分别控制打印引擎211和扫描器213。数据管理模块504将关于由设备控制模块500进行的处理的数据存储到ram 203和存储单元205的预定区域，并管理数据。关于由设备控制模块500进行的处理的数据包括例如作业数据和语言设置数据，该作业数据是由作业控制模块503执行的作业的设置项和设置值的组合，该语言设置数据示出了显示在操作面板209上的文本的语言。此外，数据管理模块504将与网关105进行通信所需的认证信息、与云服务器103进行通信所需的设备信息等存储到ram203或存储单元205中，并管理信息。此外，数据管理模块504存储显示模块505用于画面的显示控制的画面控制信息、以及操作对象确定模块506用于确定操作对象的操作对象确定信息。针对显示模块505显示的每个画面管理画面控制信息和操作对象确定信息。
68.显示模块505向显示控制器207给出关于操作面板209的显示控制的指令。例如，当接收到来自显示模块505的指令时，显示控制器207在操作面板209上显示用户可操作的ui构件(按钮、下拉列表、复选框等)。基于画面控制信息来更新画面。例如，显示模块505从存储单元205获得与数据管理模块504管理的语言设置数据相对应的语言词典，并且在操作面板209上显示基于该语言词典生成的文本数据。
69.操作对象确定模块506通过操作i/f 208获得示出用户触摸操作面板209的位置的坐标，并且确定在用户触摸的位置处显示在操作面板209上的ui构件作为操作对象。操作对象确定模块506读取与被确定为操作对象的ui构件相对应的画面控制信息，并基于相关画面控制信息来确定处理的内容。操作对象确定模块506指示设备控制模块500的模块执行确定的处理。例如，操作对象确定模块506指示显示模块505更新画面的显示内容，并指示作业控制模块503使用由用户操作设置的作业参数来开始作业。
70.扫描模块507基于从作业控制模块503接收的扫描设置，通过扫描控制器212控制扫描器213执行扫描，并控制数据管理模块504存储读取的图像数据。打印模块508基于从作业控制模块503接收的打印设置，经由打印控制器210控制打印引擎211进行打印。
71.图6是示意性示出作为图1中的智能扬声器102的软件模块的音频控制模块600的构造的框图。如图6所示，音频控制模块600包括数据发送/接收模块601、数据管理模块602、
控制模块603、语音获得模块604、音频再现模块605、显示模块606、语音操作开始检测模块607和话语结束确定模块608。由于cpu 302运行从存储单元305展开到ram 303的控制程序，因此实现了由这些模块执行的处理。
72.数据发送/接收模块601控制根据tcp/ip通过网络i/f 306在智能扬声器102与网络104上的其他装置之间的数据发送和接收。例如，数据发送/接收模块601控制由语音获得模块604获得的用户语音的音频数据向云服务器103的发送。此外，数据发送/接收模块601控制对来自云服务器103的合成音频数据(稍后描述)的接收。
73.数据管理模块602将与音频控制模块600的处理有关的数据存储到存储单元305的预定区域。关于音频控制模块600的处理的数据包括例如由音频再现模块605再现的声音的音量设置数据、与网关105通信所需的认证信息、以及与mfp 101和云服务器103通信所需的设备信息。
74.语音获得模块604通过将由麦克风308拾取的用户的模拟语音转换成诸如mp3的预定格式的数字信号并通过对该数字信号进行编码来生成音频数据，并将相关音频数据临时存储到ram 303中。控制模块603管理语音获得模块604的处理的开始和结束定时。应当注意，音频数据的格式可以是通用流格式。编码的音频数据可以随后被发送到数据发送/接收模块601。
75.音频再现模块605控制音频控制器309以使用扩音器310再现由数据发送/接收模块601接收的合成音频数据(音频消息)。控制模块603管理音频再现模块605的音频再现处理的执行定时。
76.显示模块606通过显示控制器311控制led 312的发光。例如，当语音操作开始检测模块607检测到语音操作时，显示模块606通过显示控制器311使led 312点亮。控制模块603管理显示模块606的处理的执行定时。
77.当检测到用户说出的唤醒词或对智能扬声器102的操作开始键(未示出)的按下操作时，语音操作开始检测模块607向控制模块603发送示出检测到唤醒词或按下操作的操作开始通知。唤醒词是用于启动智能扬声器102的音频辅助功能的语音词，并且被预先登记。语音操作开始检测模块607从通过麦克风308拾取的用户的模拟语音中检测唤醒词。用户可以在说出唤醒词之后通过说出与指令相对应的短语来操作mfp101。
78.话语结束确定模块608确定语音获得模块604的处理的结束定时。例如，当用户的语音暂停达到预定时段(如三秒)时，话语结束确定模块608确定用户的话语结束。然后，话语结束确定模块608将示出确定结果的话语结束通知发送到控制模块603。应当注意，可以基于说出预先登记的预定词代替无话语时段(称为“暂停时段”)，来确定用户的话语结束。例如，当用户说出预先登记的预定词(诸如“是”、“否”、“ok”、“取消”、“结束”、“启动”和“开始”)时，话语结束确定模块608可以确定用户的话语结束而无需等待预定时段。此外，不是智能扬声器102而是云服务器103可以确定话语的结束，并且云服务器103可以基于用户话语的内容的含义和上下文来确定用户的话语结束。
79.控制模块603控制音频控制模块600中的其他模块彼此协同操作。具体地，控制模块603控制语音获得模块604、音频再现模块605和显示模块606的处理的开始和结束。此外，在语音获得模块604获得音频数据之后，控制模块603控制数据发送/接收模块601将音频数据发送到云服务器103。此外，在从云服务器103接收到合成音频数据之后，控制模块603控
制音频再现模块605再现合成音频数据。
80.将描述语音获得模块604、音频再现模块605和显示模块606的处理的开始和结束定时。
81.当从语音操作开始检测模块607接收到操作开始通知时，控制模块603开始语音获得模块604的处理。此外，当从话语结束确定模块608接收到话语结束通知时，控制模块603结束语音获得模块604的处理。例如，当用户说出唤醒词时，语音操作开始检测模块607检测到唤醒词并将操作开始通知发送给控制模块603。当接收到操作开始通知时，控制模块603控制语音获得模块604开始处理。语音获得模块604获得唤醒词之后的用户语音(例如，“我要复印”)，将语音转换为音频数据，并临时存储音频数据。当在“我要复印”的语音之后持续了预定时段的暂停时段时，话语结束确定模块608将话语结束通知发送到控制模块603。当接收到话语结束通知时，控制模块603控制语音获得模块604结束处理。在下文中，语音获得模块604的处理的开始与结束之间的状态将被称为“话语处理状态”。显示模块606使led 312点亮，作为指示处于话语处理状态的通知。
82.在确定用户的话语结束之后，控制模块603指示数据发送/接收模块601将临时存储在语音获得模块604中的音频数据发送到云服务器103，并等待来自云服务器103的响应。来自云服务器103的响应包括例如指示响应的头部部分和由合成音频数据组成的响应消息。当数据发送/接收模块601接收到上述响应时，控制模块603控制音频再现模块605以再现合成音频数据。合成音频数据是例如“将显示复印画面”的音频消息。应当注意，在确定用户的话语结束和合成音频数据的再现结束之间的状态将被称为“响应处理状态”。显示模块606使led 312闪烁，作为指示处于响应处理状态的通知。
83.在结束合成音频数据的再现之后，用户能够在与云服务器103的交互会话继续进行的同时，在无需说出唤醒词的情况下通过发出与指令相对应的短语来给出指令。当云服务器103向智能扬声器102发送交互会话结束通知时，确定交互会话的结束。一个交互会话的结束与另一交互会话的开始之间的状态将被称为“待机状态”。即，智能扬声器102处于待机状态，直到控制模块603从语音操作开始检测模块607接收到操作开始通知为止。在待机状态期间，显示模块606使led 312熄灭，作为指示处于待机状态的通知。
84.图7a、图7b和图7c是用于描述作为图1中的云服务器103的软件模块700的音频数据转换控制模块的图。图7a是示意性示出音频数据转换控制模块700的构造的框图。图7b示出了由后述组id确定模块707为确定组id而使用的日语组id列表的示例。图7c示出了由后述组id确定模块707为确定组id而使用的英语组id列表的示例。在组id列表
85.中，与用户对mfp 101的操作有关的、具有相同含义或意图的词被分组
86.在相同id下。应当注意，这里列出的词是用户向智能扬声器102说出的
87.词的语音识别的结果。此外，在组id列表中，示出是否排除后述语言确
88.定的语言确定例外标志被设置给各个登记的词。在组id列表中，对诸如“片假名”词(如“kopi”)的无法指定该词是英语还是日语的词的语言确定例外标志设置yes(是)。对语言确定例外标志设置yes的词不会用于后述语言确定。同时，在组id列表中，对片假名词以外的词的语言确定例外标志设置no(否)。对语言确定例外标志设置no的词用于后述语言确定。
89.在图7a中，音频数据转换控制模块700包括数据发送/接收模块701、数据管理模块
702、设备操作数据生成模块703和音频数据转换模块710。音频数据转换模块710包括语音识别模块705、形态分析模块706、组id确定模块707和音频合成模块708。由于cpu 402运行从存储单元405展开到ram 403的控制程序，因此实现了由上述模块执行的处理。
90.数据发送/接收模块701控制根据tcp/ip通过网络i/f 406在云服务器103与网络104上的其他装置之间的数据发送和接收。例如，数据发送/接收模块701从智能扬声器102接收用户的音频数据。此外，数据发送/接收模块701向mfp 101发送组id确定模块707确定的组id、以及通过由语音识别模块705执行的语音识别处理对文本数据的确定结果。
91.数据管理模块702将与音频数据转换控制模块700的处理有关的数据存储到存储单元405的预定区域。与音频数据转换控制模块700的处理有关的数据例如包括：用于将由数据发送/接收模块701接收的音频数据转换成文本数据的声学模型和语言模型、当形态分析模块706对文本进行形态分析时使用的词典、当组id确定模块707确定组id时使用的组id列表、当音频合成模块708进行音频合成处理时使用的音频数据库以及与智能扬声器102或mfp 101通信所需的设备信息。
92.语音识别模块705进行语音识别处理，以将由数据发送/接收模块701接收的用户的音频数据转换为文本。语音识别处理使用声学模型将用户的音频数据转换为音素，并且还使用语言模型将音素转换为实际文本数据。应该注意，用户的音频数据可以包括几种不同语言的词。在实施例中，语音识别处理可以采用第一语音识别方法，该方法确定输入音频数据的语言并将音频数据转换为所确定的语言的文本数据。此外，语音识别处理可以采用第二语音识别方法，该方法使用多种语言的声学模型将输入音频数据转换为音素，并使用对应的语言模型将音频数据转换为各语言的文本数据。由于第二语音识别方法以多种语言形式将音频数据转换为文本数据，因此语音识别模块705生成由文本和语言设置组成的语音识别数据作为语音识别处理的执行结果。
93.在实施例中，输入语音的语言是日语和英语。日语的语音识别数据是由语言设置“日语”和由一个或多个假名组成的文本组成的数据。英语的语音识别数据是由语言设置“英语”和由一个或多个字母组成的文本组成的数据。应当注意，将音频数据转换为语音识别数据的语音识别处理不限于以上在实施例中描述的方法，并且可以使用其他方法。
94.形态分析模块706基于语言设置来形态分析由语音识别模块705转换的语音识别数据。形态分析模块706从具有关于语言的语法和词性的信息的词典中推导出词素串，并确定构成相关词素串的各词素(词信息)的词性。可以通过使用公知的形态分析软件(诸如juman、web
‑
chamame或mecab)来实现形态分析模块706。
95.将描述形态分析模块706的操作示例。例如，形态分析模块706将由语音识别模块705转换的语音识别数据{“yonbukopishite(四份)”，语言设置“日语”}分析为“yon”、“bu”、“kopi”、“wo”和“shite”的词素串。此外，形态分析模块706将语音识别数据{“四份”，语言设置“英语”}分析为“四”和“份”的词素串。
96.组id确定模块707通过将形态分析模块706进行的形态分析的结果与图7b中的日语组id列表和图7c中的英语组id列表中的与语音识别数据的语言设置相对应的组id列表进行匹配，来指定组id。然后，组id确定模块707生成指示指定的组id的组id确定结果。例如，组id确定模块707将“yon”、“bu”、“kopi”、“wo”和“shite”的词素串与图7b中的日语组id列表进行匹配，指定作为“yon”、“bu”和“kopi”的组id的“num00004”、“cnf00001”和
“
fnc00001”，并生成{id：num00004，id：cnf00001，id：fnc00001}作为组id确定结果。此外，组id确定模块707将“四”和“份”的词素串与图7c中的英语组id列表进行匹配，指定作为“四”和“份”的组id的“num00004”、“cnf00001”和“fnc00001”，并生成{id：num00004，id：cnf00001，id：fnc00001}作为组id确定结果。
97.当组id确定结果包括多个组id时，以语音识别和形态分析的结果的顺序来设置组id。例如，当语音识别和形态分析的结果为“yon”、“bu”、“kopi”、“wo”和“shite”时，以与词素“yon”、“bu”和“kopi”相对应的{id：num00004，id：cnf00001，id：fnc00001}的顺序来设置组id，作为组id确定结果。此外，当存在与相同的词素相对应的不同的组id时，组id确定结果可以包括所有不同的组id。例如，在图7c的英语组id列表中，“cnf00001”和“fnc00001”与相同的词素“份”相关联。当语音识别和形态分析的结果为“四”和“份”时，生成组id确定结果为{id：num00004，id：cnf00001，id：fnc00001}。
98.音频合成模块708基于从mfp 101接收的通知来进行音频合成处理。在音频合成处理中，与接收到的通知相对应的先前登记的文本被转换为诸如mp3的预定格式的音频数据。在音频合成处理中，例如，基于存储在数据管理模块702中的音频数据库来生成音频数据。音频数据库例如是收集诸如词的规则内容的声音的数据库。尽管在实施例中使用音频数据库进行音频合成处理，但是音频合成处理的方法不限于该方法。可以使用其他方法。
99.设备操作数据生成模块703基于由组id确定模块707生成的组id确定结果和由语音识别模块705生成的语音识别数据的语言设置来确定mfp 101的操作。设备操作数据生成模块703生成与所确定的操作相对应的预定数据格式的文件。
100.例如，当语音识别数据的语言设置是“日语”并且组id确定结果是{id：num00004，id：cnf00001，id：fnc00001}时，设备操作数据生成模块703基于“日语”确定将日语设置为mfp 101的语言设置，并生成字符串{“language”：“japanese”}。设备操作数据生成模块703基于“fnc00001”确定指示mfp 101进行复印作业，并生成字符串{“operation”：“jobstart”}和{“jobname”：“copy”}以用于进行复印作业。设备操作数据生成模块703基于“num00004”和“cnf00001”，生成用于指定“4”作为复印作业的份数的字符串{“copies”：“4”}。设备操作数据生成模块703通过组合这些字符串，以图8所示的json格式生成数据。
101.此外，当语音识别数据的语言设置为“英语”并且组id确定结果为{id：fnc00001，id：num00004，id：cnf00002，id：fnc00003}时，设备操作数据生成模块703基于“英语”确定将英语设置为mfp 101的语言设置，并生成字符串{“language”：“english”}。设备操作数据生成模块703基于“fnc00001”和“fnc00003”来确定执行mfp 101的作业设置，并生成用于执行作业设置的字符串{“operation”：“jobsetting”}。设备操作数据生成模块703基于“num00004”和“cnf00001”生成字符串{“density”：“4”}。设备操作数据生成模块703通过组合这些字符串，以图9所示的json格式生成数据。
102.图10是示出当图1的图像形成系统100通过语音输入接收作业执行指令时执行的处理的过程的序列图。应当注意，在图10中，智能扬声器102、mfp 101和云服务器103应当可以相互通信。此外，图20中的主画面2001应显示在mfp 101的操作面板209上，在主画面2001上，可以调用诸如复印、扫描和打印的功能。
103.在图10中，用户首先在步骤s1001中向智能扬声器102给出开始语音操作的指令。当用户说出唤醒词或当用户按下智能扬声器102的操作开始键(未示出)时，给出开始语音
操作的指令。通过语音操作开始检测模块607来检测开始语音操作的指令。
104.当检测到开始语音操作的指令时，在步骤s1002中，在智能扬声器102中，音频控制模块600的显示模块606使led 312点亮，作为指示处于话语处理状态的通知。此外，在智能扬声器102中开始语音获得模块604的处理。
105.在步骤s1003中，用户对智能扬声器102进行功能调用指令。例如，用户说出作为作业执行指令的诸如“yonbukopishite”或“四份”的短语，作为在步骤s1001中检测到的唤醒词之后的功能调用指令。基于由语音获得模块604获得的用户语音来生成音频数据。当持续预定时段的暂停时段时，话语结束确定模块608确定话语结束。
106.在步骤s1004中，音频控制模块600的显示模块606根据话语结束确定，来使led 312闪烁作为指示处于响应处理状态的通知。此外，语音获得模块604的处理完成。在步骤s1005中，数据发送/接收模块601将所生成的音频数据发送到云服务器103。
107.在步骤s1006中，云服务器103中的音频数据转换控制模块700执行后述图11的语音操作服务执行处理。语音操作服务执行处理的细节将在后面描述。在语音操作服务执行处理中，例如，作为用于执行作业的设备操作数据的语言设置作业信息被发送到mfp 101，并且后述音频消息被发送到智能扬声器102。
108.在步骤s1007中，mfp 101中的设备控制模块500基于从云服务器103接收的语言设置作业信息，执行后述图19的语言设置切换处理。
109.在步骤s1008中，智能扬声器102中的数据发送/接收模块601从云服务器103接收音频消息。在接下来的步骤s1009中，音频再现模块605再现从在步骤s1008中接收到的音频消息转换的合成音频数据。例如，音频再现模块605通过扩音器310再现合成音频数据“将开始复印”。
110.在步骤s1010中，数据发送/接收模块601从云服务器103接收与在步骤s1008中接收的音频消息不同的音频消息。此外，数据发送/接收模块601从云服务器103接收交互会话结束通知，该通知结束与用户的交互会话。
111.在步骤s1011中，音频再现模块605再现从在步骤s1010中接收到的音频消息转换的合成音频数据。例如，音频再现模块605通过扩音器310再现合成音频数据“复印已经结束”。
112.在步骤s1012中，显示模块606响应于数据发送/接收模块601在步骤s1010中接收到交互会话结束通知而使led 312熄灭，作为示出智能扬声器102处于待机状态的通知。
113.在步骤s1013中，响应于数据发送/接收模块601在步骤s1010中接收到交互会话结束通知，音频控制模块600结束交互会话并将智能扬声器102转变为待机状态。
114.在图10的序列中，即使作为指示处于响应处理状态的通知而使led312闪烁，用户也可以将唤醒词输入到智能扬声器102中。当用户在唤醒词之后说出“取消”或“停止”时，交互会话可以被强制结束。
115.图11是示出由图1中的云服务器103执行的语音操作服务执行处理的过程的流程图。因为cpu 402运行从存储单元405展开到ram 403的控制程序，所以实现了语音操作服务执行处理。当数据发送/接收模块701在步骤s1005中接收到从智能扬声器102发送的功能调用指令的音频数据时，执行图11的语音操作服务执行处理。
116.如图11所示，cpu 402通过语音识别模块705执行将音频数据转换为文本数据的语
音识别处理(步骤s1101)。如上所述，在语音识别处理中，语音识别模块705可以采用第一语音识别方法，该方法确定输入音频数据的语言并将音频数据转换为所确定的语言的文本数据。此外，语音识别模块705可以采用第二语音识别方法，该方法使用多种语言的声学模型将输入音频数据转换为音素，并使用对应的语言模型将音频数据转换为各语言的文本数据。
117.接下来，cpu 402基于在步骤s1101中转换的文本数据和语言确定结果来执行语言确定处理(步骤s1102)。应当注意，步骤s1102的语言确定处理的内容基于在步骤s1101中用于文本数据的转换的方法(第一语音识别方法或第二语音识别方法)而不同。例如，当在步骤s1101中将第一语音识别方法用于文本数据的转换时，cpu 402执行后述图12的第一语言确定处理。同时，当在步骤s1101中将第二语音识别方法用于文本数据的转换时，cpu 402执行后述图13的第二语言确定处理。
118.接下来，cpu 402执行后述图14的操作确定处理(步骤s1103)并将作为用户的功能调用指令的类型的确定结果的操作信息存储到ram403中。接下来，cpu 402确定在ram 403中存储的操作信息是否是“作业执行”(步骤s1104)。
119.作为步骤s1104中的确定的结果，当操作信息是“作业执行”时，cpu 402执行后述图15的作业执行处理(步骤s1105)并结束语音操作服务执行处理。作为步骤s1104中的确定的结果，当操作信息不是“作业执行”时，cpu 402确定操作信息是否是“作业设置”(步骤s1106)。
120.作为步骤s1106中的确定的结果，当操作信息是“作业设置”时，cpu 402执行后述图23的作业设置处理(步骤s1107)，并结束语音操作服务执行处理。作为步骤s1106中的确定的结果，当操作信息不是“作业设置”时，cpu 402生成操作指导消息，该操作指导消息是用于促使输入操作关键词的文本消息(步骤s1108)。然后，cpu 402将操作指导消息存储到ram 403中的音频数据存储区域中。操作指导消息例如是“请给出您要执行的copy、emailsend等的操作。”。接下来，cpu 402控制数据发送/接收模块701以通过网络i/f 406将存储在ram 403中的操作指导消息发送至智能扬声器102(步骤s1109)，并结束语音操作服务执行处理。
121.图12是示出当在图11的步骤s1101中将第一语音识别方法用于文本数据的转换时，在步骤s1102中执行的第一语言确定处理的过程的流程图。
122.如图12所示，cpu 402清除作为ram 403的存储区域的一部分的临时存储区域(步骤s1201)。临时存储区是在第一语言确定处理中使用的存储区域，例如包括语言确定结果临时存储区域、词素串存储区域、组id存储区域和语言确定结果存储区域。接下来，cpu 402将在步骤s1101中的语音识别处理中进行的音频数据的语言确定结果存储到ram403的语言确定结果临时存储区域中(步骤s1202)。接下来，cpu 402通过形态分析模块706分析上述文本数据，以提取与存储在语言确定结果临时存储区域中的所确定的语言相对应的词素串，并通过组id确定模块707将构成该词素串的词素转换为组id。接下来，cpu 402将词素串存储在词素串存储区域中，并且将组id存储在组id存储区域中(步骤s1203)。
123.接下来，cpu 402从图7b中的组id列表711、722和713以及图7c中的组id列表721、722和723中获得构成上述词素串的各词素的语言确定例外标志。cpu 402确定语言确定例外标志为“是”的词素是确定例外词素(无法指定语言词信息)。cpu 402确定构成词素串的
所有词素是否都是确定例外词素(步骤s1204)。
124.作为步骤s1204中的确定的结果，当至少一个词素不是确定例外词素时，cpu 402将存储在语言确定结果临时存储区域中的语言确定结果存储到语言确定结果存储区域中(步骤s1205)。存储在语言确定结果临时存储区域中的语言确定结果是在步骤s1101的语音识别处理中获得的音频数据的语言确定结果。之后，语言确定处理结束。
125.作为步骤s1204中的确定的结果，当所有词素都是确定例外词素时，cpu 402将示出无法进行语言确定的“未知”存储到语言确定结果存储区域中(步骤s1206)。之后，语言确定处理结束。
126.图13是示出当在图11的步骤s1101中将第二语音识别方法用于文本数据的转换时，在步骤s1102中执行的第二语言确定处理的过程的流程图。
127.如图13所示，cpu 402清除作为ram 403的存储区域的一部分的临时存储区域(步骤s1301)。临时存储区用于第二语言确定处理，并且包括日语语音识别数据存储区域、英语语音识别数据存储区域、日语词素串存储区域、日语组id存储区域、英语词素串存储区域、英语组id存储区域、语言确定结果存储区域和组id存储区域。
128.接下来，cpu 402将包括语言设置“日语”的语音识别数据(以下称为“日语语音识别数据”)存储到日语语音识别数据存储区域中。日语语音识别数据包括由于语音识别模块705将语音识别处理应用于日语的音频数据而获得的文本数据(步骤s1302)。此外，cpu 402将包括语言设置“英语”的语音识别数据(以下称为“英语语音识别数据”)存储到英语语音识别数据存储区域中。英语语音识别数据包括由于语音识别模块705将语音识别处理应用于英语的音频数据而获得的文本数据(步骤s1302)。
129.接下来，cpu 402通过形态分析模块706分析日语语音识别数据中包括的文本数据，以提取与日语相对应的词素串，并通过组id确定模块707将构成该词素串的词素转换为组id。cpu 402将词素串(以下称为“日语词素串”)存储在日语词素串存储区域中，并且将组id(以下称为“日语组id”)存储在日语组id存储区域中(步骤s1303)。
130.接下来，cpu 402通过形态分析模块706分析英语语音识别数据中包括的文本数据，以提取与英语相对应的词素串，并通过组id确定模块707将构成该词素串的词素转换为组id。cpu 402将词素串(以下称为“英语词素串”)存储在英语词素串存储区域中，并且将组id(以下称为“英语组id”)存储在英语组id存储区域中(步骤s1304)。
131.接下来，cpu 402确定日语组id存储区域是否为空(步骤s1305)。在步骤s1305中，当日语组id存储区域中没有存储组id时，cpu 402确定日语组id存储区域为空。同时，当至少一个组id被存储在日语组id存储区域中时，cpu 402确定日语组id存储区域不为空。
132.作为步骤s1305中的确定的结果，当日语组id存储区域不为空时，cpu 402从图7b的组id列表711、712和713中获得构成日语词素串的词素的语言确定例外标志。cpu 402确定构成日语词素串的所有词素是否都是确定例外词素(步骤s1306)。
133.作为步骤s1306中的确定的结果，当构成日语词素串的至少一个词素不是确定例外词素时，cpu 402将日语组id存储区域中存储的组id存储到组id存储区域(步骤s1307)。应当注意，存储在日语组id存储区域中的组id是日语组id。接下来，cpu 402在语言确定结果存储区域中存储语言设置“日语”(步骤s1308)。之后，语言确定处理结束。
134.当作为步骤s1306中的确定结果、构成日语词素串的所有词素都是确定例外词素
时，或者当作为步骤s1305中的确定结果、日语组id存储区域为空时，cpu 402确定英语组id存储区域是否为空(步骤s1309)。
135.作为步骤s1309中的确定的结果，当英语组id存储区域不为空时，cpu 402从图7c的组id列表721、722和723中获得构成英语词素串的词素的语言确定例外标志。cpu 402确定构成英语词素串的所有词素是否都是确定例外词素(步骤s1310)。
136.作为步骤s1310中的确定的结果，当构成英语词素串的至少一个词素不是确定例外词素时，cpu 402将英语组id存储区域中存储的组id存储到组id存储区域(步骤s1311)。应当注意，存储在英语组id存储区域中的组id是英语组id。接下来，cpu 402在语言确定结果存储区域中存储语言设置“英语”(步骤s1312)。之后，语言确定处理结束。
137.当作为步骤s1310中的确定结果构成英语词素串的所有词素都是确定例外词素时，或者当作为步骤s1309中的确定结果英语组id存储区域为空时，cpu 402将示出不可能进行语言确定的“未知”存储在语言确定结果存储区域中(步骤s1313)。之后，语言确定处理结束。在该实施例中，当用户说出的短语仅由如图30所示的确定例外词素(诸如“kopi”、“复印”、“kopisetteingu”和“复印设置”)组成时，以这种方式将“未知”存储在语言确定结果存储区域中。此外，当用户说出包括除确定例外词素之外(除无法指定语言词信息之外)的词素的短语(诸如“yonbukopishite”、“noudosetteiyon”、“四份”和“设置浓度4”)时，将“英语”或“日语”存储在语言确定结果存储区域中。
138.图14是示出图11中的步骤s1103的操作确定处理的过程的流程图。
139.如图14所示，cpu 402确定是否仅将指定作业类型的一个组id(以下称为“作业类型指定组id”)存储在ram 403的组id存储区域中(步骤s1401)。作业类型指定组id例如是与作业类型“copy”相对应的“fnc00001”和与作业类型“emailsend”相对应的“fnc00004”。
140.作为步骤s1401中的确定的结果，当仅将一个作业类型指定组id存储在组id存储区域中时，cpu 402确定指定“设置”的组id(以下称为“设置指定组id”)是否存储在组id存储区域中(步骤s1402)。设置指定组id例如是与“设置”相对应的“fnc00003”。
141.作为步骤s1402中的确定的结果，当将设置指定组id存储在组id存储区域中时，cpu 402将示出用户的功能调用指令的类型为“设置”的“作业设置”作为操作信息存储到ram 403中(步骤s1403)，并且操作确定处理结束。
142.作为步骤s1402中的确定的结果，当在组id存储区域中没有存储设置指定组id时，cpu 402将示出用户的功能调用指令的类型为“作业的执行”的“作业执行”作为操作信息存储到ram 403中(步骤s1404)，并且操作确定处理结束。
143.作为步骤s1401中的确定的结果，当在组id存储区域中存储了多个作业类型指定组id时，或者当在组id存储区域中没有存储作业类型指定组id时，cpu 402将示出用户的功能调用指令的类型未知的“未知”作为操作信息存储到ram 403中(步骤s1405)，并且操作确定处理结束。
144.图15是示出图11中的步骤s1105的作业执行处理的过程的流程图。
145.如图15所示，cpu 402确定在ram 403的组id存储区域中必要作业设置组id是否完整(步骤s1501)。必要作业设置组id是与用户必须设置以执行作业的设置相对应的组id。例如，作业类型“emailsend”的必要作业设置组id是示出目的地的“cnf00004”。必要作业设置组id根据作业类型而不同。存在没有必要作业设置组id的作业类型，并且存在具有多个必
要作业设置组id的作业类型。
146.作为步骤s1501中的确定的结果，当在组id存储区域中必要作业设置组id完整时，cpu 402执行后述图16的作业信息生成处理(步骤s1502)，以生成语言设置作业信息，该语言设置作业信息是用于通过mfp101执行作业的设备操作数据。接下来，cpu 402将相关语言设置作业信息通过网络i/f 406发送到mfp 101(步骤s1503)。接下来，cpu 402确定是否从mfp 101接收到作业执行结束通知(步骤s1504)。在该实施例中，当完成作业或由于发生错误而暂停作业时，mfp 101将包括指示这种作业结束状态的信息的作业执行结束通知发送到云服务器103。cpu402等待直到从mfp 101接收到作业执行结束通知。当从mfp 101接收到作业执行结束通知时(步骤s1504中为“是”)，cpu 402生成作为与接收到的作业执行结束通知相对应的文本消息的作业结束音频消息(步骤s1505)。在步骤s1505中，例如生成作为正常结束时的消息的“作业已完成”或作为在mfp 101中发生卡纸或错误时的消息的“由于错误而结束”。
147.接下来，cpu 402将相关作业结束音频消息存储在ram 403中的音频消息存储区域中。接下来，cpu 402通过网络i/f 406将存储在音频消息存储区域中的音频消息发送到智能扬声器102(步骤s1506)并结束作业执行处理。
148.作为步骤s1501中的确定的结果，当在组id存储区域中必要作业设置组id不完整时，cpu 402生成作业设置指导音频消息(步骤s1507)。作业设置指导音频消息是用于促使输入执行作业所需的设置的文本消息。例如，当在用户指定了“emailsend”的状态下未指定目的地时，生成作业设置指导音频消息“请输入发送目的地”。cpu 402将所生成的作业设置指导音频消息存储在音频消息存储区域中，并执行步骤s1506的处理。
149.图16是示出图15中的步骤s1502的作业信息生成处理的过程的流程图。
150.如图16所示，cpu 402清除ram 403上的用于作业信息生成处理的临时存储区域(步骤s1601)。该临时存储区域包括语言确定字符串存储区域、作业字符串存储区域和作业设置字符串存储区域。接下来，cpu402将语言设置参数化(步骤s1602)。具体地，cpu 402生成与存储在ram 403中的语言确定结果存储区域中的语言确定结果相对应的参数字符串。例如，当在语言确定结果存储区域中存储“日语”作为语言确定结果时，如图17所示，cpu 402生成示出语言设置为日语的字符串{“language”：“japanese”}，并将相关字符串存储在语言确定字符串存储区域中。此外，当在语言确定结果存储区域中存储“英语”作为语言确定结果时，如图18所示，cpu 402生成示出语言设置为英语的字符串{“language”：“english”}，并将相关字符串存储在语言确定字符串存储区域中。
151.接下来，cpu 402将作业类型参数化(步骤s1603)。具体地，cpu 402从ram 403中的组id存储区域中提取作业类型指定组id，并生成与相关作业类型指定组id相对应的参数字符串。例如，如图17或图18所示，当“num00004”、“cnf00001”和“fnc00001”存储在组id存储区域中时，cpu 402从中提取作为作业类型指定组id的“fnc00001”，并生成字符串{“jobname”：“copy”}作为与“fnc00001”相对应的参数字符串。cpu 402将所生成的字符串存储在作业字符串存储区域中。
152.接下来，cpu 402从组id存储区域的头地址依次确定所存储的组id是否是设置指定组id(步骤s1604)。
153.作为步骤s1604中的确定的结果，当所存储的组id是设置指定组id时，cpu 402将
作业设置参数化(步骤s1605)。具体地，cpu 402生成与被确定为设置指定组id的组id相对应的字符串，并将相关字符串存储在ram 403中的作业设置字符串存储区域中。之后，作业信息生成处理返回到步骤s1604。以此方式，在本实施例中，生成与存储在组id存储区域中的设置指定组id相对应的字符串。例如，当“num00004”、“cnf00001”和“fnc00001”存储在组id存储区域中时，如图17和图18所示，cpu 402生成“copies”作为与作为设置指定组id的“cnf00001”相对应的字符串。此外，如图17或图18所示，cpu 402生成“4”作为与作为设置指定组id的“num00004”相对应的字符串。cpu 402将这些生成的字符串存储在作业设置字符串存储区域中。
154.作为步骤s1604中的确定的结果，当所存储的组id不是设置指定组id时，cpu 402确定是否已经对存储在组id存储区域中的所有组id进行了步骤s1604的确定(步骤s1606)。
155.作为步骤s1606中的确定的结果，当未对存储在组id存储区域中的所有组id进行了步骤s1604的确定时，作业信息生成处理返回到步骤s1604。作为步骤s1606中的确定的结果，当已经对存储在组id存储区域中的所有组id进行了步骤s1604的确定时，cpu 402基于存储在语言确定字符串存储区域、作业字符串存储区域和作业设置字符串存储区域中的字符串，来生成作为用于指示mfp 101执行作业的设备操作数据的语言设置作业信息(步骤s1607)。语言设置作业信息例如是如图8所示的json格式的数据。语言设置作业信息的数据格式不限于json格式。数据格式可以是如xml格式的其他格式。之后，作业信息生成处理结束。
156.图19是示出由从云服务器103接收语言设置作业信息的mfp 101执行的语言设置切换处理的流程图。因为mfp 101的cpu 202运行从rom204展开到ram 203的控制程序，所以实现了图19的语言设置切换处理。
157.如图19所示，cpu 202通过数据分析模块502从接收到的语言设置作业信息中获得语言设置，并确定所获得的语言设置是否为“未知”(步骤s1901)。
158.作为步骤s1901中的确定的结果，当所获得的语言设置为“未知”时，语言设置切换处理进入后述的步骤s1903。作为步骤s1901中的确定的结果，当所获得的语言设置不是“未知”时，cpu 202更新操作面板209的显示语言(步骤s1902)。具体地，cpu 202将所获得的语言设置存储在存储单元205中的mfp语言设置存储区域中。接下来，cpu 202从接收到的语言设置作业信息中获得作业类型和作业设置。cpu 202生成与所获得的作业类型相对应的作业主要信息(步骤s1903)，并将相关作业主要信息存储在ram 203中。此外，cpu 202将与所获得的作业设置相对应的参数设置为上述作业主要信息。
159.接下来，cpu 202确定作业是否可执行(步骤s1904)。在步骤s1904中，例如，当mfp 101由于执行其他作业或发生错误而不能执行新作业时，cpu 202确定作业不可执行。同时，当mfp 101可以执行新作业时，cpu 202确定作业可执行。
160.作为步骤s1904中的确定的结果，当作业不可执行时，语言设置切换处理进入后述的步骤s1907。作为步骤s1904中的确定的结果，当作业可执行时，cpu 202通过数据发送/接收模块501通过网络104将作业执行开始通知发送到云服务器103(步骤s1905)。接下来，cpu 202基于在步骤s1903中生成的作业主要信息来执行作业(步骤s1906)。接下来，cpu 202通过数据发送/接收模块501通过网络104将作业执行结束通知发送到云服务器103(步骤s1907)。作业执行结束通知包括作业执行结果。例如，当在步骤s1906中执行的作业正常完
成时，作业执行结束通知包括示出作业已正常完成的作业执行结果。另外，在步骤s1904中确定作业不可执行时，或者在步骤s1906中执行的作业由于卡纸等而异常结束时，作业执行结束通知包括示出错误的作业执行结果。云服务器103生成与包括在所接收的作业执行结束通知中的作业执行结果相对应的音频消息。在cpu 202执行步骤s1907的处理之后，语言设置切换处理结束。
161.图20是示出当通过语音输入指示执行复印作业时mfp 101的操作面板209的画面转变的图。
162.当在如图20所示在操作面板209上显示主画面2001的状态下mfp101从云服务器103接收到包括{“language”：“japanese”}、{“operation”：“jobstart”}和{“jobname”：“copy”}的语言设置作业信息时，mfp 101将语言设置设置为日语，并开始执行复印作业。当在语言设置被设置为日语的状态下执行复印作业时，在操作面板209上显示其显示语言为日语的复印画面2002。
163.此外，当在操作面板209上显示主画面2001的状态下mfp 101从云服务器103接收到包括{“language”：“english”}、{“operation”：“jobstart”}和{“jobname”：“copy”}的语言设置作业信息时，mfp 101将语言设置设置为英语，并开始执行复印作业。当在语言设置被设置为英语的状态下执行复印作业时，在操作面板209上显示其显示语言为英语的复印画面2003。
164.图21是示出当通过语音输入指示执行emailsend作业时mfp 101的操作面板209的画面转变的图。
165.当在如图21所示在操作面板209上显示主画面2001的状态下mfp101从云服务器103接收到包括{“language”：“japanese”}、{“operation”：“jobstart”}和{“jobname”：“emailsend”}的语言设置作业信息时，mfp101将语言设置设置为日语，并开始执行emailsend作业。当在语言设置被设置为日语的状态下执行emailsend作业时，在操作面板209上显示其显示语言为日语的扫描画面2101。
166.此外，当在操作面板209上显示主画面2001的状态下mfp 101从云服务器103接收到包括{“language”：“english”}、{“operation”：“jobstart”}和{“jobname”：“emailsend”}的语言设置作业信息时，mfp 101将语言设置设置为英语，并开始执行emailsend作业。当在语言设置被设置为英语的状态下执行emailsend作业时，在操作面板209上显示其显示语言为英语的扫描画面2102。尽管在本实施例中将主画面2001描述为作业可执行画面的一个示例，但是作业可执行画面不限于主画面2001。此外，当mfp 101在省电模式下从云服务器103接收语言设置作业信息时，mfp 101可以如上所述基于接收到的语言设置作业信息来设置语言设置，并且可以执行作业，在省电模式下，不显示作业可执行画面并且操作面板209和打印引擎211的电源关闭。
167.图22是示出当图1的图像形成系统100通过语音输入接收作业设置改变指令时执行的处理的过程的序列图。应当注意，在图22中，与关于图10的描述一样，智能扬声器102、mfp 101和云服务器103应可相互通信。此外，图22的处理假设在mfp 101的操作面板209上显示图28中的主画面2801，在主画面2801上，可以调用诸如复印、扫描和打印的功能。
168.在图22中的步骤s2201中，与步骤s1001一样，用户向智能扬声器102给出指令以开始语音操作。
169.当检测到语音操作的开始指令时，与步骤s1002一样，智能扬声器102中的音频控制模块600的显示模块606在步骤s2202中，使led 312点亮，作为示出处于话语处理状态的通知。此外，开始语音获得模块604的处理。
170.在步骤s2203中，用户对智能扬声器102进行功能调用指令。例如，用户说出作为作业设置改变指令的诸如“kopinoudosetteiyon”或“设置复印浓度4”的短语，作为在步骤s2201中检测到的唤醒词之后的功能调用指令。基于由语音获得模块604获得的用户语音来生成音频数据。当持续预定时段的暂停时段时，话语结束确定模块608确定话语结束。
171.在步骤s2204中，与步骤s1004相同，音频控制模块600的显示模块606根据话语结束确定，来使led 312闪烁作为指示处于响应处理状态的通知。此外，语音获得模块604的处理完成。在步骤s2205中，与步骤s1005相同，数据发送/接收模块601将所生成的音频数据发送到云服务器103。
172.在步骤s2206中，云服务器103中的音频数据转换控制模块700执行上述图11的语音操作服务执行处理。在语音操作服务执行处理中，例如，后述语言设置作业信息被发送到mfp 101。
173.在步骤s2207中，mfp 101中的设备控制模块500基于从云服务器103接收到的作业设置信息，执行后述图19的语言设置切换处理。
174.在步骤s2208中，智能扬声器102中的数据发送/接收模块601从云服务器103接收音频消息。在接下来的步骤s2209中，音频再现模块605再现从在步骤s2208中接收到的音频消息转换的合成音频数据。例如，音频再现模块605通过扩音器310再现合成音频数据“将开始浓度设置”。
175.在步骤s2210中，数据发送/接收模块601从云服务器103接收与在步骤s2208中接收到的音频消息不同的音频消息。此外，数据发送/接收模块601从云服务器103接收交互会话结束通知，该通知结束与用户的交互会话。
176.在步骤s2211中，音频再现模块605再现从在步骤s2210中接收到的音频消息转换的合成音频数据。例如，音频再现模块605通过扩音器310再现合成音频数据“浓度设置已经结束”。
177.在步骤s2212中，显示模块606响应于数据发送/接收模块601在步骤s2210中接收到交互会话结束通知而使led 312熄灭，作为示出智能扬声器102处于待机状态的通知。
178.在步骤s2213中，响应于数据发送/接收模块601在步骤s2210中接收到交互会话结束通知，音频控制模块600将智能扬声器102转变为待机状态。
179.图23是示出图11中的步骤s1107的作业设置处理的过程的流程图。当云服务器103从智能扬声器102接收到基于作为作业设置改变指令的用户语音而生成的音频数据时，执行图23的作业设置处理。
180.如图23所示，cpu 402通过执行后述图24的作业设置信息生成处理，来生成包括当mfp 101执行作业时使用的设置值的语言设置作业信息(步骤s2301)。接下来，cpu 402通过网络i/f 406将相关语言设置作业信息发送到mfp 101(步骤s2302)。接下来，cpu 402确定是否从mfp101接收到作业设置结束通知(步骤s2303)。在该实施例中，当作业设置正常完成或由于错误的发生而暂停作业设置时，mfp 101将包括指示该作业设置结束状态的信息的作业设置结束通知发送到云服务器103。cpu 402等待直到从mfp 101接收到作业设置结束
通知为止。当从mfp101接收到作业设置结束通知时(步骤s2303中为“是”)，cpu 402生成作为与接收到的作业设置结束通知相对应的文本消息的作业设置结束音频消息(步骤s2304)。在步骤s2304中，例如，cpu 402生成作为正常结束时的消息的“作业设置已完成”或作为在mfp 101中发生卡纸或错误时的消息的“无法进行作业设置”。
181.接下来，cpu 402将作业设置结束音频消息存储在ram 403中的音频消息存储区域中。接下来，cpu 402通过网络i/f 406将存储在音频消息存储区域中的音频消息发送至智能扬声器102(步骤s2305)并结束作业设置处理。
182.图24是示出图23中的步骤s2301的作业设置信息生成处理的过程的流程图。
183.如图24所示，cpu 402清除ram 403上的用于作业设置信息生成处理的临时存储区域(步骤s2401)。该临时存储区域包括语言确定字符串存储区域、作业字符串存储区域和作业设置字符串存储区域。接下来，cpu 402将语言设置参数化(步骤s2402)。具体地，cpu 402生成与存储在ram 403中的语言确定结果存储区域中的语言确定结果相对应的参数字符串。例如，当在语言确定结果存储区域中存储“日语”作为语言确定结果时，如图25所示，cpu 402生成示出语言设置为日语的字符串{“language”：“japanese”}，并将相关字符串存储在语言确定字符串存储区域中。此外，当在语言确定结果存储区域中存储“英语”作为语言确定结果时，如图26所示，cpu 402生成示出语言设置为英语的字符串{“language”：“english”}，并将相关字符串存储在语言确定字符串存储区域中。
184.接下来，cpu 402将作业类型参数化(步骤s2403)。具体地，cpu 402从ram 403中的组id存储区域中提取作业类型指定组id，并生成与相关作业类型指定组id相对应的参数字符串。例如，如图25或图26所示，当“fnc00001”、“num00004”、“cnf00002”和“fnc00003”存储在组id存储区域中时，cpu 402从中提取作为作业类型指定组id的“fnc00001”，并生成字符串{“jobname”：“copy”}作为与“fnc00001”相对应的参数字符串。cpu 402将所生成的字符串存储在作业字符串存储区域中。
185.接下来，cpu 402从组id存储区域的头地址依次确定所存储的组id是否是设置指定组id(步骤s2404)。
186.作为步骤s2404中的确定的结果，当所存储的组id是设置指定组id时，cpu 402将作业设置参数化(步骤s2405)。具体地，cpu 402生成与被确定为设置指定组id的组id相对应的字符串，并将相关字符串存储在ram 403中的作业设置字符串存储区域中。之后，作业设置信息生成处理返回到步骤s2404。以此方式，在本实施例中，生成与存储在组id存储区域中的设置指定组id相对应的字符串。例如，当“fnc00001”、“num00004”、“cnf00002”和“fnc00003”存储在组id存储区域中时，如图25和图26所示，cpu 402生成“density”作为与作为设置指定组id的“cnf00002”相对应的字符串。此外，如图25或图26所示，cpu 402生成“4”作为与作为设置指定组id的“num00004”相对应的字符串。cpu 402将这些生成的字符串存储在作业设置字符串存储区域中。
187.作为步骤s2404中的确定的结果，当所存储的组id不是设置指定组id时，cpu 402确定是否已经对存储在组id存储区域中的所有组id进行了步骤s2404的确定(步骤s2406)。
188.作为步骤s2406中的确定的结果，当未对存储在组id存储区域中的所有组id进行步骤s2404的确定时，作业设置信息生成处理返回到步骤s2404。作为步骤s2406中的确定的结果，当已经对存储在组id存储区域中的所有组id进行了步骤s2404的确定时，cpu 402基
于存储在语言确定字符串存储区域、作业字符串存储区域和作业设置字符串存储区域中的字符串，来生成作为用于指示mfp 101执行作业的设备操作数据的语言设置作业信息(步骤s2407)。语言设置作业信息例如是如图9所示的json格式的数据。语言设置作业信息的数据格式不限于json格式。数据格式可以是如xml格式的其他格式。
189.图27是示出由从云服务器103接收语言设置作业信息的mfp 101执行的语言设置切换处理的流程图。因为mfp 101的cpu 202运行从rom204展开到ram 203的控制程序，所以实现了图27的语言设置切换处理。
190.如图27所示，cpu 202通过数据分析模块502从接收到的语言设置作业信息中获得语言设置，并确定所获得的语言设置是否为“未知”(步骤s2701)。
191.作为步骤s2701中的确定的结果，当所获得的语言设置为“未知”时，语言设置切换处理进入后述的步骤s2703。作为步骤s2701中的确定的结果，当所获得的语言设置不是“未知”时，cpu 202更新操作面板209的显示语言(步骤s2702)。具体地，cpu 202将所获得的语言设置存储在存储单元205中的mfp语言设置存储区域中。接下来，cpu 202从接收到的语言设置作业信息中获得作业类型和作业设置。cpu 202生成与所获得的作业类型相对应的作业主要信息(步骤s2703)，并将相关作业主要信息存储在ram 203中。此外，cpu 202将与所获得的作业设置相对应的参数设置为上述作业主要信息。
192.接下来，cpu 202确定是否可以将操作面板209的画面转变为作业设置画面(步骤s2704)。用户可以在作业设置画面上设置执行作业所需的设置值。在步骤s2704中，例如当由于mfp 101正在执行其他作业或引起错误而无法转变操作面板209的画面时，cpu 202确定无法将操作面板209的画面转变为作业设置画面。同时，当可以转变操作面板209的画面时，cpu 202确定可以将操作面板209的画面转变为作业设置画面。
193.作为步骤s2704中的确定的结果，当无法将操作面板209的画面转变为作业设置画面时，语言设置切换处理进入后述的步骤s2706。作为步骤s2704中的确定的结果，当可以将操作面板209的画面转变为作业设置画面时，在操作面板209上显示作业设置画面(步骤s2705)。接下来，cpu 202通过数据发送/接收模块501通过网络104将作业设置结束通知发送到云服务器103(步骤s2706)。作业设置结束通知包括作业设置结果。例如，当画面转变正常完成时，作业设置结束通知包括示出画面转变正常完成的作业设置结果。此外，当在步骤s2704中确定无法将操作面板209的画面转变为作业设置画面时，作业设置结束通知包括指示错误的作业设置结果。在cpu 202执行步骤s2706的处理之后，语言设置切换处理结束。
194.图28是示出当通过用户的语音输入复印作业的设置时mfp 101的操作面板209的画面转变的图。
195.如图28所示，当在操作面板209上显示主画面2801的状态下mfp101从云服务器103接收到包括{“language”：“japanese”}、{“operation”：“jobsetting”}和{“jobname”：“copy”}的语言设置作业信息时，mfp 101将语言设置设置为日语。在操作面板209上显示其显示语言为日语的复印设置画面2802。此后，当用户从智能扬声器102或操作面板209给出作业执行指令时，作业控制模块503执行复印作业，并且在操作面板209上显示其显示语言为日语的复印执行画面2803。
196.此外，当在操作面板209上显示主画面2801的状态下mfp 101从云服务器103接收到包括{“language”：“english”}、{“operation”：“jobsetting”}和{“jobname”：“copy”}的
语言设置作业信息时，mfp 101将语言设置设置为英语。在操作面板209上显示其显示语言为英语的复印设置画面2804。此后，当用户从智能扬声器102或操作面板209给出作业执行指令时，作业控制模块503执行复印作业，并且在操作面板209上显示其显示语言为英语的复印执行画面2805。
197.图29是示出当通过用户的语音输入email send作业的设置时mfp 101的操作面板209的画面转变的图。
198.如图29所示，当在操作面板209上显示主画面2801的状态下mfp101从云服务器103接收到包括{“language”：“japanese”}、{“operation”：“jobsetting”}和{“jobname”：“emailsend”}的语言设置作业信息时，mfp 101将语言设置设置为日语。在操作面板209上显示其显示语言为日语的扫描设置画面2901。此后，当用户从智能扬声器102或操作面板209给出作业执行指令时，作业控制模块503执行emailsend作业，并且在操作面板209上显示其显示语言为日语的扫描画面2902。
199.此外，当在操作面板209上显示主画面2801的状态下mfp 101从云服务器103接收到包括{“language”：“english”}、{“operation”：“jobsetting”}和{“jobname”：“emailsend”}的语言设置作业信息时，mfp 101将语言设置设置为英语。在操作面板209上显示其显示语言为英语的扫描设置画面2903。此后，当用户从智能扬声器102或操作面板209给出作业执行指令时，作业控制模块503执行emailsend作业，并且在操作面板209上显示其显示语言为英语的扫描画面2904。
200.根据上述实施例，基于智能扬声器102获得的短语来获得由多个词素组成的词素串，使用相关词素串来指定语言，并基于指定的语言来更新操作面板209的显示语言。即，将操作面板209的显示语言改变为用户的使用语言，而无需在每次用户开始使用mfp 101时，给出关于操作面板的显示语言的设置操作。这可以减少用户设置显示语言的时间和精力。
201.此外，在上述实施例中，云服务器103基于智能扬声器102获得的用户语音来获得词素串。因此，云服务器103可以使用所获得的词素串迅速执行处理以指定语言。
202.在上述实施例中，当在词素串中包括确定例外词素时，使用词素串中的除了确定例外词素之外的词素来指定语言。由此，提高了指定语言的准确性。
203.尽管使用上述实施例描述了本发明，但是本发明不限于上述实施例。例如，当mfp 101配设有麦克风308时，mfp 101可以将基于利用麦克风308获得的用户语音而生成的音频数据发送到云服务器103。
204.mfp 101可以被构造为可在不具有操作面板209的情况下连接到其他外部显示设备。
205.此外，当外部显示设备配设有麦克风308时，外部显示设备可以将基于利用麦克风308获得的用户语音而生成的音频数据发送到云服务器103。
206.此外，当在不具有操作面板209的情况下可连接至外部显示设备的mfp 101配设有麦克风308时，mfp 101可以将基于利用麦克风308获得的用户语音而生成的音频数据发送至云服务器103。
207.mfp 101可以基于利用mfp 101的麦克风308获得的用户语音而生成的音频数据、或从智能扬声器102获得的音频数据，来获得词素串，并且可以将所获得的词素串发送至云服务器103。这可以分散云服务器103上的执行获得词素串的处理所需的负荷。
208.当在基于所获得的短语而获得的词素串中仅包括确定例外词素时，可以基于使用从其他短语获得的词素串指定的语言来更新操作面板209的显示语言，该其他短语是智能扬声器102在获得先前短语之后获得的。例如，即使由于用户说出的短语仅由诸如“kopi”的确定例外词素组成而无法进行语言确定，当用户说出包括除确定例外词素以外的词素的短语(诸如“sanbukopishite”)并将语言指定为日语时，操作面板209的显示语言也将改变为日语。从而，可以在交互会话期间在指定语言的定时切换显示语言，而无需用户设置显示语言。
209.其他实施例
210.还可以通过读出并执行记录在存储介质(也可更完整地称为“非临时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(asic))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由所述系统或装置的所述计算机例如读出并执行来自所述存储介质的所述计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制所述一个或更多个电路执行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。所述计算机可以包括一个或更多个处理器(例如，中央处理单元(cpu)，微处理单元(mpu))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或所述存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器(ram)、只读存储器(rom)、分布式计算系统的存储器、光盘(诸如压缩光盘(cd)、数字通用光盘(dvd)或蓝光光盘(bd)tm)、闪存设备以及存储卡等中的一个或更多个。
211.本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。
212.虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。
213.本技术要求2020年5月13日提交的日本专利申请第2020
‑
084478号的优先权，该申请的全部内容通过引用并入本文。