图像形成装置、响应通知方法以及记录介质与流程

1.本发明涉及图像形成装置、响应通知方法以及储存有响应通知程序的计算机可读取的记录介质。


背景技术：

2.已知有如下的mfp(multi-function peripheral：多功能外围设备)等图像形成装置：用户输入声音并进行指示，从而能够利用声音对复印、扫描、打印、fax等多个功能进行操作(参照专利文献1)。
3.另外，当前，许多种类的智能扬声器被实用化。智能扬声器能够获取用户的声音，并将与获取到的声音对应的响应作为声音而输出、或者经由云服务器向外部的设备等指示与获取到的声音对应的动作。
4.在将上述的图像形成装置和智能扬声器连接的情况下，能够经由云服务器向图像形成装置发送用户的声音指示，并利用声音对图像形成装置进行操作。
5.专利文献1：日本特开2006-023636号公报
6.然而，云服务器有时为如下规格：由于其响应动作，在将用户的声音指示发送到图像形成装置之后，若在一定时间(例如，5～7秒)内从图像形成装置向云服务器没有响应，则成为超时。
7.在这样的规格的情况下，在将用户的声音指示发送到图像形成装置时，图像形成装置针对声音指示的处理花费时间，若在一定时间内从图像形成装置向云服务器没有响应，则云服务器超时。
8.例如，在向图像形成装置输入图像形成的设定(例如，用纸的选择等)的情况下，在用户从操作画面直接输入的情况下和在用户从智能扬声器进行声音输入的情况下，都在操作画面上进行输入处理。因此，在从智能扬声器进行声音输入的情况下，直到操作画面上的设定的输入处理结束为止，从图像形成装置向云服务器的响应延迟。特别是，在根据所输入的设定而产生错误(选择无法选择的用纸等)或者需要禁止处理(确认是否是无法选择的输入值)的情况下，由于该处理时间变长，因此从图像形成装置向云服务器的响应延迟。
9.这样，在从智能扬声器对图像形成装置进行声音操作的情况下，根据通过声音操作而输入的设定的内容，而有时云服务器会超时。在这样的情况下，例如有由于云服务器的超时，而声音操作中断，无法继续之后的声音操作之虞。另外，例如有由于云服务器的超时，而从最初重新操作，基于声音操作的操作性恶化之虞。


技术实现要素：

10.本发明的目的在于提供在从外部装置进行声音操作的情况下能够避免外部装置的超时的图像形成装置、响应通知方法以及储存有响应通知程序的计算机可读取的记录介质。
11.本发明的图像形成装置具备：处理执行部，根据经由外部装置输入的指示执行处
理；第一通知部，对上述外部装置进行与上述处理的执行结束对应的第一通知；以及第二通知部，在推测为在上述外部装置中关于上述第一通知而设定的超时时间之前，上述处理的执行未结束的情况下，对上述外部装置进行与上述第一通知不同的第二通知。
12.在本发明的响应通知方法中，在根据经由外部装置输入的指示执行处理时，对上述外部装置进行与上述处理的执行结束对应的第一通知，在推测为在上述外部装置中关于上述第一通知而设定的超时时间之前，上述处理的执行未结束的情况下，对上述外部装置进行与上述第一通知不同的第二通知。
13.本发明的计算机可读取的记录介质所储存有的响应通知程序使计算机执行：第一通知处理，在该第一通知处理中，在根据经由外部装置输入的指示执行处理时，对上述外部装置进行与上述处理的执行结束对应的第一通知；以及第二通知处理，在该第二通知处理中，在推测为在上述外部装置中关于上述第一通知而设定的超时时间之前，上述处理的执行未结束的情况下，对上述外部装置进行与上述第一通知不同的第二通知。
14.根据本发明，在从外部装置进行声音操作的情况下，能够避免外部装置的超时。
附图说明
15.图1是对本发明的实施方式的图像形成系统的概略结构进行说明的框图。
16.图2是对在图1所示的图像形成系统中，从操作面板直接指示的情况下的顺序进行说明的顺序图。
17.图3是对在图1所示的图像形成系统中，不存在针对声音指示的响应延迟但存在错误的情况下的顺序进行说明的顺序图。
18.图4是对在图1所示的图像形成系统中，存在针对声音指示的响应延迟且存在错误的情况下的顺序进行说明的顺序图。
19.图5是对在图1所示的图像形成系统中，存在针对声音指示的响应延迟且不存在错误的情况下的顺序进行说明的顺序图。
20.图6是对图像形成装置中的控制顺序进行说明的流程图。
21.附图标记说明：1
…
图像形成系统；10
…
图像形成装置；11
…
网络部；12
…
扫描部；13
…
打印部；14
…
fax部；15
…
控制部；16
…
操作面板；20
…
网络；30
…
声音输入输出装置；40
…
服务器；41
…
网络部；42
…
控制部。
具体实施方式
22.以下，参照附图对本发明的实施方式详细地进行说明。
23.图1是对本实施方式的图像形成系统1的概略结构进行说明的框图。图像形成系统1具备图像形成装置10、网络20、声音输入输出装置30、以及服务器40。图像形成装置10经由网络20与声音输入输出装置30、服务器40连接。
24.图像形成装置10是具备复印、扫描、打印、fax等多个处理功能的mfp，具备网络部11、扫描部12、打印部13、fax部14。
25.网络部11进行如下的通信处理：经由lan(local area network：局域网)、电话线路等网络20与声音输入输出装置30、服务器40之间发送接收各种信息。网络20并不局限于lan、电话线路，也可以是wan(wide area network：广域网)等，另外，无线、有线都可以。
26.扫描部12光学地读取原稿并制成图像数据，进行图像的扫描处理。扫描部12也可以具备被称为adf(auto document feeder：自动文件进纸器)的自动原稿供纸装置。在该情况下，若用户在adf的原稿托盘上放置多张原稿，则能够一张一张地自动输送原稿，连续地一并对原稿的图像进行扫描处理。
27.打印部13基于由扫描部12读取到的图像数据、来自外部装置的打印用的图像数据，在打印用纸等片材上进行打印，进行图像的打印处理。例如，在进行复印的情况下，使用扫描部12扫描原稿，使用打印部13对片材进行打印。作为打印方式，也能够应用激光方式、喷墨方式等公知的任何打印方式。
28.fax部14经由电话线路等网络20，进行由扫描部12读取到的图像数据的发送、从外部发送的图像数据的接收，进行图像的fax处理。
29.另外，图像形成装置10具备控制部15(计算机)、操作面板16(显示部)等。
30.虽然省略详细的图示，控制部15具备cpu(central processing unit：中央处理单元)等处理器、ram(random access memory：随机存取存储器)、rom(read only memory：只读存储器)等存储器等。该控制部15基于来自操作面板16的输入、来自声音输入输出装置30和服务器40的输入，控制上述的网络部11、扫描部12、打印部13、fax部14。另外，该控制部15也进行操作面板16的控制。
31.虽然也省略详细的图示，操作面板16例如由lcd(liquid crystal display：液晶显示器)等显示装置、和具有安装于显示装置的前表面的透明的触摸板或输入按钮等的输入装置构成。使用触摸板或输入按钮而输入到操作面板16的操作指示信息(指令)被输入至控制部15。
32.声音输入输出装置30是输入输出声音的装置。虽然也省略详细的图示，声音输入输出装置30具有麦克风、扬声器、网络部、控制部等。
33.麦克风若被从外部输入声音，则将声音作为电信号向控制部输出。扬声器将从控制部输入的电信号作为声音向外部输出。网络部进行如下的通信处理：经由网络20与图像形成装置10、服务器40之间发送接收各种信息。控制部对从麦克风输入的声音的电信号进行编码而成为声音数据，经由网络部向服务器40发送声音数据。另外，控制部经由网络部接收从服务器40发送的声音数据，将声音数据变换为电信号，并向扬声器输出。
34.虽然省略详细的图示，服务器40具备cpu等处理器、以及ram、rom等存储器等。服务器40具有网络部41、控制部42等。
35.网络部41进行如下的通信处理：经由网络20与图像形成装置10、声音输入输出装置30之间发送接收各种信息。
36.控制部42进行将从声音输入输出装置30发送的声音数据变换为操作指示信息(指令)的声音识别处理。控制部42中的声音识别处理也能够应用公知的任何方法。另外，控制部42进行与通过声音识别处理得到的指令对应的处理，例如向声音输入输出装置30的响应处理、向图像形成装置10的指令的发送。例如，若向声音输入输出装置30输入指示图像形成装置10中的处理的声音，则将该声音的声音数据变换为指令，向图像形成装置10发送指令。这样的控制部42的处理例如作为服务器40上的应用程序而被提供。
37.上述的声音输入输出装置30作为所谓的智能扬声器发挥功能，另外，服务器40作为对用户从声音输入输出装置30输入的声音进行响应、或者进行对图像形成装置10的指示
的云服务器发挥功能。
38.因此，若用户从声音输入输出装置30输入基于声音的操作指示(声音指示)，则服务器40将声音指示的声音数据变换为指令，并向图像形成装置10发送。而且，图像形成装置10进行与从服务器40发送的指令对应的处理。即，在图像形成系统1中，能够通过声音操作对图像形成装置10进行操作。
39.然而，服务器40有时为如下规格：由于其响应动作，在将用户的声音指示发送到图像形成装置10之后，在一定时间内从图像形成装置10向服务器40没有响应，则成为超时。
40.在这样的规格的情况下，在将用户的声音指示发送到图像形成装置10时，图像形成装置10针对声音指示的处理花费时间，若在一定时间内从图像形成装置10向服务器40没有响应，则服务器40会超时。
41.因此，在本实施方式中，图像形成装置10具备：处理执行部，根据经由外部装置输入的指示(声音指示)执行处理；以及第一通知部，对外部装置进行与处理的执行结束对应的第一通知。另外，图像形成装置10具备第二通知部，在推测为在外部装置中关于第一通知而设定的超时时间之前，处理的执行未结束的情况下，该第二通知部对外部装置进行与第一通知不同的第二通知。
42.在本实施方式中，外部装置是声音输入输出装置30和服务器40。此外，如果声音输入输出装置30是具有服务器40的功能的结构，则外部装置也可以是声音输入输出装置30。
43.处理执行部、第一通知部和第二通知部分别作为控制部15的一个功能而具备。例如，处理执行部、第一通知部以及第二通知部作为由控制部15执行的程序而具备。
44.处理执行部根据经由声音输入输出装置30和服务器40输入的声音指示来执行图像形成装置10中的处理。例如，在通过声音指示向图像形成装置10输入了图像形成的设定(例如，用纸的选择等)的情况下，处理执行部在操作面板16的操作画面上执行图像形成的设定的输入处理。
45.另外，第一通知部对声音输入输出装置30和服务器40进行与图像形成装置10中的处理的执行结束对应的第一通知(第一通知处理)。例如，如上所述，处理执行部执行图像形成的设定的输入处理，在该输入处理不存在错误地结束的情况下，根据该执行结束，对声音输入输出装置30和服务器40进行以“已设定”为主旨的第一通知。
46.另外，第二通知部推测在关于第一通知而设定于声音输入输出装置30和服务器40的超时时间之前，图像形成装置10中的处理是否结束。而且，在推测为图像形成装置10中的处理在超时时间之前未结束的情况下，第二通知部对声音输入输出装置30和服务器40进行与第一通知不同的第二通知(第二通知处理)。例如，如上所述，处理执行部执行图像形成的设定的输入处理，在推测为该输入处理在超时时间之前未结束的情况下，对声音输入输出装置30和服务器40进行以“无法设定”为主旨的第二通知。
47.这里，首先，参照图2，对用户从操作面板16直接指示的情况下的响应的顺序进行说明。图2是对在图像形成系统1中从操作面板16直接指示的情况下的顺序进行说明的顺序图。然后，在具有上述的结构的图像形成装置10中，参照图3～图5对针对声音指示的响应的顺序(响应通知方法和响应通知程序)进行说明。
48.(步骤s1)
49.用户在操作面板16中从操作画面直接输入，由此选择“彩色模式”作为图像形成的
设定。
50.(步骤s2)
51.在步骤s1中选择“彩色模式”，因此，操作面板16向控制部15输入“彩色模式”的指令。
52.(步骤s3)
53.控制部15在图像形成装置10中进行设定“彩色模式”的处理。
54.(步骤s4)
55.控制部15在图像形成装置10中无法设定“彩色模式”的情况下，向操作面板16输出错误。例如，在图像形成装置10不是与“彩色模式”对应而是与“单色模式”对应的装置的情况下，控制部15判定为在图像形成装置10中无法设定“彩色模式”，向操作面板16输出错误。
56.(步骤s5)
57.操作面板16在操作画面显示从控制部15输入的错误。例如，在操作画面显示“无法设定”。
58.(步骤s6)
59.操作面板16通过在操作画面显示“无法设定”，从而将该主旨通知给用户。
60.像以上那样，在用户从操作面板16的操作画面直接输入图像形成的设定的情况下，成为图像形成装置10中的处理，因此，即使是设定处理花费时间的情况，操作也不会中断。
61.接下来，参照图3来说明针对声音指示的响应的顺序，说明不存在响应延迟但存在错误的情况下的顺序。图3是对在图像形成系统1中不存在针对声音指示的响应延迟但存在错误的情况下的顺序进行说明的顺序图。
62.(步骤s11)
63.用户朝向声音输入输出装置30用声音指示“彩色模式”。这样，以声音指示的声音指示例如是进行图像形成的条件的设定指示。
64.(步骤s12)
65.声音输入输出装置30将所输入的声音编码为声音数据并向服务器40发送。
66.(步骤s13)
67.服务器40(控制部42)对从声音输入输出装置30发送的声音数据进行声音识别处理，在步骤s11中用声音指示“彩色模式”，因此，向图像形成装置10的控制部15发送“彩色模式”的指令。之后，服务器40进行图像形成装置10与声音输入输出装置30之间的响应控制。
68.(步骤s14)
69.控制部15进行在图像形成装置10中设定“彩色模式”的处理。此时，如在后述的图6(参照步骤s64)中说明的那样，控制部15开始处理时间的计时t1的测量。另外，控制部15在开始该测量之前，如在图6(参照步骤s62)中说明的那样，设定与服务器40的超时时间对应的响应等待时间t0。响应等待时间t0根据服务器40的超时时间而适当地变更，但设定为比超时时间短的时间。
70.(步骤s15)
71.控制部15在结束处理并在图像形成装置10中无法设定“彩色模式”的情况下，向服务器40通知错误(第一通知)。此时的处理时间的计时t1＜t0。即，在响应等待时间t0之前，
控制部15向服务器40通知错误。因此，在该情况下，服务器40不会超时。另外，这里，在下述的步骤s16之前，即在紧接处理结束之后，向服务器40通知错误，缩短从处理开始到向服务器40通知错误为止的时间，而不会超时。
72.(步骤s16)
73.控制部15在图像形成装置10中无法设定“彩色模式”的情况下，向操作面板16输出错误。
74.(步骤s17)
75.操作面板16在操作画面显示从控制部15输入的错误。例如，在操作画面显示“无法设定”。
76.(步骤s18)
77.服务器40接受来自控制部15的错误的通知，向声音输入输出装置30发送“无法设定”的声音数据。
78.(步骤s19)
79.声音输入输出装置30将从服务器40发送的“无法设定”的声音数据变换为电信号，并向声音输入输出装置30的扬声器输出，从该扬声器输出“无法设定”的声音。
80.如图3所示，如果服务器40的超时时间比图像形成装置10中的处理时间长，则不会发生超时的问题。然而，超时时间有时根据服务器40而不同，因此，在超时时间内图像形成装置10中的处理没有结束的情况下，如后述的图4、图5所示，进行虚拟的响应，延长超时。
81.接下来，参照图4说明针对声音指示的响应的顺序，说明存在响应延迟且存在错误的情况下的顺序。图4是对在图像形成系统1中存在针对声音指示的响应延迟且存在错误的情况下的顺序进行说明的顺序图。
82.(步骤s21～s24)
83.步骤s21～s24与图3所示的步骤s11～s14相同，因此，这里省略重复的说明。
84.(步骤s25)
85.控制部15在图像形成装置10中设定“彩色模式”的处理花费时间的情况下，向服务器40通知虚拟(第二通知)。例如，将“处理中”的主旨作为虚拟而通知。另外，控制部15也可以推测处理花费的时间，另外，也可以如在图6(参照步骤s67)中说明的那样，如果所测量的处理时间的计时t1超过响应等待时间t0，则推测为处理花费时间。即，控制部15在服务器40的超时时间之前，向服务器40通知虚拟，而避免服务器40的超时，延长超时。
86.另外，此时，如在图6(参照步骤s69)中说明的那样，控制部15将处理时间的计时t1复位，成为t1＝0。而且，开始计时t1的再次测量。
87.此外，在控制部15中，作为与设定指示对应的处理，包括在图像形成装置10的操作面板16显示设定指示的内容的处理、判定在设定指示的内容中是否存在被禁止的内容的禁止处理等。例如，在发送图像数据的情况下，其目的地指定需要禁止处理，在进行这样的处理的情况下，存在设定处理花费时间的情况。
88.另外，作为虚拟，也可以取代“处理中”，而使用“作业中”、“请稍等”等定型语句，也可以使用处理的剩余时间。
89.(步骤s26)
90.在图像形成装置10中设定“彩色模式”的处理花费时间的情况下，控制部15向操作
面板16输出虚拟。例如，将“处理中”的主旨作为虚拟而输出。
91.(步骤s27)
92.操作面板16在操作画面显示从控制部15输入的虚拟。例如，在操作画面显示“处理中”。
93.(步骤s28)
94.服务器40接受来自控制部15的虚拟的通知，向声音输入输出装置30发送“处理中”的声音数据。
95.(步骤s29)
96.声音输入输出装置30将从服务器40发送的“处理中”的声音数据变换为电信号，并向声音输入输出装置30的扬声器输出，从该扬声器输出“处理中”的声音。
97.(步骤s30)
98.在图像形成装置10中无法设定“彩色模式”的情况下，控制部15向服务器40通知错误(第一通知)。在步骤s25中，将计时t1复位，成为t1＝0，再次测量计时t1，此时的处理时间的计时t1＜t0。即，在再次测量后的响应等待时间t0之前，控制部15向服务器40通知错误。因此，在该情况下，服务器40不会超时。另外，这里也是，在下述的步骤s31之前，即在紧接处理结束之后，向服务器40通知错误，缩短从再次测量开始到向服务器40通知错误为止的时间，而不会超时。
99.(步骤s31～s34)
100.步骤s31～s34与图3所示的步骤s16～s19相同，因此，这里省略重复的说明。
101.接下来，参照图5说明针对声音指示的响应的顺序，说明存在响应延迟且不存在错误的情况下的顺序。图5是对在图像形成系统1中存在针对声音指示的响应延迟且不存在错误的情况下的顺序进行说明的顺序图。
102.(步骤s41～s49)
103.步骤s41～s49与图4所示的步骤s21～s29相同，因此，这里省略重复的说明。
104.(步骤s50)
105.控制部15在图像形成装置10中设定“彩色模式”之后，向服务器40通知设定完成(第一通知)。在步骤s45中，将计时t1复位，成为t1＝0，再次测量计时t1，此时的处理时间的计时t1＜t0。即，在再次测量后的响应等待时间t0之前，控制部15向服务器40通知设定完成。因此，在该情况下，服务器40不会超时。另外，这里也是，在下述的步骤s51之前，即在紧接处理结束之后，向服务器40通知设定完成，缩短从再次测量开始到向服务器40通知设定完成为止的时间，而不会超时。
106.(步骤s51)
107.控制部15在图像形成装置10中设定“彩色模式”后，向操作面板16输出设定完成。
108.(步骤s52)
109.操作面板16在操作画面显示从控制部15输入的设定完成。例如，在操作画面显示“设定完成”。
110.(步骤s53)
111.服务器40接受来自控制部15的设定完成的通知，向声音输入输出装置30发送“已设定”的声音数据。
112.(步骤s54)
113.声音输入输出装置30将从服务器40发送的“已设定”的声音数据变换为电信号，并向声音输入输出装置30的扬声器输出，从该扬声器输出“已设定”的声音。
114.像以上那样，在服务器40的超时时间内图像形成装置10中的处理未结束的情况下，进行虚拟的响应，延长超时。由此，能够防止声音操作的中断、再操作，能够防止声音操作的操作性的恶化。
115.接下来，参照图6对上述的图3～图5的顺序中的图像形成装置10的控制部15中的控制顺序进行说明。图6是对图像形成装置10中的控制顺序进行说明的流程图。
116.(步骤s61)
117.控制部15判断是否选择声音操作服务。在选择声音操作服务的情况下(是)，进入步骤s62，在未选择的情况下(否)，进入步骤s70。在未选择声音操作服务的情况下，例如实施上述的图2中的顺序。另外，声音操作服务的选择例如由用户预先使用操作面板16来设定。
118.(步骤s62)
119.控制部15设定与服务器40的超时时间对应的响应等待时间t0。该响应等待时间t0被设定得比超时时间短规定时间，例如若将超时时间设为7秒，则将响应等待时间t0设为6秒。
120.(步骤s63)
121.控制部15确认是否存在来自服务器40的声音指示。在存在声音指示的情况下(是)，进入步骤s64，在不存在的情况下(否)，反复进行步骤s63。
122.(步骤s64)
123.如果存在来自服务器40的声音指示，则控制部15开始处理时间的计时t1的测量。通过该计时t1，测量根据声音指示而由图像形成装置10实施的处理、例如上述的设定处理所花费的时间。
124.(步骤s65)
125.控制部15开始根据声音指示而由图像形成装置10实施的处理、例如上述的设定处理的执行。
126.(步骤s66)
127.控制部15判断由图像形成装置10实施的处理是否结束。在处理结束的情况下(是)，进入步骤s70，在未结束的情况下(否)，进入步骤s67。即，控制部15反复进行后述的步骤s67～s69，直到处理结束为止。此外，为了不延长处理，也可以设置超时的延长次数的上限，反复进行后述的步骤s67～s69直到该上限的次数为止。
128.(步骤s67)
129.控制部15对处理时间的计时t1与响应等待时间t0进行比较，在t1＞t0的情况下(是)，进入步骤s68，在不是t1＞t0的情况下(否)，返回至步骤s66。
130.(步骤s68)
131.在t1＞t0的情况下，即在处理时间的计时t1超过响应等待时间t0时，控制部15向服务器40通知虚拟，另外，在操作面板16进行画面显示。例如，将“处理中”的主旨作为虚拟而向服务器40通知，另外，在操作面板16画面显示为“处理中”。由此，服务器40不会超时。
132.(步骤s69)
133.控制部15将处理时间的计时t1复位，成为t1＝0。而且，开始计时t1的再次测量，返回至步骤s66。
134.在反复进行步骤s67～s69的情况下，在步骤s67中t1＞t0的情况下，控制部15向服务器40再次通知虚拟，另外，在操作面板16再次显示虚拟。
135.(步骤s70)
136.在处理结束的情况下，控制部15向服务器40通知处理结果，另外，在操作面板16进行画面显示。例如，在图5的情况下，向服务器40通知“已设定”的主旨，另外，在操作面板16画面显示为“已设定”。
137.这样，在图像形成装置10中，控制部15测量与声音指示对应的处理的处理时间即计时t1，在计时t1超过预先设定的响应等待时间t0的情况下，向服务器40通知虚拟。响应等待时间t0被设定得比服务器40的超时时间短，因此在t1＞t0时，向服务器40通知虚拟，由此能够可靠地避免服务器40的超时。
138.像以上详细地说明的那样，在本实施方式的图像形成系统1中，图像形成装置10具备：处理执行部，根据经由外部装置输入的指示(声音指示)执行处理；以及第一通知部，对外部装置进行与处理的执行结束对应的第一通知。另外，图像形成装置10具备第二通知部，在推测为在外部装置中关于第一通知而设定的超时时间之前，处理的执行未结束的情况下，该第二通知部对外部装置进行与第一通知不同的第二通知。
139.根据这样构成的本实施方式，在从作为外部装置的声音输入输出装置30和服务器40进行声音操作的情况下，能够避免服务器40的超时。
140.因此，不会发生由于服务器40的超时而导致声音操作中断，无法继续之后的声音操作、或者从最初重新操作的情况，能够防止声音操作的中断、声音操作的操作性的恶化。
141.此外，上述实施方式都只不过表示实施本发明时的具体化的一例，不能由此限定地解释本发明的技术范围。即，本发明能够在不脱离其主旨、或者其主要的特征的情况下以各种形式实施。