信息处理装置、信息处理方法及存储有程序的非临时性的由计算机可读取的存储介质与流程

1.本公开涉及用于掌握设施的来客状况的技术。


背景技术：

2.在国际公开第2018/168119中公开了一种与确定并输出店铺的状况的信息处理装置有关的技术。在国际公开第2018/168119公开的技术中，信息处理装置取得由设置于店铺的麦克风生成的语音数据作为店铺原始信息。信息处理装置根据所取得的语音数据来确定店铺的嘈杂度。另外，信息处理装置将所确定的店铺的嘈杂度作为店铺的状况而输出。


技术实现要素：

3.本公开的目的在于，能够掌握预定的设施中的来客状况。
4.在本发明的第1形态所涉及的信息处理装置中，信息处理装置包括处理器，该处理器被配置为执行：
5.取得在预定的设施内收集到的声音数据；
6.从所述声音数据抽出通过所述预定的设施内的人的发声而产生的语音数据；以及
7.根据所述语音数据来评价所述预定的设施中的来客状况。
8.本发明的第2形态所涉及的信息处理方法是由计算机执行的信息处理方法，信息处理方法包括：
9.取得在预定的设施内收集到的声音数据；
10.从所述声音数据抽出通过所述预定的设施内的人的发声而产生的语音数据；以及
11.根据所述语音数据来评价所述预定的设施中的来客状况。
12.本发明的第3形态所涉及的非临时性的由计算机可读取的存储介质是存储有程序的非临时性的由计算机可读取的存储介质，所述程序在被处理器执行时进行以下处理：
13.取得在预定的设施内收集到的声音数据；
14.从所述声音数据抽出通过所述预定的设施内的人的发声而产生的语音数据；以及
15.根据所述语音数据来评价所述预定的设施中的来客状况。
16.根据本公开，能够掌握预定的设施中的来客状况。
附图说明
17.下面将参考附图描述本发明的示例性实施例的特征、优点以及技术和工业意义，在附图中，相同的附图标记表示相同的元件，并且其中如下。
18.图1是示出信息提供系统的概略结构的图。
19.图2是概略地示出第1实施方式所涉及的管理服务器以及用户终端各自的功能结构的一个例子的框图。
20.图3是示出店铺信息的表格结构的一个例子的图。
21.图4是示出第1实施方式所涉及的信息处理的流程的流程图。
22.图5是概略地示出第2实施方式所涉及的管理服务器的功能结构的一个例子的框图。
23.图6是概略地示出第2实施方式的变形例所涉及的管理服务器的功能结构的一个例子的框图。
24.图7是示出储存于店铺信息数据库的店铺信息的表格结构的一个例子的图。
25.图8是概略地示出第3实施方式所涉及的管理服务器的功能结构的一个例子的框图。
26.图9是示出在用户终端中输出了关于指定店铺的合成数据时的情形的一个例子的图。
27.图10是示出第3实施方式所涉及的信息处理的流程的流程图。
具体实施方式
28.本公开所涉及的信息处理装置具备控制部。控制部取得在预定的设施内收集到的声音数据。在此，预定的设施也可以是用户正在考虑利用的设施。声音数据被设置于预定的设施内的麦克风等收集。在预定的设施内收集到的声音数据中，包括通过预定的设施内的人的发声而产生的语音数据(以下还有时简称为“语音数据”)。但是，在声音数据中，还包括语音数据以外的与声音有关的数据(以下还有时称为“背景音数据”)。背景音数据例如是伴随预定的设施内的作业而产生的声音或者从外部流入到预定的设施内的声音的数据。
29.因此，控制部从所取得的声音数据抽出语音数据。然后，控制部根据所抽出的语音数据来评价预定的设施中的来客状况。
30.如上所述，由控制部抽出的语音数据是与通过预定的设施内的人(即，存在于预定的设施内的来客)的发声而产生的语音有关的数据。因此，语音数据相比于在预定的设施内收集到的声音数据自身，与预定的设施中的来客状况的相关性更高。因此，例如根据语音数据，能够评价由预定的设施内的人的发声引起的嘈杂度。另外，根据语音数据，能够评价预定的设施中的顾客分类。
31.另外，为了评价预定的设施中的来客状况，考虑使用对预定的设施内进行摄像得到的图像数据。然而，如果考虑保护存在于预定的设施内的来客的隐私，则不推荐对预定的设施内的图像进行摄像。相对于此，通过使用语音数据，无需使用对预定的设施内进行摄像得到的图像数据，而能够评价预定的设施中的来客状况。因此，能够保护存在于预定的设施内的来客的隐私。
32.因此，根据本公开，能够掌握预定的设施中的来客状况。
33.以下，根据附图来说明本公开的具体的实施方式。本实施方式记载的结构部件的尺寸、材质、形状及其相对配置等只要没有特别记载，则本公开的技术性范围并非仅限定于这些。
34.《第1实施方式》
35.(系统的概略)
36.图1是示出本实施方式所涉及的信息提供系统的概略结构的图。信息提供系统是用于向用户提供店铺的来客状况的系统。信息提供系统1构成为包括用户终端100、管理服
务器300以及分别设置于多个店铺的麦克风200。在此，设置有麦克风200的各店铺是餐馆。
37.在信息提供系统1中，用户终端100、管理服务器300以及各麦克风200通过网络n1相互连接。作为网络n1，例如也可以采用因特网等作为世界规模的公共通信网的wan(wide area network，广域网)、或者便携电话等电话通信网。
38.各麦克风200在店铺内收集声音。另外，麦克风200能够将收集到的声音数据经由网络n1发送给管理服务器300。用户终端100是用户持有或者操作的终端。作为用户终端100，可以例示智能手机、平板计算机或者穿戴式终端。用户终端100能够将表示由用户指定的店铺的指定信息经由网络n1发送给管理服务器300。此外，以下还有时将由用户指定的店铺称为“指定店铺”。
39.管理服务器300是用于评价店铺的来客状况并提供给用户的服务器装置。管理服务器300构成为包括通常的计算机。构成管理服务器300的计算机具有处理器301、主存储部302、辅助存储部303以及通信接口(通信i/f)304。
40.在此，处理器301例如是cpu(central processing unit，中央处理单元)或者dsp(digital signal processor，数字信号处理器)。主存储部302例如是ram(random access memory，随机存取存储器)。辅助存储部303例如是rom(read only memory，只读存储器)、hdd(hard disk drive，硬盘驱动器)或者闪存存储器。另外，辅助存储部303也可以包括可移动介质(可移动记录介质)。在此，可移动介质例如是usb存储器、sd卡、或者如cd-rom、dvd盘或蓝光光盘那样的盘记录介质。通信i/f304例如是lan(local area network，局域网)接口板或者用于无线通信的无线通信电路。
41.在辅助存储部303中，储存有操作系统(os)、各种程序以及各种信息表格等。并且，通过由处理器301将存储于辅助存储部303的程序载入到主存储部302并执行，从而实现如后所述的对店铺的来客状况进行评价的控制以及用于向用户提供评价结果的控制。其中，管理服务器300中的一部分或者全部的功能也可以通过asic、fpga那样的硬件电路来实现。此外，管理服务器300未必通过单一的物理结构来实现，而也可以由相互协作的多台计算机构成。此外，在本实施方式中，管理服务器300相当于本公开所涉及的“信息处理装置”。
42.管理服务器300从设置于指定店铺的麦克风200接收声音数据。然后，管理服务器300根据接收到的声音数据，评价指定店铺的来客状况。此外，关于在管理服务器300中执行的来客状况的评价方法的详情，在后面叙述。
43.然后，管理服务器300将作为评价结果而得到的指定店铺的来客状况作为店铺信息经由网络n1发送给用户终端100。用户终端100输出从管理服务器300接收到的店铺信息。由此，用户能够掌握自身所指定的指定店铺的来客状况。
44.(功能结构)
45.接下来，基于图2来说明构成信息提供系统1的管理服务器300以及用户终端100各自的功能结构。图2是概略地示出本实施方式所涉及的管理服务器300以及用户终端100各自的功能结构的一个例子的框图。
46.(管理服务器)
47.管理服务器300具有通信部310以及控制部320。通信部310具有将管理服务器300连接到网络n1的功能。通信部310能够通过通信i/f304来实现。控制部320具有进行用于控制管理服务器300的运算处理的功能。控制部320能够通过处理器301来实现。
48.控制部320进行使用通信部310来接收从用户终端100发送的指定信息的处理。在指定信息中，包含有作为用于确定指定店铺的识别信息的店铺id。另外，控制部320进行如下处理：使用通信部310，对在从用户终端100接收到的指定信息所示出的指定店铺中设置的麦克风200发送委托信息。委托信息是用于委托发送在指定店铺内由麦克风200收集到的声音数据的信息。另外，控制部320进行使用通信部310来接收从接收到委托信息的麦克风200发送的声音数据的处理。由此，管理服务器300能够接收由设置于指定店铺的麦克风200收集到的声音数据。
49.另外，控制部320包括取得部321、抽出部322以及评价部323作为功能部。取得部321取得从麦克风200经由通信部310接收到的指定店铺的声音数据。在此，在指定店铺的声音数据中，包含有通过存在于指定店铺内的人的发声而产生的语音数据以及背景音数据。
50.抽出部322为了从由取得部321所取得的指定店铺的声音数据抽出语音数据而执行抽出处理。在抽出处理中，作为从声音数据抽出语音数据的方法，可以采用公知的任意的方法。例如，抽出处理也可以是通过将声音数据分离为语音数据和背景音数据而抽出语音数据的处理。另外，抽出处理也可以是通过从声音数据删除背景音数据而抽出语音数据的处理。
51.然后，评价部323执行用于根据抽出部322所抽出的指定店铺的语音数据来评价指定店铺的来客状况的评价处理。具体而言，在评价部323中，作为来客状况，评价由指定店铺内的人的发声所引起的嘈杂度(以下，还有时简称为“嘈杂度”)以及指定店铺中的顾客分类(以下，还有时简称为“顾客分类”)。嘈杂度例如能够用声音的大小的等级来表示。能够根据语音数据中的声音的大小等来评价嘈杂度。另外，顾客分类例如能够用存在于指定店铺内的人们(来客)的男女比或者每个年龄层的比率来表示。能够通过根据包含于语音数据的每个人的语音来推测每个人的性别以及年龄，从而评价顾客分类。
52.然后，控制部320根据评价部323的评价结果，生成关于指定店铺的店铺信息。图3是示出店铺信息的表格结构的一个例子的图。如图3所示，店铺信息具有店铺id字段以及来客状况字段。在店铺id字段中，输入指定店铺的店铺id。在来客状况字段中，输入由评价部323评价的嘈杂度以及顾客分类。而且，控制部320进行如下处理：使用通信部310将所生成的关于指定店铺的店铺信息发送给用户终端100。
53.(用户终端)
54.用户终端100具有通信部110、控制部120以及输入输出部130。通信部110具有将用户终端100连接到网络n1的功能。通信部110能够通过用户终端100所具备的通信接口来实现。通信部110例如能够利用3g(3rd generation，第三代)或者lte(long term evolution，长期演进)等移动体通信服务，经由网络n1而与包括管理服务器300在内的其他装置进行通信。
55.控制部120具有进行用于控制用户终端100的运算处理的功能。控制部120能够通过用户终端100所具备的处理器来实现。输入输出部130具有受理由用户进行的输入操作的功能以及输出向用户提示的信息的功能。例如，输入输出部130构成为包括触摸面板显示器以及扬声器。
56.控制部120在用户经由输入输出部130指定店铺时，生成表示指定店铺的指定信息。此外，用户也可以在输入输出部130所包括的触摸面板显示器中显示的地图上指定店
铺。然后，控制部120进行使用通信部110将所生成的指定信息发送给管理服务器300的处理。另外，控制部120进行使用通信部110接收从管理服务器300发送的关于指定店铺的店铺信息的处理。
57.控制部120在从管理服务器300接收到店铺信息时，使用输入输出部130来输出店铺信息。由此，用户能够掌握嘈杂度以及顾客分类作为指定店铺的来客状况。
58.(信息处理)
59.接下来，基于图4来说明在管理服务器300中为了向用户提供指定店铺的来客状况而执行的信息处理的流程。图4是示出本实施方式所涉及的信息处理的流程的流程图。由管理服务器300的控制部320执行本流程。
60.在本流程中，首先在s101中接收从用户终端100发送的指定信息。接下来，在s102中，针对设置于指定店铺的麦克风200发送委托信息。此时，根据在s101中接收到的指定信息来确定指定店铺。接下来，在s103中，取得从设置于指定店铺的麦克风200接收到的指定店铺的声音数据。
61.接下来，在s104中执行抽出处理。由此，从在s103中取得的指定店铺的声音数据抽出语音数据。接下来，在s105中执行评价处理。由此，根据在s104中抽出的语音数据来评价指定店铺的嘈杂度以及顾客分类。在s105中执行评价处理后，根据其评价结果而生成关于指定店铺的店铺信息。接下来，在s106中将关于指定店铺的店铺信息发送给用户终端100。其结果，在用户终端100中输出关于指定店铺的店铺信息。
62.如上所述，在信息提供系统1中，并非利用图像数据而是利用语音数据来进行指定店铺的来客状况的评价。因此，在各店铺中，无需对包含来客的图像进行摄像。因此，能够保护存在于店铺内的来客的隐私。另外，相比于从店铺向管理服务器300发送图像数据的情况，能够减小发送的数据的容量。
63.另外，通过指定店铺内的人的发声而产生的语音数据相比于通过麦克风200收集到的声音数据自身，与指定店铺中的来客状况的相关性更高。因此，如上所述，能够根据语音数据来评价指定店铺中的由人的发声引起的嘈杂度以及顾客分类。
64.另外，在本实施方式中，管理服务器300在从用户终端100接收到指定信息的定时，取得指定店铺的声音数据，进行指定店铺的来客状况的评价。因此，用户能够实时地掌握在用户终端100中对指定店铺进行了指定的定时的来客状况。
65.《第2实施方式》
66.本实施方式中的信息提供系统的概略结构与第1实施方式相同。但是，在本实施方式中，管理服务器300的功能结构的一部分与第1实施方式不同。
67.图5是概略地示出本实施方式所涉及的管理服务器300的功能结构的一个例子的框图。如图5所示，在本实施方式中，管理服务器300除了通信部310以及控制部320以外，还具有店铺信息数据库(店铺信息db)330。
68.在本实施方式中，管理服务器300从设置于各店铺的麦克风200，定期地接收声音数据。另外，控制部320根据定期地接收到的各店铺的声音数据来执行抽出处理以及评价处理。此时执行的抽出处理以及评价处理与第1实施方式相同。因此，根据从各店铺的声音数据抽出的语音数据来评价各店铺的由人的发声引起的嘈杂度以及顾客分类。
69.而且，控制部320根据评价处理中的评价结果而生成关于各店铺的店铺信息。然
后，所生成的关于各店铺的店铺信息被储存到店铺信息db330。此外，能够通过管理服务器300中的辅助存储部303来实现店铺信息db330。另外，在本实施方式中，店铺信息db330相当于本公开所涉及的“存储部”。
70.此时，在管理服务器300中，根据从各店铺的麦克风200定期地接收到的声音数据来执行抽出处理以及评价处理，所以能够针对每个时间段，评价各店铺中的来客状况。因此，店铺信息db330存储关于各店铺的每个时间段的来客状况作为店铺信息。
71.然后，在从用户终端100接收到指定信息时，控制部320从店铺信息db330取得关于指定店铺的店铺信息。另外，控制部320将所取得的关于指定店铺的店铺信息发送给用户终端100。此时，向用户终端100发送表示关于指定店铺的每个时间段的来客状况的店铺信息。由此，用户能够掌握指定店铺中的每个时间段的来客状况。
72.(变形例)
73.接下来，说明本实施方式的变形例。图6是概略地示出本变形例所涉及的管理服务器300的功能结构的一个例子的框图。如图6所示，在本变形例中，管理服务器300具有通信部310、控制部320以及店铺信息db330。另外，控制部320除了取得部321、抽出部322以及评价部323以外，还包括决定部324作为功能部。
74.决定部324执行用于决定与各店铺的氛围有关的属性(以下，还有时简称为“属性”)的决定处理。在此，店铺的属性例如也可以被规定为适合于店铺的利用的利用场景。作为能够规定为店铺的属性的利用场景，可以例示“约会”、“商务上的聚餐”、“与朋友吃饭”、“很多人的宴会”或者“带孩子吃饭”等。决定部324根据关于各店铺的来客状况的评价结果来决定各店铺的属性。即，决定部324能够根据各店铺的由人的发声引起的嘈杂度以及顾客分类来决定各店铺的属性。
75.控制部320将各店铺的属性与来客状况一起作为店铺信息而储存到店铺信息db330。图7是示出储存于店铺信息db330的店铺信息的表格结构的一个例子的图。如图7所示，店铺信息除了店铺id字段以及来客状况字段以外，还具有属性字段。在属性字段中输入由决定部324决定的属性。
76.并且，在本变形例中，用户能够在用户终端100中代替特定的店铺的指定而指定店铺的属性。在用户经由输入输出部130指定店铺的属性时，将表示所指定的属性的指定信息从用户终端100发送给管理服务器300。
77.在管理服务器300中，在从用户终端100接收到指定信息时，控制部320从店铺信息db330取得关于具有与指定信息所示出的属性一致的属性的店铺的店铺信息。另外，控制部320将所取得的店铺信息发送给用户终端100。由此，用户能够掌握具有与期望的属性对应的属性的店铺以及该店铺中的来客状况。
78.《第3实施方式》
79.本实施方式中的信息提供系统的概略结构与第1实施方式相同。但是，在本实施方式中，管理服务器300的功能结构的一部分与第1实施方式不同。
80.图8是概略地示出本实施方式所涉及的管理服务器300的功能结构的一个例子的框图。如图8所示，在本实施方式中，管理服务器300具有通信部310以及控制部320。并且，控制部320除了取得部321、抽出部322以及评价部323以外，还包括非语言化部325以及合成部326作为功能部。
81.在管理服务器300中，抽出部322执行抽出处理。由此，从由取得部321所取得的指定店铺的声音数据抽出语音数据。此时的抽出处理是将声音数据分离为语音数据和背景音数据的处理。另外，评价部323根据抽出部322所抽出的指定店铺的语音数据来执行评价处理。
82.另一方面，非语言化部325针对指定店铺的语音数据实施非语言化处理。如上所述，语音数据是关于通过存在于指定店铺内的人的发声而产生的语音的数据。因此，语音数据成为存在于指定店铺内的人发出的语言数据。非语言化处理是对于该语音数据在维持声音的特性的同时进行非语言化的处理。即，非语言化处理是在维持本来的语音数据所具有的声音的大小、音程以及音色的同时将语音数据变换为与语言数据不同的声音的数据的处理。在输出了被实施这样的非语言化处理后的语音数据的情况下，在无法听懂本来的语音数据中包含的人的发声的内容的状态下，输出具有与本来的语音数据所具有的声音的特性同样的特性的声音数据。非语言化处理可以用公知的任意的方法来实现。此外，在本实施方式中，非语言化处理相当于本公开所涉及的“预定的处理”。
83.而且，合成部326执行用于将指定店铺的声音数据中包含的背景音数据和被实施非语言化处理后的语音数据进行合成的合成处理。在合成处理中，作为将背景音数据和被实施非语言化处理后的语音数据进行合成的方法，也可以采用公知的任意的方法。然后。将合成部326通过合成处理而生成的合成数据与指定店铺的店铺信息一起从管理服务器300发送给用户终端100。
84.在用户终端100中，在从管理服务器300接收到店铺信息和合成数据时，控制部120使用输入输出部130来输出店铺信息以及合成数据。图9是示出在用户终端100中输出了关于指定店铺的合成数据时的情形的一个例子的图。在图9中，在用户终端100中的输入输出部130所包含的触摸面板显示器100a中，显示有用户指定了指定店铺的地图。在该情况下，在触摸面板显示器100a中显示有包含指定店铺的地图的状态下，从输入输出部130所包含的扬声器100b输出关于指定店铺的合成数据。此外，此时也可以在触摸面板显示器100a中，以与地图重叠的状态而显示关于指定店铺的店铺信息。
85.在用户终端100中，除了店铺信息以外还输出关于指定店铺的合成数据，从而用户能够以声音方式掌握指定店铺的状况。由此，用户能够根据自己自身的感觉来判断指定店铺的来客状况。另一方面，用户根据合成数据，无法听懂本来的语音数据所包含的人的发声的内容。因此，能够保护存在于指定店铺内的来客的隐私。
86.(信息处理)
87.接下来，基于图10来说明在管理服务器300中为了向用户提供指定店铺的来客状况以及合成数据而执行的信息处理的流程。图10是示出本实施方式所涉及的信息处理的流程的流程图。由管理服务器300的控制部320执行本流程。此外，在本流程中的s101至s105中执行的处理与在图4所示的流程中的同一参照编号的步骤中执行的处理相同。因此，省略关于这些步骤的说明。
88.在本流程中，接着s105而执行s206的处理。在s206中，针对在s104中抽出的语音数据实施非语言化处理。接下来，在s207中执行合成处理。由此，生成将在s206中被实施非语言化处理后的语音数据和指定店铺的背景音数据进行了合成的合成数据。此外，在控制部320中，也可以并行地执行s105中的评价处理和s206以及s207的处理。接下来，在s208中，件
关于指定店铺的店铺信息以及合成数据发送给用户终端100。其结果，在用户终端100中输出关于指定店铺的店铺信息以及合成数据。
89.此外，在上述第1至第3实施方式中，作为餐馆的店铺相当于本公开所涉及的“预定的设施”。但是，本公开所涉及的“预定的设施”不限于餐馆。例如，还能够将上述第1至第3实施方式所涉及的信息提供系统应用于用于向用户提供共享办公室中的来客状况的系统。根据这样的信息提供系统，用户能够掌握由其他用户利用办公室的利用状况。另外，还能够将上述第1至第3实施方式所涉及的信息提供系统应用于餐馆或者共享办公室以外的用于评价用户正在考虑利用的设施中的来客状况并提供给用户的系统。
90.《其他实施方式》
91.上述实施方式只不过是一个例子，本公开能够在不脱离其要旨的范围内适当变更来实施。另外，在本公开中说明的处理、手段只要不产生技术上的矛盾就能够自由地组合来实施。
92.另外，说明为1个装置进行的处理也可以由多个装置分担地执行。或者，说明为不同的装置进行的处理也可以由1个装置执行。在计算机系统中，能够灵活地变更通过什么样的硬件结构(服务器结构)来实现各功能。
93.通过将安装有在上述实施方式中说明的功能的计算机程序提供给计算机，并由该计算机具有的1个以上的处理器读出并执行程序，也能够实现本公开。这样的计算机程序既可以通过能够与计算机的系统总线连接的非临时性的计算机可读存储介质而被提供给计算机，也可以经由网络而被提供给计算机。非临时性的计算机可读存储介质例如包括磁盘(软(floppy，日本注册商标)盘、硬盘驱动器(hdd)等)、光盘(cd-rom、dvd盘、蓝光光盘等)等任意的类型的盘、只读存储器(rom)、随机存取存储器(ram)、eprom、eeprom、磁卡、闪存存储器、或者光学式卡那样的适合于储存电子命令的任意的类型的介质。