信息处理装置、信息处理方法以及计算机可读存储介质与流程

1.本发明涉及分发用户装置的信息的信息处理装置、信息处理方法以及计算机可读存储介质。


背景技术：

2.迄今为止，已知有经由车辆分发广告等信息的技术。在专利文献1中公开了一种车辆，其基于规定距离以内的商品的销售实绩，向不特定的多人提示广告。
3.现有技术文献
4.专利文献
5.专利文献1：日本专利第5601423号说明书


技术实现要素：

6.发明所要解决的问题
7.然而，根据接收信息的时间点下的人的状态，吸引该人的兴趣的信息可能改变。例如，在人是一人的情况下，定食屋、书店等有关的信息可能是合适的，另一方面，在是多人的情况下，酒馆、咖啡馆等有关的信息可能是合适的。
8.本发明是鉴于上述问题而完成的，其目的在于提供一种用于根据具有用户装置的人的状态向用户装置分发信息的机制。
9.用于解决问题的手段
10.本发明所涉及的信息处理装置，其是向用户装置分发分发信息的信息处理装置，其具备：
11.第一确定单元，其基于车辆的摄像装置获取到的拍摄数据来确定与所述用户装置相关联的人在拍摄时间点下的状态；以及
12.分发单元，其将基于由所述第一确定单元确定的所述人的所述状态从多个分发信息中选择出的分发信息分发至所述用户装置。
13.另外，本发明所涉及的信息处理方法，其是在向用户装置分发分发信息的信息处理装置中执行的信息处理方法，其包括：
14.第一确定步骤，在所述第一确定步骤中，基于车辆的摄像装置获取到的拍摄数据来确定与所述用户装置相关联的人在拍摄时间点下的状态；以及
15.分发步骤，在所述分发步骤中，将基于在所述第一确定步骤中确定的所述人的所述状态从多个分发信息中选择出的分发信息分发至所述用户装置。
16.发明效果
17.根据本发明，能够提供一种用于根据具有用户装置的人的状态向用户装置分发信息的机制。
附图说明
18.图1是第一实施方式所涉及的通信系统的概略图。
19.图2a是第一实施方式所涉及的通信服务器的硬件框图。
20.图2b是第一实施方式所涉及的车辆的硬件框图。
21.图3a是第一实施方式所涉及的通信服务器的软件框图。
22.图3b是第一实施方式所涉及的车辆的软件框图。
23.图4a是表示第一实施方式所涉及的通信服务器所具有的用户信息的一个例子的图。
24.图4b是表示第一实施方式所涉及的通信服务器所具有的车辆信息的一个例子的图。
25.图4c是表示第一实施方式所涉及的通信服务器所具有的分发信息的一个例子的图。
26.图5是表示第一实施方式所涉及的通信系统的处理的一个例子的时序图。
27.附图标记说明
28.1：通信系统；10：通信服务器；20：车辆；30：用户装置。
具体实施方式
29.以下，参照附图对实施方式进行详细说明。此外，以下的实施方式并非对权利要求书所涉及的发明进行限定，另外，在实施方式中说明的特征的组合未必全部都是发明所必须的。也可以对实施方式中说明的多个特征中的两个以上的特征任意地进行组合。另外，对相同或者同样的构成标注相同的附图标记，并省略重复的说明。
30.＜第一实施方式＞
31.图1是本发明的实施方式所涉及的通信系统的概略图。通信系统1包括通信服务器10以及车辆20，向用户装置30分发广告。
32.通信服务器10是储存广告信息等分发信息并判定将哪个分发信息分发至用户装置30的信息处理装置。通信服务器10能够经由网络40而与车辆20以及用户装置30相互通信。
33.车辆20是具备拍摄装置和通信部的车辆，能够与通信服务器10进行通信。在本实施方式中，设为车辆20参加网格网络来进行说明，但也可以经由蜂窝网络、wi-fi(注册商标)网络、卫星通信等任意的网络而与通信服务器10连接。
34.用户装置30是从通信系统1接收分发信息的分发服务的信息处理装置的一个例子。用户装置30包括智能手机、平板电脑、个人计算机(pc)、智能手表以及平板pc中的至少任一信息处理装置。在本实施方式中，代替用户装置30参加车辆20所参加的网状网络而能够免费进行因特网连接，设为用户装置30接受广告信息等分发信息的分发来进行说明。
35.另外，用户装置30与用于对基于通信系统1的服务的提供进行接受的用户账户相关联。另外，用户装置30具备gps(全球定位系统)传感器等定位传感器。另外，用户装置30具备用于向用户装置30的用户提示分发信息的显示部、声音输出部等输出部。
36.(硬件构成)
37.接着，参照图2a，对通信服务器10的硬件构成进行说明。
38.通信服务器10构成为包括cpu(中央处理单元)201、ram(随机存取存储器)202、rom(只读存储器)203、hdd(硬盘驱动器)204、以及网络接口(nw if)205。各部位经由内部总线206而连接为能够相互通信。
39.cpu201负责通信服务器10的处理整体的控制。ram202是易失性的存储区域，被用作cpu201的工作存储器等。rom203是非易失性存储区域，保持由cpu201执行的各种程序、数据。hdd204是非易失性的存储区域，保持各种数据。nw if205负责与经由外部网络(例如网络40)的外部装置的通信，收发各种数据。在此处的通信方法中，并不限定有线/无线或通信方式，可以将它们组合来进行。
40.接着，参照图2b对车辆20的硬件构成进行说明。此外，在图2b中，仅说明与本实施方式所涉及的图像数据的提供服务关联的硬件，省略车辆20的驱动部等构成。
41.车辆20具备cpu251、ram252、rom253、hdd254、拍摄部255、nw if256以及传感器257。各部位经由内部总线258而连接为能够相互通信。cpu251负责车辆20的处理整体的控制。ram252是易失性的存储区域，被用作cpu251的工作存储器等。rom253是非易失性的存储区域，保持由cpu251执行的各种程序、数据。hdd254是非易失性的存储区域，保持各种数据。
42.拍摄部255是包括配置于车辆20的行车记录仪的摄像机、前置摄像机、后摄像机以及侧置摄像机中的至少任一摄像机的拍摄装置。另外，拍摄部255也可以包括自动驾驶用摄像机、能够与车辆通信的便携终端的摄像机等。
43.无线nw if256是能够加入无线局域网(wlan)、蜂窝网络以及多跳网络中的至少任一网络并执行无线通信的无线通信部。
44.传感器257包括gps(全球定位系统)传感器等定位传感器。
45.(软件构成)
46.接着，参照图3a，对通信服务器10的软件构成进行说明。通信服务器10通过cpu201执行rom203以及hdd204中的至少任一者所储存的程序并控制nw if205，实现图3a所示的功能。
47.通信服务器10具备用户信息管理部301、车辆信息管理部302、车辆确定部303、拍摄指示发送部304、拍摄数据分析部305、分发信息管理部306以及分发信息分发部307。
48.用户信息管理部301管理关于与用户装置30相关联的用户的信息。
49.在此，参照图4a，对通信服务器10所具有的用户信息数据库(db)400的一个例子进行说明。用户信息db400包括用户识别符401以及位置信息402。另外，随意地包括基本信息403。用户识别符401是能够对具有用户装置30的用户进行识别的用户账户等信息。位置信息402与用户装置30的位置信息对应，如后所述地被定期更新。基本信息403包括与用户的外观相关的信息。例如，基本信息403可以包括用户的年龄、性别、身高以及体重中的至少任一者。另外，基本信息403中也可以包括用户的脸部照片等图像数据。
50.车辆信息管理部302管理与车辆20相关的信息。
51.在此，参照图4b，对通信服务器10所具有的车辆信息数据库(db)410的一个例子进行说明。车辆信息db410包括车辆识别符411以及位置信息412。另外，随意地包括与车辆20所具备的拍摄装置相关的拍摄装置信息413。车辆识别符411是能够对车辆20进行识别的车辆20的所有者的账户等信息。位置信息412与车辆20的位置信息对应，如后所述地被定期更新。
52.车辆确定部303对委托拍摄与用户装置30对应的人的车辆进行确定。关于车辆的确定方法，参照图5在后面叙述。
53.拍摄指示发送部304向所确定的车辆20发送与用户装置对应的人的拍摄指示。拍摄数据分析部305从根据拍摄指示进行拍摄的车辆20获取拍摄数据，进行拍摄数据的分析，确定与用户装置对应的人的状态。
54.分发信息管理部306管理能够向用户装置30分发的分发信息。例如，若从设置在希望分发信息的分发的店铺中的信息装置等接收到分发信息的登记请求，则分发信息管理部306在分发信息数据库(db)中进行分发信息的登记。在另一个例子中，也可以由通信系统1的运营者受理分发信息的登记。
55.在此，参照图4c，对通信服务器10所具有的分发信息数据库(db)420的一个例子进行说明。分发信息db420包括识别符421、分发信息422、属性信息423。
56.识别符421是每个分发信息的识别符。分发信息422是向用户装置30分发的信息。例如，分发信息可以是如识别符d1的分发信息“10％off优惠券分发中”那样的折扣信息。另外，分发信息422也可以是如识别符d2的分发信息“http://*****.com/...”那样的url(统一资源定位符)。另外，分发信息也可以是如识别符dn的分发信息“有空位”那样与规定的店铺、地点的当前的状态相关的信息。另外，分发信息不仅可以包括文本数据，也可以包括动态图像数据以及图像数据中的至少任一者。
57.属性信息423是在通信服务器10选择向用户装置30分发的分发信息时使用的、与待分发分发信息的用户、或分发信息所对应的店铺或地点相关的属性信息。例如，属性信息423可以包括规定的店铺或地点的位置信息。在该情况下，属性信息423用于向接近规定的店铺或地点的用户、去往规定的店铺或地点的用户分发分发信息。另外，如图4c所示，属性信息423也可以包括“成年人数量”这样的与一般的利用人数相关的信息、“适合酒会”、“适合约会”这样的与利用方式相关的信息、“适合女性”这样的与性别相关的信息、“甜点”等与菜单相关的信息等。即，属性信息423只要是表示规定的店铺或地点的特征的信息即可，例如可以将表示“有空位”等当前的状态的信息包括在属性信息423中。
58.分发信息分发部307根据拍摄数据分析部305的分析结果，选择由分发信息管理部306管理的分发信息并分发至用户装置30。
59.接着，参照图3b，对本实施方式所涉及的车辆20的软件构成进行说明。车辆20通过执行cpu251存储在rom253以及hdd254中的至少任一者中的程序并控制无线nw if256，实现图3b所示的功能。
60.车辆20具备车辆信息发送部351、指示接收部352、拍摄数据发送部353。
61.车辆信息发送部351以与车辆20的识别符建立对应的方式将包括与车辆20的当前位置相关的位置信息、以及与通信环境相关的通信路径信息中的至少任一者在内的车辆信息发送至通信服务器10。例如，将以规定的时间间隔从传感器257的gps传感器获取的位置信息发送至通信服务器10。车辆信息发送部351发送的车辆信息被通信服务器10的车辆信息管理部302使用于车辆信息的更新。指示接收部352从通信服务器10接收拍摄指示。若接收到拍摄指示，则使用车辆20所具备的拍摄部255来获取拍摄数据。拍摄数据发送部353将由拍摄部255生成的拍摄数据发送至通信服务器10。
62.(处理时序)
63.接着，参照图5说明本实施方式所涉及的通信系统的处理的一个例子。
64.首先，用户装置30以规定的时间间隔获取用户装置30的位置信息，并与用户识别符一起发送至通信服务器10(s501、s502)。在s502中，从用户装置30接收到位置信息的通信服务器10基于位置信息更新在用户信息管理部301中管理的用户信息db400。在一个例子中，用户装置30可以在与车辆20参加的多跳网络连接的时机、或与wi-fi(注册商标)网络连接的时机下开始s501的处理。
65.另外，车辆20也以规定的时间间隔获取车辆20的位置信息，并与车辆的识别符一起发送至通信服务器10(s503、s504)。在s504中，从车辆20接收到位置信息的通信服务器10基于位置信息更新在车辆信息管理部302中管理的车辆信息db410。在一个例子中，车辆20可以在移动了规定的距离的情况下、或在与不同的网络连接的时机下开始s503的处理。
66.接着，通信服务器10根据用户装置30的位置信息和车辆20的位置信息，确定向哪个车辆20发送摄像指示(s505)，向所确定的车辆发送拍摄指示(s506、s507)。s505的处理可以判定为向具有与用户装置30的位置最近的位置的车辆20发送摄像指示。另外，也可以向位于距用户装置30规定的距离内的位置的多台车辆20发送拍摄指示。由此，通信服务器10能够获取与用户装置30所对应的人相关的多个拍摄数据，能够提高后述的人的状态的分析精度。
67.在一个例子中，拍摄指示中可以包括拍摄对象的地点、用户装置30的位置信息。另外，拍摄指示中也可以包括对车辆20应在拍摄中使用的拍摄装置进行指定的信息。在该情况下，在s505的处理中，通信服务器10可以根据用户装置30的位置信息和车辆20的位置信息，从车辆20的正面方向获取用户装置30的方向，基于拍摄装置信息413确定使用哪个拍摄装置。
68.此外，s505的处理可以在通信服务器10从用户装置30获取到位置信息的时机下执行，也可以在“每天16点”等预先决定的时机下执行。
69.接收到拍摄指示的车辆20尝试拍摄与用户装置30对应的人(s508)，将拍摄数据发送至通信服务器10(s509、s510)。此外，拍摄数据可以是图像数据，也可以是动态图像数据。
70.通信服务器10分析在s510中接收到的拍摄数据，确定与用户装置30对应的人在拍摄时间点下的状态(s511)。s511的处理例如可以基于使用了深度学习的图像分析，对拍摄时间点下的人的状态进行分析。
71.例如，在针对拍摄数据所进行的人检测的结果是检测到一个人的情况下，通信服务器10判定为检测到的人是与用户装置30对应的人。另一方面，在检测到多个人的情况下，通信服务器10判定检测到的人中的哪个人是与用户装置30对应的人。例如，可以基于用户信息的基本信息403，基于与用户装置30对应的人的基本信息403，从检测到的多个人中确定与用户装置30对应的人。
72.接着，确定人的起立、就座、步行、行进等动作。此外，在检测到的人移动的情况下，可以对移动方向进行确定。由此，能够根据用户装置30的位置和检测到的移动方向，确定预测为与用户装置30对应的人要到达的位置。
73.另外，通信服务器10可以分析检测到的人的表情而对笑脸、愤怒等感情、疲劳等状态进行确定，也可以对检测到的人的服装进行确定。
74.此外，在对拍摄数据进行图像分析的结果是检测到多个人的情况下，通信服务器
10也可以根据多个人的状态判定为他们是群组。例如，可以在多个人之间的距离为规定值以下的情况下，将多个人群组化。由此，能够根据群组的人数来确定例如分发具有识别符d1的属性“成年人数量”的分发信息。另外，也可以在多个人进行手牵手、挽着胳膊等行动的情况下，判定为是群组。另外，也可以基于多个人进行对视等面部的朝向、视线来判定为是群组。
75.接着，通信服务器10基于在s511中确定的人的状态，选择要分发的分发信息(s512)。例如，可以为，在检测到的人为起立或就座而不移动的状态的情况下，选择具有与用户装置30的位置接近的位置作为属性的分发信息，在检测到的人移动的情况下，选择具有与预测为人要到达的位置(移动预定地点)接近的位置作为属性的分发信息。由此，能够选择与用户装置30的用户容易停留的店铺、地点相关的信息。
76.另外，可以为，在检测到的人不属于群组的情况下，选择与电影院、书店、拉面店等相关的分发信息，在检测到的人属于群组的情况下，选择咖啡馆、卡拉ok包房、酒馆等即根据检测到的人是否有同行者来选择分发信息。另外，在所确定的人所属的群组的人数比规定的数量大的情况下，选择为分发与成年人数量相适宜的店铺的信息。由此，能够根据检测到的人所属的群组的人数来分发适当的分发信息。
77.另外，可以为，通信服务器10在检测到的人的表情是愤怒的情况下选择与健身房相关的分发信息，在检测到的人的表情是悲伤的情况下选择与咖啡馆相关的分发信息。由此，能够根据检测到的人的心理状态来分发适当的分发信息。
78.此外，在s512中选择的分发信息可以仅为一个，也可以为多个。
79.接着，通信服务器10将在s512中选择出的分发信息发送至用户装置30(s513、s514)。此外，在图5中，图示为通信服务器10直接向用户装置30发送分发信息，但也可以控制为向车辆20发送分发信息，车辆20经由多跳网络向用户装置30转送分发信息。
80.＜其他实施方式＞
81.本发明不限于上述的实施方式，可以在本发明的主旨的范围内进行各种变形、变更。
82.例如，在第一实施方式中，说明了通信服务器10确定位于特定的用户装置30的周边的车辆20并基于用户装置30的用户的状态选择要分发的分发信息的例子。然而，在一个例子中，通信服务器10也可以获取随机选择的车辆20等特定的车辆20以规定的周期拍摄的拍摄数据，基于该车辆20的位置确定用户装置30，基于位于车辆20的周边的用户装置30的用户的状态来选择要分发的分发信息。在该情况下，可以省略图5的s505的车辆的确定、s506的拍摄指示。
83.另外，例如，通信服务器10也可以基于店铺是否开店、店铺的空位等拥挤状况、以及店铺的限时抢购或时间限定菜单等信息，进行分发信息的选择。例如，在设置于店铺的信息处理装置(未图示)能够从设置于座位的传感器等获取与店铺的空位状况相关的信息(座位信息)的情况下，通信服务器10可以从设置于店铺的信息处理装置以规定的周期收集空位信息，定期地更新图4c所示的分发信息422、属性信息423。在该情况下，在s512的分发信息的选择中，可以以存在空位为条件选择分发信息等进行基于空位信息的分发信息的选择。另外，在一个例子中，在s511中检测到的人属于群组的情况下，可以以与组的人数相比空位的数量大作为条件在s512中选择分发信息。
84.另外，本实施方式所涉及的通信服务器10基于车辆20和用户装置30的位置进行s505的车辆的确定。然而，在车辆20作为多跳网络内的节点、星形网络的接入点而动作且用户装置30参加与车辆20同一网络的情况下，可以基于车辆20与用户装置30的网络信息来进行s505的车辆的确定。
85.另外，在本实施方式中，通信服务器10所具备的功能的至少任一者可以由车辆20、外部装置来实现。例如，用户信息管理部301、车辆信息管理部302以及分发信息管理部306可以由外部装置来实现。另外，例如也可以为，车辆20若获取到拍摄数据，则通过车辆20的cpu251等分析拍摄数据所包括的人的状态，将包括与人的状态相关的信息的分析数据发送至通信服务器10，通信服务器10基于分析数据选择分发信息并进行分发。即，车辆20可以具有与拍摄数据分析部305对应的构成和分析数据的发送部。由此，能够减轻通信服务器10的处理负荷。
86.＜实施方式的总结＞
87.1.上述实施方式的信息处理装置(例如通信服务器10、通信服务器10及车辆20的组合)，其是向用户装置分发分发信息的信息处理装置，其中，
88.所述信息处理装置具备：
89.第一确定单元(例如拍摄数据分析部305)，其基于车辆的摄像装置获取到的拍摄数据来确定与所述用户装置(例如用户装置30)相关联的人在拍摄时间点下的状态；以及
90.分发单元(例如分发信息分发部307)，其将基于由所述第一确定单元确定的所述人的所述状态从多个分发信息中选择出的分发信息分发至所述用户装置。
91.由此，能够根据人的状态来分发适当的信息。
92.2.上述实施方式的信息处理装置，其中，
93.所述信息处理装置还具备：
94.第二确定单元(例如车辆确定部303)，其确定待指示与所述用户装置相关联的人的拍摄的车辆；以及
95.指示单元(例如拍摄指示发送部304)，其对由所述第二确定单元确定的所述车辆指示拍摄。
96.由此，能够根据与用户装置相关联的人的状态来分发适当的信息。
97.3.上述实施方式的信息处理装置，其中，
98.所述信息处理装置还具有第一获取单元(例如车辆信息管理部302)，所述第一获取单元获取与所述车辆以及所述用户装置连接的网络相关的信息，
99.所述指示单元对连接于与所述用户装置同一网络的所述车辆指示拍摄。
100.由此，能够向拥有接受由车辆提供的网络连接的用户装置的人分发信息。
101.4.在上述实施方式的信息处理装置的基础上，其中，
102.所述人的所述状态是所述人执行的动作、所述人的表情、所述人的服装、与所述人一起行动的人数中的至少一者。
103.由此，能够根据人的动作、表情、服装、人所属的群组等状态来分发适当的信息。
104.5.上述实施方式的信息处理装置，其中，
105.所述信息处理装置还具有第一获取单元(例如用户信息管理部301、车辆信息管理部302)，所述第一获取单元获取所述车辆以及所述用户装置的位置信息，
106.所述指示单元对位于距所述用户装置最近的位置的所述车辆指示拍摄。
107.由此，能够向拥有接近车辆的用户装置的人分发信息。
108.6.在上述实施方式的信息处理装置的基础上，其中，
109.所述信息处理装置还具有第一获取单元(例如用户信息管理部301、车辆信息管理部302)，所述第一获取单元获取所述车辆以及所述用户装置的位置信息，
110.所述指示单元对位于距所述用户装置最近的位置的所述车辆指示拍摄。
111.由此，能够基于来自位于接近位置的车辆的拍摄数据来确定人的状态。
112.7.在上述实施方式的信息处理装置的基础上，其中，
113.所述人的所述状态是所述人执行的动作、所述人的表情、所述人的服装、与所述人一起行动的人数中的至少一者。
114.由此，能够根据人的动作、表情、服装、人所属的群组等状态来分发适当的信息。
115.8.在上述实施方式的信息处理装置的基础上，其中，
116.在所述人的所述状态表示所述人不移动的情况下，所述分发单元选择并分发与位于距所述用户装置的位置规定的距离内的位置的店铺对应的分发信息，
117.在所述人的所述状态表示所述人的移动的情况下，所述分发单元选择并分发与位于距所述人的移动预定地点规定的距离内的位置的店铺对应的分发信息。
118.由此，能够分发与人容易停留的店铺相关的信息。
119.9.在上述实施方式的信息处理装置的基础上，其中，所述指示单元进一步指示拍摄所使用的拍摄装置。
120.由此，能够指示用于拍摄人的拍摄装置，并根据拍摄到的人的状态来分发适当的信息。
121.10.在上述实施方式的信息处理装置的基础上，其中，
122.所述分发单元将所述分发信息发送至所述车辆，
123.所述分发单元控制为使所述车辆经由所述车辆连接的网络向所述用户装置发送所述分发信息。
124.由此，能够抑制用户装置的通信成本。
125.11.在上述实施方式的信息处理装置的基础上，其中，
126.所述分发信息是与位于距所述用户装置规定的距离内的位置的店铺相关的广告信息。
127.由此，能够根据人的状态来分发适当的广告信息。
128.12.上述实施方式的信息处理装置，其中，
129.所述信息处理装置还具有第三获取单元，所述第三获取单元获取与所述用户装置的用户的外观相关的基本信息，
130.所述第一确定单元基于所述拍摄数据的图像分析的结果和由所述第三获取单元获取的所述基本信息，确定与所述用户装置相关联的人的状态。
131.由此，能够准确地确定人的状态。
132.13.上述实施方式的信息处理装置，其中，
133.所述信息处理装置还具有收集单元，所述收集单元以规定的周期收集店铺的空位信息，
134.所述分发单元分发进一步基于所述空位信息确定的所述分发信息。
135.由此，能够防止人去往满座的店铺。
136.14.上述实施方式的信息处理方法，其是在向用户装置分发分发信息的信息处理装置中执行的信息处理方法，其中，
137.所述信息处理方法包括：
138.第一确定步骤，在所述第一确定步骤中，基于车辆的摄像装置获取到的拍摄数据来确定与所述用户装置相关联的人在拍摄时间点下的状态；以及
139.分发步骤，在所述分发步骤中，将基于在所述第一确定步骤中确定的所述人的所述状态从多个分发信息中选择出的分发信息分发至所述用户装置。
140.由此，能够根据人的状态来分发适当的信息。