警告通知系统、警告通知方法及警告通知程序与流程

1.本发明涉及警告通知系统、警告通知方法及警告通知程序。


背景技术：

2.日本特开2015-185075号公报公开了涉及在车道或车道的旁边设置的人行道上设置并对行人进行注意唤起的街灯系统的技术。该街灯系统在预测为基于周围的状态而检测到的行人要越过车道与人行道的交界而进入车道的情况下，对行人进行警告。


技术实现要素：

3.然而，日本特开2015-185075号公报中，存在根据行人的不同而有时难以觉察到警告这样的问题。其理由是因为在日本特开2015-185075号公报中警告方法为单一的方式的缘故。
4.本公开为了解决这样的问题而作出，通过与行人等的属性对应的适当的通知单元进行向交通环境中的移动体的警告。
5.本发明的第一方式的警告通知系统具备：存储部，将移动体涉及的属性信息与警告的通知单元建立对应地存储；检测部，从拍摄交通环境而得到的图像中，检测该图像内的移动体的属性信息；确定部，在所述交通环境中的所述移动体的危险程度为规定值以上的情况下，从所述存储部之中，确定与所述检测到的属性信息建立了对应的通知单元；通知部，通过所述确定的通知单元，对于所述移动体进行警告通知。
6.这样，本方式使用将移动体的属性信息与警告的通知单元建立了对应的数据库，根据从拍摄图像解析的移动体的属性来确定通知单元，由此，对于实际的交通环境中的移动体能够使用适当的通知单元进行警告。由此，对于移动体包含的人物能够有效地进行注意唤起。
7.另外，优选的是，所述通知单元包括通知装置的类别，所述确定部从所述存储部之中，确定与所述属性信息建立了对应的通知装置的类别，所述通知部使用所述确定的类别的通知装置进行所述警告通知。例如，对于戴耳机的行人，不是使用扬声器而是使用激光装置作为通知装置，由此能够按照各移动体实现适当的警告通知。
8.此外，可以是，所述检测部还检测所述移动体的脸部或视线的朝向，所述确定部还确定与所述检测到的脸部或视线的朝向对应的通知方向，所述通知部朝向所述确定的通知方向进行所述警告通知。由此，能够向移动体的行进方向进行警告通知，移动体包含的人物更容易觉察到警告。
9.此外，可以是，所述确定部在所述确定的通知单元对应于多个通知装置的情况下，确定该多个通知装置中的设置于所述检测到的脸部或视线的朝向表示的方向的装置，所述通知部使用所述确定的装置进行所述警告通知。由此，移动体包含的人物容易更加自然地觉察到警告。
10.此外，可以是，所述通知单元包括设置于所述交通环境且被埋入了发光体的缘石，
所述缘石的发光体与所述警告通知系统经由网络连接，所述通知部在所述确定的装置为所述缘石的情况下，经由所述网络对所述发光体输出发光指示。由此，对于移动体包含的人物能够在视觉上更加容易觉察到地进行警告。
11.另外，可以是，所述警告通知系统还具备取得部，该取得部从所述移动体持有的便携终端取得所述警告通知的通信方式和该便携终端的位置信息，所述检测部还检测所述图像内的所述移动体的位置，在所述交通环境中的所述移动体的危险程度为规定值以上的情况下，所述确定部根据所述检测到的位置来确定所述交通环境中的所述移动体的位置，在所述确定的位置和所述取得的位置信息处在规定范围内的情况下，所述确定部将所述便携终端确定作为所述通知单元，所述通知部通过所述取得的通信方式，使用所述便携终端进行所述警告通知。由此，能够以移动体包含的人物希望的形式更适当地进行警告。
12.另外，所述移动体可以包括行人、轮椅及自行车中的至少任一者。由此，容易确保对于移动体包含的人物的安全。
13.本发明的第二方式的警告通知方法包括：检测步骤，计算机从拍摄交通环境而得到的图像中，检测该图像内的移动体的属性信息；判定步骤，计算机判定所述交通环境中的所述移动体的危险程度；确定步骤，计算机在所述危险程度为规定值以上的情况下，从将所述属性信息与警告的通知单元建立对应地存储的存储部之中，确定与所述检测到的属性信息建立了对应的通知单元；通知步骤，计算机通过所述确定的通知单元对于所述移动体进行警告通知。
14.此外，可以是，所述通知单元包括通知装置的类别，所述确定步骤从所述存储部之中，确定与所述属性信息建立了对应的通知装置的类别，所述通知步骤使用所述确定的类别的通知装置进行所述警告通知。
15.本发明的第三方式的警告通知程序使计算机执行如下步骤：检测步骤，从拍摄交通环境而得到的图像中，检测该图像内的移动体的属性信息；判定步骤，判定所述交通环境中的所述移动体的危险程度；确定步骤，在所述危险程度为规定值以上的情况下，从将所述属性信息与警告的通知单元建立对应地存储的存储部之中，确定与所述检测到的属性信息建立了对应的通知单元；通知步骤，通过所述确定的通知单元对于所述移动体进行警告通知。
16.在上述第二方式及第三方式中，也能够期待与第一方式同样的效果。
17.通过本公开，能够通过与行人等的属性对应的适当的通知单元进行向交通环境中的移动体的警告。
18.本发明的上述和其他目的、特征和优点将从下文给出的详细描述和仅作为说明给出的附图中得到更充分的理解，因此不应被视为限制本发明。
附图说明
19.图1是表示本实施方式1的警告通知系统的整体结构的框图。
20.图2是表示本实施方式1的警告通知服务器的结构的框图。
21.图3是表示本实施方式1的警告通知方法的流程的流程图。
22.图4是表示本实施方式1的行人的检测的例子的图。
23.图5是表示本实施方式1的向行人的警告通知的例子的图。
24.图6是表示本实施方式1的向行人的警告通知的例子的图。
25.图7是表示本实施方式2的警告通知服务器的结构的框图。
26.图8是表示本实施方式3的警告通知系统的整体结构的框图。
27.图9是表示本实施方式3的警告通知服务器的结构的框图。
28.图10是表示本实施方式3的警告通知方法的流程的流程图。
具体实施方式
29.以下，关于适用了包含上述的各方式的本发明的具体实施方式，参照附图进行详细说明。在各附图中，对于同一要素，标注同一标记，为了说明的明确化，根据需要而省略重复说明。
30.《实施方式1》
31.图1是表示本实施方式1的警告通知系统1000的整体结构的框图。警告通知系统1000是对于在规定的交通环境(十字路口周边的人行道等)内存在的行人300来说交通事故等的危险性高的情况下，对行人300进行警告通知的信息系统。警告通知系统1000具备摄像机110、扬声器120、激光装置130、缘石140、警告通知服务器200。在此，摄像机110、扬声器120、激光装置130、缘石140及警告通知服务器200分别经由网络n能够通信地连接。在此，网络n是互联网、内联网、手机网、lan(local area network)等通信回线网。
32.行人300是在上述交通环境中的人行道、人行横道等中行走的人，是移动体的一例。
33.摄像机110是设置于上述交通环境，拍摄规定的监视对象区域(十字路口周边等)，并经由网络n向警告通知服务器200发送拍摄影像的拍摄装置。拍摄影像是遵照时间序列的拍摄图像的集合，各拍摄图像包含行人300或在十字路口周边行驶的机动车等。
34.扬声器120、激光装置130及缘石140是设置于交通环境的通知装置的一例。需要说明的是，在本实施方式中，通知装置为两种以上，或者将同种类的两个以上的通知装置设置于不同的位置即可。
35.扬声器120根据经由网络n的来自警告通知服务器200的指示进行声音输出。扬声器120可以是指向性扬声器。在该情况下，扬声器120向与来自警告通知服务器200的指示包含的输出的指向对应的方向进行输出。
36.激光装置130根据经由网络n的来自警告通知服务器200的指示发出激光束。特别是在来自警告通知服务器200的指示包含输出方向的情况下，激光装置130向被指示的方向输出激光束。
37.缘石140是设置于人行道与车道的交界的块体，被埋入有发光体。并且，缘石140的发光体经由网络n与警告通知服务器200连接。发光体按照经由网络n来自警告通知服务器200的发光指示进行发光。
38.警告通知服务器200是关于交通环境中的行人300在交通事故等的危险性高的情况下用于进行规定的警告通知的一个以上的信息处理装置。图2是表示本实施方式1的警告通知服务器200的结构的框图。需要说明的是，图2是将通过一台计算机装置实现了警告通知服务器200时的内部结构以功能块表示的图。
39.警告通知服务器200具备存储部210、控制部220、存储器230、if部240。存储部210
是硬盘、闪存器等非易失性存储装置。存储部210至少存储图像识别用数据组211、通知单元db(database)212、警告通知程序213。
40.图像识别用数据组211是图像识别(物体识别)所使用的比较用的图像的集合。图像识别用数据组211例如是不同的年代、性别、身体穿戴用具、脸部的朝向、视线的行人的图像的集合。身体穿戴用具例如是太阳镜、耳机、助听器、拐杖等，但是没有限定于此。
41.通知单元db212是将行人的属性信息即行人属性2121与警告的通知单元2122建立对应地管理的数据库。行人属性2121是表示视觉障碍者、耳机使用者(包括听觉障碍者)、老年人等的信息，是从拍摄图像通过物体识别而识别的识别结果的一部分。通知单元2122是通知装置的类别、基于通知装置的输出量的水平等。通知单元db212可列举例如如下那样的联想排列(行人属性：通知单元)。
42.{视觉障碍者：扬声器，
43.耳机使用者：激光装置
44.老年人：比通常高的输出水平
45.其他：缘石}
46.警告通知程序213是安装有本实施方式1的警告通知方法的处理的计算机程序。
47.存储器230是ram(random access memory)等易失性存储装置，是在控制部220的动作时用于暂时保持信息的存储区域。
48.if部240是进行警告通知服务器200的与外部的输入输出的接口。if部240是至少用于进行经由网络n的通信的通信电路。
49.控制部220是对警告通知服务器200的各结构进行控制的处理器。控制部220从存储部210将警告通知程序213向存储器230读入，执行警告通知程序213。由此，控制部220实现后述的取得部221、物体识别部222、危险预测部223、确定部224及通知部225的功能。
50.取得部221以图像单位取得通过摄像机110拍摄交通环境而得到的拍摄影像。
51.物体识别部222使用图像识别用数据组211，对于取得的图像进行物体识别，取得识别结果。例如，物体识别部222可以使用参照图像识别用数据组211而动作的公知的物体识别引擎。在该情况下，物体识别部222将取得的图像向物体识别引擎输入，并取得识别结果作为输出。在此，识别结果包括交通环境中的行人300及机动车的位置、行人300的脸部或视线的朝向、行人300的属性、行人300及机动车的移动方向、行人300及机动车的移动速度等。因此，物体识别部222可以说是从拍摄交通环境而得到的图像中检测该图像内的移动体的属性信息的检测部的一例。此外，物体识别部222可以说是检测行人300的脸部或视线的朝向。
52.危险预测部223基于识别结果，预测交通环境中的行人300的危险程度，判定危险程度是否为规定值以上。例如，危险预测部223基于行人300和机动车的位置、移动方向及移动速度来算出碰撞的概率，在碰撞的概率为规定值以上的情况下，判定为危险程度为规定值以上。
53.确定部224在交通环境中的行人300的危险程度为规定值以上的情况下，从通知单元db212之中，确定与通过物体识别部222检测到的(即识别结果包含的)行人属性2121建立了对应的通知单元2122。具体而言，确定部224从通知单元db212之中，确定与行人属性2121建立了对应的通知装置的类别。而且，确定部224还确定与识别结果包含的脸部或视线的朝
向对应的通知方向。特别是，确定部224在确定的通知单元对应于多个通知装置的情况下，确定该多个通知装置中的设置于检测到的脸部或视线的朝向表示的方向的装置。
54.通知部225通过确定的通知单元对行人300进行警告通知。特别是，通知部225使用确定的类别的通知装置进行警告通知。而且，在确定的装置为缘石140的情况下，通知部225经由网络n对发光体输出发光指示。
55.需要说明的是，上述的取得部221、物体识别部222、危险预测部223、确定部224及通知部225分别可以通过专用的硬件实现。而且，各装置的各构成要素的一部分或全部可以通过通用或专用的电路(circuitry)、处理器等或它们的组合实现。它们可以通过单一的芯片构成，也可以通过经由总线连接的多个芯片构成。各装置的各构成要素的一部分或全部可以通过上述的电路等与程序的组合实现。而且，作为处理器(控制部220)，可以使用cpu(central processing unit)、gpu(graphics processing unit)、fpga(field-programmable gate array)等。
56.另外，在警告通知服务器200的各构成要素的一部分或全部通过多个信息处理装置或电路等实现的情况下，多个信息处理装置、电路等可以集中配置，也可以分散配置。例如，信息处理装置、电路等可以实现作为客户端服务器系统、云计算系统等分别经由通信网络连接的方式。而且，警告通知服务器200的功能可以通过saas(software as a service)形式提供。
57.另外，图像识别用数据组211、通知单元db212可以保存于警告通知服务器200的外部的存储装置，也可以通过存储系统、数据库系统等与警告通知服务器200之间进行数据的输入输出。
58.图3是表示本实施方式1的警告通知方法的流程的流程图。首先，摄像机110开始十字路口周边等的交通环境的拍摄。摄像机110将拍摄到的影像经由网络n向警告通知服务器200依次发送。即，摄像机110开始向警告通知服务器200的动态图像输入(s101)。由此，警告通知服务器200的取得部221取得基于摄像机110的拍摄影像。此时，设为拍摄影像包含行人300、行驶中的机动车。
59.接下来，取得部221从拍摄影像遵照时间序列取得最初的帧(s102)。然后，物体识别部222关于取得的帧图像进行物体识别(s103)。然后，物体识别部222取得识别结果。
60.接下来，危险预测部223基于识别结果来预测行人300的危险性(s104)。然后，危险预测部223判定行人300的危险程度是否为规定值以上(s105)。
61.在判定为危险程度为规定值以上的情况下，确定部224基于行人属性2121来确定通知单元2122(s106)。具体而言，确定部224从识别结果中提取行人属性2121，从通知单元db212之中读出与提取的行人属性2121建立了对应的通知单元2122。例如，在行人属性2121为视觉障碍者的情况下，确定部224参照通知单元db212，将扬声器确定作为通知单元2122。而且，在行人属性2121为耳机使用者的情况下，确定部224参照通知单元db212，将激光装置确定作为通知单元2122。而且，在行人属性2121为老年人的情况下，确定部224参照通知单元db212，在任意的通知装置中以输出水平比通常高的方式确定通知单元2122。需要说明的是，识别结果包含的行人属性可以是多个种类的组合。例如，识别结果可以包含视觉障碍者且老年人作为行人属性。在该情况下，确定部224以将通知装置确定为扬声器，且输出水平比通常高的方式确定通知单元2122。
62.然后，确定部224基于识别结果来确定通知形态(s107)。具体而言，确定部224基于识别结果中的行人300的图像内的位置、脸部或视线的朝向、移动方向及移动速度等，将通知中使用的装置、输出方向等确定作为通知形态。例如，在步骤s106中将缘石140确定作为通知单元的情况下，确定部224根据识别结果中的行人300的当前的位置来确定脸部或视线的朝向表示的方向，将多个缘石中的设置于确定的方向的缘石确定作为在通知中使用的装置。而且，在步骤s106中将激光装置确定作为通知单元的情况下，确定部224根据识别结果中的行人300的当前的位置，将脸部或视线的朝向表示的方向确定作为输出方向。
63.然后，通知部225通过确定的通知单元及通知形态进行警告通知(s108)。例如，通知部225经由网络n对于(确定的)扬声器120以向(确定的)输出方向输出警告声的方式进行指示。或者，通知部225经由网络n对于(确定的)激光装置以向(确定的)输出方向照射激光束的方式进行指示。或者，通知部225经由网络n对于(确定的)缘石进行发光指示。
64.在步骤s108之后，或者在步骤s105中判定为危险程度小于规定值的情况下，返回步骤s102，对于下一帧继续进行处理。
65.图4是表示本实施方式1的行人300的检测的例子的图。在此，示出设置摄像机110和作为通知装置的扬声器120及激光装置130的例子。此时，设为摄像机110拍摄十字路口，拍摄图像包含朝向十字路口行走的行人300及行驶的机动车310，在几秒后可能会发生碰撞。
66.图5是表示本实施方式1的向行人300的警告通知的例子的图。在此，设为将行人300的行人属性设为视觉障碍者，因而，将具有指向性的扬声器120确定作为通知单元。因此，警告通知服务器200对于扬声器120以向行人300的行进方向输出警告声401的方式进行指示。由此，作为视觉障碍者的行人300听到朝向行进方向输出的警告声，能够获知自身的危险。
67.图6是表示本实施方式1的向行人300的警告通知的例子的图。在此，设为行人300正在人行道中行走，设置有扬声器120和四台缘石141～144作为通知装置。并且，设为将行人300的行人属性设为耳机使用者，因而，将缘石确定作为通知单元。此时，警告通知服务器200根据识别结果来确定行人300的视线的朝向，将缘石143确定作为通知对象的装置。并且，警告通知服务器200经由网络n进行向缘石143的发光指示。由此，行人300即使面向下方，通过处于视线的前方的缘石143的发光，也能够获知自身的危险。
68.《实施方式2》
69.本实施方式2是上述的实施方式1的变形例。在实施方式1中，将物体识别中的物标(警告对象)设为行人。相对于此，在实施方式2中，除了将物标设为行人之外，还设为自行车、轮椅的移动体。
70.图7是表示本实施方式2的警告通知服务器200a的结构的框图。警告通知服务器200a与上述的警告通知服务器200相比，是将通知单元db212替换为通知单元db212a的结构。其他的结构与图2相同，因此省略详细的说明。
71.通知单元db212a将物标属性2121a与通知单元2122建立对应。物标属性2121a除了上述的行人属性2121之外，还包含自行车、轮椅。需要说明的是，物标属性2121a也可以包含机动车、摩托车。通知单元2122将与物标属性2121a对应的通知单元建立对应即可。
72.通过使用这样的通知单元db212a，对于各种物标都能够实现灵活且适当的警告通
知。
73.《实施方式3》
74.本实施方式3是上述的实施方式1的变形例。图8是表示本实施方式3的警告通知系统2000的整体结构的框图。警告通知系统2000与上述的警告通知系统1000相比，是行人300持有便携终端150并将警告通知服务器200替换为警告通知服务器200b的结构。其他的结构与图1相同，因此省略详细的说明。
75.便携终端150是便携电话终端、智能手机等便携型的信息终端，经由网络n能够与警告通知服务器200b通信。设为便携终端150是对应于警告通知系统2000的应用程序动作，而行人300预先在该应用程序注册完成的结构。便携终端150取得本终端的位置信息。位置信息例如是gps(global positioning system)信息等。而且，便携终端150通过行人300等的操作而对于应用程序设定警告通知的通信方式。通信方式是例如电子邮件、sms(short message service)等。并且，便携终端150将位置信息及通信方式经由网络n向警告通知服务器200b发送。需要说明的是，便携终端150将与通信方式对应的通知目标信息一起向警告通知服务器200b发送。例如，在通信方式为电子邮件的情况下，通知目标信息是便携终端150能够接收的电子邮件地址，在通信方式为sms的情况下，通知目标信息成为便携终端150的电话号码。
76.图9是表示本实施方式3的警告通知服务器200b的结构的框图。警告通知服务器200b与上述的警告通知服务器200相比，是替换了警告通知程序213b、取得部221b、确定部224b及通知部225b的结构。
77.警告通知程序213b是安装有本实施方式3的警告通知方法的处理的计算机程序。
78.取得部221b从行人300持有的便携终端150取得警告通知的通信方式和便携终端150的位置信息。需要说明的是，如上所述，识别结果包含行人300的位置。即，物体识别部222检测图像内的行人300的位置。
79.确定部224b在交通环境中的行人300的危险程度为规定值以上的情况下，根据检测到的位置来确定交通环境中的行人300的位置。并且，确定部224b在确定的位置和取得的位置信息处在规定范围内的情况下，将便携终端150确定作为通知单元。
80.通知部225b通过取得的通信方式，使用便携终端150进行警告通知。
81.图10是表示本实施方式3的警告通知方法的流程的流程图。在此，步骤s101～s105与上述的图3同样。在步骤s105中判定为危险程度为规定值以上的情况下，取得部221b判定从便携终端150是否接受了通知(s111)。例如，取得部221b判定从在与警告通知系统2000对应的应用程序注册完成的便携终端是否接收(取得)上述的位置信息及通信方式。在接受了通知的情况下，确定部224b确定行人300的位置(s112)。具体而言，确定部224b取得步骤s103的识别结果包含的行人300的图像内的位置，根据该位置来确定交通环境中的坐标位置。
82.并且，确定部224b判定行人300的位置和便携终端150的位置是否处在规定范围内(s113)。处在规定范围内的情况下，确定部224b将通知目标设定为便携终端150及被通知的通信方式作为通知单元(s114)。然后，通知部225b通过取得的通信方式，经由网络n对于便携终端150进行警告通知(s108)。由此，行人300通过便携终端150的来信音、振动而觉察到警告，能够获知自身的危险。
83.需要说明的是，在步骤s111中未接受通知的情况下，或者在步骤s113中在规定范围外的情况下，进行上述的步骤s106～s108。
84.这样，在本实施方式中，使行人300持有的便携终端150与警告通知系统2000联动，能够对于行人300直接进行通知。例如，能够应对对于扬声器或激光束等无法充分反应的行人、想要指定所希望的通知方法的行人。
85.《其他的实施方式》
86.需要说明的是，本公开并不局限于上述实施方式，在不脱离主旨的范围内可以适当变更。例如，在上述的实施方式中，将本公开作为硬件的结构进行了说明，但是本公开没有限定于此。本公开也可以通过使cpu(central processing unit)执行计算机程序来实现任意的处理。
87.在上述的例子中，程序使用各种类型的非暂时性的计算机可读介质(non-transitory computer readable medium)来保存，能够向计算机供给。非暂时性的计算机可读介质包括存在各种类型的实体的记录介质(tangible storage medium)。非暂时性的计算机可读介质的例子包括磁记录介质(例如软盘、磁带、硬盘驱动)、光磁记录介质(例如光盘)、cd-rom(read only memory)、cd-r、cd-r/w、dvd(digital versatile disc)、半导体存储器(例如，掩模rom、prom(programmable rom)、eprom(erasable prom)、闪光rom、ram(random access memory))。而且，程序可以由各种类型的暂时性的计算机可读介质(transitory computer readable medium)向计算机供给。暂时性的计算机可读介质的例子包括电信号、光信号及电磁波。暂时性的计算机可读介质能够经由电线及光纤等有线通信路或无线通信路，将程序向计算机供给。
88.根据这样描述的公开，显而易见的是，公开的实施例可以以许多方式改变。此类变化不应被视为背离本发明的精神和范围，并且对于本领域技术人员来说显而易见的所有此类修改旨在包含在权利要求的范围内。