控制装置、座椅安全带装置、车辆、系统的工作方法以及介质与流程

1.本公开涉及一种控制装置、座椅安全带装置、车辆、系统的工作方法以及介质。


背景技术：

2.已知一种为了察觉在车辆内发生的各种危险而利用照相机来监视乘客的情况的技术(专利文献1)。另外，在车辆内发生的危险也包括在出租车或拼车中驾驶员遭受来自乘客的暴行之类的事态。作为用于防护驾驶员免受那样的由乘客带来的威胁的技术，已知一种在驾驶员座与其他的座位之间设置能够延伸的隔断并通过对隔断进行驱动而将驾驶员与乘客隔开的技术(专利文献2)。
3.在先技术文献
4.专利文献
5.专利文献1：日本特开2016-107817号公报
6.专利文献2：法国专利申请公开3065681号说明书


技术实现要素：

7.发明所要解决的课题
8.需求一种从由乘客所带来的威胁中简便且可靠地确保驾驶员或同乘人员的安全的技术。
9.用于解决课题的手段
10.本公开中的控制装置具有控制部，所述控制部在基于行为的类型而判定为根据车辆内部的拍摄图像或者语音而检测出的乘客的行为具有威胁性时，发送使该乘客所佩戴的座椅安全带的张力增加的第一指示。
11.本公开中的工作方法为控制座椅安全带装置的控制装置的工作方法，所述控制装置在基于行为的类型而判定为根据车辆内部的拍摄图像或者语音而检测出的乘客的行为具有威胁性时，发送使该乘客所佩戴的座椅安全带的张力增加的第一指示；所述座椅安全带装置接收所述第一指示。
12.本公开中的介质为存储由控制座椅安全带装置的控制装置执行的程序的、能够供所述控制装置读取的非临时性的介质，该程序通过被所述控制装置执行，从而使该控制装置在基于行为的类型而判定为根据车辆内部的拍摄图像或者语音而检测出的乘客的行为具有威胁性时，发送使该乘客所佩戴的座椅安全带的张力增加的第一指示。
13.发明效果
14.根据本公开，能够从乘客所带来的威胁中简便且可靠地确保驾驶员或者同乘人员的安全。
附图说明
15.图1为表示控制装置的结构例的图。
16.图2为表示服务器装置的结构例的图。
17.图3为表示车辆的结构例的图。
18.图4为表示控制装置的工作例的流程图。
具体实施方式
19.以下，对实施方式进行说明。
20.图1为表示一个实施方式中的控制装置的结构例的图。控制装置10对驾驶员或同乘人员的从利用拼车或者出租车的乘客所带来的暴行等威胁中的安全确保进行辅助。控制装置10具有经由网络14而以能够相互进行信息通信的方式被连接在一起的服务器装置12和车辆13的车载装置30。服务器装置12例如为属于云计算系统或者其他的计算系统并且安装有各种功能的服务器装置。车辆13为被提供于拼车的任意的车辆、或者出租车。车载装置30例如为导航装置、移动电话、智能手机、平板电脑、或者pc(personal computer：个人计算机)。网络14例如为互联网，但是包括ad-hoc网、lan(local area network：局域网)、man(metropolitan area network：城域网)或者其他的网络或这些网络的任意的组合。
21.控制装置10在基于行为的类型而判定为根据车辆13内部的拍摄图像或者语音而检测出的乘客的行为对于车辆13内的驾驶员或同乘人员而言具有威胁性时，发送使该乘客所佩戴的座椅安全带的张力增加的指示。在车辆13中，座椅安全带装置根据指示而使实施威胁性的行为的乘客所佩戴的座椅安全带的张力增加，从而通过利用座椅安全带来对乘客给予束缚感进而抑制其行为。根据所涉及的本实施方式，能够在车辆13中利用最小限度的追加性装备而从乘客所带来的威胁中简便且可靠地确保驾驶员或同乘人员的安全。
22.图2表示服务器装置12的结构例。服务器装置12具备控制部21、存储部22、通信部23、输入部25以及输出部26。服务器装置12例如为属于云计算系统或者其他的计算系统并且作为安装有各种功能的服务器而发挥功能的服务器计算机。服务器装置12也可以为，以能够相互进行信息通信的方式而被连接从而进行协同工作的一个以上的服务器计算机。
23.控制部21包括一个以上的处理器、一个以上的专用电路、或者它们的组合。处理器例如为cpu(central processing unit：中央处理器)等通用处理器、或对于特定的处理而特殊化了的gpu(graphics processing unit：图形处理器)等专用处理器。专用电路例如为fpga(field-programmable gate array：现场可编程门阵列)、asic(application specific integrated circuit：专用集成电路)等。控制部21在对服务器装置12的各部进行控制的同时，执行与服务器装置12的工作相关的信息处理。
24.存储部22例如包括作为主存储装置、辅助存储装置、或者高速缓冲存储器而发挥功能的一个以上的半导体存储器、一个以上的磁存储器、一个以上的光存储器、或者这些存储器中的至少两种的组合。半导体存储器例如为ram(random access memory：随机存取存储器)或者rom(read only memory：只读存储器)。ram例如为sram(static ram：静态ram)或者dram(dynamic ram：动态ram)。rom例如为eeprom(electrically erasable programmable rom：电可擦可编程rom)。存储部22在服务器装置12的工作中使用的信息和通过服务器装置12的工作而得到的信息进行存储。
25.在服务器装置12中，控制部21与存储部22可以经由总线而连接，也可以不经由总线而相互直接连接。或者，控制部21可以内置有存储部22从而与存储部22一体地构成。
evolution：长期演进)、4g(the 4generation：第四代)、或者5g(the 5generation：第五代)等移动通信标准对应的接口。通信部33对在车载装置30的工作中被使用的信息进行接收，并且对通过车载装置30的工作而得到的信息进行发送。车载装置30利用通信部33并经由移动体通信的基站而与网络14连接，并经由网络14而与其他的装置实施信息通信。
35.测位部34包括一个以上的gnss(global navigation satellite system：全球导航卫星系统)接收机。gnss包括例如gps(global positioning system：全球定位系统)、qzss(quasi-zenith satellite system：准天顶卫星系统)、glonass(global navigation satellite system：全球卫星导航系统)以及galileo(伽利略)中的至少一种。测位部34取得车辆13的位置信息。
36.输入部35包括一个以上的输入用接口。输入用接口例如为物理按键、静电电容按键、打点设备、与显示器一体设置的触摸屏、或者接受语音输入的话筒。输入用接口还包括对拍摄图像或者图像代码进行捕捉的摄像机或者ic读卡器。输入部35受理对在车载装置30的工作中被使用的信息进行输入的操作，将并被输入的信息发送到控制部31。
37.输出部36中包括一个以上的输出用接口。输出用接口例如为显示器或者扬声器。显示器例如为lcd或有机el显示器。输出部36输出通过车载装置30的工作而得到的信息。
38.车载装置30的功能通过控制部31中包含的处理器来执行控制程序从而被实现。控制程序为，用于通过使计算机执行车载装置30的工作中包含的步骤的处理从而使计算机实现与该步骤的处理相对应的功能的程序。即，控制程序为用于使计算机作为车载装置30而发挥功能的程序。另外，车载装置30的一部分或者全部的功能可以由控制部31中包含的专用电路来实现。
39.记录装置37具有被设置在能够对车辆13的车厢内的乘员的座位进行拍摄的位置处的一个以上的摄像机、及其控制电路。记录装置37所具有的摄像机可以为单目摄像机，也可以为立体摄像机。记录装置37还具有对车辆13的车厢内的语音进行录音的录音装置、及其控制电路。记录装置37对车辆13的车厢内以任意的时间间隔而进行拍摄和录音，并将拍摄图像以及语音的信息发送到车载装置30的控制部31。
40.座椅安全带装置38被设置在车辆13的各个座位处，并且具有对座椅安全带的张力进行检测的传感器、和将座椅安全带收卷的驱动机构及其控制电路。座椅安全带装置38将表示座椅安全带的张力的信息发送到车载装置30的控制部31。另外，座椅安全带装置38对来自控制部31的指示进行响应，而对座椅安全带的驱动机构进行控制以使座椅安全带的张力进行增减。
41.通知装置39具有输出在车厢内的座位处能够视听的图像和语音的显示器和扬声器及其控制电路。通知装置39对与从车载装置30的控制部31发送的指示和信息相应的图像或者语音进行输出。
42.接下来，利用图4关于而对控制装置10的工作进行说明。
43.图4为表示控制装置10的工作程序的流程图。控制装置10的工作程序由服务器装置12的控制部21和车载装置30的控制部31中的任意一个来单独执行、或者由双方来分担执行。图4的程序例如在车辆13提供出租车或者拼车的服务之际，在车载装置30进行工作时以任意的周期(例如，数毫秒至数秒的周期)而被执行。或者，也可以由车辆13的驾驶员向车载装置30输入表示搭载了乘客的信息，并且响应于该输入而开始图4的步骤。
44.在步骤s400中，控制装置10取得车辆13的车厢内的拍摄图像以及语音信息。例如，在车辆13中，记录装置37按照任意的帧率而实施摄像和伴随于摄像的语音的录音，并且将拍摄图像和附随于拍摄图像的语音信息发送到车载装置30。车载装置30的控制部31经由通信部33而将拍摄图像以及语音信息向服务器装置12发送。服务器装置12的控制部21经由通信部23而接收拍摄图像以及语音信息并预先存储于存储部22中。而且，控制部21每当执行图4的程序时，均会从存储部22中读出并取得任意的帧数的拍摄图像和附随于拍摄图像的语音信息。
45.在步骤s402中，控制装置10取得车辆13的座椅安全带佩戴信息。佩戴信息例如包括每个座位的座椅安全带的佩戴的有无以及佩戴时座椅安全带的张力。例如，在车辆13中，座椅安全带装置38按照任意的周期(例如数毫秒至数秒的周期)而将佩戴信息发送到车载装置30。车载装置30的控制部31经由通信部33而向服务器装置12发送佩戴信息。服务器装置12的控制部21经由通信部23而接收佩戴信息并预先存储于存储部22中，并且每当执行图4的程序时，均会从存储部22中读出并取得佩戴信息。
46.在步骤s404中，控制装置10从所取得的拍摄图像以及语音信息中提取乘客的行为。例如，服务器装置12的控制部21实施图像识别处理以及语音识别处理，并通过模式匹配等从拍摄图像以及语音信息中提取乘客的行为。此时，控制部21通过图像识别处理而对乘客就座的座位进行特定，并且以与乘客的行为建立对应的方式而将座位的位置存储于存储部22中。
47.在步骤s406中，控制装置10对所提取出的行为是否具有威胁性进行判定。例如，服务器装置12的控制部21基于行为的类型而对所提取出的行为是否具有威胁性进行判定。例如，在行为是伴随有对他人或内部装饰的殴打或踢打等接触的暴力动作、虽然暗示殴打或踢打等但并未伴随有接触的预备动作、包含表示恫吓、辱骂污言秽语等语句且伴随有某种程度以上的声压的语音时，控制部21判定为该行为具有威胁性。在没有提取到特别的行为时，或者被提取出的行为不属于暴力动作、预备的动作、恫吓或辱骂污言秽语等情况下，控制部21判定为该行为不具有威胁性。
48.在步骤s408中，控制装置10在判定为行为具有威胁性时(步骤s408中的是)，进入步骤s410，另一方面，在判定为行为不具有威胁性时(步骤s408中的否)，进入步骤s420。
49.在步骤s410中，控制装置10对具有威胁性的行为的持续时间进行计数。例如，服务器装置12的控制部21将从在前次的处理循环检测到了具有威胁性的行为的时刻起的经过时间进行累计计数并存储于存储部22中。
50.在步骤s412中，控制装置10对具有威胁性的行为的持续时间是否超过基准时间进行判断。例如，服务器装置12的控制部21对在步骤s410中计数的持续时间是否超过了任意的基准时间(例如，数秒至数十秒)进行判断。控制装置10在持续时间超过了基准时间的情况下(步骤s412中的是)，进入步骤s414，在没有超过基准时间的情况下(步骤s412中的否)，结束图4的处理循环。
51.在步骤s414中，控制装置10根据佩戴信息而对实施具有威胁性的行为的乘客的座位处是否佩戴有座椅安全带进行判断。控制装置10在乘客的座椅安全带被佩戴着的情况下(步骤s414中的是)，进入步骤s416，另一方面，在乘客的座椅安全带未被佩戴的情况下(步骤s414中的否)，进入步骤s418。
52.在步骤s416中，控制装置10向车辆13的座椅安全带装置38发送用于使座椅安全带的张力增加的指示。例如，服务器装置12的控制部21基于佩戴信息而对当前时刻的张力进行检测，并生成用于形成与该张力相比而增加了的张力的指示。例如，张力被规定为任意的等级，控制部21选择与当前时刻的张力相比而大一个等级以上的张力并生成指示。然后，控制部21经由通信部23而向车载装置30发送用于张力增加的指示。车载装置30的控制部31在经由通信部33而接收到用于张力增加的指示时，向座椅安全带装置38发送该指示。响应于此，座椅安全带装置38对座椅安全带的驱动机构进行控制，以使张力增加。由此，座椅安全带被收卷而使座椅安全带的张力增加，从而对乘客给予更强的束缚感。
53.在步骤s418中，控制装置10向车辆13的通知装置39发送用于使对于乘客的通知输出的指示。例如，服务器装置12的控制部21生成包含缓和或者终止具有威胁性的行为这样的语句的通知。通知例如包含“请停止”、“请冷静”之类的语句、呼吁缓和或中止具有威胁性的行为的图案。然后，控制部21经由通信部23而向车载装置30发送用于输出所生成的通知的指示。车载装置30的控制部31在经由通信部33而接收到用于通知输出的指示时，向通知装置39发送该指示。响应于此，通知装置39通过显示或者语音而向乘客输出通知。由此，对于乘客而实施了要求具有威胁性的行为的缓和或者中止的通知。然后，控制装置10结束图4的处理循环。
54.通过执行步骤s416及s418，从而能够对乘客给予由座椅安全带所实现的束缚感，且通过在此基础上进行通知，进而能够更有效率地抑制乘客的行为。另外，即使在乘客未佩戴座椅安全带的情况下(步骤s414中的否)，也能够通过执行步骤s418，而利用通知来对乘客的行为进行牵制。
55.此外，若乘客的具有威胁性的行为在较短时间而被平息，则也有可能因利用座椅安全带而给予束缚感反而会刺激乘客，因此，通过将在步骤s412中进行判断的基准时间任意设定为适当的长度，从而能够避免无用的刺激。
56.在乘客的行为并未被判定为具有威胁性时(s408中的否)，在步骤s420中，控制装置10对是否从驾驶员或同乘人员作出了表示威胁的报告进行判断。例如，驾驶员在感到了乘客的行为具有威胁性时，对车载装置30的输入部35输入具有威胁性的行为的报告。例如，在车载装置30中，对警报用按钮、点击区域等而进行驾驶员的输入。于是，车载装置30的控制部31响应于输入而经由通信部33向服务器装置12发送表示具有威胁性的报告。服务器装置12的控制部21经由通信部33而接收报告。在接收到了报告的情况下(s420中的是)，控制装置10进入步骤s422，在并未接收到报告的情况下(s420中的否)，控制装置10进入步骤s424。
57.作为改变例，可以在各个座位上预先设置威胁的报告用的按钮等，并且在按钮被同乘人员按下时，则车载装置30响应于此而向服务器装置12发送报告。或者，通过使同乘人员所携带的终端装置利用近距离通信或者移动通信而以能够进行信息通信的方式与车载装置30连接，或者经由移动通信而以能够进行信息通信的方式与服务器装置12连接，并且通过同乘人员对终端装置的专用应用程序进行操作，从而向车载装置30或者服务器装置12发送报告。例如，同乘人员利用应用程序而对于自己的座位位置进行特定并且向车载装置30发送报告。控制装置10对从哪个座位发送了报告进行辨别，在从实施有威胁的行为的乘客的座位以外的座位发送了报告的情况下，能够看作是具有威胁性的行为的报告。
58.在步骤s422中，控制装置10以使提取出的行为与威胁建立对应的方式而对行为的类型进行修正。服务器装置12的控制部21对被存储于存储部22中的、按照是否具有威胁性而被类型化了的信息进行修正。或者，控制部21将提取出的行为与具有威胁性的印象建立对应并反应在将行为与该行为给他人带来的印象建立了对应的教导数据中，并通过对教导数据进行修正而执行机器学习。由此，能够使以后的行为的判定精度提高。然后，控制装置10向步骤s410前进，并执行步骤s412以后的步骤。即，在该情况下，由于乘客正在实施具有威胁性的行为，因此实施座椅安全带的张力增加或者通知输出。
59.在没有进行威胁报告时(步骤s420中的否)，在步骤s424中，控制装置10使威胁性的行为的持续时间的累计计数重置。然后，在步骤s426中，控制装置10发送用于使车辆13的座椅安全带的张力减少的指示。例如，服务器装置12的控制部21基于佩戴信息而对当前时刻的张力进行检测，并生成用于形成与该张力相比而减少的张力的指示。然后，控制部21经由通信部23而向车载装置30发送用于张力减少的指示。车载装置30的控制部31经由通信部33而接收指示并向座椅安全带装置38发送。响应于此，座椅安全带装置38对座椅安全带的驱动机构进行控制，以使张力减少。由此，座椅安全带被缓和，从而使被施加给乘客的束缚感被缓和。但是，在座椅安全带变为低于为了作为原有的功能而对乘客进行保持所必需的张力的情况下，可以中止张力的减少。然后，图4的处理循环结束。
60.根据本实施方式，例如，能够在不对车辆13中设置隔断等追加性设备的条件下，简便地确保驾驶员或同乘人员在由乘客所带来的威胁中的安全。另外，通过控制装置10对行为与威胁的对应关系进行判断，从而能够确保驾驶员或同乘人员的在由乘客所带来的威胁中的安全。但是，在车辆13中，除了在座位间设置可动式的隔断、座椅安全带的张力增加、通知以外，还可以使实施威胁性的行为的乘客与驾驶员或者同乘人员之间的隔断进行动作，从而将实施具有威胁性的行为的乘客隔离。
61.在上述记载中，可以通过在使座椅安全带的张力增加之际将座椅安全带锁定并且暂时性地设为无法解除，从而更可靠地确保在由乘客所带来的威胁中的安全。例如，可以在从控制装置10向座椅安全带装置38的用于张力增加的指示中包含将座椅安全带锁定的指示，并且座椅安全带装置38响应于此而使锁定机构进行工作。
62.另外，在上述记载中，通知装置39也可以包含车辆13的车厢内的照明，从而利用使具有威胁性的行为冷静的彩色的照明、闪烁图案等而输出通知。
63.在上述的实施方式中，对车载装置30的工作进行规定的处理或控制程序可以被存储在服务器装置12中，并经由网络14而被下载到各个装置中，也可以被存储于能够由各个装置读取的非临时性的记录或存储介质中，并且各个装置从介质中进行读取。
64.本公开并不限于上述实施方式。例如，也可以将框图中记载的多个方框合并，或者将一个方框分割。也可以代替按照所记载的那样依照时间系列而执行流程图中记载的多个步骤的方式，而根据执行各个步骤的装置的处理能力、或者根据需要而以并列或者不同的顺序来执行。除此之外，能够进行在不脱离本公开的主旨的范围内的变更。
65.符号说明
66.10 信息处理系统
67.11 终端装置
68.12 服务器装置
69.13 车辆
70.14 网络
71.21 控制部
72.22 存储部
73.23 通信部
74.25 输入部
75.26 输出部
76.30 车载装置
77.31 控制部
78.32 存储部
79.33 通信部
80.34 测位部
81.35 输入部
82.36 输出部
83.37 记录装置
84.38 座椅安全带装置
85.39 通知装置