协助调节交通工具的窗户的方法及计算机存储介质与流程

1.本发明涉及交通技术，尤其涉及协助调节交通工具的窗户的方法及计算机存储介质。


背景技术：

2.用户位于交通工具之内的时候，经常会出现需要对所述交通工具的窗户进行调节的情况。通常，用户通过接触按键等控制构件来调节窗户，操作不太方便，智能体验较低，且在行驶过程中可能造成驾驶员分心，或者需要在自己位置以外的空间操作，从而安全性较弱。
3.因此，需要改进的协助调节交通工具的窗户的方法及计算机存储介质。


技术实现要素：

4.本发明解决的技术问题包括，如何使交通工具的窗户调节操作相对方便，智能体验较高，行驶过程中安全性较强等。
5.本发明实施例的一方面涉及一种协助调节交通工具的窗户的方法，包括以下步骤：获取所述交通工具之内的视频流；判断所述视频流中用户的视线点是否落在某一窗户且停留时间超过设定时间；以及若是，根据对所述视频流中所述用户的手势识别来调节所述某一窗户。
6.可选地，所述判断所述视频流中用户的视线点是否落在某一窗户且停留时间超过设定时间的步骤之前，开启视线点估计模块。
7.可选地，所述判断所述视频流中用户的视线点是否落在某一窗户且停留时间超过设定时间的步骤包括，对所述视频流进行人脸检测、人脸关键点检测、头部姿态估计、虹膜关键点检测、视线三维向量计算、屏幕校准、以及二维凝视点位置确定。
8.可选地，所述判断所述视频流中用户的视线点是否落在某一窗户且停留时间超过设定时间的步骤包括，比对所述二维凝视点位置与所述某一窗户的位置。
9.可选地，所述判断所述视频流中用户的视线点是否落在某一窗户且停留时间超过设定时间的步骤包括，若所述二维凝视点位置与所述某一窗户的位置相交，则判断所述视线点落在所述某一窗户。
10.可选地，所述判断所述视频流中用户的视线点是否落在某一窗户且停留时间超过设定时间的步骤包括，若所述视线点未落在所述某一窗户及/或所述停留时间未超过设定时间，返回对所述视频流进行人脸检测、人脸关键点检测、头部姿态估计、虹膜关键点检测、视线三维向量计算、屏幕校准、以及二维凝视点位置确定。
11.可选地，所述若是，根据对所述视频流中所述用户的手势识别来调节所述某一窗户的步骤包括，发出调节所述某一窗户的提示。
12.可选地，所述若是，根据对所述视频流中所述用户的手势识别来调节所述某一窗户的步骤包括，在所述交通工具的屏幕弹出调节所述某一窗户的提示。
13.可选地，所述若是，根据对所述视频流中所述用户的手势识别来调节所述某一窗户的步骤包括，开启手势识别模块。
14.可选地，所述若是，根据对所述视频流中所述用户的手势识别来调节所述某一窗户的步骤包括，对所述视频流进行手掌关键点检测、关键点位置及角度信息获取、以及手势分类。
15.可选地，所述若是，根据对所述视频流中所述用户的手势识别来调节所述某一窗户的步骤包括，根据所述手势分类调节所述某一窗户。
16.可选地，所述若是，根据对所述视频流中所述用户的手势识别来调节所述某一窗户的步骤包括，根据所述手势分类触发调节所述某一窗户的提示做出相应移动，调节所述某一窗户。
17.本发明实施例的另一方面涉及一种计算机存储介质，存储有包括程序指令的计算机程序，所述程序指令被处理器执行时，执行如上所述的协助调节交通工具的窗户的方法的步骤。
18.本发明实施例可以有利于交通工具之内的用户无需接触，就可以调节自己位置及/或自己位置以外的窗户，操作相对方便，智能体验较高，行驶过程中安全性较强等。
19.下文将结合附图对本发明实施例进行进一步的描述。
附图说明
20.图1是本发明实施例一方面涉及的协助调节交通工具的窗户的方法的流程示意图。
21.图2为本发明实施例的一种应用场景示例示意图。
具体实施方式
22.图1是本发明实施例一方面涉及的协助调节交通工具的窗户的方法的流程示意图。请参见图1，一种协助调节交通工具的窗户的方法10包括以下步骤：12、获取所述交通工具之内的视频流；14、判断所述视频流中用户的视线点是否落在某一窗户且停留时间超过设定时间；以及16、若是，根据对所述视频流中所述用户的手势识别来调节所述某一窗户。
23.本发明实施例可以有利于交通工具之内的用户无需接触，就可以调节自己位置及/或自己位置以外的窗户，操作相对方便，智能体验较高，行驶过程中安全性较强等。
24.具体而言，本发明实施例可以有助于无需所述用户实体接触例如按键等控制构件之类的任何东西，不受所述用户在所述交通工具之内的具体位置、与所述某一窗户距离的限制，也不需要所述用户发出声音，就可以根据视线点估计、判断接收所述用户发出的指示，根据手势识别协助调节所述某一窗户，从而操作相对方便，智能体验较高，而且在行驶过程中造成驾驶员分心的可能性较低，不需要所述用户在自己位置以外的空间操作，从而安全性较强，还可以有利于所述某一窗户的调节的私密性，及/或有助于存在言语障碍的所述用户的无接触调节所述某一窗户的可能性，等等。
25.本发明实施例中，除非另外特别指出，交通工具可以包括一切人造的、用于人类代步或运输的装置。所述交通工具可以包括车辆、船舶、飞行器中的至少一个。
26.在本发明的实施例中，除非另外特别指出，所述交通工具可通过所载终端在功能
上实现与人、与外界(例如云端)、及/或交通工具所包括的零部件、装置、设备、系统相互之间等的信息通讯。所述交通工具所包括的零部件、装置、设备、系统的示例可与窗户的调节等相关。以车辆为例，所述交通工具所载终端可以为车载主机、车机、中控系统等。
27.所述窗户可以为所述用户的所述视线点可及的、可以调节的所述交通工具的任意窗户。所述窗户可以位于所述交通工具的顶部，也可以位于所述交通工具的四周。
28.所述获取所述交通工具之内的视频流的步骤12可以借助所述交通工具所载摄像装置进行。所述交通工具所载摄像装置可以是所述交通工具的前装设备，也可以是所述交通工具的后装设备。所述交通工具所载摄像装置可以是irgb摄像头，可以安装在所述交通工具之内的后视装置的上方。
29.所述交通工具所载终端可以与云端建立通信连接。所述云端可以包括公有云、私有云。所述交通工具所载终端或者所述云端可以从所述交通工具所载摄像装置获取所述视频流并进行处理。
30.所述视频流可以包括视频帧的集合。
31.可选地，所述判断所述视频流中用户的视线点是否落在某一窗户且停留时间超过设定时间的步骤14之前，开启视线点估计模块。可以接收所述用户、所述交通工具所载终端、或者所述云端的指示开启所述视线点估计模块，以便所述视线点估计模块可以判断所述视频流中所述用户的所述视线点是否落在所述某一窗户且所述停留时间超过所述设定时间。所述交通工具所载终端或者所述云端可以包括所述视线点估计模块。
32.可选地，所述判断所述视频流中用户的视线点是否落在某一窗户且停留时间超过设定时间的步骤14包括，对所述视频流进行人脸检测、人脸关键点检测、头部姿态估计、虹膜关键点检测、视线三维向量计算、屏幕校准、以及二维凝视点位置确定。所述视线点估计模块可以对所述视频流进行人脸检测、人脸关键点检测、头部姿态估计、虹膜关键点检测、视线三维向量计算、屏幕校准、以及二维凝视点位置确定，以确定二维凝视点位置，即所述视线点的位置。所述视线点估计模块可以依据对所述视频流进行的所述人脸检测、所述人脸关键点检测、所述头部姿态估计、所述虹膜关键点检测、所述视线三维向量计算、所述屏幕校准进行所述二维凝视点位置确定，以确定所述视线点的位置。
33.可选地，所述判断所述视频流中用户的视线点是否落在某一窗户且停留时间超过设定时间的步骤14包括，比对所述二维凝视点位置与所述某一窗户的位置。如此，可以有助于判断所述视线点是否落在所述某一窗户。所述视线点估计模块可以根据所述视频流比对所述二维凝视点位置与所述某一窗户的位置。
34.可选地，所述判断所述视频流中用户的视线点是否落在某一窗户且停留时间超过设定时间的步骤14包括，若所述二维凝视点位置与所述某一窗户的位置相交，则判断所述视线点落在所述某一窗户。所述视线点估计模块可以根据所述视频流判断所述二维凝视点位置是否与所述某一窗户的位置相交。比如，如果所述二维凝视点位置位于所述某一窗户的位置的范围之内，可以判断所述二维凝视点位置与所述某一窗户的位置相交。反之，如果所述二维凝视点位置位于所述某一窗户的位置的范围之外，可以判断所述二维凝视点位置没有与所述某一窗户的位置相交。
35.可选地，所述判断所述视频流中用户的视线点是否落在某一窗户且停留时间超过设定时间的步骤14包括，若所述视线点未落在所述某一窗户及/或所述停留时间未超过设
定时间，返回对所述视频流进行人脸检测、人脸关键点检测、头部姿态估计、虹膜关键点检测、视线三维向量计算、屏幕校准、以及二维凝视点位置确定。若所述视线点未落在所述某一窗户及/或所述停留时间未超过设定时间，表明并未收到所述用户调节所述某一窗户的指示，返回进行所述二维凝视点位置确定，如此循环往复，直至所述视线点落在所述某一窗户且所述停留时间超过设定时间。
36.所述停留时间可以为所述二维凝视点位置与所述某一窗户的位置相交的状态持续的时间。
37.所述设定时间可以根据具体情况、所述用户的偏好来设定，可以秒为计量单位，可以为例如3秒。
38.可选地，所述若是，根据对所述视频流中所述用户的手势识别来调节所述某一窗户的步骤16包括，发出调节所述某一窗户的提示。发出所述提示可以有助于获取对所述手势识别的确认。所述提示可以随所述用户的所述手势相应移动。
39.可选地，所述若是，根据对所述视频流中所述用户的手势识别来调节所述某一窗户的步骤16包括，在所述交通工具的屏幕弹出调节所述某一窗户的提示。所述提示可以为所述屏幕上弹出的卡片的形式。如此，可以有助于所述提示可视化，可以为所述用户看到。
40.可选地，所述若是，根据对所述视频流中所述用户的手势识别来调节所述某一窗户的步骤16包括，开启手势识别模块。可以接收所述用户、所述交通工具所载终端、或者所述云端的指示开启所述手势识别模块。所述手势识别模块可以识别所述用户的手势。所述交通工具所载终端、所述云端可以包括所述手势识别模块。
41.可选地，所述若是，根据对所述视频流中所述用户的手势识别来调节所述某一窗户的步骤16包括，对所述视频流进行手掌关键点检测、关键点位置及角度信息获取、以及手势分类。如此，可以有利于识别所述用户的手势。所述手势识别模块可以对所述视频流进行所述手掌关键点检测、所述关键点位置及角度信息获取、以及所述手势分类。所述手势分类可以为依据所述手掌关键点检测、所述关键点位置及角度信息获取的所述手势的运动轨迹的分类。所述手势分类可以包括向左摆手、向右摆手等。
42.可选地，所述若是，根据对所述视频流中所述用户的手势识别来调节所述某一窗户的步骤16包括，根据所述手势分类调节所述某一窗户。可以接收所述交通工具所载终端或者所述云端的指示根据所述手势分类调节所述某一窗户。例如，如果所述手势分类为向左摆手，可以逐渐闭合所述某一窗户，如果所述手势分类为向右摆手，可以逐渐打开所述某一窗户。
43.可选地，所述若是，根据对所述视频流中所述用户的手势识别来调节所述某一窗户的步骤16包括，根据所述手势分类触发调节所述某一窗户的提示做出相应移动，调节所述某一窗户。可以接收所述交通工具所载终端或者所述云端的指示根据所述手势分类触发调节所述某一窗户的提示做出相应移动，调节所述某一窗户。比如，如果所述手势分类为向左摆手，可以触发所述提示向左移动，并逐渐闭合所述某一窗户。反之，如果所述手势分类为向右摆手，可以触发所述提示向右移动，并逐渐打开所述某一窗户。还可以根据所述手势分类触发所述提示相应移动，以调节所述某一窗户的开度大小。
44.图2为本发明实施例的一种应用场景示例示意图。在一种应用场景示例里，判断视频流中用户的视线点落在某一窗户且停留时间超过设定时间后，在交通工具的屏幕弹出如
图2所示的调节所述某一窗户的提示卡片20。所述提示卡片20可以包括调节点22。
45.对所述视频流中所述用户的手势识别分类为没有左右移动时，请参图2中间的所述提示卡片20，所述调节点22可以位于所述提示卡片20左右方向上靠中间的位置。
46.如果对所述视频流中所述用户的手势识别的手势分类为向左摆手，可以触发所述调节点22随着向左移动，并逐渐闭合所述某一窗户。在所述调节点22到达例如图2中左边的所述提示卡片20中的位置时，如果所述手势识别分类为不再左右移动，所述调节点22跟着不再移动，所述某一窗户也不再继续闭合。
47.反之，如果对所述视频流中所述用户的手势识别的所述手势分类为向右摆手，可以触发所述调节点22随着向右移动，并逐渐打开所述某一窗户。在所述调节点22到达例如图2中右边的所述提示卡片20中的位置时，如果所述手势识别分类为不再左右移动，所述调节点22跟着不再移动，所述某一窗户也不再继续打开。
48.本发明实施例的另一方面涉及一种计算机存储介质，存储有包括程序指令的计算机程序，所述程序指令被处理器执行时，执行如上所述的协助调节交通工具的窗户的方法的步骤。
49.本发明实施例可以有利于交通工具之内的用户无需接触，就可以调节自己位置及/或自己位置以外的窗户，操作相对方便，智能体验较高，行驶过程中安全性较强等。
50.所述计算机存储介质可以包括只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁盘或者光盘等。所述计算机存储介质还可以包括非挥发性存储器(non-volatile memory)、或者非瞬态存储器(non-transitory memory)等。
51.虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。