用于无人驾驶设备远程遥控的视频数据传输的方法及装置与流程

1.本说明书涉及无人驾驶技术领域，尤其涉及用于无人驾驶设备远程遥控的视频数据传输的方法及装置。


背景技术：

2.在无人驾驶的技术领域中，为了保障无人驾驶设备的安全行驶，主要采用远程驾驶员实时进行监控的方式，当无人驾驶设备出现故障或者紧急情况下，远程驾驶员进行临时接管和干预，将无人驾驶设备就近停车或驶离故障位置。
3.目前，远程驾驶员通过无人驾驶设备上的摄像头拍摄的视频，得到无人驾驶设备周围的环境信息，并通过无线通信网络，对车辆进行驾驶和控制。在远程监控和驾驶的过程中，可能出现远程驾驶员无法及时的获取到清晰的视频信息的情况，从而，导致无人驾驶设备的行驶出现安全隐患。
4.因此，如何能够及时的获取到清晰的视频信息，则是一个亟待解决的问题。


技术实现要素：

5.本说明书提供一种用于无人驾驶设备远程遥控的视频数据传输的方法、装置、存储介质及无人驾驶设备，以部分的解决现有技术存在的上述问题。
6.本说明书采用下述技术方案：
7.本说明书提供了一种用于无人驾驶设备远程遥控的视频数据传输的方法，无人驾驶设备上安装有若干摄像头，所述无人驾驶设备上安装的摄像头用于拍摄所述无人驾驶设备的周围环境，包括：
8.获取所述无人驾驶设备在当前时刻的状态数据；
9.根据所述状态数据，确定在所述无人驾驶设备当前所处的状态下，各摄像头对应的视频传输策略，所述视频传输策略包括传输摄像头采集的视频数据时所采用的传输参数，所述传输参数包括帧率、码率、分辨率中的至少一个；
10.按照基于所述无人驾驶设备在当前所处状态下确定出的所述各摄像头对应的视频传输策略，调整需要传输的所述各摄像头采集的视频数据；
11.将调整后视频数据传输到远程遥控系统，并接收所述远程遥控系统基于所述调整后视频数据所发送的控制指令，以控制所述无人驾驶设备进行行驶。
12.可选地，根据所述状态数据，确定在所述无人驾驶设备当前所处的状态下，各摄像头对应的视频传输策略，具体包括：
13.根据所述状态数据，确定所述无人驾驶设备当前所处的状态，作为当前状态；
14.根据所述当前状态，通过预先设定的传输策略表，确定所述当前状态下，各摄像头对应的视频传输策略，所述传输策略表包含无人驾驶设备的各个状态对应的各摄像头的视频传输策略。
15.可选地，所述摄像头包括补偿摄像头，所述传输参数还包括：用于表征是否传输摄
像头采集的视频数据的信息；
16.根据所述当前状态，通过预先设定的传输策略表，确定所述当前状态下，各摄像头对应的视频传输策略，具体包括：
17.若确定所述无人驾驶设备处于转向状态，通过预先设定的传输策略表，确定在所述转向状态下，传输所述无人驾驶设备转向方向对应的补偿摄像头采集的视频数据，并降低传输所述无人驾驶设备非转向方向对应的各摄像头采集的视频数据时所采用的传输参数。
18.可选地，根据所述当前状态，通过预先设定的传输策略表，确定所述当前状态下，各摄像头对应的视频传输策略，具体包括：
19.针对每个周围障碍物，若检测到该周围障碍物与无人驾驶设备之间的距离小于设定的距离阈值，确定所述无人驾驶设备处于会车状态；
20.通过预先设定的传输策略表，确定在所述会车状态下，提高传输周围障碍物所在方向的摄像头采集的视频数据时所采用的传输参数。
21.可选地，所述摄像头包括若干个不同朝向的环视摄像头；
22.根据所述当前状态，通过预先设定的传输策略表，确定所述当前状态下，各摄像头对应的视频传输策略，具体包括：
23.若确定所述无人驾驶设备处于异常状态，通过预先设定的传输策略表，确定在所述异常状态下，提高传输所述环视摄像头采集的全景环视视频数据时所采用的传输参数，所述全景环视视频数据是所述不同朝向的环视摄像头采集的视频数据进行融合得到的。
24.可选地，根据所述当前状态，通过预先设定的传输策略表，确定所述当前状态下，各摄像头对应的视频传输策略，具体包括：
25.根据所述无人驾驶设备在当前时刻的定位信息以及预先设定的信号强度地图，确定所述无人驾驶设备在当前时刻的信号强度，所述信号强度地图记录有不同地理区域的网络信号的强弱；
26.通过预先设定的传输策略表，确定在所述信号强度下，所述各摄像头对应的视频传输策略。
27.可选地，根据所述当前状态，通过预先设定的传输策略表，确定所述当前状态下，各摄像头对应的视频传输策略，具体包括：
28.若检测到所述无人驾驶设备与所述远程遥控系统之间的网络延时大于设定的延时阈值，确定所述无人驾驶设备处于延时状态；
29.通过预先设定的传输策略表，确定在所述延时状态下，降低传输除所述无人驾驶设备前方的摄像头采集的视频数据以外，其他摄像头采集的视频数据时所采用的传输参数。
30.可选地，所述摄像头还包括货仓摄像头；
31.所述方法还包括：
32.针对所述无人驾驶设备中货仓内的每个货位，根据所述货仓摄像头采集的视频数据以及该货位对应的货物配送信息，确定该货位对应的货物状态变化信息，所述货物状态变化信息用于表征货位内货物是否被取走；
33.将各货位对应的货物状态变化信息传输到远程遥控系统。
34.可选地，所述方法还包括：
35.接收所述远程遥控系统发送的自动调整指令，所述自动调整指令是远程遥控系统检测到所述无人驾驶设备与所述远程遥控系统之间的网络延时大于设定的延时阈值，或视频数据传输过程中的丢包率大于设定的丢包率阈值生成的；
36.根据所述自动调整指令，降低传输所述各摄像头采集的视频数据时所采用的传输参数。
37.可选地，所述方法还包括：
38.将所述调整后视频数据传输到远程遥控系统，以使远程遥控系统若检测到所述调整后视频数据中包含有指定物体的图像，放大所述调整后视频数据中的所述指定物体的图像所在的图像区域，所述指定物体包括：交通灯。
39.可选地，所述无人驾驶设备当前所处的状态包括：特定状态，所述特定状态包括：转弯、掉头、急刹和碰撞中的至少一种；
40.根据所述状态数据，确定在所述无人驾驶设备当前所处的状态下，各摄像头对应的视频传输策略，具体包括：
41.若确定所述无人驾驶设备当前所处的状态为所述特定状态，确定用于提高当前采集视频数据所基于的摄像头的数量，和/或提高当前传输采集的视频数据时所采用的传输参数的数值的视频传输策略。
42.本说明书提供了一种用于无人驾驶设备远程遥控的视频数据传输的装置，无人驾驶设备上安装有若干摄像头，所述无人驾驶设备上安装的摄像头用于拍摄所述无人驾驶设备的周围环境，包括：
43.获取模块，用于获取所述无人驾驶设备在当前时刻的状态数据；
44.确定模块，用于根据所述状态数据，确定在所述无人驾驶设备当前所处的状态下，各摄像头对应的视频传输策略，所述视频传输策略包括传输摄像头采集的视频数据时所采用的传输参数，所述传输参数包括帧率、码率、分辨率中的至少一个；
45.调整模块，用于按照基于所述无人驾驶设备在当前所处状态下确定出的所述各摄像头对应的视频传输策略，调整需要传输的所述各摄像头采集的视频数据；
46.传输模块，用于将调整后视频数据传输到远程遥控系统，并接收所述远程遥控系统基于所述调整后视频数据所发送的控制指令，以控制所述无人驾驶设备进行行驶。
47.本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述用于无人驾驶设备远程遥控的视频数据传输的方法。
48.本说明书提供了一种无人驾驶设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述用于无人驾驶设备远程遥控的视频数据传输的方法。
49.本说明书采用的上述至少一个技术方案能够达到以下有益效果：
50.在本说明书提供的用于无人驾驶设备远程遥控的视频数据传输的方法中，获取无人驾驶设备在当前时刻的状态数据。其次，根据状态数据，确定在无人驾驶设备当前所处的状态下，各摄像头对应的视频传输策略，视频传输策略包括传输摄像头采集的视频数据时所采用的传输参数，所述传输参数包括帧率、码率、分辨率中的至少一个。而后，按照基于无
人驾驶设备在当前所处状态下确定出的各摄像头对应的视频传输策略，调整需要传输的各摄像头采集的视频数据。最后，将调整后视频数据传输到远程遥控系统，并接收远程遥控系统基于调整后视频数据所发送的控制指令，以控制无人驾驶设备进行行驶。
51.从上述用于无人驾驶设备远程遥控的视频数据传输的方法中可以看出，本方法可以在无人驾驶设备当前所处的状态下，确定是否向远程遥控系统传输各摄像头采集的视频数据，调整需要传输的各摄像头采集的视频数据。相比于现有技术中，不对无人驾驶设备上的摄像头采集的视频数据进行处理，直接将视频数据传输到远程遥控系统中。本方法通过传输当前状态下的最合适的视频数据，保证了远程驾驶员可以及时的获取到当前状态下清晰度最高的视频数据，从而，提高了无人驾驶设备行驶过程中的安全性。
附图说明
52.此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
53.图1为本说明书实施例提供的用于无人驾驶设备远程遥控的视频数据传输的方法的流程示意图；
54.图2为本说明书实施例提供的补偿摄像头部署的示意图；
55.图3为本说明书实施例提供的环视摄像头部署的示意图；
56.图4为本说明书实施例提供的无人驾驶设备上的摄像头部署的示意图；
57.图5为本说明书实施例提供的用于无人驾驶设备远程遥控的视频数据传输的装置的结构示意图；
58.图6为本说明书实施例提供的无人驾驶设备的结构示意图。
具体实施方式
59.为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
60.以下结合附图，详细说明本说明书各实施例提供的技术方案。
61.图1为本说明书实施例提供的用于无人驾驶设备远程遥控的视频数据传输的方法的流程示意图，具体包括以下步骤：
62.s100：获取所述无人驾驶设备在当前时刻的状态数据。
63.在本说明书实施例中，无人驾驶设备在运动过程中，可以获取无人驾驶设备在当前时刻的状态数据。无人驾驶设备可以装配有多种传感器，例如，摄像机、导航定位系统、激光雷达、毫米波雷达等，用来在行驶过程中感知无人驾驶设备周围的环境，获取所需的状态数据。这里提到的状态数据可以用于表征无人驾驶设备在各个时刻下通过传感器获取到的数据，可以包括：无人驾驶设备的位置数据，无人驾驶设备周围的障碍物的位置数据、无人驾驶设备的速度数据以及无人驾驶设备的转向角数据等。
64.在本说明书提到的无人驾驶设备可以是指无人车、机器人、自动配送设备等能够
实现自动驾驶的设备。基于此，应用本说明书提供的用于无人驾驶设备远程遥控的视频数据传输的方法的无人驾驶设备可以用于执行配送领域的配送任务，如，使用无人驾驶设备进行快递、物流、外卖等配送的业务场景。
65.本说明书提供的用于无人驾驶设备远程遥控的视频数据传输的执行主体可以是诸如无人驾驶设备，也可以是服务器、台式电脑等终端设备。为了便于描述，下面将仅以无人驾驶设备为执行主体，对本说明书提供的用于无人驾驶设备远程遥控的视频数据传输的方法进行说明。
66.s102：根据所述状态数据，确定在所述无人驾驶设备当前所处的状态下，各摄像头对应的视频传输策略，所述视频传输策略包括传输摄像头采集的视频数据时所采用的传输参数，所述传输参数包括帧率、码率、分辨率中的至少一个。
67.在本说明书实施例中，无人驾驶设备上安装有若干摄像头，无人驾驶设备上安装的摄像头用于拍摄无人驾驶设备的周围环境，视频数据可以是通过无人驾驶设备上设置的摄像头获取到的数据，其中，摄像头可以为任意类型的摄像头，例如广角摄像头、高清摄像头等。
68.在本说明书实施例中，无人驾驶设备可以根据状态数据，确定在无人驾驶设备当前所处的状态下，各摄像头对应的视频传输策略，这里提到的视频传输策略包括传输摄像头采集的视频数据时所采用的传输参数，这里提到的传输参数包括帧率、码率、分辨率中的至少一个。例如，在无人驾驶设备的不同状态下，对传输摄像头采集的视频数据时所采用的帧率、码率、分辨率中的一种或几种进行调整。
69.进一步的，无人驾驶设备可以根据状态数据，确定无人驾驶设备当前所处的状态，作为当前状态，再根据当前状态，通过预先设定的传输策略表，确定当前状态下，各摄像头对应的视频传输策略，传输策略表包含无人驾驶设备的各个状态对应的各摄像头的视频传输策略。
70.需要说明的是，视频传输策略除了对传输摄像头采集的视频数据时所采用的传输参数进行修改，还可以包括改变当前采集视频数据所基于的摄像头的数量，以获得不同视野的视频范围，或改变当前采集视频数据所基于的摄像头的视频采集频率，得到帧率较高的视频数据。
71.例如，若无人驾驶设备处于待机状态(即停止行驶)，可以认为无人驾驶设备在当前时刻是较为安全的，因此可以降低当前采集视频数据所基于的摄像头的视频采集频率。再例如，若无人驾驶设备处于行驶状态，需要关注无人驾驶设备的周围环境，为了保证无人驾驶设备的安全行驶，可以提高当前采集视频数据所基于的摄像头的视频采集频率，得到帧率较高的视频数据。也就是说，通过帧率较高的视频数据，可以及时的识别出周围环境的变化，从而，保证了无人驾驶设备的安全行驶。
72.相应的，在其他条件均不变的情况下，若无人驾驶设备降低当前采集视频数据所基于的摄像头的视频采集频率，传输的视频数据的数据量将减小。若无人驾驶设备提高当前采集视频数据所基于的摄像头的视频采集频率，传输的视频数据的数据量将增大。
73.在本说明书实施例中，无人驾驶设备处于自动驾驶状态或待机状态，可以确定无人驾驶设备在当前时刻是较为安全的。为了减少网络资源的消耗，无人驾驶设备可以在处于自动驾驶状态或待机状态时，降低传输各摄像头采集的视频数据时所采用的帧率、码率。
74.在实际应用中，无人驾驶设备上包含有前、后、左、右，四个位于车外的摄像头，但是，在无人驾驶设备行驶的过程中，四个摄像头采集的视频数据的视角范围有限，也就是说，无人驾驶设备在行驶过程中存在视野盲区。因此，可以在无人驾驶设备上增加补偿摄像头，增大无人驾驶设备上摄像头采集的视频数据的视角范围，提高无人驾驶设备行驶过程中的安全性。
75.在本说明书实施例中，无人驾驶设备上包括补偿摄像头，补偿摄像头包含有位于无人驾驶设备左前方的左补偿摄像头以及位于无人驾驶设备右前方的右补偿摄像头，传输参数还包括用于表征是否传输摄像头采集的视频数据的信息，具体如图2所示。
76.图2为本说明书实施例提供的补偿摄像头部署的示意图。
77.在图2中，黑色实心圆用于表征摄像头。左补偿摄像头位于无人驾驶设备左前方，可以采集到无人驾驶设备左前方的视角范围内的视频数据，右补偿摄像头位于无人驾驶设备右前方，可以采集到无人驾驶设备右前方的视角范围内的视频数据，以避免采集到的视频数据出现视野盲区，从而，提高无人驾驶设备行驶过程中的安全性。
78.在实际应用中，由于无人驾驶设备上的网络带宽有限，无人驾驶设备在传输补偿摄像头采集的视频数据时，可能出现网络带宽无法满足需求，使得远程遥控系统接收到的视频数据会出现卡顿、花屏甚至断掉的情况。因此，需要降低传输其他摄像头采集的视频数据时所采用的传输参数，以保证远程遥控系统接收到的视频数据的流畅性。
79.在本说明书实施例中，无人驾驶设备可以根据获取到的传感数据，确定无人驾驶设备当前所处的状态，若确定当前所处的状态为诸如转弯、掉头、急刹和碰撞等特定状态，则可以确定用于提高当前采集视频数据所基于的摄像头的数量，和/或提高当前传输采集的视频数据时所采用的传输参数的数值的视频传输策略。
80.具体的，无人驾驶设备可以若确定无人驾驶设备当前处于转向状态，通过预先设定的传输策略表，确定在转向状态下，传输无人驾驶设备转向方向对应的补偿摄像头采集的视频数据，并降低传输所述无人驾驶设备非转向方向对应的各摄像头采集的视频数据时所采用的传输参数。例如，无人驾驶设备向左转弯或向左掉头时，向远程遥控系统传输无人驾驶设备左补偿摄像头采集的视频数据，并降低传输无人驾驶设备右摄像头、前摄像头、后摄像头采集的视频数据时所采用的帧率以及码率。需要说明的是，无人驾驶设备处于转向状态时，可以降低传输无人驾驶设备非转向方向对应的各摄像头中，任意一个或几个摄像头采集的视频数据时所采用的传输参数(帧率、码率)。
81.在本说明书实施例中，无人驾驶设备可以通过激光雷达传感器，针对每个周围障碍物，若检测到该周围障碍物与无人驾驶设备之间的距离小于设定的距离阈值，确定无人驾驶设备处于会车状态，再通过预先设定的传输策略表，确定在会车状态下，提高传输周围障碍物所在方向的摄像头采集的视频数据时所采用的传输参数。例如，在无人驾驶设备与其他车辆会车时，若检测到无人驾驶设备与前方车辆之间的距离小于设定的距离阈值，提高传输无人驾驶设备前方的摄像头采集的视频数据时所采用的帧率、码率。
82.在本说明书实施例中，无人驾驶设备上的摄像头包括若干个不同朝向的环视摄像头，无人驾驶设备可以将不同朝向的环视摄像头采集的视频数据进行融合，得到全景环视视频数据。这里提到的全景环视视频数据可以用于为远程驾驶员提供无人驾驶设备周围全方位的视觉信息。如图3所示。
83.图3为本说明书实施例提供的环视摄像头部署的示意图。
84.在图3中，黑色实心圆用于表征环视摄像头。环视摄像头可以是视野范围较大的广角摄像头，无人驾驶设备可以通过较少的环视摄像头满足视角范围的要求，以采集到无人驾驶设备周围全方位的视频数据。
85.需要说明的是，环视摄像头也可以是视野范围较小，但清晰度更高的高清摄像头。无人驾驶设备可以通过较多的高清摄像头满足视角范围的要求，并提高采集到的视频数据的清晰度。
86.具体的，无人驾驶设备可以在各环视摄像头采集的视频区域内放置若干个标定点，对各环视摄像头采集的视频数据分别进行畸变矫正，再将各环视摄像头采集的视频数据进行拼接，并对相邻的两个视频数据中重合的区域进行区域融合，以实现各环视摄像头采集的视频数据的无缝拼接，得到全景环视视频数据。
87.在实际应用中，由于全景环视视频数据的数据量较大在无人驾驶设备的正常行驶过程中，可以将低帧率、低码率的全景环视视频数据发送给远程遥控系统，以减少网络资源的消耗。若无人驾驶设备在行驶过程中出现突发状况，可以提高传输全景环视视频数据时所采用的传输参数，使得远程驾驶员可以及时的获取到更为清晰的视频数据，更好的处理突发状况。
88.在本说明书实施例中，无人驾驶设备若确定无人驾驶设备处于异常状态，通过预先设定的传输策略表，确定在异常状态下，提高传输环视摄像头采集的全景环视视频数据时所采用的传输参数(帧率、码率)。这里提到的异常状态可以是指无人驾驶设备出现急刹、碰撞等突发状况。
89.在实际应用中，无人驾驶设备在行驶过程中的经过的区域不同，网络信号的强度也在发生变化。也就是说，不同区域对应的网络信号的强度不同。当无人驾驶设备处于网络信号较弱的区域时，无人驾驶设备当前的可使用的网络带宽也较低。由于网络信号较弱的区域的网络延时较大，若降低视频数据的帧率，会导致远程驾驶员获取到的视频数据与实际情况之间的时间间隔更长，从而，降低了无人驾驶设备在行驶过程中的安全性。因此，无人驾驶设备可以降低传输所有摄像头采集的视频数据时所采用的码率以及分辨率，来降低网络带宽，以提升视频传输的稳定性。
90.在本说明书实施例中，无人驾驶设备可以根据无人驾驶设备在当前时刻的定位信息以及预先设定的信号强度地图，确定无人驾驶设备在当前时刻的信号强度，这里提到的信号强度地图记录有不同地理区域的网络信号的强弱，可以是指标注了各地理区域的网络信号强度的高精度地图，也可以是专门用于标注网络信号强度的地图。根据信号强度，确定在无人驾驶设备当前所处的状态下，各摄像头对应的视频传输策略。若无人驾驶设备处于网络信号较弱的地理区域，无人驾驶设备可以降低传输所有摄像头采集的视频数据时所采用的码率以及分辨率。若无人驾驶设备处于网络信号较强的地理区域，无人驾驶设备可以提高传输所有摄像头采集的视频数据时所采用的码率以及分辨率。
91.需要说明的是，相同地理区域的网络信号的强度可能会发生变化，因此，为了保证信号强度地图中的各个地理区域的信号强度的准确性，无人驾驶设备在行驶过程中可以将获取到的各个地理区域的信号强度，更新到信号强度地图中，以保证信号强度地图的准确性。
92.在本说明书实施例中，若无人驾驶设备检测到网络延时较大，为了使得无人驾驶设备可以正常行驶，可以优先保证较为重要的前摄像头采集的视频的清晰度不会降低。因此，无人驾驶设备若检测到无人驾驶设备与远程遥控系统之间的网络延时大于设定的延时阈值，确定无人驾驶设备处于延时状态，再通过预先设定的传输策略表，确定在延时状态下，降低传输除无人驾驶设备前方的摄像头采集的视频数据以外，其他摄像头采集的视频数据时所采用的传输参数(帧率、码率、分辨率)。
93.在本说明书实施例中，无人驾驶设备可以应用于无人配送业务，无人驾驶设备中的货仓内包含有若干个货位，以及监控货仓内的货物状态变化的货仓摄像头。由于无人驾驶设备内的货位数量较多，远程遥控系统展示的视频画面尺寸较小，远程驾驶员可能无法准确观察到各货位内的货物状态变化。因此，可以通过图像识别技术，对各货位内的货物状态变化进行识别。
94.在本说明书实施例中，无人驾驶设备可以针对无人驾驶设备中货仓内的每个货位，根据货仓摄像头采集的视频数据以及该货位对应的货物配送信息，确定该货位对应的货物状态变化信息，货物状态变化信息用于表征货位内货物是否被取走，将各货位对应的货物状态变化信息传输到远程遥控系统。这里提到的货物配送信息可以用于表征货物在配送过程中的配送信息，包含有货物所在的货位、货物的配送时间、货物的取货人员信息等配送信息。也就是说，无人驾驶设备可以根据货物配送信息，通过识别货仓摄像头采集的视频数据，判断货物配送信息中的货物所在的货位内，货物是否被正确取走，再将识别结果传输到远程控制系统。
95.在本说明书实施例中，无人驾驶设备上可以同时部署不同功能的摄像头，例如，补偿摄像头、环视摄像头、货仓摄像头。具体如图4所示。
96.图4为本说明书实施例提供的无人驾驶设备上的摄像头部署的示意图。
97.在图4中，黑色实心圆用于表征摄像头。货仓摄像头位于无人驾驶设备内部，其他摄像头均位于无人驾驶设备外部。摄像头与环视摄像头所部署的位置可以是相同的，也可以是不同的，环视摄像头所在的位置可以比其他摄像头所在的位置更高，以增加环视摄像头采集的视频数据的视角范围。环视摄像头采集的视频数据需要先进行融合，得到全景环视视频数据，再传输到远程遥控系统，除环视摄像头以外的其他摄像头均可以单独将采集的视频数据传输到远程遥控系统。
98.s104：按照基于所述无人驾驶设备在当前所处状态下确定出的所述各摄像头对应的视频传输策略，调整需要传输的所述各摄像头采集的视频数据。
99.在本说明书实施例中，无人驾驶设备可以按照基于无人驾驶设备在当前所处状态下确定出的各摄像头对应的视频传输策略，调整需要传输的各摄像头采集的视频数据。
100.在本说明书实施例中，接收远程遥控系统发送的自动调整指令，这里提到的自动调整指令是远程遥控系统检测到无人驾驶设备与远程遥控系统之间的网络延时大于设定的延时阈值，或视频数据传输过程中的丢包率大于设定的丢包率阈值生成的。再根据自动调整指令，降低传输各摄像头采集的视频数据时所采用的传输参数。也就是说，远程遥控系统可以实时检测网络延时以及视频数据传输过程中的丢包率，以调整需要传输的各摄像头采集的视频数据。
101.在本说明书实施例中，无人驾驶设备可以接收远程遥控系统发送的远程控制指
令，这里提到的远程控制指令是远程遥控系统通过输入的传输各摄像头采集的视频数据时所采用的传输参数生成的，再根据远程控制指令，调整需要传输的各摄像头采集的视频数据。也就是说，远程驾驶员可以根据自身对视角和视频数据清晰度的需求，在远程遥控系统中输入传输各摄像头采集的视频数据时所采用的传输参数，向无人驾驶设备发送远程控制指令。例如，无人驾驶设备向左转弯时，远程驾驶员可以通过远程遥控系统，向无人驾驶设备发送提高传输全景环视视频数据时所采用的帧率、码率。
102.s106：将调整后视频数据传输到远程遥控系统，并接收所述远程遥控系统基于所述调整后视频数据所发送的控制指令，以控制所述无人驾驶设备进行行驶。
103.在本说明书实施例中，无人驾驶设备可以将调整后视频数据传输到远程遥控系统，并接收远程遥控系统发送的控制指令，以控制无人驾驶设备进行行驶。
104.无人驾驶设备将调整后视频数据传输到远程遥控系统，以使远程遥控系统若检测到调整后视频数据中包含有指定物体的图像，放大调整后视频数据中的指定物体的图像所在的图像区域，指定物体包括：交通灯。这里提到的指定物体的图像，可以是调整后视频数据中的一帧图像，也就是说，实际上是可以放大调整后视频数据中的指定物体所在的视频区域。这里提到的指定物体也可以是与无人驾驶设备行驶相关的物体，例如，各种标识路牌等。指定物体也可以是根据需求人为设定的。例如，无人驾驶设备行驶到红绿灯路口，远程遥控系统检测到调整后视频数据中的红绿灯的图像，放大红绿灯的图像所在的图像区域，以避免对红绿灯的错误识别，提高无人驾驶设备行驶过程中的安全性。当然，远程驾驶员也可以根据自身需求，任意调整或放大视频数据中的感兴趣区域。
105.从上述可以看出，本方法可以在无人驾驶设备当前所处的状态下，确定是否向远程遥控系统传输各摄像头采集的视频数据，并调整需要传输的各摄像头采集的视频数据对应的帧率、码率以及分辨率。并且，远程驾驶员可以根据自身对视角和视频数据清晰度的需求，确定各摄像头对应的视频传输策略，以调整各摄像头采集的视频数据对应的帧率、码率以及分辨率。本方法可以通过传输当前状态下的最合适的视频数据，保证远程驾驶员可以及时的获取到当前状态下清晰度最高的视频数据，从而，提高了无人驾驶设备行驶过程中的安全性。
106.以上为本说明书的一个或多个实施例提供的用于无人驾驶设备远程遥控的视频数据传输的方法，基于同样的思路，本说明书还提供了相应的用于无人驾驶设备远程遥控的视频数据传输的装置，如图5所示。
107.图5为本说明书实施例提供的用于无人驾驶设备远程遥控的视频数据传输的装置的结构示意图，无人驾驶设备上安装有若干摄像头，所述无人驾驶设备上安装的摄像头用于拍摄所述无人驾驶设备的周围环境，具体包括：
108.获取模块500，用于获取所述无人驾驶设备在当前时刻的状态数据；
109.确定模块502，用于根据所述状态数据，确定在所述无人驾驶设备当前所处的状态下，各摄像头对应的视频传输策略，所述视频传输策略包括传输摄像头采集的视频数据时所采用的传输参数，所述传输参数包括帧率、码率、分辨率中的至少一个；
110.调整模块504，用于按照基于所述无人驾驶设备在当前所处状态下确定出的所述各摄像头对应的视频传输策略，调整需要传输的所述各摄像头采集的视频数据；
111.传输模块506，用于将调整后视频数据传输到远程遥控系统，并接收所述远程遥控
系统基于所述调整后视频数据所发送的控制指令，以控制所述无人驾驶设备进行行驶。
112.可选地，所述确定模块502具体用于，根据所述状态数据，确定所述无人驾驶设备当前所处的状态，作为当前状态，根据所述当前状态，通过预先设定的传输策略表，确定所述当前状态下，各摄像头对应的视频传输策略，所述传输策略表包含无人驾驶设备的各个状态对应的各摄像头的视频传输策略。
113.可选地，所述摄像头包括补偿摄像头，所述传输参数还包括：用于表征是否传输摄像头采集的视频数据的信息；
114.所述确定模块502具体用于，若确定所述无人驾驶设备处于转向状态，通过预先设定的传输策略表，确定在所述转向状态下，传输所述无人驾驶设备转向方向对应的补偿摄像头采集的视频数据，并降低传输所述无人驾驶设备非转向方向对应的各摄像头采集的视频数据时所采用的传输参数。
115.可选地，所述确定模块502具体用于，针对每个周围障碍物，若检测到该周围障碍物与无人驾驶设备之间的距离小于设定的距离阈值，确定所述无人驾驶设备处于会车状态，通过预先设定的传输策略表，确定在所述会车状态下，提高传输周围障碍物所在方向的摄像头采集的视频数据时所采用的传输参数。
116.可选地，所述摄像头包括若干个不同朝向的环视摄像头；
117.所述确定模块502具体用于，若确定所述无人驾驶设备处于异常状态，通过预先设定的传输策略表，确定在所述异常状态下，提高传输所述环视摄像头采集的全景环视视频数据时所采用的传输参数，所述全景环视视频数据是所述不同朝向的环视摄像头采集的视频数据进行融合得到的。
118.可选地，所述确定模块502具体用于，根据所述无人驾驶设备在当前时刻的定位信息以及预先设定的信号强度地图，确定所述无人驾驶设备在当前时刻的信号强度，所述信号强度地图记录有不同地理区域的网络信号的强弱，通过预先设定的传输策略表，确定在所述信号强度下，所述各摄像头对应的视频传输策略。
119.可选地，所述确定模块502具体用于，若检测到所述无人驾驶设备与所述远程遥控系统之间的网络延时大于设定的延时阈值，确定所述无人驾驶设备处于延时状态，通过预先设定的传输策略表，确定在所述延时状态下，降低传输除所述无人驾驶设备前方的摄像头采集的视频数据以外，其他摄像头采集的视频数据时所采用的传输参数。
120.可选地，所述摄像头还包括货仓摄像头；
121.所述传输模块506具体用于，针对所述无人驾驶设备中货仓内的每个货位，根据所述货仓摄像头采集的视频数据以及该货位对应的货物配送信息，确定该货位对应的货物状态变化信息，所述货物状态变化信息用于表征货位内货物是否被取走，将各货位对应的货物状态变化信息传输到远程遥控系统。
122.可选地，所述传输模块506具体用于，接收所述远程遥控系统发送的自动调整指令，所述自动调整指令是远程遥控系统检测到所述无人驾驶设备与所述远程遥控系统之间的网络延时大于设定的延时阈值，或视频数据传输过程中的丢包率大于设定的丢包率阈值生成的，根据所述自动调整指令，降低传输所述各摄像头采集的视频数据时所采用的传输参数。
123.可选地，所述传输模块506具体用于，将所述调整后视频数据传输到远程遥控系
统，以使远程遥控系统若检测到所述调整后视频数据中包含有指定物体的图像，放大所述调整后视频数据中的所述指定物体的图像所在的图像区域，所述指定物体包括：交通灯。
124.可选地，所述无人驾驶设备当前所处的状态包括：特定状态，所述特定状态包括：转弯、掉头、急刹和碰撞中的至少一种；
125.所述确定模块502具体用于，若确定所述无人驾驶设备当前所处的状态为所述特定状态，确定用于提高当前采集视频数据所基于的摄像头的数量，和/或提高当前传输采集的视频数据时所采用的传输参数的数值的视频传输策略。
126.本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的用于无人驾驶设备远程遥控的视频数据传输的方法。
127.本说明书还提供了图6所示的一种对应于图1的无人驾驶设备的示意结构图。如图6所述，在硬件层面，该无人驾驶设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的用于无人驾驶设备远程遥控的视频数据传输的方法。当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
128.在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(programmable logic device,pld)(例如现场可编程门阵列(field programmable gate array，fpga))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片pld上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(hardware description language，hdl)，而hdl也并非仅有一种，而是有许多种，如abel(advanced boolean expression language)、ahdl(altera hardware description language)、confluence、cupl(cornell university programming language)、hdcal、jhdl(java hardware description language)、lava、lola、myhdl、palasm、rhdl(ruby hardware description language)等，目前最普遍使用的是vhdl(very
‑
high
‑
speed integrated circuit hardware description language)与verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
129.控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(application specific integrated circuit，asic)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制
器：arc 625d、atmel at91sam、microchip pic18f26k20以及silicone labs c8051f320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
130.上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
131.为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
132.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
133.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
134.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
135.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
136.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
137.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
138.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法
或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd
‑
rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
139.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
140.本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
141.本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
142.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
143.以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。