一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

载具、用于载具的装置、计算机程序以及处理在遥控操作式驾驶会话中传送的信息的方法与流程

2022-05-08 09:23:28 来源:中国专利 TAG:


1.本发明涉及载具、用于载具的装置、计算机程序、以及用于处理用于在遥控操作式驾驶会话中传送的信息的方法,更具体地,但不排他地,涉及一种用于基于载具与远程控制中心之间的通信链路的预测时延(latency)来适配这种信息的编码的概念。


背景技术:

2.遥控操作式驾驶(tod)可能成为为了解决l4/l5(l4:高度自动化,l5:全自动化)驾驶的载具下的问题的关键技术,这些问题诸如解释问题或僵局(仅通过自主或自动控制机制无法解决的情形)。当自动驾驶载具(av)由于不清楚的交通状况(例如,事故或施工现场)而不能够解释和解决一情形(僵局)时,就会出现这些问题。这些载具可能需要来自其他方的外部指令来解决该情形,该其他方可以是远离载具的远程控制中心。因此,tod允许在tod会话中分别由远程控制中心和其中的操作者来远程地驾驶载具。为此,载具可以向远程控制中心和其中的操作者提供其环境的视频数据。由于对这种视频数据的处理,视频数据可能会在延迟(delay)的情况下显示给操作者。由于av与远程控制中心之间的通信的服务质量的改变,这些延迟可能会达到对于tod无法忍受的水平。
3.文献wo 2015/034405 a1描述了一种用于确定多媒体通信会话的多媒体编解码器参数的概念。为此,该概念包括:针对多媒体通信会话将信道指示符值与通信信道的先前信道质量指示符值进行比较;并且基于所述比较来确定是否延迟对一组多媒体编解码器参数的值的适配、以及确定要适配所述一组多媒体编解码器参数的哪些值。
4.文献us 2007/0021879 a1公开了一种系统,其协作地且自主地计划并控制环境内的具有子系统的载具团队。该系统可以调整无人驾驶载具的任务计划,以将可用系统数据链路的服务质量保持在有效水平处。
5.文献us 2020/0107212 a1公开了一种用于预测至少一个通信设备的通信链路的服务质量的方法。该方法提供了:从通信设备向通信服务预测服务器发送服务质量预测请求消息;在通信服务预测服务器中预测服务质量;以及向通信设备发回服务质量预测响应消息。
6.所述文献涉及载具通信和/或预测载具通信中的服务质量。尽管如此,这些文献都没有提供对遥控操作式驾驶的改进。
7.文献wo 2019/180700 a1涉及自主驾驶和遥控操作式载具的设备、系统和方法。它提供的是,载具人工智能(ai)单元被配置成:从载具的载具传感器接收输入;在本地处理输入;以及将输入无线地传输到远程遥控驾驶处理器。它进一步提出:从远程遥控驾驶处理器无线地接收从远程人工智能(ai)单元接收到的经远程计算的处理结果;以及经由载具的自主驾驶单元或经由载具的遥控驾驶单元基于经远程计算的处理结果来实现载具操作命令。
8.文献ep 3 723 412 a1涉及用于移动通信系统中的用户设备ue和服务供应的系统、载具、装置、方法和计算机程序。用于移动通信系统中的用户设备ue的方法包括:在移动
通信系统中使用具有一组服务质量qos要求的服务;从移动通信系统接收与该服务的qos供应的未来过程相关的信息;以及基于与qos的未来过程相关的信息和基于该组qos要求来适配该服务。
9.文献us 2020/0081431 a1涉及一种包括用于产生视频数据的视频相机系统的远程载具控制系统。该文献提供的是,数据处理系统连接到网络,以向远程遥控操作现场传输数据以及从远程遥控操作现场接收数据。它还提供的是,虚拟控制系统被配置成:接收视频;向用户提供由机器智能定向帧合成所支持的实时视频流;以及通过网络向远程载具传输控制指令。帧合成由卷积神经网络所支持。帧合成可以用于对帧进行内插,以增加每秒有效帧。帧合成可以用于对帧进行外推,以替换丢失或损坏的视频帧。
10.因此,可能存在对用于处理遥控操作式驾驶的信息的改进概念的需要。该需要可以通过所附独立权利要求和从属权利要求的主题来满足。


技术实现要素:

11.实施例基于如下发现:即,用于处理(例如,用于编码和解码)用于在遥控操作式驾驶(tod)会话中传送的信息(例如,视频数据、激光雷达数据和/或雷达数据)的时延/时间段可以关于用于传输该信息的通信链路的预测时延来进行调整。这例如允许将用于传输和处理该信息的总时延保持在针对通信链路时延的最大容许限制以下。用于处理该信息的时延经由用于编码该信息的一个或多个编解码器参数来调整。
12.实施例提供了一种用于载具并且用于处理用于在遥控操作式驾驶会话中传送的信息的方法。所述方法包括:在所述载具与远程控制中心之间建立遥控操作式驾驶会话。此外,所述方法包括:针对遥控操作式驾驶会话来获得远程控制中心与所述载具之间的通信链路的预测时延。此外,所述方法包括:基于所述预测时延来适配用于编码所述信息的至少一个编解码器参数。
13.建立遥控操作式驾驶会话例如包括:向远程控制中心传输针对远程地控制所述载具的请求和/或将对所述载具的控制转移到远程控制中心。
14.受益于本公开的技术人员将理解,服务质量(qos)并且特别是通信链路的时延可以随着时间和/或随着所述载具的位置而改变,并且可以使用先前的时延测量结果和/或所述载具的运动来确定所述预测时延(即,通信链路的稍后/未来的时延)。
15.适配至少一个编解码器参数例如包括:从多个(不同的)编解码器中选择用于处理所述信息的编解码器、和/或确定编解码器的编解码器设置的一个或多个编解码器参数。例如,可以选择编解码器h.26x或运动图像专家组(mpeg)、无损编解码器库(lcl)编解码器中的一个,可以确定压缩技术(例如,离散余弦变换(dct)或运动补偿(mc)),和/或可以通过适配至少一个编解码器参数来确定用于处理所述信息的编解码器的其他特性(例如,用于压缩(例如视频压缩)的缓冲时间)。基于或关于所述预测时延来适配至少一个编解码器参数使得能够使所述信息的处理足够早地适配于通信链路的正在改变的时延,例如使得如果通信链路的时延(突然)改变,则将用于处理和传输所述信息的总时延保持在对于tod的可容忍水平处。所述信息可以是关于所述载具的环境的环境信息。
16.在一些实施例中,所述信息包括所述载具的环境的视频数据、雷达数据、对象数据和/或激光雷达数据。这使得远程控制中心能够向从远程控制所述载具的操作者显示环境
的视觉表示,并且将用于处理和传输这种数据的总时延保持在对于tod的可容忍水平处。
17.在一些实施例中,所述方法进一步包括:针对一个或多个编解码器参数来获得用于在所述载具处编码所述信息的时延。此外,所述方法可以包括:从远程控制中心针对一个或多个编解码器参数来接收用于在远程控制中心处解码所编码的信息的时延。此外,适配至少一个编解码器参数可以包括:基于用于编码和解码所述信息的时延来适配至少一个编解码器参数。
18.用于编码所述信息的时延可以由针对所述信息的压缩(例如,针对视频数据的视频压缩)的缓冲时间来确定。
19.所述载具可以经由上述通信链路或单独的通信链路来(无线地)从远程控制中心接收用于解码所述信息的时延。
20.这例如允许所述载具关于用于编码和解码的时延来适配至少一个编解码器参数,例如以将包括用于解码和编码的时延的总时延保持在对于tod的适当水平处。
21.在一些实施例中,所述方法进一步包括:获得针对遥控操作式驾驶会话中的所述信息的传送的最大时延。此外,适配至少一个编解码器参数可以包括基于最大时延来适配至少一个编解码器参数。
22.最大时延例如是tod应用中的用于处理所述信息(例如,视频数据)并且将所述信息从所述载具传输到远程控制中心的(预定义)最大容许时延。基于最大时延来适配至少一个编解码器参数例如包括:适配至少一个编解码器参数,使得用于处理和传输所述信息的时延低于最大时延。本领域技术人员将领会,这例如使得所述时延对于tod来说不会太高。
23.在一些实施例中,获得最大时延包括:基于关于所述载具和/或交通情形的信息来确定最大时延。
24.受益于本公开的技术人员将领会,当从远程控制所述载具时,所述信息的最大容许延迟可以取决于运动(例如,速度(velocity)或速率(speed))、能力(例如,制动功率、重量等)和/或交通情形(例如,指示交通密度、本地道路交通规则)等等。因此,基于关于所述载具的信息(例如,速度/速率,或所述载具的能力)和/或交通情形来确定最大时延允许将用于处理和传输所述信息的时延保持在关于交通情形和所述载具的所述最大容许延迟以下。
25.在一些实施例中,所述方法进一步包括:获得通信链路的预测数据率。此外,适配至少一个编解码器参数可以包括:基于通信链路的预测数据率来适配至少一个编解码器参数。这例如进一步允许利用用于向远程控制中心传输所述信息的数据率。
26.另外的实施例提供了一种用于远程控制中心的方法。所述方法包括:在远程控制中心与载具之间建立遥控操作式驾驶会话。此外,所述方法包括:确定用于解码用于在遥控操作式驾驶会话中传送的信息的时延。所述方法进一步包括:向所述载具传输所述时延,以用于基于所述时延来适配用于编码所述信息的至少一个编解码器参数。如上面结合用于所述载具的方法所提到的,用于解码所编码的信息的时延使得所述载具能够关于用于解码的时延、以及例如用于在所述载具处处理所述信息并且将所述信息传输到远程控制中心的时延来适配一个或多个编解码器参数,以便不超过对于tod的最大容许延迟。
27.实施例进一步提供了一种装置,所述装置包括被配置成在通信网络中通信的一个或多个接口、以及被配置成控制所述一个或多个接口的数据处理电路,其中所述数据处理
电路进一步被配置成执行本文中提出的方法之一。
28.另外的实施例涉及一种计算机程序,所述计算机程序具有程序代码,所述程序代码用于当在计算机、处理器或可编程硬件组件上执行所述计算机程序时执行本文中提出的方法中的至少一个。
29.实施例进一步提供了一种包括本文中公开的装置的载具。所述载具例如是陆地载具。在其他应用中,所述载具还可以是船舶或飞行器。
附图说明
30.将仅通过示例的方式并且参考附图、使用装置或方法或计算机程序或计算机程序产品的以下非限制性实施例来描述一些其他特征或方面,在附图中:图1图示了用于载具并且用于处理用于在遥控操作式驾驶会话中传送的信息的方法的实施例的框图;图2图示了用于执行针对载具的上述方法的装置的实施例的框图;图3图示了用于远程控制中心的方法的实施例的框图;图4图示了用于执行针对远程控制中心的上述方法的装置的实施例的框图;以及图5示意性地图示了所提出的装置和方法的应用。
具体实施方式
31.遥控操作式驾驶(tod)正在成为自动化驾驶的关键推动因素(enabler)。tod可以帮助解决自动化驾驶载具本身无法解决的僵局情形。在越来越多的国家中,tod也可能成为针对自动化驾驶的法律要求。
32.为了使得远程控制中心中的操作者能够从远程控制载具,该载具可以向远程控制中心传送关于其环境的信息,例如视频或其他测量数据。该信息的处理和传送可能意味着时延,使得该信息在时间延迟的情况下到达操作者。时间延迟越大,从远程控制该载具就可能越困难和/或越危险。
33.本领域技术人员将意识到,用于传送该信息的时延可能由于载具的移动而改变,例如(突然)增加。在一些情况下,时间延迟可能因此变得对于tod不适当。
34.因此,存在对用于在遥控操作式驾驶会话中进行通信的改进概念的需要。
35.该需要可以通过下面描述的实施例来满足。
36.图1图示了用于载具并且用于处理用于在遥控操作式驾驶会话中传送的信息的方法100的实施例的框图。
37.方法100包括:在载具与远程控制中心之间建立110遥控操作式驾驶会话。例如,在其中载具不能够以安全的方式自动/自主地进行操纵的所谓
ꢀ“
僵局情形”中,该载具可以在该载具与远程控制中心之间建立或发起遥控操作式驾驶会话。建立110遥控操作式驾驶会话例如包括:建立去往远程控制中心的通信链路。可选地,建立110遥控操作式驾驶进一步包括:发送请求以便由远程控制中心接管对该载具的控制。
38.遥控操作式驾驶会话可以被理解为用于针对tod从远程控制该载具以及用于在该载具与远程控制中心之间进行通信的动作的一部分或全部。
39.此外,方法100包括:针对遥控操作式驾驶会话来获得120远程控制中心与该载具
之间的通信链路的预测时延。该预测时延例如涉及通信链路在未来时间处的所估计的时延,并且例如是使用先前的时延测量结果作为去往用于确定该预测时延的外推的输入来确定的。由于通信链路的时延或该时延的改变可能与该载具的移动有关,因此可选地,可以使用该载具的位置来确定该预测时延。
40.此外,方法100包括:基于该预测时延来适配130用于编码该信息的至少一个编解码器参数。基于该预测时延来适配130至少一个编解码器参数例如允许关于该预测时延来调整用于使用至少一个编解码器参数处理该信息的时间段/持续时间。至少一个编解码器参数例如被确定成:使得包括该预测时延和用于使用该编解码器参数来编码该信息的时延的总时延处于对于tod的适当水平处。这可以使得用于从远程控制该载具的远程控制中心或操作者能够基于该信息来安全地操纵该载具。
41.要注意的是,适配130至少一个编解码器参数可以可选地包括:适配编解码器的多个编解码器参数、或者从多个编码参数或编解码器中选择编码参数和/或编解码器。例如,适配130至少一个编解码器包括:从多个编解码器、例如从查找表中选择编解码器,如稍后更详细地陈述的那样。
42.该信息包括例如该载具的环境的视频数据、雷达数据、对象数据和/或激光雷达数据。视频数据例如包括来自可以安装在该载具处的相机的环境数据。激光雷达数据和雷达数据可以分别包括来自激光雷达传感器和雷达传感器的环境数据。对象数据例如包括关于另一载具和/或交通参与者的位置、大小、载具类型/交通参与者类型和/或形状的信息。
43.在一些实施例中,该信息可以包括视频数据。因此,编解码器和至少一个编解码器参数可以是用于编码和/或解码视频数据的编解码器参数或编解码器。
44.要注意的是,尽管术语“编解码器”指代用于编码和解码的一对算法,但是本领域技术人员将领会,取决于上下文,编解码器也可以代表那些算法中的一个。例如,当说“编解码器用于编码”时,意味着用于对相应编解码器进行编码的算法。反之亦然,术语“编解码器”特别地指代与解码该信息相关联的来自解码的算法。
45.可选地,方法100包括:针对一个或多个编解码器参数(例如,针对由一个或多个编解码器参数指定的多个编解码器和/或编解码器设置)来获得用于编码和解码的时延。
46.为此,方法100可以包括:针对一个或多个编解码器参数来获得用于在该载具处编码该信息的时延。例如,基于相应编解码器和/或编解码器设置的缓冲时间来确定用于编码该信息的时延。本领域技术人员将意识到,还可以考虑可用的计算能力,以获得使用相应编解码器或编解码器设置在该载具处编码该信息的时延。
47.此外,方法100可以包括:从远程控制中心针对一个或多个编解码器参数来接收用于在远程控制中心处解码所编码的信息的时延。该载具例如可以从远程控制中心请求用于解码所编码的信息的时延。为此,该载具可以(无线地)与针对其请求了一个或多个编解码器参数(例如,所请求的编解码器和/或编解码器设置、时延)的远程控制中心进行通信。随后,远程控制中心可以针对所请求的编解码器和/或编解码器设置来确定用于解码所编码的信息的时延。该载具和远程控制中心例如使用蜂窝网络或局域网来传送编解码器参数和/或时延。特别地,该载具和远程控制中心可以使用通信链路来进行通信。
48.以这种方式,可以针对多个编解码器参数(例如,针对多个编解码器和/或编解码器设置)来确定用于解码和编码的时延。
49.在知道了用于编码和解码的时延的情况下,该载具可以关于这些时延来适配一个或多个编解码器参数。例如,适配130至少一个编解码器参数可以包括:基于用于编码该信息和解码所编码的信息的时延来适配至少一个编解码器参数。以这种方式,可以关于用于编码和解码的时延来进一步适配一个或多个编解码器参数,使得包括用于编码和用于解码的通信链路的时延的总时延可以被保持在对于tod的适当水平处、以及关于通信链路的时延的(预测)变化而被保持。
50.针对总时延,还可以考虑在捕获到该信息与向远程控制中心中的操作者显示该信息之间的其他时延。例如,总时延还包括:在编码该信息之前和/或之后用于在该载具处处理该信息的时延、以及在解码所编码的信息之前和/或之后用于处理(所编码的)信息的时延。因此,总时延指示了在捕获到该信息与向操作者显示该信息之间的信息延迟。同样,至少一个编解码器参数可以被确定成:使得该信息的总时延/延迟关于通信链路的时延的(预测)变化被保持在对于tod的适当水平处。
51.在一些实施例中,方法100进一步包括:获得针对遥控操作式驾驶会话中的该信息的传送的最大时延。
52.最大时延例如是对于tod的最大容许时延。最大时延可以被理解为针对其中可以从远程(即,由操作者和远程控制中心)安全地控制该载具的总时延的最大值或限制。特别地,最大时延可以是预定义的常数或变量,如稍后更详细地陈述的那样。
53.在一些实施例中,适配130至少一个编解码器参数包括基于最大时延来适配至少一个编解码器参数。以这种方式,可以针对tod会话来确定适当的编解码器和/或编解码器设置,使得最大容许时延不能够被超过。
54.最大容许时延可以特别地取决于该载具和/或该载具的环境中的交通情形。针对载具的最大容许时延可能越高,该载具行驶得越慢和/或交通越不密集(例如,在该载具的环境中其他载具越少)。因此,获得最大时延可以包括:基于关于该载具和/或交通情形的信息来确定最大时延。因此,相对于关于该载具的信息(例如,速度/速率、制动功率)和/或相对于交通情形(例如,交通密度、或至其他载具的距离)来确定至少一个编解码器参数。最终,这可以使tod更安全。例如,这允许操作者在控制该载具时至少有预定义的反应时间。
55.此外,方法100可以包括获得通信链路的预测数据率,并且适配130至少一个编解码器参数可以包括基于通信链路的预测数据率来适配至少一个编解码器参数。通信链路的数据率例如是最大可用数据率,并且确定编解码器参数,使得利用最大可用数据率(例如,以提供视频数据的最高可能视频质量),但是也不超过数据率。这样,通信链路可能不会过载。
56.方法100可以由该载具来执行。特别地,方法100可以由安装在该载具上的装置来执行。
57.图2图示了用于执行针对载具的上述方法100的装置210的实施例的框图。如图2中的虚线所指示,装置210可选地安装在载具200上。
58.装置210包括被配置成在通信网络中通信的一个或多个接口212。此外,装置210包括被配置成控制一个或多个接口212的数据处理电路214。数据处理电路214进一步被配置成执行本文中提出的方法100。
59.在实施例中,一个或多个接口212可以对应于用于获得、接收、传输或提供模拟或
数字信号或信息的任何部件,例如允许提供或获得信号或信息的任何连接器、触点、引脚、寄存器、输入端口、输出端口、导体、通道等。接口可以是无线的或有线的,并且它可以被配置成与另外的内部或外部组件进行通信,即传输或接收信号、信息。一个或多个接口212可以包括另外的组件,以实现(移动)通信系统中的相应通信,这种组件可以包括收发器(发射器和/或接收器)组件,诸如一个或多个低噪声放大器(lna)、一个或多个功率放大器(pa)、一个或多个双工器(duplexer)、一个或多个天线共用器(diplexer)、一个或多个滤波器或滤波器电路、一个或多个转换器、一个或多个混频器、相应适配的射频组件等。一个或多个接口212可以耦合到一个或多个天线,这些天线可以对应于任何发射和/或接收天线,诸如喇叭天线、偶极天线、贴片天线、扇区天线等。在一些示例中,一个或多个接口212可以涉及用于与远程控制中心进行通信和/或建立遥控操作式驾驶会话的部件。此外,一个或多个接口212耦合到数据处理电路214。
60.接口212例如被配置成使用无线局域网和/或蜂窝网络与远程控制中心进行通信。
61.在实施例中,数据处理电路214可以使用一个或多个处理单元、一个或多个处理设备、用于处理的任何部件(诸如,处理器、计算机、或利用相应适配的软件而可操作的可编程硬件组件)来实现。换句话说,数据处理电路214的所描述的功能也可以用软件来实现,该软件然后在一个或多个可编程硬件组件上执行。这种硬件组件可以包括通用处理器、数字信号处理器(dsp)、微控制器等等。数据处理电路214可以被配置成执行本文中描述的方法100中的任一个。在实施例中,数据处理电路214被配置成:在该载具与远程控制中心之间建立遥控操作式驾驶会话,以针对遥控操作式驾驶会话来获得远程控制中心与该载具之间的通信链路的预测时延,并且基于该预测时延来适配用于编码该信息的至少一个编解码器参数。
62.如之前参考方法100所提到的,装置210允许该载具与远程控制中心传送用于遥控操作式驾驶的信息(例如,视频数据、对象数据、激光雷达数据、雷达数据),并且确定至少一个编解码器参数,使得包括该预测时延和用于使用该编解码器参数来编码该信息的时延的总时延处于对于tod的适当水平处。这可以使得用于从远程控制该载具的远程控制中心或操作者能够基于该信息来安全地操纵该载具。
63.可选地,装置210被配置成实现/执行方法100的其他可选实施例。例如,根据方法100的可选实施例,一个或多个接口212和数据处理电路214还被配置成:从远程控制中心针对一个或多个编解码器参数来接收用于在远程控制中心处解码所编码的信息的时延,并且基于用于编码和解码该信息的时延来适配至少一个编解码器参数。因此,远程控制中心可以分别向载具200和装置210提供这种时延。
64.图3图示了用于远程控制中心的方法300的实施例的框图。
65.方法300包括:在远程控制中心与载具之间建立310遥控操作式驾驶会话。此外,方法300包括:确定320用于解码用于在遥控操作式驾驶会话中传送的所编码的信息的时延。此外,方法300包括:向该载具传输330该时延,以用于基于该时延来适配用于编码该信息的至少一个编解码器参数。这允许该载具关于用于解码所编码的信息的时延来适配至少一个编解码器参数,所编码的信息用于在遥控操作式驾驶会话中传送。该信息例如由该载具来编码,以用于与远程控制中心传送。方法300还允许针对多个编解码器参数来确定用于解码所编码的信息的时延,并且将多个所确定的时延传输到该载具,以使得该载具能够基于或
关于来自远程控制中心的时延来适配至少一个编解码器参数。
66.特别地,方法300使得该载具能够关于来自远程控制中心的时延来适配至少一个编解码器参数,使得包括用于解码所编码的信息的时延的总时延处于对于tod的适当水平处、或者不高于该适当水平。
67.方法300可以由远程控制中心来执行。特别地,方法300可以由安装在远程控制中心处的装置来执行。
68.图4图示了用于执行针对远程控制中心的上述方法300的装置410的实施例的框图。如图4中的虚线所指示,装置410可选地安装在远程控制中心400处。
69.装置410包括被配置成在通信网络中通信的一个或多个接口412。装置410进一步包括数据处理电路414,数据处理电路414被配置成控制一个或多个接口412并且执行本文中针对远程控制中心提出的方法之一。特别地,数据处理电路414可以被配置成执行用于远程控制中心的方法300。
70.在实施例中,一个或多个接口412可以对应于用于获得、接收、传输或提供模拟或数字信号或信息的任何部件,例如允许提供或获得信号或信息的任何连接器、触点、引脚、寄存器、输入端口、输出端口、导体、通道等。接口可以是无线的或有线的,并且它可以被配置成与另外的内部或外部组件进行通信,即传输或接收信号、信息。一个或多个接口412可以包括另外的组件,以实现(移动)通信系统中的相应通信,这种组件可以包括收发器(发射器和/或接收器)组件,诸如一个或多个低噪声放大器(lna)、一个或多个功率放大器(pa)、一个或多个双工器、一个或多个天线共用器、一个或多个滤波器或滤波器电路、一个或多个转换器、一个或多个混频器、相应适配的射频组件等。一个或多个接口412可以耦合到一个或多个天线,这些天线可以对应于任何发射和/或接收天线,诸如喇叭天线、偶极天线、贴片天线、扇区天线等。在一些示例中,一个或多个接口412可以涉及用于与该载具进行通信和/或建立遥控操作式驾驶会话的部件。此外,一个或多个接口412耦合到数据处理电路414,以使得数据处理电路414能够使用一个或多个接口412来执行用于远程控制中心的方法。因此,例如使得数据处理电路414能够使用用于执行方法300的一个或多个接口412来接收和传输信息。
71.在实施例中,数据处理电路414可以使用一个或多个处理单元、一个或多个处理设备、用于处理的任何部件(诸如,处理器、计算机、或利用相应适配的软件而可操作的可编程硬件组件)来实现。换句话说,数据处理电路414的所描述的功能也可以用软件来实现,该软件然后在一个或多个可编程硬件组件上执行。这种硬件组件可以包括通用处理器、数字信号处理器(dsp)、微控制器等等。数据处理电路414可以被配置成执行本文中描述的方法300中的任一个。在实施例中,数据处理电路414被配置成:在该载具与远程控制中心之间建立遥控操作式驾驶会话,以确定用于解码用于在遥控操作式驾驶会话中传送的所编码的信息的时延,并且向该载具传输该时延,以用于基于该时延来适配用于编码该信息的至少一个编解码器参数。
72.数据处理电路414例如使用接口412中的一个或多个以用于遥控操作式驾驶会话中的通信,并且向该载具传输该时延。一个或多个接口412可以被配置成使用无线局域网和/或蜂窝网络以用于与该载具进行通信,并且用于向该载具传输该时延。
73.如之前所解释,方法300还可以被应用以针对多个编解码器参数来确定和传输用
于解码所编码的信息的时延。因此,数据处理电路414可以被配置成针对多个编解码器参数来确定和传输用于解码所编码的信息的时延。
74.下面,参考图5描述了所提出的载具、方法、装置和计算机程序的应用。
75.从图5中可以看出,(自主驾驶)载具510和远程控制中心520可以建立遥控操作式驾驶会话,并且经由包括载具510和远程控制中心520的(通信)网络530来传送用于tod的信息。网络530例如是蜂窝网络。
76.网络530上的通信的服务质量(qos)可以随着时间而改变。qos的改变还可以进一步涉及用于在载具510与远程控制中心520之间传送的信息的延迟的改变。该延迟例如涉及在该载具处捕获到该信息与在远程控制中心处显示该信息之间的持续时间或延迟。由于qos的改变,该延迟可能会达到对于tod的不适当水平。从图5中可以看出,该延迟可以包括不同的时延。从图5中可以看出,这些时延可以包括:载具510处的时延l
rv
、载具510处的视频编码的时延l
cod
、(通信)网络530中的时延l
qos
、远程控制中心530处的时延l
cc
、以及远程控制中心520处的视频解码的时延l
decod

77.l
cod
和l
decod
可以取决于用于编码和解码该信息的编解码器和/或编解码器设置。该信息例如包括来自安装在载具510处的一个或多个相机516的视频数据。因此,分别地,编解码器是视频编解码器并且编解码器设置是视频编解码器的编解码器设置。应当注意的是,尽管仅将视频数据作为用于以下描述的信息,但是所提出的概念/应用也可以应用于其他数据,诸如激光雷达数据、雷达数据和/或对象数据。
78.l
rv
和l
cc
例如分别涉及在编码和解码视频数据之前和/或之后由于在载具510和远程控制中心520处处理该视频数据所致的延迟/时延。
79.l
qos
例如指代从载具510发射所编码的视频数据与经由(通信)网络530中的载具510与远程控制中心520之间的通信链路在远程控制中心520处接收到所编码的视频数据之间的持续时间或延迟。由于qos的改变,l
qos
可能会改变。这种改变可能导致在载具510处捕获到该信息与在远程控制中心520处显示该信息之间的持续时间或延迟超过对于tod的不适当水平。在本公开中,该延迟或持续时间被称为总时延l
total
(l
total = l
qos
l
rv l
cc l
cod l
decod
)。
80.在一些实施例中,载具510向远程控制中心520提供关于可用编解码器和/或编解码器设置的信息,并且远程控制中心520确定并且向载具510提供针对可用编解码器和/或编解码器设置的时延l
cc
和l
decod

81.根据所提出的方法和/或装置,载具510可以获得通信链路的预测(即,所估计的未来l
qos
)时延(即,所预测的l
qos
),并且通过适配至少一个编解码器参数来适配编解码器和/或编解码器设置,以便在qos改变并且因此l
qos
改变的情况下将l
total
保持在对于tod的适当水平处。
82.例如,适配编解码器包括:从多个不同的(可用)(视频)编解码器中选择用于对视频数据进行编码和解码的(视频)编解码器。编解码器例如是从包括多个不同编解码器的查找表中选择的。受益于本公开的技术人员将领会,不同的编解码器可能导致不同的l
cod
和l
decod
。本领域技术人员还将理解,时延l
cod
和l
decod
越低,传输视频数据所需的数据率可能就越高,并且反之亦然,这是因为针对较低数据率的较高压缩可能需要更多时间,并且因此导致了用于编码视频数据的较高时延。换句话说,更高的压缩可能会以更高的时延为代价。不
同的编解码器可能展现出不同的压缩方法,从而导致针对不同编解码器的不同l
cod
和l
decod

83.所提出的概念的基本思想例如是获得所预测的l
qos
,并且例如通过从多个编解码器中选择编解码器从而关于所预测的l
qos
来适配编解码器参数,以便在l
qos
改变的情况下将总时延l
total
保持在对于tod的适当水平上。
84.所预测的l
qos
例如是基于l
qos
的先前测量结果和/或基于载具510的位置来确定的,这是因为l
qos
可以取决于网络530的接入节点的相对位置或者距该接入节点的距离。
85.为了将l
total
保持在对于tod的适当水平处,例如确定最大总时延l
max
,并且从可用编解码器中选择编解码器,使得包括所预测的l
qos
的所预测的l
total
低于或等于l
max
:l
total = l
rv l
qos l
decod l
cod l
cc 《 l
max
l
max
例如是当从远程控制载具510时可以容忍的l
total
的度量。可以基于或关于载具510的速度/速率、其环境、以及远程控制中心520处的操作者526的反应时间来导出最大时延。
86.qos的改变还可能涉及通信链路的数据率的改变。因此,还可以获得通信链路的预测数据率,以用于(还)基于通信链路的预测数据率来适配至少一个编解码器参数(例如,通过从多个编解码器中选择编解码器)。
87.本领域技术人员将理解,预测数据率可以取决于用于通信链路的通信技术(例如,第三代合作伙伴计划(3gpp)或专用短距离通信(dsrc))、带宽、信号强度和/或载具510的位置。因此,可以基于位置和/或通信技术来获得预测数据率。可选地,可以基于预测数据率的先前测量结果来获得预测数据率。预测数据率例如涉及与预测时延相同的时间点或时间段。
88.基于预测时延和预测数据率来适配至少一个编解码器参数(例如,通过从多个编解码器中选择编解码器)例如允许利用(但不超过)通信链路的数据率(例如,以提供视频数据的期望或最高可能视频质量),同时在qos和数据率改变的情况下将l
total
保持在对于tod的适当水平处。
89.换句话说,可以关于pqos简档来适配至少一个编解码器参数(编解码器和/或编解码器设置),使得总时延不超过最大(总)时延并且数据率不被超过,这是根据下式来进行的:dr
codec 《 dr
qos ∩ l
total = l
rv l
qos l
decod l
cod l
cc 《 l
max
,其中dr
codec
指代相应编解码器和/或编解码器设置的输出的数据率,并且其中dr
qos
指代通信链路的数据率。
90.特别地,载具510可以适配至少一个编解码器参数(例如,通过适配编解码器设置和/或从多个编解码器中选择编解码器),使得在远程控制中心520处提供视频数据的最高质量,但是不会超过数据率dr
qos
和最大(总)时延l
max

91.这会通过参考以下示例性场景来进一步解释:例如,相对于彼此提供了不同时延l
cod
和l
codec
以及不同数据率dr
codec
的多个编解码器对于载具510是可用的。
92.i. 在第一示例性场景中,所预测的qos提供了增加的数据率dr
qos
和减少的时延l
qos
。在该场景中,可以使用如下编解码器:该编解码器相对于其他编解码器以更高的时延l
cod
和l
decod
以及数据率dr
codec
为代价来提供高视频质量。因此,在提供了最高可能视频质量
的同时,总时延l
total
不可能超过最大(可容忍)时延l
max

93.ii. 在第二示例性场景中,所预测的qos提供了增加的数据率dr
qos
,但是还提供了增加的时延l
qos
。在该场景中,可以使用相对于其他编解码器提供了低时延l
cod
和l
decod
但是提供了更高数据率dr
codec
的编解码器。
94.iii. 在第三示例性场景中,所预测的qos提供了减少的数据率dr
qos
和减少的时延l
qos
。在该场景中,可以使用相对于其他编解码器以更高的时延l
cod
和l
decod
为代价提供了低数据率dr
codec
的编解码器。
95.因此,在这些场景中,利用了数据率dr
qos
,同时将总时延l
total
保持在对于tod的合适水平处。与如果提供了较低视频质量和/或较高总时延相比,这可以使得操作者526能够更安全地从远程控制载具510。
96.如已经提到的,在实施例中,相应的方法可以被实现为计算机程序或代码,它们可以在相应的硬件上执行。因此,另一个实施例是具有程序代码的计算机程序,该程序代码用于当在计算机、处理器或可编程硬件组件上执行计算机程序时实行上面的方法中的至少一个。进一步的实施例是存储指令的计算机可读存储介质,该指令在被计算机、处理器或可编程硬件组件执行时使得计算机实现本文中描述的方法之一。
97.本领域技术人员将容易地认识到,各种上面描述的方法的步骤可以通过经编程的计算机来执行,例如可以确定或计算时隙的位置。在本文中,一些实施例也意图涵盖程序存储设备,例如数字数据存储介质,该程序存储设备是机器或计算机可读的并且对机器可执行或计算机可执行的指令程序进行编码,其中所述指令实行在本文中描述的方法的步骤中的一些或全部。程序存储设备可以是例如数字存储器、诸如磁盘和磁带之类的磁存储介质、硬盘驱动器、或光学可读数字数据存储介质。实施例也意图涵盖被编程成执行在本文中描述的方法的所述步骤的计算机,或者涵盖被编程成执行上面描述的方法的所述步骤的(现场)可编程逻辑阵列((f)pla)或(现场)可编程门阵列((f)pga)。
98.参考符号列表100 用于载具的方法110 建立遥控操作式驾驶会话120 获得预测时延130 基于所述预测时延来适配至少一个编解码器参数200 载具210 装置212 一个或多个接口214 数据处理电路300 用于远程控制中心的方法310 建立遥控操作式驾驶会话320 确定用于解码所编码的信息的时延330 向所述载具传输所述时延,以用于基于所述时延来适配至少一个编解码器参数400 远程控制中心410 装置412 一个或多个接口
414 数据处理电路510 载具516 一个或多个相机520 远程控制中心526 操作者530 网络l
total
、l
rv
、l
qos
、l
decod
、l
cod
、l
cc
、l
max 时延dr
codec
、dr
qos 数据率
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献