用于提供深度感知的视觉覆盖物的制作方法

1.本公开大体上涉及机器的远程控制操作，并且例如涉及基于提供深度感知的视觉覆盖物的机器的远程控制操作。


背景技术：

2.远程控制操作员可以在工程设备不在视线内的情况下操作工程设备。在(例如，关于控制诸如推土机或挖掘机的工程设备的)一些情况下，远程控制操作员可能希望很好地了解工程设备周围的地形，以便控制工程设备以高效的方式执行任务。为了(在工程设备不在视线内的情况下)高效地控制工程设备，远程控制操作员可以依靠来自工程设备上的摄像头系统的视频馈送。
3.(用于不在视线内的远程控制操作)的典型的摄像头系统提供二维(2d)图像。2d图像未提供足够的信息(例如，足够的细节)以使得远程控制操作员能够很好地了解工程设备周围的地形。典型的摄像头系统受到限制，这些限制阻止此类摄像头系统提供使得能够很好地了解地形的足够信息。这些限制可包括关于与提供视频馈送相关联的可用网络带宽的限制，关于与2d图像相关联的帧速率的限制，关于与提供视频馈送相关联的延迟的限制，关于与2d图像中的深度有关的固有信息缺乏的限制，关于由此类摄像头系统的广角透镜引起的图像畸变的限制，以及关于远程机器与地形之间的情境和/或空间关系的限制。
4.缺乏使得能够很好地了解地形的足够信息和/或缺乏关于深度的信息可能导致工程设备低效地操作(例如，诸如发动机、器具等等的部件的低效使用)，可能导致工程设备损坏(例如，由于不确定的地形条件)，可能导致工程设备错误地执行任务，等等。因此，依靠典型的摄像头系统来(在工程设备不在视线内的情况下)操作工程设备可能浪费计算资源、网络资源，以及与工程设备的低效操作相关联、与修理工程设备相关联、与补救由工程设备错误地执行的任务相关联等等的其它资源。
5.日本专利申请第jp2003239328号(
‘
328公开案)公开了一种土方施工表面的测量装置，所述测量装置能够通过实时精确地测量地面平整表面的施工精度来在地面平整作业中容易地获取一定量的所需沉积物。
‘
328公开案公开了测量装置具有用于检测重型机械的位置和纵向方向倾斜的全球定位系统(gps)天线、用于检测重型机械的辊子高度的辊子倾斜传感器和用于输入来自gps天线和辊子倾斜传感器的信号的车载控制部分。
6.虽然
‘
328公开案公开了实时测量地面平整表面的施工精度，但
‘
328公开案并未公开测量装置提供使得能够很好地了解重型机械周围的地形的信息和/或关于用于重型机械的远程控制操作的地形深度的信息。
7.本公开的视觉覆盖物解决了上述问题中的一个或多个和/或本领域中的其它问题。


技术实现要素：

8.在一些实施方案中，一种工程车辆包括：立体摄像头，所述立体摄像头被配置成获
得包括所述工程车辆位于的地面的环境的三维图像数据；以及控制器，所述控制器被配置成：基于所述三维图像数据确定指示从所述工程车辆到所述地面的不同区域的距离的深度信息；基于所述深度信息生成与深度范围相关联的覆盖物，所述覆盖物被生成以指示距所述工程车辆的距离范围；以及提供所述覆盖物以与和所述三维图像数据相关联的视频馈送一起显示。
9.在一些实施方案中，一种由装置执行的方法包括：基于包括地面的环境的图像数据，确定指示从车辆到所述地面的不同区域的距离的深度信息；基于所述深度信息生成覆盖物以指示距所述车辆的距离范围，所述距离范围与所述地面的区域相关联；以及与所述地面上的覆盖物一起提供包括所述图像数据的视频馈送以供显示，所述覆盖物在所述车辆的操作期间提供关于所述区域的深度感知。
10.在一些实施方案中，一种作业车辆包括：立体摄像头，所述立体摄像头提供包括所述作业车辆位于的地面的环境的图像数据；铲斗；和控制器，所述控制器被配置成：确定所述铲斗相对于所述作业车辆的第一位置，所述铲斗升高到所述地面上方；基于所述第一位置，确定当所述铲斗降低到所述地面时所述铲斗将接合所述地面的所述地面上的估计的第一地面接合位置；在所述地面上基于从所述作业车辆到所述估计的第一地面接合位置的第一距离生成覆盖物；提供所述覆盖物以与和所述图像数据相关联的视频馈送一起显示，所述覆盖物提供在所述地面上并指示在平行于所述地面的平面中从所述作业车辆到所述铲斗的距离；检测所述铲斗从所述第一位置到第二位置的移动；基于所述第二位置，确定当所述铲斗降低到所述地面时所述铲斗将接合所述地面的所述地面上的估计的第二地面接合位置；并基于从所述作业车辆到所述估计的第二地面接合位置的第二距离调整提供的用于显示的覆盖物，在调整所述覆盖物之后，所述覆盖物指示基于所述铲斗的移动的从所述作业车辆到所述铲斗的距离的变化。
附图说明
11.图1是本文描述的示例性实施方案的图。
12.图2是本文描述的示例性系统的图。
13.图3是本文描述的示例性实施方案的图。
14.图4是本文描述的示例性实施方案的图。
15.图5是本文描述的示例性实施方案的图。
16.图6是本文描述的示例性实施方案的图。
17.图7是与提供用于感知深度的视觉覆盖物有关的示例性过程的流程图。
18.图8是与提供用于感知深度的视觉覆盖物有关的示例性过程的流程图。
具体实施方式
19.本公开涉及与包括机器位于的地面的环境的视频馈送(例如，实时或近实时)一起提供的覆盖物(例如，带)。在视频馈送中覆盖物可能看起来放置在地面上方。覆盖物可以提供关于地面的不同区域的深度的指示和/或提供地面的不同区域的一个或多个其它特征(例如升高)的指示。换句话说，覆盖物可以将视频馈送增强为组合的流式传输图像，以在(机器不在视线内的情况下)机器的远程控制操作期间提供对机器周围的地形的了解。
20.术语“机器”可以指执行与行业(例如采矿、建筑、农业、运输或另一行业)相关联的操作的机器。而且，一个或多个器具可以连接到机器。举例来说，机器可以包括与上述行业相关联的工程车辆、作业车辆或类似车辆。
21.图1是本文描述的示例性实施方案100的图。如图1中所示，示例性实施方案100包括机器105。机器105体现为例如挖掘机的运土机器。替代地，机器105可以是另一种类型的机器，例如推土机。
22.如图1中所示，机器105包括地面接合构件110、机身115、操作室120和回转元件125。地面接合构件110可包括用于推进机器105的履带(如图1中所示)、轮、辊等。地面接合构件110安装在机身115上，并且由一个或多个发动机和传动系(未示出)驱动。机身115安装在旋转框架(未示出)上。操作室120由机身115和旋转框架支撑。操作室120包括集成显示器(未示出)和操作员控件124，例如集成操纵杆。操作员控件124可包括一个或多个输入部件。
23.对于自动机器，操作员控件124可以设计成不由操作员使用，而是可以设计成独立于操作员操作。在此情况下，例如，操作员控件124可包括一个或多个输入部件，该一个或多个输入部件提供输入信号以在没有任何操作员输入的情况下供另一部件使用。回转元件125可包括使旋转框架(和机身115)能够旋转(或回转)的一个或多个部件。例如，回转元件125可以使得旋转框架(和机身115)能够相对于地面接合构件110旋转(或回转)。
24.如图1中所示，机器105包括动臂130、斗杆135和机器作业工具140。动臂130可枢转地安装在机身115的近端处，并且由一个或多个流体致动气缸(例如，液压气缸或气动气缸)、电动机和/或其它机电部件相对于机身115铰接。斗杆135可枢转地安装在动臂130的远端处，并且由一个或多个流体致动气缸、电动机和/或其它机电部件相对于动臂130铰接。机器作业工具140安装在斗杆135的远端处，并且可以由一个或多个流体致动气缸、电动机和/或其它机电部件相对于斗杆135铰接。机器作业工具140可以是铲斗(如图1中所示)或可安装在斗杆135上的另一类型的工具。
25.如图1中所示，机器105包括控制器145(例如，电子控制模块(ecm))、一个或多个惯性测量单元(imu)150(在本文中单独称为“imu 150”，并且统称为“imu 150”)、一个或多个单目摄像头155(在本文中单独称为“单目摄像头155”，并且统称为“单目摄像头155”)和立体摄像头160。控制器145可以控制和/或监测机器105的操作。例如，控制器145可以基于来自操作员控件124的信号、来自imu 150的信号、来自一个或多个单目摄像头155的信号、来自立体摄像头160的信号和/或来自远程控制装置170的信号来控制和/或监测机器105的操作。
26.如图1中所示，imu 150安装在机器105的部件或部分上的不同位置处，例如，安装在机身115、动臂130、斗杆135和机器作业工具140上。imu 150包括一个或多个装置，该一个或多个装置能够接收、生成、存储、处理和/或提供指示安装imu 150的机器105的部件的位置和取向的信号。例如，imu 150可包括一个或多个加速度计和/或一个或多个陀螺仪。一个或多个加速度计和/或一个或多个陀螺仪生成并提供信号，该信号可用于确定imu 150相对于参考系的位置和取向，并且相应地确定部件的位置和取向。虽然本文中论述的实例涉及imu 150，但本公开适用于使用可用于确定机器105的部件的位置和取向的一个或多个其它类型的传感器装置。
27.单目摄像头155可包括能够获得和提供包括机器105位于的地面的环境的图像数
据(例如，二维(2d)图像数据)的一个或多个装置。图像数据可以包括在环境的视频馈送中。立体摄像头160可包括能够获得和提供环境的图像数据(例如，三维(3d)图像数据)的两个或更多个装置。例如，(立体摄像头160的)图像数据可以提供深度信息，该深度信息指示从机器105到地面的不同区域的距离。(立体摄像头160的)图像数据可以包括在环境的视频馈送中。虽然本文中论述的实例涉及立体摄像头160，但本公开适用于使用可提供深度信息(例如，能够捕获深度测量值阵列)的一个或多个其它类型的装置，例如光检测和测距(lidar)装置或能够捕获深度测量值阵列的其它传感器装置。
28.图1示出了机器105包括的单个单目摄像头155和单个立体摄像头160。在实践中，机器105可包括一个或多个额外单目摄像头155和/或一个或多个额外立体摄像头160。
29.如图1中还示出的，示例性实施方案100包括远程控制装置170。远程控制装置170可包括被配置成用于机器105的远程控制操作(例如，不在视线内的机器105的远程控制操作)的一个或多个装置。例如，远程控制装置170可包括一个或多个显示器、一个或多个操作员控件(类似于操作员控件124)、一个或多个控制器(类似于控制器145)，等等。
30.远程控制装置170可以经由一个或多个显示器显示视频馈送(包括一个或多个单目摄像头155的图像数据)和/或视频馈送(包括立体摄像头160的图像数据)。在一些实例中，远程控制装置170可包括用于提供关于视频馈送(包括一个或多个单目摄像头155的图像数据)和/或视频馈送(包括立体摄像头160的图像数据)的输入的一个或多个输入部件(例如，键盘、麦克风、操纵杆、按钮、踏板，等等)。
31.如上所述，提供图1作为实例。其它实例可能与结合图1描述的不同。
32.图2是本文描述的示例性系统200的图。如图2中所示，系统200包括控制器145、imu 150、立体摄像头160和远程控制装置170。在一些实例中，控制器145可以包括在机器105中。替代地，控制器145可以包括在远程控制装置170中。替代性地，控制器145可以包括在与远程控制装置170不同的装置(下文称为“控制器相关联装置”)中。例如，控制器145可以是后台办公系统的一部分。
33.控制器145可以包括一个或多个处理器210(在本文中单独称为“处理器210”，并且统称为“处理器210”)，以及一个或多个存储器220(在本文中单独称为“存储器220”，并且统称为“存储器220”)。处理器210以硬件、固件和/或硬件和软件的组合来实施。处理器210包括中央处理单元(cpu)、图形处理单元(gpu)、加速处理单元(apu)、微处理器、微控制器、数字信号处理器(dsp)、现场可编程门阵列(fpga)、专用集成电路(asic)，或另一类型的处理部件。处理器210能够被编程以执行功能。
34.存储器220包括随机存取存储器(ram)、只读存储器(rom)和/或另一种类型的动态或静态存储装置(例如，闪存、磁存储器和/或光存储器)，其存储供处理器210使用以执行功能的信息和/或指令。例如，当执行功能时，控制器145可以从立体摄像头160获得数据(例如，图像数据)。控制器145可以基于(例如，使用数据确定的)深度和/或基于机器105的位置和取向生成覆盖物。在一些实例中，覆盖物可包括半透明带。半透明带可以是相对于机器105的行进方向的水平带。控制器145可以向远程控制装置170提供包括数据的视频馈送和覆盖物，以促进机器105的远程控制操作。附加地或替代地，控制器145可以基于机器作业工具140的位置和取向生成覆盖物。
35.imu 150可包括一个或多个第一imu 150和一个或多个第二imu 150。一个或多个
第一imu 150可感测机器作业工具140的位置和取向，并且可生成指示机器作业工具140的位置和取向的工具位置数据。一个或多个第一imu可以位于机器作业工具140上和/或位于动臂130和/或斗杆135上。一个或多个第二imu 150可感测机身115的位置和取向，并且可生成指示机身115的位置和取向的机器位置数据。机器位置数据可用于确定机器105是否位于倾斜表面上。一个或多个第二imu可以位于机身115上。
36.imu 150可以周期性地(例如，每三十秒、每分钟、每五分钟、等等)将工具位置数据和/或机器位置数据提供给控制器145。附加地或替代地，imu 150可以基于触发事件(例如，来自控制器145的请求、来自远程控制装置170的请求、检测到机器作业工具140的移动、检测到机身115的移动，等等)将工具位置数据和/或机器位置数据提供给控制器145。
37.立体摄像头160可以获得包括机器105周围的地形并且包括机器105位于的地面的环境的数据。例如，立体摄像头160可以获得环境的图像数据(例如，环境的图像)。在一些情况下，图像数据可包括环境的3d图像数据。立体摄像头160可以周期性地(例如，每一百秒、每一千秒、等等)将数据提供给控制器145。附加地或替代地，立体摄像头160可以基于触发事件(例如，来自控制器145的请求)将数据提供给控制器145。
38.远程控制装置170可以从控制器145接收具有覆盖物的视频馈送，并在远程控制装置170的显示器上显示视频馈送。覆盖物可以提供(关于地面的不同区域的)深度感知和/或提供在机器105的使用远程控制装置170的远程控制操作期间机器作业工具140的地面接合位置的指示和/或地形的高度(例如，地面的高度)的指示。地面接合位置可以指示当机器作业工具140从其当前地面上方位置降低到地面时，机器作业工具140将接合地面的位置。
39.视频馈送中包括的覆盖物可以促进远程控制装置170远程控制机器105的操作。远程控制装置170可以(例如，使用一个或多个输入部件)提供识别覆盖物的视觉特征的视觉特征信息。远程控制装置170可以向控制器145提供视觉特征信息，以使控制器145调整覆盖物的视觉特征，如下文更详细地解释的。
40.在一些实施方案中，立体摄像头160可以与上述方式类似的方式将数据提供给控制器145。例如，假设立体摄像头160已经从控制器145接收到对数据的请求。立体摄像头160可基于接收到请求而将数据提供给控制器145。控制器145可以从立体摄像头160接收数据并处理数据。在一些实例中，数据可包括由立体摄像头160获得的图像(环境)的图像的图像数据。就此而言，控制器145可基于图像(例如，基于图像的图像数据)生成视差图。视差图可包括指示图像之间的差异(例如，像素差异)、深度阵列和/或3d值(例如，当控制器145从能够捕获深度测量值阵列的其它传感器装置接收到数据时)的信息以及提供深度指示的信息的其它实例。控制器145可以使用一种或多种数据处理技术(例如，用于生成视差图的一种或多种数据处理技术)生成视差图。
41.控制器145可以基于视差图的图像数据确定指示从机器105到地面的不同区域的距离的深度信息。例如，基于视差图的图像数据，控制器145可以确定从机器105的前部到地面的不同区域的距离。
42.在一些实例中，控制器145可以(例如，使用一种或多种图像处理技术)对视差图的图像数据执行图像处理。例如，控制器145可以在视差图的一个或多个部分中内插数据。附加地或替代地，控制器145可以对图像数据执行滤波(例如，对视差图执行滤波)，以减少视差图中的噪声(例如，离群数据)的量，并增强视差图的分辨率(例如，增强视差图的平滑度
的度量)。通过减少噪声的量并增强视差图的分辨率，控制器145可以改进提供给远程控制装置170的有用信息的量，以促进机器105的远程控制操作。控制器145可以使用一个或多个图像滤波技术来执行滤波，所述图像滤波技术是例如空间降噪滤波、时空/时间滤波，等等。
43.控制器145可以基于深度信息生成覆盖物。在一些实施方案中，控制器145可以基于深度信息并且基于识别距机器105的多个距离范围的范围信息来生成覆盖物。多个距离范围可以包括距机器105的第一距离范围、距机器105的第二距离范围等。在一些实施方案中，多个距离范围中的两个或更多个距离范围的最高值与最低值之间的距离可以相同。控制器145可以预配置有范围信息(例如，范围信息可以存储在一个或多个存储器220中)，可以从控制器相关联装置的输入部件接收范围信息，可以从远程控制装置170接收范围信息，以及/或者可以从机器105的输入部件接收范围信息。
44.作为生成覆盖物的一部分，控制器145可以基于深度信息识别与多个范围相关联的视差图的不同部分(例如，地面的不同区域)。例如，控制器145可以基于深度信息识别与第一距离范围相关联的(地面的)第一区域。例如，控制器145可以基于深度信息确定从机器105到第一区域的距离，并且确定(从机器105到第一区域的)距离对应于第一距离范围(或包括在其内)。
45.在一些实例中，控制器145可以基于立体摄像头160的第一透镜与第二透镜之间的透镜距离、立体摄像头160的焦距以及描绘第一区域的像素的视差值(例如，第一透镜的第一图像与第二透镜的第二图像之间的像素差)的数学组合来确定机器105到第一区域(或第一区域中的点)的距离。例如，控制器145可以将从机器105到第一区域的距离确定为：
46.d＝l*f/d
47.其中d是从机器105到第一区域的距离，l是透镜距离，f是焦距，并且d是视差值。
48.以上公式仅作为实例提供。其它实例可用于确定距离，例如用于确定相对于立体摄像头160和机器105的水平距离和竖直距离的投影几何形状、视差和/或深度。控制器145可以从控制器相关联装置的输入部件、从远程控制装置170和/或从机器105的输入部件获得识别透镜距离和焦距的信息。控制器145可以通过(例如，使用一种或多种计算机视觉技术)分析第一透镜的第一图像和第二透镜的第二图像来确定视差值，以确定第一图像中的像素与第二图像中的对应像素之间的差。例如，控制器145可以通过(基于分析第一图像和第二图像)确定由第一图像的像素和第二图像的对应像素描绘的第一区域的(第一图像与第二图像之间的)移位来确定视差值。
49.例如，假设第一透镜是左透镜，第二透镜是右透镜。控制器145可以确定第二图像中第一区域向左的移位和/或确定第一图像中第一区域向右的移位。在一些情况下，控制器145可以使用一种或多种立体匹配算法识别第一图像中的像素和第二图像中的对应像素。控制器145可以基于深度信息以类似方式识别与第二距离范围相关联的地面的第二区域。
50.控制器145可以生成覆盖物以指示视差图上的多个距离范围。例如，控制器145可以在第一区域中生成第一覆盖物以指示第一距离范围，在第二区域中生成第二覆盖物以指示第二距离范围等。覆盖物可包括相对于机器105的行进方向水平的半透明带。覆盖物可能看起来在与多个距离范围相关联的不同区域处放置在地面上。当生成覆盖物时，控制器145可以修改对应于多个距离范围的视差图的部分(例如，视差图的图像数据的部分)。例如，控制器145可以通过修改对应于与多个距离范围相关联的不同区域的图像数据的像素来生成
覆盖物。
51.例如，控制器145可以通过使像素的颜色的暗度变亮来修改像素，通过将像素的颜色改变成特定颜色来修改像素，修改像素以生成图形图案，并且/或者可以修改像素以生成图形设计。在一些实例中，覆盖物可使用相同图形信息(例如，相同暗度、相同颜色、相同图形图案和相同图形设计)指示多个距离范围。替代地，覆盖物可以使用不同图形信息指示多个距离范围。例如，第一覆盖物可以使用第一图形信息指示第一距离范围，第二覆盖物可以使用第二图形信息指示第二距离范围等。
52.控制器145可以确定与覆盖物相关联的图形信息。在一些情况下，控制器145可以预配置有识别与覆盖物相关联的图形信息的信息。替代地，控制器145可以从控制器相关联装置的输入部件、从远程控制装置170和/或从机器105的输入部件接收图形信息。
53.控制器145可以为覆盖物生成在视觉上将覆盖物与地面区分开的轮廓线。例如，控制器145可以为第一覆盖物生成在视觉上将第一覆盖物与地面区分开的轮廓线，为第二覆盖物生成在视觉上将第二覆盖物与地面区分开的轮廓线等。控制器145可以通过修改形成轮廓线的像素来生成轮廓线。例如，控制器145可以使像素的颜色变暗，使像素的暗度变暗，等等。这些轮廓线还可以改善关于覆盖物的最终样式的总体可见性和易用性。
54.第一覆盖物和用于第一覆盖物的轮廓线可匹配地面的第一区域的地形(例如，地面的第一区域的轮廓)，第二覆盖物和第二覆盖物的轮廓线可匹配地面的第二区域的地形(例如，地面的第二区域的轮廓)，等等。在一些情况下，控制器145可以使用一种或多种对象轮廓识别算法生成轮廓线。作为实例，控制器145可以分析视差图以识别第一图像和视差图中的第一区域的边缘(例如，形成第一区域的边界的物品或对象的边缘)。控制器145可识别第一图像中的像素，在视差图中为其识别对应的像素。控制器145可识别(例如，第一图像中的像素的)形成边缘的端部的像素，并且(例如，如果端部未连接，则通过添加像素)可使端部连接。边缘可以形成轮廓线。
55.覆盖物可以提供地面的不同区域的地形的指示。通过提供地形的指示，覆盖物可以提供对地面的地形的良好了解，并且因此促进机器105在地面上的操作(例如，操作机器105以避免地面的洞和/或不均匀表面；根据洞和/或不均匀表面调整机器105的操作；等等)。
56.在一些实例中，控制器145可基于识别覆盖物之间的距离的距离信息使覆盖物分开相同距离。控制器145可以预配置有距离信息，并且/或者可以从控制器相关联装置的输入部件、从远程控制装置170和/或从机器105的输入部件接收距离信息。
57.在一些实施方案中，控制器145可以在生成覆盖物之后对视差图的图像数据执行额外图像处理。例如，控制器145可以对图像数据执行滤波以确保覆盖物的宽度满足宽度阈值。例如，控制器145可以确定特定覆盖物的宽度是否满足宽度阈值，并且当该宽度不满足宽度阈值时移除特定覆盖物。控制器145可以预配置有宽度阈值，并且/或者可以从控制器相关联装置的输入部件、从远程控制装置170和/或从机器105的输入部件接收宽度阈值。
58.附加地或替代地，为了执行滤波，控制器145可以确定与覆盖物的一个或多个部分的深度信息相关联的置信度度量，并且基于置信度度量来调整一个或多个部分的透明度度量。例如，控制器145可确定(与覆盖物的一部分的深度信息相关联的)置信度度量是否满足置信度阈值，并且可在置信度度量不满足置信度阈值时修改覆盖物的部分的透明度度量。
控制器145可以预先配置有置信度阈值，并且/或者可以从控制器相关联装置的输入部件、从远程控制装置170和/或从机器105的输入部件接收置信度阈值。
59.作为关于置信度度量的实例，控制器145可确定无法充分确定对应于所述部分的从机器105到(环境的)区域的距离。控制器145可确定(与所述部分的深度信息相关联的)置信度度量不满足置信度阈值。因此，控制器145可以使图像数据的对应于所述部分的部分不透明。在一些实施方案中，在置信度度量正在减小的部分中，覆盖物可能变得越来越透明。
60.在一些实施方案中，控制器145可以确定与对应于多个范围的不同区域的不同部分相关联的升高。例如，控制器145可确定第一区域的第一部分相对于与机器105相关联的平面的第一升高，确定第一区域的第二部分相对于所述平面的第二升高，等等。第一部分可对应于一个或多个第一像素，第二部分对应于一个或多个第二像素等。所述平面可以是平行于地面的平面。控制器145可以逐像素地确定升高。在一些实例中，控制器145可以基于与视差图中的第一部分相关联的深度信息，并且基于立体摄像头160相对于平面的高度(例如，立体摄像头160相对于平面的升高)和/或立体摄像头160的角度来确定(第一区域的)第一部分的第一升高。
61.例如，控制器145可以(例如，基于视差图中第一部分的位置)确定从机器105到第一部分的距离。控制器145可以基于识别立体摄像头160的高度的摄像头高度信息确定立体摄像头160的高度。控制器145可以预配置有摄像头高度信息(例如，摄像头高度信息可以存储在一个或多个存储器220中)，可以从控制器相关联装置的输入部件接收摄像头高度信息，可以从远程控制装置170接收摄像头高度信息，和/或可以从机器105的输入部件接收摄像头高度信息。控制器145可以基于识别立体摄像头160的角度的摄像头角度信息确定立体摄像头160的角度。控制器145可以与上文关于摄像头高度信息描述的方式类似的方式获得摄像头角度信息。
62.控制器145可以使用一种或多种图像处理技术基于(从机器105到第一部分的)距离与立体摄像头160的高度(例如，立体摄像头160相对于平面的升高)和/或立体摄像头160的角度之间的相关性来确定(第一部分相对于平面的)第一升高。在一些情况下，控制器145可以基于(从机器105到第一部分的)距离和立体摄像头160的高度的数学组合来确定第一升高。控制器145可以类似的方式确定(第一区域的)第二部分的第二升高、第二区域的不同部分的升高等。
63.在一些实例中，控制器145可以使用数字升高模型来处理图像，以便确定与对应于多个范围的不同区域相关联的升高的差异。附加地或替代地，控制器145可以使用数字表面模型来处理图像，以便确定与不同区域相关联的升高的差异。
64.控制器145可以确定指示与不同部分相关联的升高的图形信息。例如，控制器145可以确定指示第一区域的第一部分的第一升高的第一图形信息，指示第一区域的第二部分的第二升高的第二图形信息等。控制器145可以类似方式确定第二区域的不同部分的升高。控制器145可以预配置有指示升高的图形信息。例如，一个或多个存储器220可以包括数据结构，该数据结构存储与识别第一升高的信息相关联的第一图形信息，存储与识别第二升高的信息相关联的第二图形信息，等等。
65.第一图形信息可包括第一颜色、第一图形图案或第一图形设计中的一者或多者。第二图形信息可包括第二颜色、第二图形图案或第二图形设计中的一者或多者。在一些实
例中，当第二升高与第一升高相同时，第二图形信息可以与第一图形信息相同。替代性地，当第二升高与第一升高不同时，第二图形信息可以不同于第一图形信息。例如，第二颜色可以不同于第一颜色，第二图形图案可以不同于第一图形图案，或者第二图形设计可以不同于第一图形设计。识别第一升高的信息可包括第一升高范围、地面的第一坡度、地面的第一坡度范围，等等。识别第二高度的信息可包括第二升高范围、地面的第二坡度、地面的第二坡度范围，等等。
66.作为控制器145预配置有指示升高的图形信息的补充或替代，控制器145可以从控制器相关联装置的输入部件、从远程控制装置170和/或从机器105的输入部件接收图形信息。控制器145可以基于(存储在数据结构中或由控制器145接收的)指示升高的图形信息来修改图像数据的与升高相关联的部分。例如，控制器145可以基于图形信息修改覆盖物(被生成以指示视差图上的多个距离范围)。例如，控制器145可以修改与第一部分相关联的一个或多个第一像素以反映第一图形信息，修改与第二部分相关联的一个或多个第二像素以反映第二图形信息等。控制器145可以类似方式修改与第二区域的不同部分相关联的像素。
67.在一些实施方案中，(将与视频馈送一起提供的)覆盖物的各个方面可以由控制器145基于不同因素进行配置。例如，覆盖物的数量、覆盖物的透明度度量、识别覆盖物的颜色的颜色信息和/或识别覆盖物的宽度的宽度信息可以由控制器145基于不同因素进行配置。
68.作为实例，控制器145可以基于识别机器105的类型的信息来确定机器105的类型。在一些情况下，控制器145可以从控制器相关联装置的输入部件、从远程控制装置170和/或从机器105的输入部件接收类型信息。基于机器105的类型，控制器145可确定覆盖物信息，该覆盖物信息包括识别待在视频馈送中指示的距离范围(与机器105的类型相关联)、识别将针对机器105的类型(与视频馈送一起)提供的覆盖物的数量的信息，和/或识别覆盖物的视觉特征的信息。
69.作为实例，(控制器145的)一个或多个存储器220可以包括数据结构，该数据结构存储与对应的覆盖物信息相关联的不同类型的机器的类型信息(例如，与第一覆盖物信息相关联的第一类型信息、与第二覆盖物信息相关联的第二类型信息等)。在这方面，控制器145可以使用(识别机器105的类型的)类型信息执行数据结构的查找，以识别与类型信息相关联的覆盖物信息。控制器145可以基于与机器105的类型相关联的覆盖物信息来生成覆盖物。例如，覆盖物可以指示由覆盖物信息识别的距离范围，(由控制器145生成的)覆盖物的数量可以对应于由覆盖物信息识别的覆盖物的数量，并且覆盖物的视觉特征可以对应于由视觉特征信息识别的视觉特征。
70.作为基于机器105的类型确定覆盖物信息的补充或替代，控制器145可以基于与机器105相关联的任务(例如，正在执行或将由机器105执行的任务)确定覆盖物信息。控制器145可以基于识别与机器105相关联的任务的任务信息来确定与机器105相关联的任务，并且可以与上述方式类似的方式使用任务信息来确定与任务相关联的覆盖物信息。控制器145可以与上述方式类似的方式基于与和机器105相关联的任务相关联的覆盖物信息生成覆盖物。
71.继续关于配置覆盖物的各个方面，控制器145可以从远程控制装置170接收识别覆盖物的视觉特征的视觉特征信息。视觉特征信息可包括识别覆盖物的透明度度量的透明信息、识别覆盖物(及其伴随边界)的颜色的颜色信息、识别覆盖物的宽度的宽度信息，和/或
识别覆盖物之间的间距的间距信息。基于视觉特征信息，控制器145可以调整覆盖物的透明度度量，调整覆盖物的颜色，调整覆盖物的边界，和/或调整覆盖物的宽度。
72.继续关于配置覆盖物的各个方面，控制器145可以从远程控制装置170接收识别将与视频馈送一起提供的覆盖物的数量的信息。控制器145可以基于识别覆盖物的数量的信息来生成覆盖物。例如，由控制器145生成的覆盖物的数量可以基于识别覆盖物的数量的信息。控制器145还可以从远程控制装置170接收识别距机器105的特定距离(例如，最远距离)的信息，以用于特定覆盖物。控制器145可以基于识别特定距离的信息生成特定覆盖物。例如，可以在地面的特定区域处提供对应于特定距离的特定覆盖物。
73.作为生成指示距离范围和升高范围的覆盖物的补充或替代，控制器145可以生成指示在平行于地面的平面中从机器105到机器作业工具140的距离的覆盖物。就此而言，控制器145可确定机器作业工具140相对于机器105(例如，相对于机身115)的第一位置。作为实例，控制器145可以(例如，从一个或多个imu 150)获得工具位置数据，并且可以基于工具位置数据确定机器作业工具140相对于与机器105相关联的坐标系的坐标(例如，相对于机器105的摆动轴线的坐标)。控制器145可以基于机器作业工具140的坐标确定第一位置。
74.作为另一实例，控制器145可以从立体摄像头160获得包括机器作业工具140的图像。控制器145可以与上述方式类似的方式基于图像确定机器作业工具140的工具深度信息(例如，机器作业工具140相对于立体摄像头160的深度)。立体摄像头160可以(例如，从控制器相关联装置的输入部件、从远程控制装置170和/或从机器105的输入部件)获得识别机器105上的立体摄像头160的位置的位置信息。控制器145可以基于机器作业工具140的工具深度信息并且基于位置信息来确定机器作业工具140的第一位置。例如，控制器145基于机器作业工具140相对于立体摄像头160的深度与机器105上的立体摄像头160的位置之间的相关性来确定第一位置。
75.控制器145可以基于第一位置确定当机器作业工具140从其当前地面上位置降低到地面时机器作业工具140将接合地面的地面上的估计的第一地面接合位置。例如，控制器145可以分析视差图以确定地面上的对应于第一位置的位置(例如，估计的第一地面接合位置)。例如，控制器145可以基于摆动轴线的坐标和第一位置的坐标来确定从机器105到第一位置的距离(例如，确定第一位置的纵向坐标与摆动轴线的纵向坐标之间的差)。从机器105到第一位置的距离可以对应于(在平行于地面的平面中)从机器105到机器作业工具140的距离。控制器145可以(例如，使用一种或多种计算机视觉技术)分析视差图以确定位于距机器105的与从机器105到第一位置的距离对应的距离处的地面上的点。控制器145可以将此点确定为估计的第一地面接合位置。
76.控制器145可以在地面上基于从机器105到估计的第一地面接合位置的距离(如上所述)生成覆盖物。从机器105到估计的第一地面接合位置的距离可对应于(在平行于地面的平面中)从机器105到机器作业工具140的距离。因此，控制器145可以生成覆盖物以指示在平行于地面的平面中从机器105到机器作业工具140的距离。
77.覆盖物可包括机器作业工具140的图形表示。例如，覆盖物的形状可以对应于机器作业工具140的形状。例如，覆盖物的形状可以是矩形形状、正方形形状、梯形形状、遵循机器作业工具140的形状的轮廓线的形状，等等。图形表示的宽度可以基于机器作业工具140的宽度。覆盖物可以是相对于机器105的行进方向竖直的半透明带。在一些情况下，覆盖物
可以模拟机器作业工具140的阴影(例如，模拟真实阴影，如同光源在机器作业工具140正上方闪烁一样)。
78.在生成覆盖物之后，控制器145可以检测机器作业工具140从第一位置到第二位置的移动(例如，由于动臂130和/或斗杆135相对于其当前位置伸长或缩回)。例如，控制器145可以(例如，从一个或多个imu 150、从远程控制装置170和/或从控制器相关联装置)接收指示机器作业工具140的移动的信息。基于接收到指示机器作业工具140的移动的信息，控制器145可以与上文关于确定第一位置描述的方式类似的方式确定机器作业工具140的第二位置。控制器145可基于第二位置(以与上文关于确定估计的第一地面接合位置描述的方式类似的方式)确定当机器作业工具140从其当前地面上位置降低到地面时机器作业工具140将接合地面的地面上的估计的第二地面接合位置。控制器145可以基于从作业车辆到估计的第二地面接合位置的距离调整覆盖物。覆盖物在被调整之后可以指示基于机器作业工具140的移动的从机器105到机器作业工具140的距离的变化。在一些实施方案中，控制器145可以基于来自机器105的一个或多个传感器装置的数据来确定机器作业工具140(例如，相对于与机器105相关联的平面)的高度。例如，控制器145可以基于来自一个或多个imu 150的工具位置数据来确定机器作业工具140的高度。控制器145可以确定指示机器作业工具140的高度的图形信息，并且基于图形信息以与上文关于不同升高的图形信息描述的方式类似的方式修改覆盖物。
79.作为生成指示从机器105到机器作业工具140的距离的覆盖物的补充或替代，控制器145可以生成覆盖物，所述覆盖物指示当机器105的机身115在机器作业工具140处于特定位置(例如，第一位置、第二位置等)时旋转时机器作业工具140的摆动路径。控制器145可以与上述方式类似的方式确定机器作业工具140的特定位置。当机器作业工具140处于特定位置时，控制器145可以与上述方式类似的方式确定在平行于地面的平面中从机器105到机器作业工具140的距离(例如，距机器105的摆动轴线的距离)。控制器145可以生成覆盖物以指示与从机器105到机器作业工具140的距离相关联的(例如，与距摆动轴线的距离相关联的)(例如，立体摄像头160的摄像头视图中的)摆动路径。控制器145可以在机器作业工具140移动到不同位置时调整摆动路径。
80.作为生成指示机器作业工具140的摆动路径的覆盖物的补充或替代，控制器145可以生成覆盖物以指示当机器105位于倾斜表面上时的不同升高。例如，控制器145可以从(例如，位于机身115上的)一个或多个imu 150接收机器位置数据。控制器145可以基于机器位置数据确定机器105位于倾斜表面上。控制器145可以基于确定机器105位于倾斜表面上来确定相对于重力方向的水平面。例如，控制器145可以基于分析视差图并基于机器位置数据来确定水平面。水平面可以是参考平面。控制器145还可以分析视差图以识别水平面下方的(地面的)第三区域和水平面上方的(地面的)第四区域。
81.控制器145可以与上文关于确定不同升高描述的方式类似的方式确定第三区域相对于水平面的升高和第四区域相对于水平面的升高。控制器145可以与上述方式类似的方式确定区域的图形信息。例如，控制器145可以确定指示第三区域相对于水平面的升高的第三图形信息，指示第四区域相对于水平面的升高的第四图形信息，以及指示第五区域在与机器105相关联的平面(例如，机器105位于的平面)上的第五区域的第五图形信息。控制器145可以提供指示第三区域相对于水平面的升高的覆盖物(具有第三图形信息)，指示第四
区域相对于水平面的升高的另一覆盖物(具有第四图形信息)等。当参考平面是平行于倾斜表面的平面时，控制器145可以执行类似动作。
82.控制器145可以提供覆盖物(上文所述)以供远程控制装置170的显示器显示。例如，控制器145可以基于从立体摄像头160接收的数据(实时或近实时地)提供环境的视频馈送。视频馈送可包括具有一个或多个覆盖物的(视差图的)图像数据，如下文结合图3-7所述。覆盖物可以提供在地面上以促进机器105在地面上的操作。例如，覆盖物可以促进机器105在地面上的远程控制操作。
83.在一些情况下，视频馈送可包括关于基于覆盖物的机器105的操作的建议(例如，移动到避免可能障碍物的方向的建议，调整机器105的器具的建议，等等)。在一些实例中，控制器145可以从远程控制装置170接收显示信息，该显示信息指示是否将提供覆盖物以与视频馈送一起显示。当显示信息指示将提供覆盖物以与视频馈送一起显示时，控制器145可以提供覆盖物以与视频馈送一起显示。当显示信息指示将从视频馈送移除一个或多个覆盖物时，控制器145可以从视频馈送移除一个或多个覆盖物。
84.为了自主控制机器105，控制器145可以使用深度信息、关于升高的信息和/或(例如，指示机器105位于倾斜表面上的)机器位置数据来生成信号并将信号提供给机器105的不同部件，以用于自主控制机器105的操作(例如，独立于操作员控制机器105的操作)的目的。例如，基于深度信息、关于升高的信息和/或机器位置数据，控制器145可生成信号以自主控制机器105的速度、机器105的加速度、机器105的行进方向、机器105的一个或多个器具的移动和/或位置等等。
85.图2中所示装置的数量和布置作为实例提供。在实践中，可能存在比图2中所示的更多装置、更少装置、不同装置或不同布置的装置。此外，图2中所示的两个或更多个装置可以在单个装置内实施，或者图2中所示的单个装置可以实施为多个分布式装置。附加地或替代地，系统200的一组装置(例如，一个或多个装置)可执行描述为由系统200的另一组装置执行的一个或多个功能。
86.图3是本文描述的示例性实施方案300的图。如图3中所示，示例性实施方案300可包括在远程控制装置170的显示器上提供的信息。例如，远程控制装置170的显示器可以实时或接近实时地显示包括机器105位于的地面的环境的视频馈送。视频馈送可以基于由立体摄像头160获得的图像数据生成。如图3中所示，视频馈送包括看起来放置在地面上方的覆盖物310、覆盖物320和覆盖物330。覆盖物310、覆盖物320和覆盖物330可以与上文关于生成覆盖物描述的方式类似的方式生成。
87.覆盖物310可以指示距机器105的第一距离范围。覆盖物320可以指示距机器105的第二距离范围。覆盖物330可以指示距机器105的第三距离范围。覆盖物310与覆盖物320之间的距离可以与覆盖物320与覆盖物330之间的距离相同。如图3中所示，覆盖物310、覆盖物320和覆盖物330的形状可以指示与覆盖物310、覆盖物320和覆盖物330相关联的地面的区域的地形。例如，如图3中所示，覆盖物330可以指示在与覆盖物330相关联的地面的区域中看起来是土堆的东西。
88.如上所述，提供图3作为实例。其它实例可能与结合图3描述的不同。
89.图4是本文描述的示例性实施方案400的图。如图4中所示，示例性实施方案400可包括在远程控制装置170的显示器上提供的信息，如上文结合图3描述的。如图4中所示，视
频馈送包括看起来放置在地面上方的覆盖物410、覆盖物420和覆盖物430。覆盖物410、覆盖物420和覆盖物430可以与上文关于生成覆盖物描述的方式类似的方式生成。
90.覆盖物410可以指示相对于与机器105相关联的平面的第一升高。覆盖物420可以指示相对于该平面的第二升高。覆盖物430可以指示相对于该平面的第三升高。如图4中所示，可以为覆盖物410提供指示第一升高的第一图形信息，可以为覆盖物420提供指示第二升高的第二图形信息(不同于第一图形信息)，并且可以为覆盖物430提供指示第三升高的第三图形信息(不同于第一图形信息和第二图形信息)。换句话说，覆盖物410、覆盖物420和覆盖物430可以提供不同的视觉特征以指示不同的升高。覆盖物410与覆盖物420之间的距离可以与覆盖物420与覆盖物430之间的距离相同。
91.如上所述，提供图4作为实例。其它实例可能与结合图4描述的不同。
92.图5是本文描述的示例性实施方案500的图。如图5中所示，示例性实施方案500可包括可以在远程控制装置170的显示器上提供的覆盖物的实例。如图5中所示，示例性覆盖物包括覆盖物510、覆盖物520和覆盖物530。覆盖物510、覆盖物520和覆盖物530可以放置在地面上方，如上文结合图3和图4解释的。覆盖物510、覆盖物520和覆盖物530可以与上文关于生成覆盖物描述的方式类似的方式生成。
93.覆盖物510可以指示在平行于地面的平面中从机器105到机器作业工具140的距离。可基于机器作业工具140到不同位置的移动(例如，由于动臂130和/或斗杆135相对于其当前位置伸长或缩回)而动态地调整覆盖物510。
94.当机器105的机身115在机器作业工具140处于特定位置时旋转时，覆盖物520可以指示机器作业工具140的摆动路径。可以基于机器作业工具140到不同位置的移动来动态地调整覆盖物520。当动臂130和斗杆135完全伸长时，覆盖物530可以指示机器作业工具140的摆动路径。
95.如上所述，提供图5作为实例。其它实例可能与结合图5描述的不同。
96.图6是本文描述的示例性实施方案600的图。如图6中所示，示例性实施方案600可包括在远程控制装置170的显示器上提供的信息，如上文结合图3描述的。如图6中所示，视频馈送包括看起来放置在地面上方的覆盖物420、覆盖物430、覆盖物510和覆盖物520。上文已结合图4和图5描述了覆盖物420、覆盖物430、覆盖物510和覆盖物520。
97.如上所述，提供图6作为实例。其它实例可能与结合图6描述的不同。
98.图7是与提供用于感知深度的视觉覆盖物有关的示例性过程700的流程图。图7的一个或多个过程框可以由装置(例如，控制器145)执行。如上文解释的，所述装置可以位于机器105上，远程控制装置170上，或与机器105和远程控制装置170分开。图7的一个或多个过程框可以由另一装置或与所述装置分开或包括所述装置的一组装置，例如，立体摄像头(例如，立体摄像头160)、远程控制装置(例如，远程控制装置170)和/或一个或多个imu(例如，一个或多个imu 150)执行。
99.如图7中所示，过程700可包括基于包括地面的环境的图像数据，确定指示从车辆到地面的不同区域的距离的深度信息(框710)。例如，如上文所述，所述装置可以基于包括地面的环境的图像数据确定指示从车辆到地面的不同区域的距离的深度信息。
100.如图7中还示出的，过程700可包括基于深度信息生成指示距车辆的第一距离范围的第一覆盖物和指示距车辆的第二距离范围的第二覆盖物，第一距离范围与地面的第一区
域相关联，并且第二距离范围与地面的第二区域相关联(框720)。例如，如上文所描述，所述装置可以基于深度信息生成指示距车辆的第一距离范围的第一覆盖物和指示距车辆的第二距离范围的第二覆盖物，第一距离范围与地面的第一区域相关联，并且第二距离范围与地面的第二区域相关联。
101.生成第一覆盖物和第二覆盖物包括生成第一半透明带，所述第一半透明带具有视觉上区分视频馈送中的第一半透明带与地面的轮廓线，以及生成第二半透明带，所述第二半透明带具有视觉上区分视频馈送中的第二半透明带与地面的轮廓线。
102.过程700包括确定与车辆相关联的任务，基于与车辆相关联的任务确定覆盖物信息，该覆盖物信息包括第一距离范围、第二距离范围或将与视频馈送一起提供的覆盖物的数量中的至少一者，并且其中生成第一覆盖物和第二覆盖物包括基于覆盖物信息生成第一覆盖物和第二覆盖物。
103.过程700包括确定与车辆相关联的类型，基于与车辆相关联的类型确定覆盖物信息，该覆盖物信息包括第一距离范围、第二距离范围或将与视频馈送一起提供的覆盖物的数量中的至少一者，并且其中生成第一覆盖物和第二覆盖物包括基于覆盖物信息生成第一覆盖物和第二覆盖物。
104.过程700包括从远程控制装置接收识别将与视频馈送一起提供的覆盖物的数量的信息，其中生成第一覆盖物和第二覆盖物包括基于识别覆盖物的数量的信息生成第一覆盖物和第二覆盖物，并且其中提供视频馈送包括基于识别覆盖物的数量的信息而提供第一覆盖物和第二覆盖物以与视频馈送一起显示。
105.如图7中还示出的，过程700可包括在车辆的使用远程控制装置的远程控制操作期间，将包括图像数据的视频馈送与地面上的第一覆盖物和第二覆盖物一起提供到远程控制装置以供显示，所述第一覆盖物和所述第二覆盖物提供关于第一区域和第二区域的深度感知(框730)。例如，如上文所述，所述装置可以在车辆的使用远程控制装置的远程控制操作期间，将包括图像数据的视频馈送与地面上的第一覆盖物和第二覆盖物一起提供到远程控制装置以供显示，第一覆盖物和第二覆盖物提供关于第一区域和第二区域的深度感知。
106.第一覆盖物包括与视频馈送一起在地面上提供的带。所述方法还包括：从远程控制装置接收识别带的视觉特征的视觉特征信息，所述视觉特征信息包括识别带的透明度度量的透明度信息、识别带的颜色的颜色信息，或识别带的宽度的宽度信息中的至少一者；以及基于视觉特征信息调整带的透明度度量、带的颜色或带的宽度中的至少一者，其中第二覆盖物具有与第一覆盖物不同的视觉特征。
107.过程700包括从远程控制装置接收显示信息，该显示信息指示是否将提供第一覆盖物和第二覆盖物以与视频馈送一起显示，其中，提供视频馈送以供显示包括当显示信息指示将提供第一覆盖物和第二覆盖物以与视频馈送一起显示时提供第一覆盖物和第二覆盖物以与视频馈送一起显示，并且其中所述方法还包括当显示信息指示将从视频馈送移除第一覆盖物和第二覆盖物时从视频馈送移除第一覆盖物和第二覆盖物。
108.尽管图7示出了过程700的示例性框，但与图7中描绘的那些框相比，过程700可以包括额外的框、更少的框、不同的框或不同布置的框。附加地或替代地，可以并行地执行过程700的框中的两个或更多个框。
109.图8是与提供用于感知深度的视觉覆盖物有关的示例性过程800的流程图。图8的
一个或多个过程框可以由控制器(例如，控制器145)执行。如上文解释的，控制器可位于机器105上、远程控制装置170上，或与机器105和远程控制装置170分开。图8的一个或多个过程框可以由另一装置或与所述控制器分开或包括所述控制器的一组装置，例如，立体摄像头(例如，立体摄像头160)、远程控制装置(例如，远程控制装置170)和/或一个或多个imu(例如，一个或多个imu 150)执行。
110.如图8中所示，过程800可包括确定铲斗相对于作业车辆的第一位置，所述铲斗升高到地面上方(框810)。例如，如上所述，控制器可以确定铲斗相对于作业车辆的第一位置，所述铲斗升高到地面上方。
111.如图8中还示出的，过程800可包括基于第一位置确定当铲斗降低到地面时铲斗将接合地面的地面上的估计的第一地面接合位置(框820)。例如，如上所述，控制器可以基于第一位置确定当铲斗从其当前地面上位置降低到地面时铲斗将接合地面的地面上的估计的第一地面接合位置。
112.如图8中还示出的，过程800可包括在地面上基于从作业车辆到估计的第一地面接合位置的第一距离生成覆盖物(框830)。例如，如上所述，控制器可以在地面上基于从作业车辆到估计的第一地面接合位置的第一距离生成覆盖物。
113.如图8中还示出的，过程800可包括提供覆盖物以与和图像数据相关联的视频馈送一起显示，所述覆盖物指示在平行于地面的平面中从作业车辆到铲斗的距离(框840)。例如，如上文所描述，控制器可以提供覆盖物以与和图像数据相关联的视频馈送一起显示，所述覆盖物指示在平行于地面的平面中从作业车辆到铲斗的距离。
114.覆盖物可包括铲斗的图形表示。图形表示的宽度可以基于铲斗的宽度。
115.如图8中还示出的，过程800可包括检测铲斗从第一位置到第二位置的移动(框850)。例如，如上所述，控制器可以检测铲斗从第一位置到第二位置的移动。
116.如图8中还示出的，过程800可包括基于第二位置确定当铲斗降低到地面时铲斗将接合地面的地面上的估计的第二地面接合位置(框860)。例如，如上所述，控制器可以基于第二位置确定当铲斗从其当前地面上位置降低到地面时铲斗将接合地面的地面上的估计第二地面接合位置。
117.如图8中还示出的，过程800可包括基于从作业车辆到估计的第二地面接合位置的第二距离调整提供的用于显示的覆盖物，在调整覆盖物之后，覆盖物指示基于铲斗的移动的从作业车辆到铲斗的距离的变化(框970)。例如，如上所述，控制器可以基于从作业车辆到估计的第二地面接合位置的第二距离来调整提供的用于显示的覆盖物，在调整覆盖物之后，覆盖物指示基于铲斗的移动的从作业车辆到铲斗的距离的变化。
118.覆盖物可包括第一覆盖物。控制器还可以被配置成：基于图像数据确定指示从作业车辆到地面的不同区域的距离的深度信息；基于深度信息生成指示从作业车辆到地面的第一区域的第一距离范围的第二覆盖物和指示从作业车辆到地面的第二区域的第一距离范围的第三覆盖物；并且提供第二覆盖物和第三覆盖物以与视频馈送一起显示。
119.覆盖物可以是第一覆盖物。控制器还可以被配置成：当作业车辆的机身在铲斗处于第一位置时旋转时生成指示铲斗的摆动路径的第二覆盖物；并且提供第二覆盖物与第一覆盖物以与视频馈送一起显示，其中与视频馈送一起在地面上提供第二覆盖物以在立体摄像头的摄像头视图中指示摆动路径。
120.第二覆盖物的宽度可以基于铲斗的大小。
121.尽管图8示出了过程800的示例性框，但与图8中描绘的那些框相比，过程800可以包括额外的框、更少的框、不同的框或不同布置的框。附加地或替代地，可以并行地执行过程800的框中的两个或更多个框。
122.工业适用性
123.本公开涉及与包括机器位于的地面的环境的视频馈送一起提供的覆盖物(例如，带)。覆盖物可以提供关于地面的不同区域的深度的指示和/或提供地面的不同区域的一个或多个其它特征(例如升高)的指示。所公开的覆盖物可以防止与在不在视线内的远程控制操作期间使用的典型摄像头系统相关联的问题。
124.此类摄像头系统提供2d图像。2d图像未提供足够的信息以使得远程控制操作员能够很好地了解机器周围的地形，并且未提供关于与地形相关联的深度的信息。因此，依靠典型的摄像头系统来(在机器不在视线内的情况下)操作机器可能消耗计算资源、网络资源以及与机器的低效操作相关联、与修理机器相关联、与补救由机器错误地执行的任务相关联等等的其它资源。
125.本公开的覆盖物与环境的视频馈送一起提供，以使得远程控制操作员能够很好地了解机器周围的地形，并且提供关于与地形相关联的深度的信息。通过与视频馈送一起提供覆盖物，本公开可以(例如，通过避免不得不重新执行错误执行的任务，通过高效地使用机器的部件，等等)实现机器的高效操作，可以防止对机器的损坏，可以使机器正确地执行任务，等等。因此，通过与视频馈送一起提供覆盖物，本公开可以节约计算资源、网络资源以及原本由低效地操作机器、修理机器、补救由机器错误地执行的任务等等而消耗的其它资源。