利用平面单应性和自监督的场景结构理解进行对象检测的制作方法

技术特征：
1.一种系统，包括：一个或更多个处理器；以及存储器，其存储指令，作为由所述一个或更多个处理器执行所述指令的结果，使所述系统：捕获第一图像和第二图像，所述第一图像在第一时间从场景的第一位置捕获，所述第二图像在第二时间从所述场景的第二位置捕获；基于所述第一图像和所述第二图像使用神经网络生成场景结构图，所述场景结构图表示与所述场景中的一个或更多个表面相对应的平面单应性估计；以及至少部分地基于所述场景结构图的值集合检测所述场景中的对象。2.根据权利要求1所述的系统，其中所述存储器还包括指令，作为由所述一个或更多个处理器执行所述指令的结果，使所述系统：确定所述平面单应性估计，以至少部分地基于从所述第一图像和所述第二图像中提取的关键点集合将所述第一图像向所述第二图像扭曲；以及至少部分地基于所述平面单应性估计，至少通过将所述第一图像向所述第二图像扭曲生成第一经扭曲的图像。3.根据权利要求2所述的系统，其中所述存储器还包括指令，作为由所述一个或更多个处理器执行所述指令的结果，使所述系统：至少部分地基于所述第一经扭曲的图像和所述场景结构图确定残余光流，其中所述残余光流用于至少通过对所述场景结构图的值子集合到所述第二图像中的相应像素的变换进行建模，将所述第一经扭曲的图像变换成所述第二图像；以及至少部分地基于所述第一经扭曲的图像、所述场景结构图和所述残余光流生成第二经扭曲的图像。4.根据权利要求3所述的系统，其中所述存储器还包括指令，作为由所述一个或更多个处理器执行所述指令的结果，使所述系统执行：确定所述第二经扭曲的图像和所述第二图像之间的光度差；以及至少部分地基于所述光度差修改所述神经网络的参数。5.根据权利要求1所述的系统，其中所述第一图像和所述第二图像从单个相机捕获。6.根据权利要求1所述的系统，其中所述一个或更多个表面中的至少一个表面是路面。7.根据权利要求1所述的系统，其中使所述系统检测所述场景中的对象的指令还包括指令，作为由所述一个或更多个处理器执行所述指令的结果，使所述系统：对所述第一图像和所述第二图像的像素位置执行连接成分分析，所述所述像素位置对应于与所述场景结构图内的值集合中的为非零值的值子集合相关联的像素位置。8.根据权利要求1所述的系统，其中所述一个或更多个表面中的至少一个表面是平面。9.一种计算机实现的方法，包括：至少通过以下步骤训练深度神经网络(dnn)：获取在第一时间间隔期间捕获的第一图像和在第二时间间隔期间捕获的第二图像；至少通过至少部分地基于平面单应性将所述第一图像向所述第二图像扭曲来生成第一经扭曲的图像；至少部分地基于所述第一经扭曲的图像和场景结构图确定残余光流，所述场景结构图
至少通过将所述第一图像和所述第二图像作为输入提供给所述dnn来生成，其中所述场景结构图包括针对所述第一图像和所述第二图像中的特定像素的高度和深度比；至少部分地基于所述第一经扭曲的图像和所述残余光流生成第二经扭曲的图像；计算所述第一图像和所述第二经扭曲的图像之间的光度损失；以及至少部分地基于所述光度损失修改所述dnn的参数。10.根据权利要求9所述的计算机实现的方法，其中所述方法还包括：获取在第三时间间隔期间捕获的第三图像和在第四时间间隔期间捕获的第四图像；至少通过将所述第三图像和所述第四图像作为输入提供给所述dnn来生成第二场景结构图；以及至少部分地基于与在所述第二场景结构图中表示的像素集合相关联的非零值集合，确定所述第二场景结构图中的障碍物。11.根据权利要求10所述的计算机实现的方法，其中所述方法还包括：至少通过至少部分地基于匹配特征集合确定所述第一图像和所述第二图像中的关键点集合，来确定所述平面单应性，所述匹配特征集合至少通过在所述第一图像和所述第二图像之间执行特征匹配而获得。12.根据权利要求10所述的计算机实现的方法，其中所述第二场景结构图指示在与路面的一部分相对应的表面平面上方的高度。13.根据权利要求9所述的计算机实现的方法，其中连续捕获所述第一图像和所述第二图像。14.根据权利要求9所述的计算机实现的方法，其中从单个单目相机捕获所述第一图像和所述第二图像。15.一种检测障碍物的方法，包括使用根据权利要求9所述的方法训练的神经网络检测所述障碍物。16.一种自动驾驶车辆，包括使用权利要求9所述的系统训练的神经网络来检测障碍物的系统。17.一种系统，包括：一个或更多个处理器；以及存储器，其存储指令，作为由所述一个或更多个处理器执行所述指令的结果，使所述系统：获取场景的第一图像和所述场景的第二图像，所述第一图像和所述第二图像从不同的位置捕获；至少通过至少部分地基于从所述第一图像和所述第二图像获取的特征集合将所述第一图像向所述第二图像变换，来生成经变换的第一图像；基于所述第一图像和所述第二图像，使用神经网络生成将高度和深度比与所述场景中的相应位置相关联的图；使用残余光流将所述经变换的第一图像进一步向所述第二图像变换，以生成进一步变换的图像；以及基于所述进一步变换的图像和所述第二图像之间的差异的测量结果，更新所述神经网络。
18.根据权利要求17所述的系统，其中所述第一图像和所述第二图像是由相机在一时间间隔内捕获的非连续图像。19.根据权利要求18所述的系统，其中所述相机安装在车辆中朝前。20.根据权利要求19所述的系统，其中所述存储器还包括指令，作为由所述一个或更多个处理器执行所述指令的结果，使所述系统：至少部分地基于与所述车辆相关联的速度，修改图像集合的采样速率，其中所述第一图像和所述第二图像是所述图像集合中的成员。21.根据权利要求19所述的系统，其中所述存储器还包括指令，作为由所述一个或更多个处理器执行所述指令的结果，使所述系统：至少部分地基于与所述车辆相关联的方向盘角度修改图像集合的采样速率，其中所述第一图像和所述第二图像是所述图像集合中的成员。22.根据权利要求17所述的系统，其中使所述系统生成所述经变换的第一图像的所述指令还包括指令，作为由所述一个或更多个处理器执行所述指令的结果，使所述系统：至少部分地基于从所述第一图像的第一区域获取的特征集合的第一特征子集合和从所述第二图像的第二区域获取的特征集合的第二特征子集合，估计单应性变换。23.根据权利要求17所述的系统，其中所述存储器还包括指令，所述指令使所述系统至少通过将所述第一图像和所述第二图像作为输入提供给基于共识的算法来提取所述特征集合。24.根据权利要求17所述的系统，所述图还包括值集合，其中所述值集合中的第一值包括所述第一图像中的像素位置的高度和深度比。

技术总结
本发明公开了利用平面单应性和自监督的场景结构理解进行对象检测。在各种示例中，单个相机用于从不同位置捕获场景的两个图像。经训练的神经网络，其将两个图像作为输入，输出场景结构图，该场景结构图指示与图像相关联的像素位置的高度和深度值之比。该比可以指示在场景内的表面(例如，路面)上方存在对象。然后可以对场景结构图中的非零值或区域执行对象检测。检测。检测。


技术研发人员：安乐 郑语德 O
受保护的技术使用者：辉达公司
技术研发日：2021.05.06
技术公布日：2021/11/4