基于对象底部位置的深度估计的制作方法

技术特征：
1.一种计算机实现的方法，包括：从相机接收表示环境中的对象的图像数据；基于所述图像数据来确定所述对象的底部在所述图像数据内的垂直位置；确定所述垂直位置与所述图像数据的高度之间的对象底部比率；通过距离投影模型并且基于所述对象底部比率来确定所述相机与所述对象之间的物理距离的估计，其中，所述距离投影模型为多个候选对象底部比率中的每个相应候选对象底部比率定义(i)相应候选对象底部比率与(ii)所述环境中的对应物理距离之间的映射；以及生成所述相机与所述对象之间的所述物理距离的所述估计的指示。2.根据权利要求1所述的计算机实现的方法，其中，所述映射是基于所述相机被定位在所述环境内的预定高度处的假设。3.根据权利要求2所述的计算机实现的方法，其中，当在捕捉所述图像数据时所述相机的物理高度高于所述预定高度时，所述相机与所述对象之间的所述物理距离的所述估计是低估，并且其中，当在捕捉所述图像数据时所述相机的所述物理高度低于所述预定高度时，所述相机与所述对象之间的所述物理距离的所述估计是高估。4.根据权利要求2所述的计算机实现的方法，进一步包括：通过与所述相机相关联的用户接口来接收所述预定高度的指定；以及基于所述预定高度的所述指定，通过修改所述映射以假设所述相机根据所述预定高度的所述指定来定位而配置所述距离投影模型。5.根据权利要求4所述的计算机实现的方法，其中，配置所述距离投影模型包括：基于所述预定高度的所述指定，从多个候选映射中选择所述映射，其中，所述多个候选映射中的每个相应映射与所述预定高度的对应指定相关联。6.根据权利要求4所述的计算机实现的方法，其中，所述距离投影模型包括机器学习模型，并且其中，配置所述距离投影模型包括：基于所述预定高度的所述指定来调整所述机器学习模型的至少一个输入参数。7.根据权利要求2所述的计算机实现的方法，其中，所述映射是基于所述相机的几何模型，其中，所述几何模型包括：(i)所述相机具有焦距并且被设置在所述环境内的所述预定高度处，(ii)所述相机的光轴基本上平行于所述环境的地面定向，以及(iii)多条线中的每条相应线从所述相机的图像传感器上的相应点投影到所述环境的所述地面上的对应点，并且其中，每个相应候选对象底部比率基于所述几何模型与所述环境中的所述对应物理距离相关联。8.根据权利要求1所述的计算机实现的方法，其中，所述映射包括(i)对应于所述相机的纵向定向的第一映射和(ii)对应于所述相机的横向定向的第二映射，其中，与所述第一映射相关联的每个相应候选对象底部比率是在纵向图像数据内的对应垂直位置与所述纵向图像数据的高度之间的，其中，与所述第二映射相关联的每个相应候选对象底部比率是在横向图像数据内的对应垂直位置与所述横向图像数据的高度之间的，并且其中所述方法进一步包括：基于在捕捉所述图像数据时所述相机的定向来确定所述图像数据的所述高度；以及基于在捕捉所述图像数据时所述相机的所述定向来选择所述第一映射或所述第二映
射以在确定所述相机与所述对象之间的所述物理距离的所述估计中使用。9.根据权利要求1所述的计算机实现的方法，进一步包括：从与所述相机相关联的一个或多个传感器获得指示所述相机的俯仰角的传感器数据；基于指示所述相机的所述俯仰角的所述传感器数据来确定所述对象底部比率的估计偏移，所述估计偏移考虑了由所述相机的所述俯仰角相对于零俯仰角引起的所述垂直位置的变化；以及确定所述对象底部比率与所述估计偏移之和，其中，所述距离投影模型被配置成基于所述和来确定所述相机与所述对象之间的所述物理距离的所述估计。10.根据权利要求9所述的计算机实现的方法，其中，确定所述对象底部比率的所述估计偏移包括：确定所述相机的估计焦距与所述相机的所述俯仰角的正切的乘积，其中，与所述相机的向上倾斜相关联的正俯仰角导致具有正值的估计偏移，使得所述和高于所述对象底部比率，并且其中，与所述相机的向下倾斜相关联的负俯仰角导致具有负值的估计偏移，使得所述和低于所述对象底部比率。11.根据权利要求10所述的计算机实现的方法，其中，所述估计焦距是基于以下各项中的至少一项：(i)将无限参考线从所述相机的图像传感器上的初始位置按第一屏幕比率偏移到所述图像传感器的顶部的最大俯仰角的确定，或者(ii)将所述无限参考线从所述图像传感器上的所述初始位置按第二屏幕比率偏移到所述图像传感器的底部的最小俯仰角的确定，其中，所述第一屏幕比率与所述第二屏幕比率之和等于一。12.根据权利要求1所述的计算机实现的方法，其中，所述多个候选对象底部比率的范围是从(i)零且对应于最小可测量物理距离的第一候选对象底部比率到(ii)对应于最大可测量物理距离的第二候选对象底部比率。13.根据权利要求1所述的计算机实现的方法，其中，确定所述对象的所述底部在所述图像数据内的所述垂直位置包括：通过一种或多种对象检测算法来确定所述图像数据内对应于所述对象在所述图像数据内的位置的感兴趣区域；通过一种或多种对象底部检测算法并且基于所述感兴趣区域来识别所述对象的所述底部；基于识别所述对象的所述底部来确定所述对象的所述底部与所述环境的地面接触；以及基于确定所述对象的所述底部与所述地面接触来确定所述对象的所述底部在所述图像数据内的所述垂直位置。14.根据权利要求1所述的计算机实现的方法，进一步包括：从所述相机接收表示所述环境中的附加对象的附加图像数据；基于所述附加图像数据来确定所述附加对象的底部在所述图像数据内不可见；基于确定所述附加对象的底部在所述图像数据内不可见来确定所述相机与所述附加对象之间的物理距离的附加估计是低于最小可测量物理距离的预定值；以及生成所述相机与所述附加对象之间的物理距离的所述附加估计的附加指示。15.根据权利要求1所述的计算机实现的方法，其中，生成所述相机与所述对象之间的
所述物理距离的所述估计的所述指示包括以下各项中的一项或多项:(i)在显示器上显示所述物理距离的所述估计的视觉表示，(ii)生成表示所述物理距离的所述估计的听觉话语，或者(iii)生成所述物理距离的所述估计的触觉表示。16.根据权利要求1所述的计算机实现的方法，进一步包括：接收所述相机的视场的有效部分的指派；确定所述对象的至少一部分包含在所述相机的所述视场的所述有效部分内；以及基于确定所述对象的至少所述部分包含在所述相机的所述视场的所述有效部分内来生成所述相机与所述对象之间的所述物理距离的所述估计的所述指示，其中，对于在所述相机的所述视场的所述有效部分之外的对象，省略生成所述相机与对应对象之间的物理距离的相应估计的指示。17.根据权利要求1所述的计算机实现的方法，进一步包括：接收从多个对象类别中对一个或多个对象类别的选择；确定所述对象属于所述一个或多个对象类别中的第一对象类别；以及基于确定所述对象属于所述第一对象类别来生成所述相机与所述对象之间的所述物理距离的所述估计的所述指示，其中，对于不属于所述第一对象类别的对象，省略生成所述相机与对应对象之间的物理距离的相应估计的指示。18.一种计算系统，包括：相机；处理器；以及非暂时性计算机可读存储介质，其上存储有指令，所述指令当由所述处理器执行时，使所述处理器执行操作，所述操作包括：从所述相机接收表示环境中的对象的图像数据；基于所述图像数据来确定所述对象的底部在所述图像数据内的垂直位置；确定所述垂直位置与所述图像数据的高度之间的对象底部比率；通过距离投影模型并且基于所述对象底部比率来确定所述相机与所述对象之间的物理距离的估计，其中，所述距离投影模型为多个候选对象底部比率中的每个相应候选对象底部比率定义(i)相应候选对象底部比率与(ii)所述环境中的对应物理距离之间的映射；以及生成所述相机与所述对象之间的所述物理距离的所述估计的指示。19.根据权利要求18所述的计算系统，进一步包括：一个或多个传感器，所述一个或多个传感器被配置成生成指示所述相机的俯仰角的传感器数据，其中，所述操作进一步包括：从所述一个或多个传感器获得指示所述相机的所述俯仰角的所述传感器数据；基于指示所述相机的所述俯仰角的所述传感器数据来确定所述对象底部比率的估计偏移，所述估计偏移考虑了由所述相机的所述俯仰角相对于零俯仰角引起的所述垂直位置的变化；以及确定所述对象底部比率与所述估计偏移之和，其中，所述距离投影模型被配置成基于所述和来确定所述相机与所述对象之间的所述物理距离的所述估计。20.一种非暂时性计算机可读存储介质，其上存储有指令，所述指令当由计算系统执行
时，使得所述计算系统执行操作，所述操作包括：从相机接收表示环境中的对象的图像数据；基于所述图像数据来确定所述对象的底部在所述图像数据内的垂直位置；确定所述垂直位置与所述图像数据的高度之间的对象底部比率；通过距离投影模型并且基于所述对象底部比率来确定所述相机与所述对象之间的物理距离的估计，其中，所述距离投影模型为多个候选对象底部比率中的每个相应候选对象底部比率定义(i)相应候选对象底部比率与(ii)所述环境中的对应物理距离之间的映射；以及生成所述相机与所述对象之间的所述物理距离的所述估计的指示。

技术总结
一种方法可以包括从相机接收表示环境中的对象的图像数据，以及基于图像数据来确定对象的底部在图像数据内的垂直位置。该方法还可以包括确定垂直位置与图像数据的高度之间的对象底部比率，以及通过距离投影模型并且基于对象底部比率来确定相机与对象之间的物理距离的估计。距离投影模型可以为多个候选对象底部比率中的每个相应候选对象底部比率定义(i)相应候选对象底部比率与(ii)环境中的对应物理距离之间的映射。该方法可以另外包括生成相机与对象之间的物理距离的估计的指示。机与对象之间的物理距离的估计的指示。机与对象之间的物理距离的估计的指示。


技术研发人员：谢明宏 顾世彦 雷-洪
受保护的技术使用者：谷歌有限责任公司
技术研发日：2021.05.17
技术公布日：2022/12/23