生成深度图像的方法及系统与流程

技术特征：
1.一种生成深度图像的方法，其特征在于，包括：获取数据，所述数据表示由第一传感器生成的特定场景的第一图像和由第二传感器生成的所述特定场景的第二图像，其中，所述特定场景包括一个或多个对象，所述第一图像和所述第二图像各包括多个像素；对于所述第一图像包括的所述多个像素中的每个像素，确定所述像素是否是与所述第一图像表示的且在所述特定场景中的对象的边界相关联的边界像素；对于所述第一图像包括的每个像素，从多个候选惩罚值中确定所述像素的优化惩罚值；基于多个像素的优化惩罚值为所述第一图像生成优化成本函数；以及基于所述优化成本函数为所述第一图像生成深度图像。2.根据权利要求1所述的方法，其特征在于，还包括：将所述深度图像提供给渲染引擎，所述渲染引擎配置为模糊所述第一图像中的一个或多个像素，以再现景深效果。3.根据权利要求1所述的方法，其特征在于，所述生成优化成本函数还包括：针对所述第一图像包括的所述多个像素中的每个像素，生成初始成本函数，所述初始成本函数用于基于预定视差层次集合中的视差层次处理所述像素。4.根据权利要求3所述的方法，其特征在于，所述初始成本函数包括匹配成本函数，所述匹配成本函数用于测量所述第一图像的像素与所述第二图像中的一个或多个像素之间的块匹配过程的性能，其中所述第二图像中的一个或多个像素是根据所述第一图像中的像素和所述初始成本函数的视差层次确定的。5.根据权利要求1所述的方法，其特征在于，所述确定所述像素是否是与所述第一图像表示的且在所述特定场景中的对象的边界相关联的边界像素包括：通过训练后的用于处理所述第一图像的机器学习模型生成用于指示所述像素是否是边界像素的像素预测；其中，所述训练后的机器学习模型包括编码器模块和解码器模块，所述像素预测包括所述像素与所述第一图像表示的且在所述特定场景中的对象的边界相关联的似然性。6.根据权利要求1所述的方法，其特征在于，所述确定所述像素的优化惩罚值包括：获取所述多个候选惩罚值，根据所述多个候选惩罚值中每个候选惩罚值的大小将所述多个候选惩罚值按次序排列；根据所述次序，基于所述多个候选惩罚值中的每个候选惩罚值生成多个候选成本函数；根据所述多个候选成本函数，生成所述第一图像中每个像素各自的候选成本量集合；确定所述第一图像中的每个像素的显著性值；以及对于所述第一图像中的每个像素，根据所述像素的显著性值，从所述多个候选惩罚值中选择一个候选惩罚值作为所述像素的优化惩罚值。7.根据权利要求6所述的方法，其特征在于，所述确定所述第一图像中的每个像素的显著性值包括：基于所述各自的候选成本量集合中的一个候选成本量的各自的候选成本值以及生成所述各自的候选成本值的对应视差层次，生成所述像素的波形，其中所述波形包括所述各
自的候选成本值的一个或多个最小值；以及基于所述波形中的一个或多个最小值生成所述显著性值。8.根据权利要求1所述的方法，其特征在于，为所述第一图像生成优化成本函数包括：基于所述优化惩罚值，针对所述多个像素生成所述第一图像中多个方向的各自的优化路径成本函数；以及至少基于所述各自的优化路径成本函数生成所述第一图像的所述优化成本函数。9.根据权利要求1所述的方法，其特征在于，所述为所述第一图像生成优化成本函数还包括：响应于为确定的边界像素确定优化惩罚值，增加所述第一图像中边界像素以外的其他像素共用的共同惩罚值。10.一种系统，其特征在于，包括一个或多个计算机以及一个或多个存储有指令的存储设备，当所述指令由一个或多个计算机执行时，使得所述一个或多个计算机执行各操作，所述操作包括：获取数据，所述数据表示由第一传感器生成的特定场景的第一图像和由第二传感器生成的所述特定场景的第二图像，其中，所述特定场景包括一个或多个对象，所述第一图像和所述第二图像各包括多个像素；对于所述第一图像包括的多个像素中的每个像素，确定所述像素是否是与所述第一图像表示的且在所述特定场景中的对象的边界相关联的边界像素；对于所述第一图像包括的每个像素，从多个候选惩罚值中确定所述像素的优化惩罚值；基于多个像素的优化惩罚值为所述第一图像生成优化成本函数；以及基于所述优化成本函数为所述第一图像生成深度图像。11.根据权利要求10所述的系统，其特征在于，所述操作还包括：将所述深度图像提供给渲染引擎，所述渲染引擎配置为模糊所述第一图像中的一个或多个像素，以再现景深效果。12.根据权利要求10所述的系统，其特征在于，所述确定所述像素是否是与所述第一图像表示的且在所述特定场景中的对象的边界相关联的边界像素包括：通过训练后的用于处理所述第一图像的机器学习模型生成用于指示所述像素是否是边界像素的像素预测；其中，所述训练后的机器学习模型包括编码器模块和解码器模块，所述像素预测包括所述像素与所述第一图像表示的且在所述特定场景中的对象的边界相关联的似然性。13.根据权利要求10所述的系统，其特征在于，所述确定所述像素的优化惩罚值包括：获取所述多个候选惩罚值，根据所述多个候选惩罚值中每个候选惩罚值的大小将所述多个候选惩罚值按次序排列；根据所述次序，基于所述多个候选惩罚值中的每个候选惩罚值生成多个候选成本函数；根据所述多个候选成本函数，生成所述第一图像中每个像素的各自的候选成本量集合；确定所述第一图像中的每个像素的显著性值；以及
对于所述第一图像中的每个像素，根据所述像素的显著性值，从所述多个候选惩罚值中选择一个候选惩罚值作为所述像素的优化惩罚值。14.根据权利要求10所述的系统，其特征在于，所述确定所述第一图像中的每个像素的显著性值包括：基于所述各自的候选成本量集合中的其中一个候选成本量的各自的候选成本值以及生成所述各自的候选成本值的对应视差层次，生成所述像素的波形，其中所述波形包括所述各自的候选成本值的一个或多个最小值；以及基于所述波形中的一个或多个最小值生成所述显著性值。15.一个或多个计算机可读存储介质，存储有指令，当所述指令由一个或多个计算机执行时，使得所述一个或多个计算机执行各自的操作，其特征在于，所述各自的操作包括：获取数据，所述数据表示由第一传感器生成的特定场景的第一图像和由第二传感器生成的所述特定场景的第二图像，其中，所述特定场景包括一个或多个对象，所述第一图像和所述第二图像各包括多个像素；对于所述第一图像包括的多个像素中的每个像素，确定所述像素是否是与所述第一图像表示的且在所述特定场景中的对象的边界相关联的边界像素；对于所述第一图像包括的每个像素，从多个候选惩罚值中确定所述像素的优化惩罚值；基于多个像素的优化惩罚值为所述第一图像生成优化成本函数；以及基于所述优化成本函数为所述第一图像生成深度图像。16.根据权利要求15所述的一个或多个计算机可读存储介质，其特征在于，所述操作还包括：将所述深度图像提供给渲染引擎，所述渲染引擎配置为模糊所述第一图像中的一个或多个像素，以再现景深效果。17.根据权利要求15所述的一个或多个计算机可读存储介质，其特征在于，所述确定所述像素是否是与所述第一图像表示的且在所述特定场景中的对象的边界相关联的边界像素包括：通过训练后的用于处理所述第一图像的机器学习模型生成用于指示所述像素是否是边界像素的像素预测；其中，所述训练后的机器学习模型包括编码器模块和解码器模块，所述像素预测包括所述像素与所述第一图像表示的且在所述特定场景中的对象的边界相关联的似然性。18.根据权利要求15所述的一个或多个计算机可读存储介质，其特征在于，所述确定所述像素的优化惩罚值包括：获取所述多个候选惩罚值，并根据所述多个候选惩罚值中每个候选惩罚值的大小将所述多个候选惩罚值按次序排列；根据所述次序，基于所述多个候选惩罚值中的每个候选惩罚值生成多个候选成本函数；根据所述多个候选成本函数，生成所述第一图像中每个像素的各自的候选成本量集合；确定所述第一图像中的每个像素的显著性值；以及
对于所述第一图像中的每个像素，根据所述像素的显著性值，从所述多个候选惩罚值中选择一个候选惩罚值作为所述像素的优化惩罚值。19.根据权利要求15所述的一个或多个计算机可读存储介质，其特征在于，所述确定所述第一图像中的每个像素的显著性值包括：基于所述各自的候选成本量集合中的一个候选成本量的各自的候选成本值以及生成所述各自的候选成本值的对应视差层次，生成所述像素的波形，其中所述波形包括所述各自的候选成本值的一个或多个最小值；以及基于所述波形中的一个或多个最小值生成所述显著性值。20.根据权利要求15所述的一个或多个计算机可读存储介质，其特征在于，所述为所述第一图像生成优化成本函数还包括：响应于为确定的边界像素确定优化惩罚值，增加所述第一图像中边界像素以外的其他像素共用的共同惩罚值。

技术总结
提供了一种用于生成深度图像的方法、系统和计算机可读存储介质，该方法包括：获取数据，该数据表示由第一传感器生成的第一图像和由第二传感器生成的第二图像，其中，所述第一图像和所述第二图像各包括多个像素；对于所述第一图像包括的多个像素中的每个像素，确定该像素是否是与所述第一图像表示的对象的边界相关联的边界像素；对于所述第一图像的每个像素，从多个候选惩罚值中确定该像素的优化惩罚值；基于多个像素的优化惩罚值为所述第一图像生成优化成本函数；以及基于所述优化成本函数为所述第一图像生成深度图像。为所述第一图像生成深度图像。为所述第一图像生成深度图像。


技术研发人员：吴铁成 李博
受保护的技术使用者：黑芝麻智能科技有限公司
技术研发日：2022.07.14
技术公布日：2022/11/22