一种2D视频帧的视差图像生成方法及装置与流程

技术特征：
1.一种2d视频帧的视差图像生成方法，其特征在于，所述方法包括：对2d视频帧进行包括预设数量次下采样处理的级联下采样处理，获得每一次下采样处理得到的下采样图像，所述级联下采样处理中每次下采样处理的结果作为下一次进行下采样处理所处理的图像；基于数值固定的预设参数，对所获得的每一次下采样处理得到的下采样图像中除第一图像外的每一第二图像内像素的像素值进行调整，以使得每一第二图像内像素的像素值均值以及方差得到改变，所述第一图像为：所获得下采样图像中尺寸最小的图像；对所述第一图像进行上采样处理，得到上采样图像；对上采样图像进行卷积处理，得到与所述上采样图像尺寸相同的卷积图像；将所述上采样图像、卷积图像以及与所述上采样图像尺寸相同的像素值调整后的第二图像，按照像素位置进行像素值融合，得到融合图像；若所述融合图像的尺寸与所述2d视频帧的尺寸不同，则对所述融合图像进行上采样处理，得到新的上采样图像，并返回执行所述对上采样图像进行卷积处理，得到与所述上采样图像尺寸相同的卷积图像，以及所述将所述上采样图像、卷积图像以及与所述上采样图像尺寸相同的像素值调整后的第二图像，按照像素位置进行像素值融合，得到融合图像的步骤；否则，将所述融合图像确定为与所述2d视频帧存在视差的图像。2.根据权利要求1所述的方法，其特征在于，所述基于数值固定的预设参数，对所获得的每一次下采样处理得到的下采样图像中除第一图像外的每一第二图像内像素的像素值进行调整，包括：对所获得的每一次下采样处理得到的下采样图像中除第一图像外的每一第二图像内各个像素的像素值乘以预设方差，并加上预设平均值，得到调整后的各个像素的像素值。3.根据权利要求1所述的方法，其特征在于，所述通过以下方式获得与该2d视频帧存在视差的图像：将2d视频帧输入预先训练的图像获得模型中，获得与所述2d视频帧存在视差的图像，其中，所述图像获得模型的模型参数中包含所述预设参数，所述图像获得模型用于：实现所述对2d视频帧进行包括预设数量次下采样处理的级联下采样处理，获得每一次下采样处理得到的下采样图像至所述将所述融合图像确定为与所述2d视频帧存在视差的图像的步骤。4.根据权利要求3所述的方法，其特征在于，通过以下方式对预设的神经网络模型进行训练得到所述图像获得模型：确定3d样本视频帧中两个样本视图内像素间像素值差值的均值和方差，将所确定的均值作为样本均值，将所确定的方差作为样本方差；获得预设数量个视差数组，其中，所述视差数组中包含的元素表示视差；从每一视差数组中选择一个视差，得到包括所选择视差的第一数组；根据所述样本均值和样本方差，调整所述第一数组中的视差使得第一数组中视差的分布趋近于所述两个样本视图内像素间像素值差值的分布，得到第二数组；计算第二数组的视差均值与视差方差；将预设的神经网络模型的模型参数中的预设参数设置为所述视差均值与视差方差；将一个样本视图输入所述神经网络模型，得到与所述样本视图存在视差的输出图像；
根据所述输出图像与另一样本视图，计算所述神经网络模型的损失；根据所述损失调整所述神经网络模型的模型参数。5.根据权利要求4所述的方法，其特征在于，所述确定3d样本视频帧中两个样本视图内像素间像素值差值的均值和方差，包括：提取表示所述两个样本视图之间关联关系的关联特征；对所述关联特征进行卷积处理；对所获得的卷积处理结果进行全连接处理，得到所述两个样本视图内像素间像素值差值的均值与方差。6.一种2d视频帧的视差图像生成装置，其特征在于，所述装置包括：下采样模块，用于对2d视频帧进行包括预设数量次下采样处理的级联下采样处理，获得每一次下采样处理得到的下采样图像，所述级联下采样处理中每次下采样处理的结果作为下一次进行下采样处理所处理的图像；像素值调整模块，用于基于数值固定的预设参数，对所获得的每一次下采样处理得到的下采样图像中除第一图像外的每一第二图像内像素的像素值进行调整，以使得每一第二图像内像素的像素值均值以及方差得到改变，所述第一图像为：所获得下采样图像中尺寸最小的图像；第一上采样模块，用于对所述第一图像进行上采样处理，得到上采样图像；卷积模块，用于对上采样图像进行卷积处理，得到与所述上采样图像尺寸相同的卷积图像；像素值融合模块，用于将所述上采样图像、卷积图像以及与所述上采样图像尺寸相同的像素值调整后的第二图像，按照像素位置进行像素值融合，得到融合图像；第二上采样模块，用于若所述像素值融合模块得到的融合图像的尺寸与所述2d视频帧的尺寸不同，则对所述融合图像进行上采样处理，得到新的上采样图像，并返回触发执行所述卷积模块以及像素值融合模块；图像确定模块，用于若所述像素值融合模块得到的融合图像的尺寸与所述2d视频帧的尺寸相同，将所述融合图像确定为与所述2d视频帧存在视差的图像。7.根据权利要求6所述的装置，其特征在于，所述像素值调整模块，具体用于：对所获得的每一次下采样处理得到的下采样图像中除第一图像外的每一第二图像内各个像素的像素值乘以预设方差，并加上预设平均值，得到调整后的各个像素的像素值。8.根据权利要求6所述的装置，其特征在于，通过以下图像获得模块获得与该2d视频帧存在视差的图像：图像获得模块，用于将2d视频帧输入预先训练的图像获得模型中，获得与所述2d视频帧存在视差的图像，其中，所述图像获得模型的模型参数中包含所述预设参数，所述图像获得模型用于：实现所述下采样模块至所述图像确定模块。9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机
程序，所述计算机程序被处理器执行时实现权利要求1-5任一所述的方法步骤。

技术总结
本发明实施例提供了一种2D视频帧的视差图像生成方法及装置，涉及视频处理技术领域，其中，上述方法包括：对2D视频帧进行级联下采样处理；基于数值固定的预设参数，对每一第二图像内像素的像素值进行调整；对第一图像进行上采样处理；对上采样图像进行卷积处理；将上采样图像、卷积图像以及与上述上采样图像尺寸相同的像素值调整后第二图像进行像素值融合；若融合图像的尺寸与2D视频帧的尺寸不同，则对融合图像进行上采样处理，并返回执行对上采样图像进行卷积处理的步骤；否则，将融合图像确定为与2D视频帧存在视差的图像。应用本发明实施例提供的方案获取与2D视频帧存在视差的图像，可以降低不同2D视频帧与所生成的图像的视差之间的差距。差之间的差距。差之间的差距。


技术研发人员：陈平 吴方印 杨东
受保护的技术使用者：北京奇艺世纪科技有限公司
技术研发日：2021.11.11
技术公布日：2022/2/24