一种视频插帧方法、终端以及存储介质与流程

技术特征：
1.一种视频插帧方法，其特征在于，所述视频插帧方法包括：获取目标图像对对应的前向光流，根据所述前向光流获取所述目标图像对对应的后向光流，其中，所述前向光流为所述目标图像对中第一图像到第二图像的光流，所述后向光流为所述第二图像到所述第一图像的光流；根据所述前向光流获取所述第一图像中的第一遮挡区域，根据所述后向光流获取所述第二图像中的第二遮挡区域；对所述第一遮挡区域对应的前向光流值进行修正，生成修正前向光流，对所述第二遮挡区域内对应的后向光流值进行修正，生成修正后向光流；根据所述修正前向光流和所述修正后向光流生成用于插入至所述第一图像和所述第二图像之间的目标帧。2.根据权利要求1所述的视频插帧方法，其特征在于，所述根据所述前向光流获取所述目标图像对对应的后向光流包括：获取所述第一图像中各个像素点分别对应的各个第一前向光流值；对所述各个第一前向光流值向上取整，获取所述第一图像中各个像素点分别对应的各个整数中间光流值；根据所述第一图像中各个像素点的坐标、所述各个第一前向光流值以及所述各个整数中间光流值获取所述第二图像中多个像素点的后向光流值。3.根据权利要求2所述的视频插帧方法，其特征在于，所述根据所述第一图像中各个像素点的坐标、所述各个第一前向光流值以及所述各个整数中间光流值获取所述第二图像中多个像素点的后向光流值包括：根据公式获取所述第二图像中多个像素点的后向光流值；其中，为所述第二图像中坐标为的像素点的后向光流值，x为所述第一图像中的像素点的坐标，f0→1(x)为所述第一图像中坐标为x的像素点的第一前向光流值，为所述第一图像中坐标为x的像素点对应的整数中间光流值。4.根据权利要求1所述的视频插帧方法，其特征在于，所述根据所述前向光流获取所述第一图像的第一遮挡区域包括：从所述第一图像中的各个像素点中提取至少一个像素点集合，所述像素点集合中包括至少两个像素点，所述像素点集合中包括前向光流值指向所述第二图像中的同一点的各个像素点；获取所述像素点集合中各个像素点分别对应的各个像素值以及所述像素点集合中各个像素点的前向光流值在所述第二图像中指向的点的第二像素值，将所述像素点集合中像素值与所述第二像素值最接近的像素点之外的像素点标记为第一遮挡区域。5.根据权利要求1所述的视频插帧方法，其特征在于，所述根据所述后向光流获取所述第二图像的第二遮挡区域包括：获取各个后向光流值对应的第三像素点；将所述第二图像中所述第三像素点之外的像素点标记为第二遮挡区域。6.根据权利要求1所述的视频插帧方法，其特征在于，所述对所述第一遮挡区域对应的前向光流值进行修正包括：
获取与所述第一遮挡区域中第一目标像素点的距离小于第一预设值的至少一个预设尺寸的第一非遮挡区域；获取各个第一非遮挡区域分别对应的像素值，将所述第一目标像素点的前向光流值修正为目标前向光流值，其中，所述目标前向光流值为与所述第一目标像素点的像素值最接近的第一非遮挡区域对应的前向光流值；所述对所述第二遮挡区域对应的后向光流值进行修正包括：获取与所述第二遮挡区域中第二目标像素点的距离小于第二预设值的至少一个预设尺寸的第二非遮挡区域；获取各个第二非遮挡区域分别对应的像素值，将所述第二目标像素点的后向光流值修正为目标后向光流值，其中，所述目标后向光流值为与所述第二目标像素点的像素值最接近的第二非遮挡区域对应的后向光流值。7.根据权利要求1所述的视频插帧方法，其特征在于，所述根据所述修正前向光流和所述修正后向光流生成用于插入至所述第一图像和所述第二图像之间的目标帧包括：根据所述修正前向光流和所述第一图像生成第一中间帧，根据所述修正后向光流和所述第二图像生成第二中间帧；根据所述第一中间帧和所述第二中间帧生成所述目标帧。8.根据权利要求7所述的视频插帧方法，其特征在于，所述根据所述修正前向光流和所述第一图像生成第一中间帧包括：根据所述修正前向光流获取所述第一图像到所述目标帧的第一中间光流；根据第一预设公式以及所述第一中间光流获取第一中间帧上多个像素点对应的像素值，生成所述第一中间帧；所述根据所述修正后向光流和所述第二图像生成第二中间帧包括：根据所述修正后向光流获取所述第二图像到所述目标帧的第二中间光流；根据第二预设公式以及所述第二中间光流获取第二中间帧上多个像素点对应的像素值，生成所述第二中间帧。9.根据权利要求8所述的视频插帧方法，其特征在于，所述第一预设公式为：i0(m δm)＝i
t1
(m δm f0→
t
(m))其中，i0(m δm)为所述第一图像上坐标为m δm的点的像素值，i
t1
(m δm f0→
t
(m))为所述第一中间帧上坐标为m δm f0→
t
(m)的像素点的像素值，f0→
t
(m)为所述第一图像上坐标为m的像素点对应的第一中间光流值，m为整数，δm为使得δm f0→
t
(m)为整数的值，0≤δm<1；所述第二预设公式为：i1(n δn)＝i
t2
(n δn f1→
t
(n))其中，i1(n δn)为所述第二图像上坐标为n δn的点的像素值，i
t2
(n δn f1→
t
(n))为所述第二中间帧上坐标为n δn f1→
t
(n)的像素点的像素值，f1→
t
(n)为所述第二图像上坐标为n的像素点对应的第二中间光流值，n为整数，δn为使得δn f1→
t
(n)为整数的值，0≤δn<1。10.根据权利要求8所述的视频插帧方法，其特征在于，所述根据所述第一预设公式以及所述第一中间光流获取第一中间帧上各个像素点对应的像素值包括：当所述第一图像中存在多个第一像素点对应的第一中间光流值指向所述第一中间帧
上的同一个像素点时，获取所述多个第一像素点中不处于所述第一遮挡区域内的第三像素点，将所述第三像素点在所述第一中间帧上对应的像素点的像素值作为所述多个第一像素点在所述第一中间帧上对应的像素点的像素值；所述根据所述第二预设公式以及所述第二中间光流获取第二中间帧上各个像素点对应的像素值包括：当所述第二图像中存在多个第二像素点对应的第二中间光流值指向所述第二中间帧上的同一个像素点时，获取所述多个第二像素点中不处于所述第二遮挡区域内的第四像素点，将所述第四像素点在所述第二中间帧上对应的像素点的像素值作为所述多个像素点在所述第二中间帧上对应的像素点的像素值。11.一种终端，其特征在于，所述终端包括：处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令，所述处理器适于调用所述存储介质中的指令，以执行实现上述权利要求1-10任一项所述的视频插帧方法的步骤。12.一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-10任一项所述的视频插帧方法的步骤。

技术总结
本发明公开了一种视频插帧方法、终端及存储介质，所述视频插帧方法通过分别计算目标图像对的前向光流和后向光流，根据前向光流和后向光流获取图像中的遮挡区域，并根据图像中的遮挡区域对前向光流和后向光流进行修正，使用修正后的前向光流和后向光流来生成用于插入至目标图像对中的目标帧，由于在生成目标帧的过程中对于遮挡区域进行了单独的光流修正，能够提高存在遮挡情形下的插帧效果。够提高存在遮挡情形下的插帧效果。够提高存在遮挡情形下的插帧效果。


技术研发人员：徐鹏
受保护的技术使用者：武汉TCL集团工业研究院有限公司
技术研发日：2020.05.12
技术公布日：2021/11/16