一种视频插帧方法、装置、设备和介质与流程

1.本公开实施例涉及计算机技术，尤其涉及一种视频插帧方法、装置、设备和介质。


背景技术：

2.随着计算机技术的快速发展，可以通过对视频进行插帧操作，提高视频帧率和流畅度，从而满足用户对视频的高质量要求。目前，通常是基于光流进行视频插帧，确定出相邻两帧之间的插帧视频帧。然而，现有插帧方式是直接对原分辨率的视频帧进行插帧操作，往往需要耗费较长的插帧时间，从而降低了视频插帧效率。


技术实现要素：

3.本公开实施例提供了一种视频插帧方法、装置、设备和介质，以在保证插帧效果的前提下提高视频插帧效率。
4.第一方面，本公开实施例提供了一种视频插帧方法，包括：
5.获取目标视频中的相邻两帧；
6.基于预设采样倍数，分别对所述相邻两帧中的第一帧和第二帧进行下采样处理，获得第一下采样帧和第二下采样帧；
7.基于预设光流修正模型，确定所述第一下采样帧对应的第一下采样光流图、所述第二下采样帧对应的第二下采样光流图和下采样修正信息；
8.基于所述预设采样倍数，分别对所述第一下采样光流图、所述第二下采样光流图和所述下采样修正信息进行上采样处理，获得第一上采样光流图、第二上采样光流图和上采样修正信息；
9.基于预设转换整合模型，根据所述第一帧、所述第二帧、所述第一上采样光流图、所述第二上采样光流图和所述上采样修正信息，确定所述相邻两帧之间的中间帧，并基于所述中间帧确定所述相邻两帧对应的目标插帧。
10.第二方面，本公开实施例还提供了一种视频插帧装置，包括：
11.相邻两帧获取模块，用于获取目标视频中的相邻两帧；
12.下采样处理模块，用于基于预设采样倍数，分别对所述相邻两帧中的第一帧和第二帧进行下采样处理，获得第一下采样帧和第二下采样帧；
13.下采样信息确定模块，用于基于预设光流修正模型，确定所述第一下采样帧对应的第一下采样光流图、所述第二下采样帧对应的第二下采样光流图和下采样修正信息；
14.上采样处理模块，用于基于所述预设采样倍数，分别对所述第一下采样光流图、所述第二下采样光流图和所述下采样修正信息进行上采样处理，获得第一上采样光流图、第二上采样光流图和上采样修正信息；
15.目标插帧确定模块，用于基于预设转换整合模型，根据所述第一帧、所述第二帧、所述第一上采样光流图、所述第二上采样光流图和所述上采样修正信息，确定所述相邻两帧之间的中间帧，并基于所述中间帧确定所述相邻两帧对应的目标插帧。
16.第三方面，本公开实施例还提供了一种电子设备，所述电子设备包括：
17.一个或多个处理器；
18.存储器，用于存储一个或多个程序；
19.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开任意实施例提供的视频插帧方法。
20.第四方面，本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开任意实施例提供的视频插帧方法。
21.本公开实施例通过基于预设采样倍数，分别对目标视频中的相邻两帧中的第一帧和第二帧进行下采样处理，获得分辨率降低的第一下采样帧和第二下采样帧，从而基于预设光流修正模型，可以更加快速地确定第一下采样帧对应的第一下采样光流图、第二下采样帧对应的第二下采样光流图和下采样修正信息，进而提高插帧效率。通过基于预设采样倍数，分别对第一下采样光流图、第二下采样光流图和下采样修正信息进行上采样处理，获得原分辨率率的第一上采样光流图、第二上采样光流图和上采样修正信息，并基于预设转换整合模型，根据第一帧、第二帧、第一上采样光流图、第二上采样光流图和上采样修正信息，可以准确地确定出相邻两帧之间的中间帧，并基于中间帧确定相邻两帧对应的目标插帧，从而在保证插帧效果的前提下提高了视频插帧效率。
附图说明
22.结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
23.图1是本公开实施例一提供的一种视频插帧方法的流程图；
24.图2是本公开实施例一所涉及的一种视频插帧过程的示例；
25.图3是本公开实施例二提供的一种视频插帧方法的流程图；
26.图4是本公开实施例二所涉及的一种线程并行处理的示例；
27.图5是本公开实施例三提供的一种视频插帧装置的结构示意图；
28.图6是本公开实施例四提供的一种电子设备的结构示意图。
具体实施方式
29.下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
30.应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
31.本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定
义将在下文描述中给出。
32.需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
33.需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
34.本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
35.实施例一
36.图1为本公开实施例一提供的一种视频插帧方法的流程图，本实施例可适用于对视频中的每相邻两帧进行插帧的情况。该方法可以由视频插帧装置来执行，该装置可以由软件和/或硬件的方式来实现，集成于服电子设备中。如图1所示，该方法具体包括以下步骤：
37.s110、获取目标视频中的相邻两帧。
38.其中，目标视频可以是指需要插帧的视频，以提高视频的流畅度。例如，目标视频可以是指慢动作视频等。相邻两帧可以是指目标视频中任意相邻的两个视频帧，即第一帧和第二帧，以便在第一帧与第二帧之间进行插帧操作。
39.s120、基于预设采样倍数，分别对相邻两帧中的第一帧和第二帧进行下采样处理，获得第一下采样帧和第二下采样帧。
40.其中，预设采样倍数可以是预先基于业务场景和需求设置的采样倍数。例如，预设采样倍数可以是但不限于2倍。
41.具体地，图2给出了一种视频插帧过程的示例。如图2所示，基于预设采样倍数对第一帧i1进行下采样处理，获得下采样预设采样倍数(比如下采2倍)的第一下采样帧di1。基于预设采样倍数对第二帧i2进行下采样处理，获得下采样预设采样倍数(比如下采2倍)的第二下采样帧di2，从而可以获得分辨率降低的第一下采样帧和第二下采样帧。
42.s130、基于预设光流修正模型，确定第一下采样帧对应的第一下采样光流图、第二下采样帧对应的第二下采样光流图和下采样修正信息。
43.其中，预设光流修正模型可以是预先设置的，用于对视频帧进行光流、转换warp和修正处理的网络模型。第一下采样光流图可以是指从预设插帧时刻t到第一帧时刻t1的光流图df
t1
，相应地，第二下采样光流图可以是指从预设插帧时刻t到第二帧时刻t2的光流图df
t2
。第一下采样光流图还可以是指从第一帧时刻t1到预设插帧时刻t的光流图df
1t
，相应地，第二下采样光流图可以是指从第二帧时刻t2到预设插帧时刻t的光流图df
2t
。其中，第一帧时刻t1是指第一帧i1所在的视频时刻。第二帧时刻t2是指第二帧i2所在的视频时刻。预设插帧时刻t是指第一帧时刻t1与第二帧时刻t2之间需要插帧的时刻。下采样修正信息可以包括下采样残差信息drt和下采样遮挡信息dot。预设光流修正模型可以是预先基于样本数据进行训练获得。
44.具体地，可以将低分辨率的第一下采样帧di1和第二下采样帧di2输入至训练好的预设光流修正模型中进行处理，并基于预设光流修正模型的输出，可以获得第一下采样光流图df
t1
(或者df
1t
)、第二下采样光流图df
t2
(或者df
2t
)和下采样修正信息(比如下采样残差信息drt和下采样遮挡信息dot)。
45.示例性地，如图2所示，预设光流修正模型可以包括：光流生成子模型、第一转换子模型和修正子模型。其中，光流生成子模型可以是用于生成两个时刻对应的光流图的网络模型。第一转换子模型可以是用于将第一下采样帧或者第二下采样帧转换到预设插帧时刻下的转换帧的warp模型。修正子模型可以是用于对转换帧进行修正处理的网络模型。
46.示例性地，s130可以包括：将第一下采样帧和第二下采样帧分别输入至光流生成子模型中，获得第一下采样帧对应的第一下采样光流图和第二下采样帧对应的第二下采样光流图；将第一下采样帧和第一下采样光流图输入至第一转换子模型中，获得预设插帧时刻对应的第一下采样转换帧；将第二下采样帧和第二下采样光流图输入至第一转换子模型中，获得预设插帧时刻对应的第二下采样转换帧；将第一下采样转换帧和第二下采样转换帧输入至修正子模型中，获得下采样修正信息。
47.具体地，可以将第一下采样帧di1输入至光流生成子模型中进行光流生成，并基于光流生成子模型的输出，获得第一下采样光流图df
t1
，以及将第二下采样帧di2输入至光流生成子模型中进行光流生成，并基于光流生成子模型的输出，获得第二下采样光流图df
t2
。将第一下采样帧di1和第一下采样光流图df
t1
输入至第一转换子模型中进行转换处理，并基于第一转换子模型的输出，获得预设插帧时刻t对应的第一下采样转换帧di
t1
。将第二下采样帧di2和第二下采样光流图df
t2
输入至第一转换子模型中进行转换处理，并基于第一转换子模型的输出，获得预设插帧时刻t对应的第二下采样转换帧di
t2
。将第一下采样转换帧di
t1
和第二下采样转换帧di
t2
输入至修正子模型中进行修正处理，并基于修正子模型的输出，获得下采样修正信息。
48.示例性地，预设光流修正模型还可以包括：语义提取子模型。其中，语义提取子模型可以是用于提取视频帧中的语义信息的网络模型。相应地，“将第一下采样转换帧和第二下采样转换帧输入至修正子模型中，获得下采样修正信息”，可以包括：将第一下采样帧和第二下采样帧分别输入至语义提取子模型中，获得第一下采样帧对应的第一下采样语义信息和第二下采样帧对应的第二下采样语义信息；将第一下采样转换帧、第二下采样转换帧、第一下采样语义信息和第二下采样语义信息输入至修正子模型中，获得下采样修正信息。
49.具体地，在预设光流修正模型还包括语义提取子模型时，可以将第一下采样帧di1输入至语义提取子模型中进行语义提取，并基于语义提取子模型的输出，获得第一下采样语义信息。同理，将第二下采样帧di2输入至语义提取子模型中进行语义提取，并基于语义提取子模型的输出，获得第二下采样语义信息。将第一下采样转换帧di
t1
、第二下采样转换帧di
t2
、第一下采样语义信息和第二下采样语义信息输入至修正子模型中进行修正处理，获得包含语义信息的下采样修正信息，从而可以进一步提高修正信息的准确性，进一步提高插帧效果。
50.s140、基于预设采样倍数，分别对第一下采样光流图、第二下采样光流图和下采样修正信息进行上采样处理，获得第一上采样光流图、第二上采样光流图和上采样修正信息。
51.具体地，如图2所示，基于预设采样倍数对第一下采样光流图df
t1
进行上采样处理，获得上采样预设采样倍数(比如上采2倍)的第一上采样光流图f
t1
，从而可以快速获得原分辨率的第一上采样光流图f
t1
。同理，通过对第二下采样光流图df
t2
和下采样修正信息(比如下采样残差信息drt和下采样遮挡信息dot)进行上采样处理，可以快速获得原分辨率的第二上采样光流图f
t2
和上采样修正信息(比如上采样残差信息rt和上采样遮挡信息ot)。
52.s150、基于预设转换整合模型，根据第一帧、第二帧、第一上采样光流图、第二上采样光流图和上采样修正信息，确定相邻两帧之间的中间帧，并基于中间帧确定相邻两帧对应的目标插帧。
53.其中，预设转换整合模型可以是预先设置的，用于对视频帧进行转换warp和整合处理的网络模型。中间帧可以是指预设插帧时刻下的待定视频帧。目标插帧可以是指在第一帧与第二帧之间最终的插帧视频帧。本实施例中的预设转换整合模型可以是预先基于样本数据进行训练获得。
54.具体地，如图2所示，可以将原分辨率的第一帧i1、第二帧i2、第一上采样光流图f
t1
、第二上采样光流图f
t2
和上采样修正信息(比如rt和ot)输入至预先训练好的预设转换整合模型中进行处理，并基于预设转换整合模型的输出，可以准确地获得相邻两帧i1和i2之间的中间帧。本实施例可以将输出的中间帧直接确定为相邻两帧对应的目标插帧；也可以检测中间帧是否符合预设插帧条件，若是，则再将该中间帧作为相邻两帧对应的目标插帧。
55.示例性地，如图2所示，预设转换整合模型可以包括：第二转换子模型和整合子模型。其中，第二转换子模型可以是将第一帧或者第二帧转换到预设插帧时刻下的转换帧的warp模型。本实施例中的第一转换子模型和第二转换子模型可以为同一个warp模型，也可以为结构相同权重不同的两个warp模型。
56.示例性地，s150可以包括：将第一帧和第一上采样光流图输入至第二转换子模型中，获得预设插帧时刻对应的第一转换帧；将第二帧和第二上采样光流图输入至第二转换子模型中，获得预设插帧时刻对应的第二转换帧；将第一转换帧、第二转换帧和上采样修正信息输入至整合子模型中，获得相邻两帧之间的中间帧。
57.具体地，如图2所示，可以将第一帧i1和上采样至原分辨率的第一上采样光流图f
t1
输入至第二转换子模型中进行转换处理，并基于第二转换子模型的输出，获得预设插帧时刻t对应的第一转换帧i
t1
。同理，将第二帧i2和第二上采样光流图f
t2
输入至第二转换子模型中进行转换处理，并基于第二转换子模型的输出，获得预设插帧时刻t对应的第二转换帧i
t2
。将第一转换帧i
t1
、第二转换帧i
t2
和上采样修正信息(比如rt和ot)输入至整合子模型中进行数据整合，并基于整合子模型的输出，获得相邻两帧i1和i2之间的中间帧。需要说明的是，本实施例通过基于第一帧、第二帧、第一上采样光流图和第二上采样光流图重新生成原分辨率的第一转换帧和第二转换帧，而非通过对第一下采样转换帧和第二下采样转换帧进行上采样的方式获得原分辨率的转换帧，从而可以避免插帧的中间帧失真的情况，进一步保证中间帧的清晰度，进而进一步提高插帧效果。
58.本公开实施例的技术方案，通过基于预设采样倍数，分别对目标视频中的相邻两帧中的第一帧和第二帧进行下采样处理，获得分辨率降低的第一下采样帧和第二下采样帧，从而基于预设光流修正模型，可以更加快速地确定第一下采样帧对应的第一下采样光流图、第二下采样帧对应的第二下采样光流图和下采样修正信息，进而提高插帧效率。通过基于预设采样倍数，分别对第一下采样光流图、第二下采样光流图和下采样修正信息进行上采样处理，获得原分辨率率的第一上采样光流图、第二上采样光流图和上采样修正信息，并基于预设转换整合模型，根据第一帧、第二帧、第一上采样光流图、第二上采样光流图和上采样修正信息，可以准确地确定出相邻两帧之间的中间帧，并基于中间帧确定相邻两帧对应的目标插帧，从而在保证插帧效果的前提下提高了视频插帧效率。
59.在上述技术方案的基础上，该方法还可以包括：在加载有预设转换插件的图像处理器上，执行基于预设光流修正模型和预设转换整合模型确定相邻两帧之间的中间帧的操作。
60.其中，预设转换插件可以是预先设置的，在图像处理器gpu(graphics processing unit)上运行的用于实现warp转换过程的插件。例如，预设转换插件可以是但不限于tensorrt插件。
61.具体地，现有的warp操作是先生成水平和竖直方向的位置点，构建位置坐标网格grid，然后加上光流得到像素点在图像中的坐标，再调用grid_sample个函数得到输出。由于生成grid并拷贝到gpu需要耗费时间，同时grid数据需要再额外进行存储格式变换，即从b2hw转成bhw2，以便保证grid_sample函数输出结果的正确性。可见，现有的warp操作需要涉及到中央处理器cpu(central processing unit)到gpu的切换，从而直接在gpu上完成整个warp操作。本实施例通过在gpu上加载预设转换插件后，可以在gpu上运行完整的warp操作过程。例如，该warp操作过程为：每个位置的光流值直接加上当前的位置点坐标，获得输出像素点实际精确浮点位置；根据像素点的实际位置，得到四个邻居点的定点位置；计算像素点浮点位置与其四个邻居点的面积，作为线性插值的权值，按照权值贡献度，得到输出像素位置的像素值。由于warp操作过程只需在gpu上运行，无需涉及cpu与gpu的切换，从而可以将包含warp操作的所有模型处理操作(也就是基于预设光流修正模型和预设转换整合模型确定相邻两帧之间的中间帧的操作)直接在gpu上运行，降低了warp耗时，并且可以利用插件引擎进行深度加速，进一步提高了视频插帧效率。
62.实施例二
63.图3为本公开实施例二提供的一种视频插帧方法的流程图，本实施例在上述实施例的基础上，对步骤“基于中间帧确定相邻两帧对应的目标插帧”进行进一步优化。其中与上述各实施例相同或相应的术语的解释在此不再赘述。
64.参见图3，本实施例提供的视频插帧方法具体包括以下步骤：
65.s310、获取目标视频中的相邻两帧。
66.s320、基于预设采样倍数，分别对相邻两帧中的第一帧和第二帧进行下采样处理，获得第一下采样帧和第二下采样帧。
67.s330、基于预设光流修正模型，确定第一下采样帧对应的第一下采样光流图、第二下采样帧对应的第二下采样光流图和下采样修正信息。
68.s340、基于预设采样倍数，分别对第一下采样光流图、第二下采样光流图和下采样修正信息进行上采样处理，获得第一上采样光流图、第二上采样光流图和上采样修正信息。
69.s350、基于预设转换整合模型，根据第一帧、第二帧、第一上采样光流图、第二上采样光流图和上采样修正信息，确定相邻两帧之间的中间帧。
70.s360、基于预设光流修正模型或者预设转换整合模型，确定中间帧对应的插帧置信度。
71.其中，插帧置信度可以用于表征输出的中间帧与真实中间帧之间的差异。例如，若置信度越高，则表明差异越小，插帧越准确。本实施例中的预设光流修正模型或者预设转换整合模型除了输出原有信息之外，还可以预测中间帧对应的插帧置信度，并将预测出的插帧置信度进行输出。
72.具体地，在基于样本数据对预设光流修正模型和预设转换整合模型进行训练后，可以基于预设误差函数，比如，charbonnier误差函数，根据每个样本中间帧对应的样本插帧置信度和实际插帧置信度，对预设光流修正模型或者预设转换整合模型进行模型训练，以使预设光流修正模型或者预设转换整合模型可以预测出中间帧对应的插帧置信度。例如，实际插帧置信度st
gt
可以通过公式st
gt
＝exp(-abs(it-it
gt
))进行确定，其中，it是基于预设光流修正模型和预设转换整合模型预测出的中间帧；it
gt
是指实际中间帧。
73.需要说明的是，预设光流修正模型或者预设转换整合模型输出的插帧置信度不参与整个插帧过程，比如数据整合过程等，从而也可以是预设光流修正模型或者预设转换整合模型中的转换子模型输出中间帧对应的插帧置信度。
74.s370、基于插帧置信度，确定中间帧对应的目标插坏区域。
75.具体地，可以基于中间帧对应的插帧置信度确定出中间帧中的目标插坏区域，以便基于该目标插坏区域的大小，确定出中间帧是否存在较大伪影。
76.示例性地，s370可以包括：基于预设置信度阈值，对插帧置信度进行二值化处理，确定中间帧对应的二值化图像；对二值化图像进行开操作，获取开操作后的剩余区域，并将剩余区域作为中间帧对应的目标插坏区域。
77.其中，预设置信度阈值可以是指可接受的置信度的最小值。具体地，将中间帧中的每个像素点对应的插帧插帧置信度与预设置信度阈值进行比较，并基于比较结果进行二值化处理，比如，将插帧插帧置信度大于或等于预设置信度阈值的像素点对应的像素值确定为255(即白色)，以及将插帧插帧置信度小于预设置信度阈值的像素点对应的像素值确定为0(即黑色)，从而获得中间帧对应的二值化图像(即黑白图像)。对二值化图像进行先腐蚀后膨胀的开操作，去掉较小区域，获取开操作后的剩余区域，即插帧比较差的区域，并将剩余区域作为中间帧对应的目标插坏区域。
78.s380、检测目标插坏区域是否小于或等于预设插坏区域阈值，若是，则执行步骤s390，若否，则执行步骤s391。
79.具体地，通过检测目标插坏区域是否小于或等于预设插坏区域阈值，以确定出插帧获得的中间帧是否存在较大的伪影。
80.s390、将中间帧确定为相邻两帧对应的目标插帧。
81.具体地，在目标插坏区域小于或等于预设插坏区域阈值时，表明中间帧中的插坏区域较小，在可接受范围内，从而可以将中间帧作为相邻两帧对应的目标插帧。
82.s391、将第一帧或者第二帧确定为相邻两帧对应的目标插帧。
83.具体地，在目标插坏区域大于预设插坏区域阈值时，表明中间帧中的插坏区域较大，存在较大伪影，影响用户体验，此时可以将第一帧或者第二帧作为相邻两帧对应的目标插帧，以避免插帧伪影的出现，进一步提高了插帧效果，提升用户观看体验。
84.本实施例的技术方案，通过基于预设光流修正模型或者预设转换整合模型，确定中间帧对应的插帧置信度，并基于插帧置信度，确定中间帧对应的目标插坏区域，若目标插坏区域小于或等于预设插坏区域阈值，则将中间帧确定为相邻两帧对应的目标插帧；若目标插坏区域大于预设插坏区域阈值，则将第一帧或者第二帧确定为相邻两帧对应的目标插帧，从而可以避免在插帧置信度较低区域过多时直接进行插帧而导致伪影出现的情况，进一步提高了插帧效果，提升用户观看体验。
85.在上述技术方案的基础上，s320可以包括：确定相邻两帧中的第一帧与第二帧之间的图像差异度；若图像差异度小于预设差异度阈值，则基于预设采样倍数，分别对相邻两帧中的第一帧和第二帧进行下采样处理，获得第一下采样帧和第二下采样帧。
86.具体地，在获得相邻两帧之后，可以基于感知hash方式，确定出相邻两帧中的第一帧与第二帧之间的图像差异度，并检测该图像差异度是否小于预设差异度阈值，若是，则表明第一帧与第二帧之间的图像内容差异较小，此时可以执行后续的插帧操作，否则，可以直接将第一帧或者第二帧作为相邻两帧对应的目标插帧，以避免在图像内容差异过大而导致的插帧伪影的出现，从而可以进一步提高插帧效果，提升用户观看体验。
87.需要说明的是，本实施例也可以在s350确定出中间帧之后，确定相邻两帧中的第一帧与第二帧之间的图像差异度，并在图像差异度小于预设差异度阈值时执行步骤s360，否则执行步骤s391，从而将伪影判断步骤作为后处理操作，以便实现线程的并行操作。
88.在上述技术方案的基础上，s320还可以包括：确定相邻两帧中从第一帧到第二帧的第一光流图以及从第二帧到第一帧的第二光流图；确定第一光流图对应的第一大光流区域和第二光流图对应的第二大光流区域；若第一大光流区域和第二大光流区域均小于预设光流区域阈值，则基于预设采样倍数，分别对相邻两帧中的第一帧和第二帧进行下采样处理，获得第一下采样帧和第二下采样帧。
89.其中，预设光流区域阈值flow_area_thr可以基于图像面积img_area和光流面积比例flow_area_ratio进行确定，即flow_area_thr＝img_area
×
flow_area_ratio。图像面积img_area可以基于图像的高度img_h和宽度img_w获得，即img_area＝img_h
×
img_w。
90.具体地，可以基于光流生成模型，确定出从第一帧到第二帧的第一光流图f12以及从第二帧到第一帧的第二光流图f21，并确定出第一光流图f12中的第一大光流区域和第二光流图f21中的第二大光流区域。若第一大光流区域和第二大光流区域均小于预设光流区域阈值，则表明第一帧与第二帧之间的运动较小，此时可以执行后续的插帧操作。若第一大光流区域和/或第二大光流区域大于预设光流区域阈值，则表明第一帧与第二帧之间的运动较大，直接插帧容易插出坏帧，此时可以将第一帧或者第二帧作为相邻两帧对应的目标插帧，以避免在相邻两帧运动过大而导致的插帧伪影的出现，从而可以进一步提高插帧效果，提升用户观看体验。
91.示例性地，确定第一光流图对应的第一大光流区域，可以包括：基于第一光流图，确定每个像素点对应的光流值；将光流值大于预设光流阈值的各个像素点所组成的像素区域确定为第一光流图对应的第一大光流区域。
92.其中，预设光流阈值flow_motion_thr可以基于图像斜边img_hypotenuse和光流运动比例flow_motion_ratio进行确定，即预设光流阈值flow_motion_thr＝img_hypotenuse
×
flow_motion_ratio。图像斜边img_hypotenuse可以基于图像的高度img_h和宽度img_w获得，即img_hypotenuse＝sqrt(img_h^2 img_w^2)。
93.具体地，可以基于第一光流图中的每个像素点在x方向的光流值f12_x和在y方向上的光流值f12_y，确定出每个像素点对应的光流值flow_magnitude，即flow_magnitude＝sqrt(f12_x^2 f12_y^2)。检测每个像素点对应的光流值flow_magnitude是否大于预设光流阈值flow_motion_thr，并将大于预设光流阈值的所有像素区域作为第一光流图对应的第一大光流区域。同理，可以确定出第二光流图对应的第二大光流区域。
94.需要说明的是，本实施例也可以在s350确定出中间帧之后，确定相邻两帧中从第一帧到第二帧的第一光流图以及从第二帧到第一帧的第二光流图；确定第一光流图对应的第一大光流区域和第二光流图对应的第二大光流区域，并在第一大光流区域和第二大光流区域均小于预设光流区域阈值，时执行步骤s360，否则执行步骤s391，从而将伪影判断步骤作为后处理操作，以便实现线程的并行操作。
95.在上述各技术方案的基础上，该方法还可以包括：利用中央处理器上的第一线程，执行第一队列中的第一相邻两帧的预处理操作，并将预处理结果存储至第二队列中；利用图像处理器上的第二线程，基于第二队列中的第二相邻两帧对应的预处理结果，执行第二相邻两帧对应的中间帧确定操作，并将确定的中间帧存储至第二队列中；利用中央处理器上的第三线程，基于第二队列中的第三相邻两帧对应的中间帧，执行第三相邻两帧对应的后处理操作，并将确定的第三相邻两帧对应的目标插帧存储至第三队列中。
96.其中，第二相邻两帧是位于第一相邻两帧之前的相邻两帧。第三相邻两帧是位于第二相邻两帧之前的相邻两帧。例如，若第一相邻两帧是指目标视频中的第4帧和第5帧，则第二相邻两帧可以是指位于目标视频中的第5帧之前的相邻两帧，比如，第3帧和第4帧或者第2帧和第3帧。若第二相邻两帧是指目标视频中的第3帧和第4帧，则第三相邻两帧可以是指位于目标视频中的第4帧之前的相邻两帧，比如，第2帧和第3帧或者第1帧和第2帧。第一队列可以基于插帧顺序存储各个相邻两帧。第二队列可以基于同一顺序存储每相邻两帧对应的预处理结果。第三队列可以基于同一顺序存储每相邻两帧对应的目标插帧结果。
97.具体地，本实施例可以针对每相邻两帧，将整个插帧过程分为三个阶段的操作，分别为：预处理操作、中间帧确定操作和后处理操作。其中，预处理操作可以是但不限于对相邻两帧中的每帧进行色彩变换，以及判断是否存在场景切换，以规避场景变化太剧烈的情况。中间帧确定操作可以是指基于预设光流修正模型和预设转换整合模型确定相邻两帧之间的中间帧的过程。后处理操作可以是基于插帧置信度、图像内容差异度和/或大光流区域大小判断是否符合插帧条件，确定出相邻两帧之间最终的目标插帧的过程。图4给出了一种线程并行处理的示例。如图4所示，本实施例可以将预处理操作和后处理操作运行在cpu上，将中间帧确定操作运行gpu上，并且每个操作利用单独线程进行处理，并且每个操作具有自己的输入队列和输出队列，并且当前操作的输出队列也是下一个操作的输入队列，从而可以利用流水线式的并行处理各个相邻两帧的插帧操作，使得cpu和gpu可以同时执行，提高了cpu与gpu的资源利用率，增加了系统的吞吐量，进一步提高了插帧效率。
98.以下是本公开实施例提供的视频插帧装置的实施例，该装置与上述实施例的视频插帧方法属于同一个发明构思，在视频插帧装置的实施例中未详尽描述的细节内容，可以参考上述实施例的视频插帧方法。
99.实施例三
100.图5为本公开实施例三提供的一种视频插帧装置的结构示意图，本实施例可适用于对视频中的每相邻两帧进行插帧的情况。如图5所示，该装置具体包括：相邻两帧获取模块510、下采样处理模块520、下采样信息确定模块530、上采样处理模块540和目标插帧确定模块550。
101.其中，相邻两帧获取模块510，用于获取目标视频中的相邻两帧；下采样处理模块520，用于基于预设采样倍数，分别对相邻两帧中的第一帧和第二帧进行下采样处理，获得
第一下采样帧和第二下采样帧；下采样信息确定模块530，用于基于预设光流修正模型，确定第一下采样帧对应的第一下采样光流图、第二下采样帧对应的第二下采样光流图和下采样修正信息；上采样处理模块540，用于基于预设采样倍数，分别对第一下采样光流图、第二下采样光流图和下采样修正信息进行上采样处理，获得第一上采样光流图、第二上采样光流图和上采样修正信息；目标插帧确定模块550，用于基于预设转换整合模型，根据第一帧、第二帧、第一上采样光流图、第二上采样光流图和上采样修正信息，确定相邻两帧之间的中间帧，并基于中间帧确定相邻两帧对应的目标插帧。
102.本公开实施例的技术方案，通过基于预设采样倍数，分别对目标视频中的相邻两帧中的第一帧和第二帧进行下采样处理，获得分辨率降低的第一下采样帧和第二下采样帧，从而基于预设光流修正模型，可以更加快速地确定第一下采样帧对应的第一下采样光流图、第二下采样帧对应的第二下采样光流图和下采样修正信息，进而提高插帧效率。通过基于预设采样倍数，分别对第一下采样光流图、第二下采样光流图和下采样修正信息进行上采样处理，获得原分辨率率的第一上采样光流图、第二上采样光流图和上采样修正信息，并基于预设转换整合模型，根据第一帧、第二帧、第一上采样光流图、第二上采样光流图和上采样修正信息，可以准确地确定出相邻两帧之间的中间帧，并基于中间帧确定相邻两帧对应的目标插帧，从而在保证插帧效果的前提下提高了视频插帧效率。
103.在上述技术方案的基础上，预设光流修正模型包括：光流生成子模型、第一转换子模型和修正子模型；下采样信息确定模块530，具体用于：
104.将第一下采样帧和第二下采样帧分别输入至光流生成子模型中，获得第一下采样帧对应的第一下采样光流图和第二下采样帧对应的第二下采样光流图；将第一下采样帧和第一下采样光流图输入至第一转换子模型中，获得预设插帧时刻对应的第一下采样转换帧；将第二下采样帧和第二下采样光流图输入至第一转换子模型中，获得预设插帧时刻对应的第二下采样转换帧；将第一下采样转换帧和第二下采样转换帧输入至修正子模型中，获得下采样修正信息。
105.在上述各技术方案的基础上，预设光流修正模型还包括：语义提取子模型；下采样信息确定模块530，还具体用于：
106.将第一下采样帧和第二下采样帧分别输入至语义提取子模型中，获得第一下采样帧对应的第一下采样语义信息和第二下采样帧对应的第二下采样语义信息；将第一下采样转换帧、第二下采样转换帧、第一下采样语义信息和第二下采样语义信息输入至修正子模型中，获得下采样修正信息。
107.在上述各技术方案的基础上，预设转换整合模型包括：第二转换子模型和整合子模型；
108.目标插帧确定模块550包括：中间帧确定单元，具体用于：
109.将第一帧和第一上采样光流图输入至第二转换子模型中，获得预设插帧时刻对应的第一转换帧；将第二帧和第二上采样光流图输入至第二转换子模型中，获得预设插帧时刻对应的第二转换帧；将第一转换帧、第二转换帧和上采样修正信息输入至整合子模型中，获得相邻两帧之间的中间帧。
110.在上述各技术方案的基础上，目标插帧确定模块550包括：目标插帧确定单元；目标插帧确定单元具体包括：
111.插帧置信度确定子单元，用于基于预设光流修正模型或者预设转换整合模型，确定中间帧对应的插帧置信度；
112.目标插坏区域确定子单元，用于基于插帧置信度，确定中间帧对应的目标插坏区域；
113.第一确定单元，用于若目标插坏区域小于或等于预设插坏区域阈值，则将中间帧确定为相邻两帧对应的目标插帧；
114.第二确定单元，用于若目标插坏区域大于预设插坏区域阈值，则将第一帧或者第二帧确定为相邻两帧对应的目标插帧。
115.在上述各技术方案的基础上，目标插坏区域确定子单元，具体用于：
116.基于预设置信度阈值，对插帧置信度进行二值化处理，确定中间帧对应的二值化图像；对二值化图像进行开操作，获取开操作后的剩余区域，并将剩余区域作为中间帧对应的目标插坏区域。
117.在上述各技术方案的基础上，下采样处理模块520，具体用于：
118.确定相邻两帧中的第一帧与第二帧之间的图像差异度；若图像差异度小于预设差异度阈值，则基于预设采样倍数，分别对相邻两帧中的第一帧和第二帧进行下采样处理，获得第一下采样帧和第二下采样帧。
119.在上述各技术方案的基础上，下采样处理模块520，还具体用于：
120.确定相邻两帧中从第一帧到第二帧的第一光流图以及从第二帧到第一帧的第二光流图；确定第一光流图对应的第一大光流区域和第二光流图对应的第二大光流区域；若第一大光流区域和第二大光流区域均小于预设光流区域阈值，则基于预设采样倍数，分别对相邻两帧中的第一帧和第二帧进行下采样处理，获得第一下采样帧和第二下采样帧。
121.在上述各技术方案的基础上，下采样处理模块520，还具体用于：
122.基于第一光流图，确定每个像素点对应的光流值；将光流值大于预设光流阈值的各个像素点所组成的像素区域确定为第一光流图对应的第一大光流区域。
123.在上述各技术方案的基础上，该装置还包括：
124.图像处理器执行模块，用于在加载有预设转换插件的图像处理器上，执行基于预设光流修正模型和预设转换整合模型确定相邻两帧之间的中间帧的操作。
125.在上述各技术方案的基础上，该装置还包括：并行处理模块，具体用于：
126.利用中央处理器上的第一线程，执行第一队列中的第一相邻两帧的预处理操作，并将预处理结果存储至第二队列中；
127.利用图像处理器上的第二线程，基于第二队列中的第二相邻两帧对应的预处理结果，执行第二相邻两帧对应的中间帧确定操作，并将确定的中间帧存储至第二队列中，其中，第二相邻两帧是位于第一相邻两帧之前的相邻两帧；
128.利用中央处理器上的第三线程，基于第二队列中的第三相邻两帧对应的中间帧，执行第三相邻两帧对应的后处理操作，并将确定的第三相邻两帧对应的目标插帧存储至第三队列中，其中，第三相邻两帧是位于第二相邻两帧之前的相邻两帧。
129.本公开实施例所提供的视频插帧装置可执行本发明任意实施例所提供的视频插帧方法，具备执行视频插帧方法相应的功能模块和有益效果。
130.值得注意的是，上述视频插帧装置的实施例中，所包括的各个单元和模块只是按
照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
131.实施例四
132.下面参考图6，其示出了适于用来实现本公开实施例的电子设备900的结构示意图。图6示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
133.如图6所示，电子设备900可以包括处理装置(例如中央处理器、图形处理器等)901，其可以根据存储在只读存储器(rom)902中的程序或者从存储装置908加载到随机访问存储器(ram)903中的程序而执行各种适当的动作和处理。在ram 903中，还存储有电子设备900操作所需的各种程序和数据。处理装置901、rom 902以及ram 903通过总线904彼此相连。输入/输出(i/o)接口905也连接至总线904。
134.通常，以下装置可以连接至i/o接口905：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置906；包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置907；包括例如磁带、硬盘等的存储装置908；以及通信装置909。通信装置909可以允许电子设备900与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备900，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
135.特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置909从网络上被下载和安装，或者从存储装置908被安装，或者从rom 902被安装。在该计算机程序被处理装置901执行时，执行本公开实施例的方法中限定的上述功能。
136.本公开实施例提供的电子设备与上述实施例提供的视频插帧方法属于同一发明构思，未在本公开实施例中详尽描述的技术细节可参见上述实施例，并且本公开实施例与上述实施例具有相同的有益效果。
137.实施例五
138.本公开实施例提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例所提供的视频插帧方法。
139.需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于
电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
140.在一些实施方式中，客户端、服务器可以利用诸如http(hypertext transfer protocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“lan”)，广域网(“wan”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
141.上述计算机可读介质可以是上述服务器中所包含的；也可以是单独存在，而未装配入该服务器中。
142.上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该服务器执行时，使得该服务器：获取目标视频中的相邻两帧；基于预设采样倍数，分别对所述相邻两帧中的第一帧和第二帧进行下采样处理，获得第一下采样帧和第二下采样帧；基于预设光流修正模型，确定所述第一下采样帧对应的第一下采样光流图、所述第二下采样帧对应的第二下采样光流图和下采样修正信息；基于所述预设采样倍数，分别对所述第一下采样光流图、所述第二下采样光流图和所述下采样修正信息进行上采样处理，获得第一上采样光流图、第二上采样光流图和上采样修正信息；基于预设转换整合模型，根据所述第一帧、所述第二帧、所述第一上采样光流图、所述第二上采样光流图和所述上采样修正信息，确定所述相邻两帧之间的中间帧，并基于所述中间帧确定所述相邻两帧对应的目标插帧。
143.可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
144.附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
145.描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬
件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，可编辑内容显示单元还可以被描述为“编辑单元”。
146.本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、片上系统(soc)、复杂可编程逻辑设备(cpld)等等。
147.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
148.根据本公开的一个或多个实施例，【示例一】提供了一种视频插帧方法，包括：
149.获取目标视频中的相邻两帧；
150.基于预设采样倍数，分别对所述相邻两帧中的第一帧和第二帧进行下采样处理，获得第一下采样帧和第二下采样帧；
151.基于预设光流修正模型，确定所述第一下采样帧对应的第一下采样光流图、所述第二下采样帧对应的第二下采样光流图和下采样修正信息；
152.基于所述预设采样倍数，分别对所述第一下采样光流图、所述第二下采样光流图和所述下采样修正信息进行上采样处理，获得第一上采样光流图、第二上采样光流图和上采样修正信息；
153.基于预设转换整合模型，根据所述第一帧、所述第二帧、所述第一上采样光流图、所述第二上采样光流图和所述上采样修正信息，确定所述相邻两帧之间的中间帧，并基于所述中间帧确定所述相邻两帧对应的目标插帧。
154.根据本公开的一个或多个实施例，【示例二】提供了一种视频插帧方法，还包括：
155.可选的，所述预设光流修正模型包括：光流生成子模型、第一转换子模型和修正子模型；
156.所述基于预设光流修正模型，确定所述第一下采样帧对应的第一下采样光流图、所述第二下采样帧对应的第二下采样光流图和下采样修正信息，包括：
157.将所述第一下采样帧和所述第二下采样帧分别输入至所述光流生成子模型中，获得所述第一下采样帧对应的第一下采样光流图和所述第二下采样帧对应的第二下采样光流图；
158.将所述第一下采样帧和所述第一下采样光流图输入至所述第一转换子模型中，获得预设插帧时刻对应的第一下采样转换帧；
159.将所述第二下采样帧和所述第二下采样光流图输入至所述第一转换子模型中，获得预设插帧时刻对应的第二下采样转换帧；
160.将所述第一下采样转换帧和所述第二下采样转换帧输入至所述修正子模型中，获
得下采样修正信息。
161.根据本公开的一个或多个实施例，【示例三】提供了一种视频插帧方法，还包括：
162.可选的，所述预设光流修正模型还包括：语义提取子模型；
163.所述将所述第一下采样转换帧和所述第二下采样转换帧输入至所述修正子模型中，获得下采样修正信息，包括：
164.将所述第一下采样帧和所述第二下采样帧分别输入至所述语义提取子模型中，获得所述第一下采样帧对应的第一下采样语义信息和所述第二下采样帧对应的第二下采样语义信息；
165.将所述第一下采样转换帧、所述第二下采样转换帧、所述第一下采样语义信息和所述第二下采样语义信息输入至所述修正子模型中，获得下采样修正信息。
166.根据本公开的一个或多个实施例，【示例四】提供了一种视频插帧方法，还包括：
167.可选的，所述预设转换整合模型包括：第二转换子模型和整合子模型；
168.所述基于预设转换整合模型，根据所述第一帧、所述第二帧、所述第一上采样光流图、所述第二上采样光流图和所述上采样修正信息，确定所述相邻两帧之间的中间帧，包括：
169.将所述第一帧和所述第一上采样光流图输入至所述第二转换子模型中，获得预设插帧时刻对应的第一转换帧；
170.将所述第二帧和所述第二上采样光流图输入至所述第二转换子模型中，获得预设插帧时刻对应的第二转换帧；
171.将所述第一转换帧、所述第二转换帧和所述上采样修正信息输入至所述整合子模型中，获得所述相邻两帧之间的中间帧。
172.根据本公开的一个或多个实施例，【示例五】提供了一种视频插帧方法，还包括：
173.可选的，所述基于所述中间帧确定所述相邻两帧对应的目标插帧，包括：
174.基于所述预设光流修正模型或者预设转换整合模型，确定所述中间帧对应的插帧置信度；
175.基于所述插帧置信度，确定所述中间帧对应的目标插坏区域；
176.若所述目标插坏区域小于或等于预设插坏区域阈值，则将所述中间帧确定为所述相邻两帧对应的目标插帧；
177.若所述目标插坏区域大于预设插坏区域阈值，则将所述第一帧或者所述第二帧确定为所述相邻两帧对应的目标插帧。
178.根据本公开的一个或多个实施例，【示例六】提供了一种视频插帧方法，还包括：
179.可选的，所述基于所述插帧置信度，确定所述中间帧对应的目标插坏区域，包括：
180.基于预设置信度阈值，对所述插帧置信度进行二值化处理，确定所述中间帧对应的二值化图像；
181.对所述二值化图像进行开操作，获取开操作后的剩余区域，并将所述剩余区域作为所述中间帧对应的目标插坏区域。
182.根据本公开的一个或多个实施例，【示例七】提供了一种视频插帧方法，还包括：
183.可选的，所述基于预设采样倍数，分别对所述相邻两帧中的第一帧和第二帧进行下采样处理，获得第一下采样帧和第二下采样帧，包括：
184.确定所述相邻两帧中的第一帧与第二帧之间的图像差异度；
185.若所述图像差异度小于预设差异度阈值，则基于预设采样倍数，分别对所述相邻两帧中的第一帧和第二帧进行下采样处理，获得第一下采样帧和第二下采样帧。
186.根据本公开的一个或多个实施例，【示例八】提供了一种视频插帧方法，还包括：
187.可选的，所述基于预设采样倍数，分别对所述相邻两帧中的第一帧和第二帧进行下采样处理，获得第一下采样帧和第二下采样帧，还包括：
188.确定所述相邻两帧中从第一帧到第二帧的第一光流图以及从第二帧到第一帧的第二光流图；
189.确定所述第一光流图对应的第一大光流区域和所述第二光流图对应的第二大光流区域；
190.若所述第一大光流区域和所述第二大光流区域均小于预设光流区域阈值，则基于预设采样倍数，分别对所述相邻两帧中的第一帧和第二帧进行下采样处理，获得第一下采样帧和第二下采样帧。
191.根据本公开的一个或多个实施例，【示例九】提供了一种视频插帧方法，还包括：
192.可选的，所述确定所述第一光流图对应的第一大光流区域，包括：
193.基于所述第一光流图，确定每个像素点对应的光流值；
194.将所述光流值大于预设光流阈值的各个像素点所组成的像素区域确定为所述第一光流图对应的第一大光流区域。
195.根据本公开的一个或多个实施例，【示例十】提供了一种视频插帧方法，还包括：
196.可选的，所述方法还包括：
197.在加载有预设转换插件的图像处理器上，执行基于所述预设光流修正模型和所述预设转换整合模型确定所述相邻两帧之间的中间帧的操作。
198.根据本公开的一个或多个实施例，【示例十一】提供了一种视频插帧方法，还包括：
199.可选的，所述方法还包括：
200.利用中央处理器上的第一线程，执行第一队列中的第一相邻两帧的预处理操作，并将预处理结果存储至第二队列中；
201.利用图像处理器上的第二线程，基于所述第二队列中的第二相邻两帧对应的预处理结果，执行所述第二相邻两帧对应的中间帧确定操作，并将确定的中间帧存储至第二队列中，其中，所述第二相邻两帧是位于所述第一相邻两帧之前的相邻两帧；
202.利用中央处理器上的第三线程，基于所述第二队列中的第三相邻两帧对应的中间帧，执行所述第三相邻两帧对应的后处理操作，并将确定的所述第三相邻两帧对应的目标插帧存储至第三队列中，其中，所述第三相邻两帧是位于所述第二相邻两帧之前的相邻两帧。
203.根据本公开的一个或多个实施例，【示例十二】提供了一种视频插帧装置，包括：
204.相邻两帧获取模块，用于获取目标视频中的相邻两帧；
205.下采样处理模块，用于基于预设采样倍数，分别对所述相邻两帧中的第一帧和第二帧进行下采样处理，获得第一下采样帧和第二下采样帧；
206.下采样信息确定模块，用于基于预设光流修正模型，确定所述第一下采样帧对应的第一下采样光流图、所述第二下采样帧对应的第二下采样光流图和下采样修正信息；
207.上采样处理模块，用于基于所述预设采样倍数，分别对所述第一下采样光流图、所述第二下采样光流图和所述下采样修正信息进行上采样处理，获得第一上采样光流图、第二上采样光流图和上采样修正信息；
208.目标插帧确定模块，用于基于预设转换整合模型，根据所述第一帧、所述第二帧、所述第一上采样光流图、所述第二上采样光流图和所述上采样修正信息，确定所述相邻两帧之间的中间帧，并基于所述中间帧确定所述相邻两帧对应的目标插帧。
209.以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
210.此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
211.尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。