电子装置及影像处理方法与流程

本揭示文件涉及一种电子装置及一种影像处理方法。更特定言之，本揭示文件涉及一种整合区块匹配演算法及人工智能模型方式来产生内插讯框的影像处理方法。

背景技术：

1、动态估计与动态补偿(motion estimation and motion compensation,memc)是一种用于讯框内插的技术，其可将一系列影像讯框转换为更高的帧率进行显示。例如，来源视频原本是帧率为30hz的电影，若想要以60hz的帧率进行显示，则应在来源视频当中每两个相邻输入讯框之间加入一个内插讯框，以使帧率加倍。可通过使用当前输入讯框与先前输入讯框之间的动态向量(motion vector)来预测内插讯框的影像，借以产生流畅的输出视频。

2、由于内插讯框是通过动态向量来产生原先并不存在的影像，因此，在动态估计与动态补偿(memc)的运作过程中，动态向量的准确性至关重要。倘若内插讯框是基于不够精确的动态向量所产生，则内插讯框中可能会出现光晕现象或数据毁损的区域，且这些光晕或数据毁损的区域可能会环绕在移动物件的边缘。因此，业界致力于提升动态向量预测的精确度，特别是针对位于前景物件边缘的区块。

技术实现思路

1、本揭示文件的一态样提供一种电子装置，其包含视频来源以及处理器。视频来源用以提供第一视频其包含一先前讯框及一当前讯框。处理器耦接至视频来源。处理器用以执行基于区块匹配的动态估计，于该先前讯框与该当前讯框之间，产生一第一动态向量、一第一遮挡参数及一绝对差值加总参数。处理器更用以执行基于人工智能的动态估计，于该先前讯框与该当前讯框之间，产生一第二动态向量及一第二遮挡参数。处理器更用以根据该第一动态向量、该第一遮挡参数、该先前讯框及该当前讯框执行一动态补偿，产生一第一内插讯框。处理器更用以根据该第二动态向量、该第二遮挡参数、该先前讯框及该当前讯框执行另一动态补偿，产生一第二内插讯框。处理器更用以根据该第一动态向量及该绝对差值加总参数计算一人工智能权重图。处理器更用以根据该人工智能权重图整合该第一内插讯框及该第二内插讯框，产生一内插输出讯框。

2、于一些实施例中，处理器更用以根据该先前讯框、该内插输出讯框及该当前讯框产生一第二视频，其中该第二视频的一帧率高于该第一视频的一帧率。

3、于一些实施例中，处理器更用以运行一人工智能动态估计模型用于执行该基于人工智能的动态估计，该人工智能动态估计模型是与一人工智能动态补偿模型共同根据多个训练输入讯框及一训练基准内插讯框进行训练。

4、于一些实施例中，人工智能动态估计模型及人工智能动态补偿模型的训练过程中，该人工智能动态估计模型用以根据该多个训练输入讯框产生一中间输出数据，该人工智能动态补偿模型用以根据该中间输出数据产生一预测内插讯框，该预测内插讯框与该训练基准内插讯框进行比较并用以进行一反向传播，借以最佳化该人工智能动态估计模型及该人工智能动态补偿模型，该中间输出数据包含对应于该多个训练输入讯框的一预测动态向量及一预测遮挡参数。

5、于一些实施例中，人工智能权重图是通过以下方式计算：决定位在一目标区块附近的一参考视窗；根据该第一动态向量，计算该参考视窗中的多个相邻区块相对于该目标区块的多个动态向量差值；根据该绝对差值加总参数产生该参考视窗中的该多个相邻区块的多个绝对差值加总增益值；以及根据该多个动态向量差与该多个绝对差值加总增益值之间的一乘积加总计算该目标区块上的一人工智能权重。

6、于一些实施例中，当该目标区块邻近于一前景物件与一背景之间的一边界时，该目标区块上的该人工智能权重较高。

7、于一些实施例中，相应于该目标区块上的该人工智能权重较高，该内插输出讯框中的一对应像素是更大程度地根据该第二内插讯框而非该第一内插讯框来决定。

8、于一些实施例中，相应于该目标区块上的该人工智能权重较低，该内插输出讯框中的一对应像素是更大程度地根据该第一内插讯框而非该第二内插讯框来决定。

9、于一些实施例中，在产生该第一内插讯框时该第一遮挡参数用以决定该先前讯框与该当前讯框的权重，在产生该第二内插讯框时该第二遮挡参数用以决定该先前讯框与该当前讯框的权重。

10、本揭示文件的一态样提供一种影像处理方法，包含下列步骤：接收一第一视频其包含一先前讯框及一当前讯框；执行一基于区块匹配的动态估计，于该先前讯框与该当前讯框之间，产生一第一动态向量、一第一遮挡参数及一绝对差值加总参数；执行一基于人工智能的动态估计，于该先前讯框与该当前讯框之间，产生一第二动态向量及一第二遮挡参数；根据该第一动态向量、该第一遮挡参数、该先前讯框及该当前讯框执行一动态补偿，产生一第一内插讯框；根据该第二动态向量、该第二遮挡参数、该先前讯框及该当前讯框执行另一动态补偿，产生一第二内插讯框；根据该第一动态向量及该绝对差值加总参数计算一人工智能权重图；以及，根据该人工智能权重图整合该第一内插讯框及该第二内插讯框，产生一内插输出讯框。

11、于一些实施例中，影像处理方法还包含根据该先前讯框、该内插输出讯框及该当前讯框产生一第二视频，其中该第二视频的一帧率高于该第一视频的一帧率。

12、于一些实施例中，基于人工智能的动态估计是由一人工智能动态估计模型执行，其中该人工智能动态估计模型是与一人工智能动态补偿模型共同根据多个训练输入讯框及一训练基准内插讯框进行训练。

13、于一些实施例中，人工智能动态估计模型及该人工智能动态补偿模型的一训练过程中，该人工智能动态估计模型用以根据该多个训练输入讯框产生一中间输出数据，该人工智能动态补偿模型用以根据该中间输出数据产生一预测内插讯框，该预测内插讯框与该训练基准内插讯框进行比较并用以进行一反向传播，借以最佳化该人工智能动态估计模型及该人工智能动态补偿模型，该中间输出数据包含对应于该多个训练输入讯框的一第三动态向量及一第三遮挡参数。

14、于一些实施例中，计算该人工智能权重图的步骤包含：决定位在该人工智能权重图中一目标区块附近的一参考视窗；根据该第一动态向量，计算该参考视窗中的多个相邻区块相对于该目标区块的多个动态向量差值；根据该绝对差值加总参数计算该参考视窗中的该多个相邻区块的多个绝对差值加总增益值；以及根据该多个动态向量差值与该多个绝对差值加总增益值之间的一乘积加总计算该目标区块上的一人工智能权重。

15、于一些实施例中，当该目标区块邻近于一前景物件与一背景之间的一边界时，该目标区块上的该人工智能权重较高。

16、于一些实施例中，相应于该目标区块上的该人工智能权重较高，该内插输出讯框中的一对应像素是更大程度地根据该第二内插讯框而非该第一内插讯框来决定。

17、于一些实施例中，相应于该目标区块上的该人工智能权重较低，该内插输出讯框中的一对应像素是更大程度地根据该第一内插讯框而非该第二内插讯框来决定。

18、于一些实施例中，在产生该第一内插讯框时该第一遮挡参数用以决定该先前讯框与该当前讯框的权重，在产生该第二内插讯框时该第二遮挡参数用以决定该先前讯框与该当前讯框的权重。

19、本揭示文件提供了一种整合基于区块匹配的动态估计及基于人工智能的动态估计的方法。它可以增强内插品质，特别是在边界区域。基于人工智能的动态估计能够解决与基于区块匹配的动态估计相关的数据破损及光晕问题。它可以提供更平滑的遮挡区域附近过渡，从而产生更自然的遮挡效果及动态过渡。

20、须说明的是，上述说明以及后续详细描述是以实施例方式例示性说明本案，并用以辅助本案所请求的 技术实现要素： 的解释与理解。