图像处理方法和图像处理装置及电子设备和存储介质与流程

1.本发明涉及图像处理技术领域，尤其是涉及一种图像处理方法，以及图像处理装置、电子设备和非临时性计算机存储介质。


背景技术：

2.静态标识可以是视频流中一段时间处于静态的标识例如台标、台词、字幕等，标识是否为静态标识取决于边缘检测信息和运动矢量的分布信息。
3.在图像处理技术中，运动补偿是一种描述相邻帧图像差别的方法，具体来说是描述前面一帧的每个小块怎样移动到当前帧中的某个位置去。这种方法经常被视频压缩/视频编解码器用来减少视频序列中的空域冗余。它也可以用来进行去交织(deinterlacing)与以及运动插值(motion interpolation)的操作。
4.对于静态标识来说，在进行运动补偿时，由于很难准确获得多个相互邻近的静态标识之间空隙处的运动矢量，在静态标识空隙处的运动补偿，可能采用的是零矢量位置的数据，也可能是单侧数据或双侧融合数据，因而，导致多个静态标识的空隙处，获得的插值数据很不规整，最终呈现的图像中静态标识的间隙处给人一种很脏的感觉，降低了最终视频视觉效果。


技术实现要素：

5.本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明的一个目的在于提出一种图像处理方法，该图像处理方法，可以缓解静态标识间隙不干净的问题，提高最终视频图像视觉效果。
6.本发明第二个目的在于提出一种非临时性计算机存储介质。
7.本发明第三个目的在于提出一种图像处理装置。
8.本发明第四个目的在于提出一种电子设备。
9.为了达到上述目的，本发明第一方面实施例的图像处理方法，包括：获取待插值像素点的第一指向静态标识标记，以及，获取所述待插值像素点的预设邻域内各个像素点的第二指向静态标识标记；确定所述第一指向静态标识标记和所述第二指向静态标识标记中的标记类型以及对应各种标记类型的数量；根据所述标记类型和对应各种标记类型的数量获得所述待插值像素点的第三指向静态标识标记；根据所述待插值像素点的第三指向静态标识标记获得所述待插值像素点的插值数据，并根据所述插值数据对所述待插值像素点进行运动补偿。
10.根据本发明实施例的图像处理方法，基于待插值像素点邻域内的atm flag分布来更新待插值像素点的atm flag，使得待插值像素点的atm flag更加趋于大多数，从而提高了该区域atm flag的一致性，优化了运动矢量造成的atm flag混乱现象，避免静态标识间隙出现不干净的现象；以及，根据更新后的待插值像素点的第三指向静态标识标记来获得插值数据，进行运动补偿，可以避免视频图像中静态标识出现飞出的现象，提高了最终视频
图像的质量。
11.在一些实施例中，根据所述标记类型和对应各种标记类型的数量确定所述待插值像素点的第三指向静态标识标记，包括：去除所述标记类型中指向静态标识本身的指向静态标识标记；确定所述标记类型中数量最多的标记类型；将所述数量最多的标记类型作为所述待插值像素点的第三指向静态标识标记，从而可以使得待插值像素点邻域内的指向静态标识标记更加一致，避免静态标识间隙不干净的现象。
12.在一些实施例中，根据所述待插值像素点的第三指向静态标识标记获得对应待插值像素点的插值数据，包括：所述第三指向静态标识标记为第一类标记，根据当前帧图像中对应所述待插值像素点的第一运动矢量和前一帧图像中对应所述待插值像素点的第二运动矢量，获得对应所述待插值像素点的插值数据；其中，所述第一类标记为所述第一运动矢量和所述第二运动矢量均指向背景图像。
13.在一些实施例中，根据所述待插值像素点的第三指向静态标识标记获得对应待插值像素点的插值数据，包括：所述第三指向静态标识标记为第二类标记，将指向背景图像的运动矢量作为所述待插值像素点的插值数据；其中，所述第二类标记为第一运动矢量和第二运动矢量中任意一个指向背景图像且另一个指向静态标识，所述第一运动矢量为当前帧图像中对应所述待插值像素点的运动矢量，所述第二运动矢量为前一帧图像中对应所述待插值像素点的运动矢量。
14.在一些实施例中，根据所述待插值像素点的第三指向静态标识标记获得对应待插值像素点的插值数据，包括：所述第三指向静态标识标记为第三类标记，将零矢量作为所述待插值像素点的插值数据；其中，所述第三类标记为第一运动矢量和第二运动矢量均指向静态标识，所述第一运动矢量为当前帧图像中对应所述待插值像素点的运动矢量，所述第二运动矢量为前一帧图像中对应所述待插值像素点的运动矢量。
15.在一些实施例中，根据所述待插值像素点的第三指向静态标识标记获得对应待插值像素点的插值数据，包括：所述第三指向静态标识标记为第四类标记，将零矢量作为所述待插值像素点的插值数据；其中，所述第四类标记对应所述待插值像素点为静态标识。
16.在一些实施例中，所述图形处理方法还包括：对所述待插值像素点运动补偿后的结果进行羽化，以使得不同atm flag区域的边界过渡更加缓和和平滑，减小视觉上的锯齿现象。
17.在一些实施例中，对所述待插值像素点运动补偿后的结果进行羽化包括：统计所述待插值像素点和所述预设领域内将零矢量作为插值数据的像素点的数量；根据将零矢量作为插值数据的像素点的数量和所述预设领域内像素点的总数量生成权重系数；根据所述权重系数对所述待插值像素点运动补偿后的结果与将所述零矢量作为所述插值数据的像素点的像素值进行融合。
18.本发明第二方面实施例的非临时性计算机存储介质，其上存储有计算机程序，所述计算机程序被执行时实现所述的图像处理方法。
19.为了达到上述目的，本发明第三方面实施例的图像处理装置包括：处理器；与所述处理器通信连接的存储器；其中，所述存储器中存储有可被所述处理器执行的指令，所述指令被所述处理器执行时实现所述的图像处理方法。
20.根据本发明实施例的图像处理装置，通过执行上面实施例的图像处理方法，可以
解决静态标识之间脏的问题以及避免静态标识出现飞出的现象。
21.为了达到上述目的，本发明第四方面实施例的电子设备包括：图像显示装置和所述的图像处理装置，所述图像处理装置与所述图像显示装置连接。
22.根据本发明实施例的电子设备，采用上面实施例的图像处理装置，图像处理装置根据待插值像素点邻域内的atm flag分布来确定待插值像素点新的atm flag即第三指向静态标识标记，可以提高atm flag的一致性，避免视频图像中出现静态标识间隙呈现不干净的现象，以及通过根据第三指向静态标识标记来确定插值数据，进行运动优化补偿，可以避免出现静态标识飞出的视觉效果，从而提高了图像显示装置呈现的视频图像的质量。
23.本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
24.本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
25.图1是根据本发明的一个实施例的图像处理方法的流程图；
26.图2是根据本发明的一个实施例的确定待插值像素点的第三指向静态标识标记的示意图；
27.图3是根据本发明的一个实施例的对待插值像素点的运动补偿结果进行羽化的示意图；
28.图4是根据本发明的一个实施例的图像处理装置的框图；
29.图5是根据本发明的一个实施例的电子设备的框图。
具体实施方式
30.下面详细描述本发明的实施例，参考附图描述的实施例是示例性的，下面详细描述本发明的实施例。
31.在图像处理中，对于静态标识的检测，会存在一些问题，例如，由于静态标识保护不完整，导致静态标识本身看着残破；再例如，由于将视频序列中的正确画质内容误检测为静态标志，造成静态标识误判；再例如，在进行运动补偿时，静态标识间隙间插值数据不规整，造成静态标识间隙呈现出不干净的现象。这些问题都会在一定程度上降低最终呈现的视频图像质量。
32.在静态标识检测没有破碎或误判的情况下，在进行运动估计及运动补偿时，由于插值计算时造成静态标识间不干净的问题，本发明实施例提出了图像处理方法，该图像处理方法可以缓解静态标识间脏的问题，使得经过memc(motion estimate motion compensation，运动预估及运动补偿)处理过后的视频码流，在最终播放效果上使得人眼感觉更舒适。
33.下面参考图1-图3描述根据本发明实施例的图像处理方法。
34.图1是根据本发明的一个实施例的图像处理方法的流程图。如图1所示，本发明实施例的图像处理方法至少包括步骤s1-s4，每个步骤具体如下。
35.步骤s1，获取待插值像素点的第一指向静态标识标记，以及，获取待插值像素点的
预设邻域内各个像素点的第二指向静态标识标记。
36.在实施例中，每个待插像素点可以根据运动矢量基于前一帧图像和当前帧图像的对应位置获得其指向静态标识标记(aim-to-mask flag，atm flag)，因而，像素点的atm flag可以表明前一帧图像对应位置的运动矢量指向背景图像还是静态标识，以及表明当前帧图像的该像素点的运动矢量指向背景图像还是静态标识。
37.在一些实施例中，可以根据待插值像素点的前一帧图像对应位置以及当前帧图像对应位置的运动矢量指向性来定义不同类型的指向静态标识标记。例如，可以设置四类指向静态标识标记，每类的意义如下：
38.atm flag＝0，表示前一帧图像对应该待插值像素点的运动矢量和当前帧图像对应该待插值像素点的运动矢量均指向正常背景图像；
39.atm flag＝1，表示在前一帧图像对应该待插值像素点的运动矢量和当前帧图像对应该待插值像素点的运动矢量中，有一侧运动矢量指向静态标识区域，另一侧运动矢量指向正常背景图像；
40.atm flag＝2，表示前一帧图像对应该待插值像素点的运动矢量和当前帧图像对应该待插值像素点的运动矢量均指向静态标识区域；
41.atm flag＝3，表示该待插值像素点本身即为静态标识。
42.以上仅给出了分为四类指向静态标识标记的示例，也可以根据需要来进行分类和定义各个分类的意义。
43.在本发明实施例中，可以默认已经对视频码流进行了静态标识检测，并获得了每个像素点初始的指向静态标识标记。为了解决在插值时造成静态标识间隙脏的问题，将待插值像素点周围例如n
×
m邻域内(包括待插值像素点本身)的atm flag作为整个参考集，采用聚合投票策略生成待插值像素点的新的atm flag即第三指向静态标识标记，具体如下步骤s2和s3。
44.步骤s2，确定第一指向静态标识标记和第二指向静态标识标记中的标记类型以及对应各种标记类型的数量。
45.由于待插值像素点周围例如预设邻域内的运动矢量很难准确且一致性较差，如果直接根据待插值像素点的atm flag进行运动补偿插值，将造成静态标识周围补偿区域的数据非常混乱，部分数据插值在视觉上非常突兀，这就是造成静态标识区域间出现脏的直接原因，因而，在本发明实施例中，将当前待插值像素点预设邻域内像素点的atm flag作为参考集，统计其中出现的标记类型例如上文提到的四种类型，以及对应各种标记类型的数量，例如统计其中出现flag＝1或flag＝2或flag＝3或flag＝0的数量，进而根据统计结果来确定选择的待插值像素点的插值数据。
46.步骤s3，根据标记类型和对应各种标记类型的数量获得待插值像素点的第三指向静态标识标记。
47.在实施例中，如果atm flag表明待插值像素点本身就是静态标记，则该atm flag没有意义，则在确定新的待插值像素点的新的atm flag时，将该atm flag剔除。
48.具体地，去除标记类型中指向静态标识本身的指向静态标识标记；确定标记类型中数量最多的标记类型；将数量最多的标记类型作为待插值像素点新的指向静态标识标记即第三指向静态标识标记。
49.举例说明，图2为根据本发明的一个实施例的确定待插值像素点的第三指向静态标识标记的示意图，如图2所示，其中，pre表示前一帧图像，cur表示当前帧图像，pre与cur之间的格子p即表示在pre与cur插帧，z_data表示零矢量，mask表示静态标识，cur pixel表示待插值像素点。格子p中表示出了待插值像素点及其邻域n
×
m(图中n＝m＝5)的像素点的指向静态标识标记。统计格子中包括指向静态标识标记的类型例如包括上文提到的flag＝0、flag＝1，flag＝2和flag＝3，并统计对应各种类型的个数，其中，flag＝3无意义则剔除该标记，则其中，flag＝2的数量最多，则将待插值像素点的指向静态标识标记更新为flag＝2。即对待插值像素点及其周围邻域中的atm flag进行投票，出现类型最多的票数决定待插值像素点最终的新的atm flag。
50.经过以上方式，确定待插值像素点的第三指向静态标识标记，可以使得静态标识之间的指向静态标识标记更加趋于一致，优化了运动矢量造成atm flag混乱的问题，进而可以提升视频图像运动估计及运动补偿后的视觉效果。但是会存在不同指向静态标识标记区域之间产生不平滑的现象，因而造成不同区域的边界存在明显的锯齿现象，对此本发明实施例的方法进行运动优化补偿，即执行步骤s4。
51.步骤s4，根据待插值像素点的第三指向静态标识标记获得对应待插值像素点的插值数据，并根据插值数据对待插值像素点进行运动补偿。
52.在实施例中，可以根据前一帧图像中运动矢量的指向性以及当前帧图像中对应位置运动矢量的指向性，来选择待插值像素点的插值数据，也就是根据待插值像素点的第三指向静态标识标记来确定其插值数据。
53.例如，第三指向静态标识标记为第一类标记，则根据当前帧图像中待插值像素点的第一运动矢量和前一帧图像中对应该待插值像素点位置的第二运动矢量，获得对应待插值像素点位置的插值数据；其中，第一类标记为第一运动矢量和第二运动矢量均指向背景图像，例如上文提到的atm flag＝0，此时则执行正常的运动补偿，例如取前一帧图像中对应位置的像素值与当前帧图像中对应位置的像素值的平均值作为待插值像素点的插值。
54.再例如，第三指向静态标识标记为第二类标记，第二类标记为第一运动矢量和第二运动矢量中任意一个指向背景图像且另一个指向静态标识，第一运动矢量为当前帧图像中待插值像素点的运动矢量，第二运动矢量为前一帧图像中对应待插值像素点的运动矢量，则将指向背景图像的运动矢量作为对应待插值像素点的插值数据。例如atm flag＝1,即该待插值像素点的单侧运动矢量指向静态标识，另一侧指向正常背景图像，则选取指向正常背景图像的像素值作为待插值像素点的插值。
55.再例如，第三指向静态标识标记为第三类标记，第三类标记为第一运动矢量和第二运动矢量均指向静态标识，其中，第一运动矢量为当前帧图像中对应待插值像素点的运动矢量，第二运动矢量为前一帧图像中对应待插值像素点的运动矢量，则将零矢量作为对应待插值像素点的插值数据。即待插值像素点两侧均指向静态标识例如atm flag＝2，如图2所示，此时则待插值像素点选取零矢量作为插值。
56.再例如，第三指向静态标识标记为第四类标记，第四类标记对应所述待插值像素点为静态标识，则将零矢量作为对应待插值像素点的插值数据。
57.简言之，在根据第三指向静态标识标记对待插值像素点进行运动优化补偿时，主要的原则为：若待插值像素点为静态标识即atm flag＝3或者atm flag＝2，则直接选取两
帧零矢量数据进行插值；若待插值像素点的atm flag＝1，则选择指向正常背景图像的数据进行插值；若待插值像素点的atm flag＝0，则正常进行双边插值即可。
58.通过以上实施例的运动优化补偿，可以避免静态标识区域存在空心，避免出现静态标识本身的像素点去到背景中去，呈现静态标识飞出现象，解决了由于补偿数据的凌乱而造成静态标识间图像在视觉上脏的问题。
59.进一步地，由于真实视频码流中，静态标识的边界不是那么完美，如果紧贴静态标识，也会造成静态标识保护不全的现象，造成异样点的飞出，所以，为了避免静态标识飞出，会造成对静态标识保护过度，静态标识上下左右的一些背景图像的像素也被保护了，导致静态标识出现光晕现象。以及，除了待插值像素点本身是静态标识之外，如上文提到，由于对待插值像素点的指向静态标识标记进行了更新，提升了静态标识间atm flag的一致性，但是也同时带来了atm flag为0时其插值区域边界与其他atm flag插值区域不平滑的问题，视觉上存在锯齿现象。
60.为了解决上面进一步的问题，本发明实施例的运动估计及运动补偿方法，还对待插值像素点运动补偿后的结果进行了羽化，以使得不同atm flag区域的边界过渡更加缓和和平滑，减小视觉上的锯齿现象。
61.在实施例中，在对待插值像素点运动补偿后的结果进行羽化时，统计待插值像素点及其预设领域例如n
×
m邻域内将零矢量作为插值数据的像素点的数量即atm flag＝2和atm flag＝3的像素点的数量；根据将零矢量作为插值数据的像素点的数量和预设领域内像素点的总数量生成权重系数；根据权重系数对待插值像素点运动补偿后的结果与将零矢量作为插值数据的像素点的像素值进行融合。
62.例如，图3所示为根据本发明的一个实施例的羽化融合的示意图，如图3所示，其中，mask为静态标识点，cur pixel表示待插值像素点。统计待插值像素点邻域内属于atm flag＝2和atm flag＝3的像素点例如mask点的个数，根据该统计个数和该邻域内的像素点的总个数，获得属于atm flag＝2和atm flag＝3的像素点的权重系数，基于该权重系数将当前待插值像素点的实际插值结果与其邻域内采用零矢量插值的位置的像素值进行融合，可以使得在区域边界羽化过度，达到柔和不平滑的效果。
63.可以得知，如图3所示，距离属于atm flag＝2和atm flag＝3的区域越远的像素点，依然采用按照上文确定的插值数据进行插值，而随着待插值像素点邻域内静态标识的像素点越来越多，采用零矢量值插值的权重越来越大，从而达到过渡的效果。
64.概括来说，本发明实施例的图像处理方法，对于静态标识之间由于atm flag过于混乱而造成静态标识之间视觉感受不干净的问题，本发明实施例基于待插值像素点邻域内的atm flag分布来更新待插值像素点的atm flag，使得待插值像素点的atm flag更加趋于大多数，从而提高了该区域atm flag的一致性，提高静态标识之间区域的图像质量；以及，通过根据更新后的待插值像素点的第三指向静态标识标记来获得插值数据，进行运动补偿，可以避免静态标识出现飞出的现象；以及，通过对待插值像素点的运动补偿结果进行羽化，可以改善静态标识边界的锯齿和光晕现象。
65.本发明第二方面实施例还提出一种非临时性计算机存储介质，其上存储有计算机程序，该计算机程序被执行时，可实现上面实施例的图像处理方法。
66.本发明第三方面实施例还提出一种图像处理装置，如图4所示为根据本发明的一
个实施例的图像处理装置的框图，该图像处理装置10包括处理器11和与处理器11通信连接的存储器12，其中，存储器12中存储有可被处理器11执行的指令，指令被处理器11执行时实现上面实施例的图像处理方法。
67.上述的存储器12中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。
68.存储器12作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本发明实施例中的方法对应的程序指令/模块。处理器11通过运行存储在存储器12中的软件程序、指令以及模块，从而执行功能应用以及数据处理，即实现上述方法实施例中的图像处理方法。
69.存储器12可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器12可以包括高速随机存取存储器，还可以包括非易失性存储器。
70.本发明实施例的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括一个或多个指令用以使得一台计算机设备或图像处理设备执行本发明实施例所述方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，例如包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
71.本发明第四方面实施例还提出一种电子设备，在实施例中，电子设备可以包括电视机、投影机等一些包括图像处理以及图像显示的设备。
72.如图5所示，本发明实施例的电子设备100包括图像显示装置20和上面实施例的图像处理装置10，图像处理装置10与图像显示装置20连接，图像处理装置10对需要显示的视频图像进行处理，具体地可以执行上面实施例的图像处理方法，并将处理后的视频图像以帧传输给图像显示装置20，图像显示装置20用于显示视屏图像。
73.本发明实施例的电子设备100，采用上面实施例的图像处理装置10，图像处理装置10通过根据待插值像素点邻域内的atm flag分布来确定待插值像素点新的atm flag即第三指向静态标识标记，可以提高atm flag的一致性，避免静态标识间隙呈现不干净的视觉感受，以及通过根据第三指向静态标识标记来确定插值数据，进行运动优化补偿，可以避免出现静态标识飞出的视觉效果，从而提高了图像显示装置20呈现的视频图像的质量。
74.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。
75.尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。