基于均值偏移聚类的量化噪声去除方法、设备及存储介质与流程

1.本发明涉及视频图像处理技术领域，尤其涉及一种基于均值偏移聚类的量化噪声去除方法、设备及存储介质。


背景技术：

2.在视频编解码传输中，由于带宽限制，我们尽量避免采用单帧高码率的编码方式。在现有的编码方式中，帧间预测是一种重要且有效的手段，通过将当前帧与参考帧图像进行残差运算，分析残差图中不为零即变化区域内容，然后将之分类编码。可以看出帧间预测的编码方式的基础在于当前帧与参考帧间的残差运算，理想的残差图能清晰反映出当前帧和参考帧之间的变化区域与非变化区域，从而使在后续编码传输中只处理当前帧的变化区域进而达到降低码率的作用。
3.在现有的视频压缩传输领域中，很多源图像获取过程中有a/d转换的过程，如电脑输出接口的vga转hdmi视频格式，而数据的a/d转换存在一个量化过程，即将信号的连续值(模拟信号)通过抽样方式近似为有限多个离散值(数字信号)。量化处理会在一定程度上产生量化噪声，由于含有量化噪声图像与源图之间误差较小，绝大部分区域误差值在[1,8]之间，对视觉观测效果影响不大。但由于编解码中残差是通过检测当前帧与参考帧之间变化区域，以至于只要是残差值非零区域都会被认为是需编码区域，从而导致编码帧码流增大。针对此种情形，若需降低帧码流，如何去除量化噪声是问题关键。
[0004]
目前在去噪算法领域，较为常用的几种滤波器有空域和频域滤波器，其中空域滤波器包括经典的均值滤波器、中值滤波器、顺序统计滤波器、自适应滤波器等，频域滤波器包含有高通、低通滤波器、小波阈值去噪等。上述滤波器在处理图像时，虽会在一定程度上平滑图像噪声，但同时也损失了部分图像信息，从而造成图像模糊，这对于要求尽量还原图像质量的编解码领域几乎是不可接受的。
[0005]
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。


技术实现要素：

[0006]
本发明的目的在于提供一种基于均值偏移聚类的量化噪声的去除方法、电子设备及存储介质，进而解决以上所述的至少一个问题。
[0007]
本发明的目的采用以下技术方案实现：
[0008]
第一方面，本发明提供了一种基于均值偏移聚类的量化噪声的去除方法，所述方法包括以下步骤：
[0009]
选择差值图像中的一个像素作为初始中心像素，确定所述初始中心像素所在的初始窗口；
[0010]
通过计算找到所述初始窗口中与所述初始中心像素的类型相同的像素；
[0011]
计算所述初始窗口中所述初始中心像素以及与所述初始中心像素的类型相同的
像素的平均向量；
[0012]
利用所述平均向量找到下一个中心像素，重复以上步骤，直至迭代收敛，对所有窗口内的类型相同的像素求解平均像素特征量值；
[0013]
将所述平均像素特征量值替代所述初始中心像素的像素特征量值；
[0014]
对所述差值图像中像素特征量值不等于零的像素利用孤立点去除算法进行去噪处理。
[0015]
本发明的实施例中，通过计算找到所述初始窗口中与所述初始中心像素的类型相同的像素，包括：
[0016]
确定距离所述初始中心像素在预设带宽范围内的所有像素；
[0017]
计算在所述预设带宽范围内的每个像素到所述初始中心像素的欧式距离；
[0018]
为所述欧式距离设定阈值，属于所述阈值范围内的像素即为与所述初始中心像素的类型相同的像素。
[0019]
本发明的实施例中，所述预设带宽为6
‑
12个像素。
[0020]
本发明的实施例中，所述阈值为4
‑
8。
[0021]
本发明的实施例中，利用所述平均向量找到下一个中心像素，包括：
[0022]
将所述初始中心像素沿着所述平均向量的方向移动之后的位置的像素即为下一个中心像素；
[0023]
所述初始中心像素沿着所述平均向量的方向移动的距离为||shift||，其中shift为所述平均向量。
[0024]
本发明的实施例中，选择差值图像中的一个像素作为初始中心像素，包括：
[0025]
随机选择差值图像中的一个像素作为初始中心像素。
[0026]
本发明的实施例中，对所述差值图像中像素特征量值不等于零的像素利用孤立点去除算法进行去噪处理，包括：
[0027]
确定并定位至所述差值图像中像素特征量值不为零的当前像素的坐标；
[0028]
提取所述当前像素预设范围内的周边像素的像素特征量值；
[0029]
统计所述预设范围内的周边像素的像素特征量值不为零的周边像素的个数；
[0030]
若所述像素特征量值不为零的周边像素的个数大于等于预设个数，则判定所述当前像素为有效变化像素；若所述像素特征量值不为零的像素的个数小于所述预设个数，则判定所述当前像素为量化噪声；
[0031]
当所述当前像素为量化噪声时，将所述当前像素的像素特征量值设为零；
[0032]
根据上述处理后的差值图像重建当前帧图像。
[0033]
本发明的实施例中，所述预设范围为所述当前像素周围n
×
n的像素范围，所述n为4、8、16和32中的一个，所述预设个数为2
‑
8个。
[0034]
第二方面，本发明提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述基于均值偏移聚类的量化噪声的去除方法的步骤。
[0035]
第三方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述基于均值偏移聚类的量化噪声的去除方法的步骤。
[0036]
本发明的实施例提供的技术方案可以包括以下有益效果：
[0037]
在本发明的实施例中，通过均值偏移聚类方法对量化噪声进行去除，通过在差值图像区域进行漂移聚类，统计相同类型的像素，分类计算均值，再用聚类均值替换原像素特征量值，然后利用孤立点去除法进一步去除量化噪声，进而达到平滑去噪的目的，极大消除量化噪声的影响。噪声去除方法中的算法计算简单，原理清晰，图像还原质量较高，图像清晰，可很好的应用到视频编解码压缩处理中。
[0038]
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
[0039]
下面结合附图和实施例对本发明进一步说明。
[0040]
图1是本发明实施例中一种基于meanshift聚类的量化噪声的去除方法流程示意图；
[0041]
图2是本发明实施例中的中心像素和窗口位置关系示意图；
[0042]
图3是本发明实施例中通过计算找到所述初始窗口中与所述初始中心像素的类型相同的像素的流程示意图；
[0043]
图4是本发明实施例中对所述差值图像中像素特征量值不等于零的像素利用孤立点去除算法进行去噪处理的流程示意图；
[0044]
图5是本发明实施例中meanshift聚类处理之前的含噪声图像灰度值图；
[0045]
图6是本发明实施例中meanshift聚类处理之后的含噪声图像灰度值图；
[0046]
图7是本发明实施例中未进行meanshift聚类平滑处理前的前后帧相同区域间的差值图像；
[0047]
图8是本发明实施例中进行meanshift聚类平滑处理后的前后帧相同区域间的差值图像；
[0048]
图9是本发明实施例中进行孤立点去除处理后的前后帧相同区域间的差值图像；
[0049]
图10是本发明实施例中的一种电子设备的结构示意图；
[0050]
图11是本发明实施例中的一种用于实现基于meanshift聚类的量化噪声的去除方法的程序产品的结构示意图。
具体实施方式
[0051]
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征可以以任何合适的方式结合在一个或更多实施方式中。
[0052]
此外，附图仅为本发明的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。
[0053]
本示例实施方式中首先提供了一种基于meanshift(均值偏移)聚类的量化噪声的去除方法，参考图1
‑
图2所示，该方法包括以下步骤s101
‑
s106：
[0054]
步骤s101，选择差值图像中的一个像素作为初始中心像素，参见图2，例如可以标记为center
‑
1.1，确定所述初始中心像素center
‑
1.1所在的初始窗口，可以记为w
‑
1.1；
[0055]
步骤s102，通过计算找到所述初始窗口w
‑
1.1中与所述初始中心像素center
‑
1.1的类型相同的像素；
[0056]
步骤s103，计算所述初始窗口w
‑
1.1中所述初始中心像素center
‑
1.1以及与所述初始中心像素的类型相同的像素的平均向量；
[0057]
步骤s104，利用所述平均向量找到下一个中心像素center
‑
1.2，重复以上步骤，直至迭代收敛，收敛时可以认为最终计算的窗口处即为该类型相同的像素的最大密度区域。对所有窗口(参见图2中的w
‑
1.1、w
‑
1.2、w
‑
1.3和w
‑
1.4)内的类型相同的像素求解平均像素特征量值；
[0058]
步骤s105，将所述平均像素特征量值替代所述初始中心像素的像素特征量值。其中，所述像素特征量值可以包括像素值、灰度值、色度值以及像素间的距离等；
[0059]
步骤s106，对所述差值图像中像素特征量值不等于零的像素利用孤立点去除算法进行去噪处理。
[0060]
利用以上方法对差值图像中的每个像素进行处理。
[0061]
通过上述meanshift聚类方法对量化噪声进行去除，通过在差值图像区域进行漂移聚类，统计相同类型的像素，分类计算均值，再用聚类均值替换原像素特征量值，然后利用孤立点去除法进一步去除量化噪声，进而达到平滑去噪的目的，极大消除量化噪声的影响。噪声去除方法中的算法计算简单，原理清晰，图像还原质量较高，图像清晰，可很好的应用到视频编解码压缩处理中。
[0062]
参见图5所示，meanshift聚类处理之前的含噪声图像灰度值图中，原本图像的平整区域由于量化噪声的影响变得不平整。参见图6所示，meanshift聚类处理之后的含噪声图像灰度值图中，不平整区域恢复平滑特征。
[0063]
由于量化噪声主要影响的是图像帧间预测过程，它使得原本为unchange(未改变)的区域由于噪声影响变为了change(改变)，从而进行了重复编码，造成码流过大，因此对比前后两帧相同区域像素差值的大小是判定编码去噪算法是否有效的直观标准。参见图7、图8，左侧的图是相邻帧间差值图，包含有效变化区域与量化噪声；右侧是左边图的灰度值立方图，高度为灰度值，横纵坐标为像素值的坐标位置。参见图7所示，未进行meanshift聚类平滑处理前的前后帧相同区域间的差值图像中，可以看出，原本相同区域由于噪声影响两者间的灰度差不为0。参见图8所示，进行meanshift聚类平滑处理后的前后帧相同区域间的差值图像中，可以看出，meanshift聚类平滑处理后的差值图像得到了很明显的改善。
[0064]
下面，将参考图1至图9对本示例实施方式中的上述方法的各个步骤进行更详细的说明。
[0065]
在步骤s101中，差值图像中有众多像素，首先针对一个像素进行去噪处理，因此，首先选择其中一个像素作为初始中心像素，即要进行后续采用聚类、孤立点去除方法进行去噪处理的像素。
[0066]
具体的，在一个实施例中，可以随机选择差值图像中的一个像素作为初始中心像素。此外，也可以根据一定顺序，如对差值图像中的像素点从边端开始逐像素进行等等，但也不限于此。
[0067]
在一个实施例中，参考图3所示，步骤s102通过计算找到所述初始窗口中与所述初始中心像素的类型相同的像素，可包括步骤s201
‑
s203。
[0068]
步骤s201，确定距离所述初始中心像素在预设带宽范围内的所有像素。
[0069]
具体的，在一个实施例中，所述预设带宽可以为6
‑
12个像素，例如可以是8个、10个像素。以预设带宽为处理的范围，对该范围内的所有像素进行后续处理。
[0070]
步骤s202，计算在所述预设带宽范围内的每个像素到所述初始中心像素的欧式距离。
[0071]
具体的，可以记所述预设带宽范围内的所有像素为集合m，则所述欧式距离的计算公式为：
[0072][0073]
其中，(x0，y0)为中心像素的坐标，(xi，yi)为m中的像素的坐标。计算出集合m中各个像素的欧式距离，为像素类型划分提供依据。
[0074]
步骤s203，为所述欧式距离设定阈值，属于所述阈值范围内的像素即为与所述初始中心像素的类型相同的像素。
[0075]
具体的，在一个实施例中，所述阈值为4
‑
8，例如可以为6。依照设定的阈值将所述带宽范围内的像素进行分类，这样可以较准确找到类型相同的像素，排除类型相差较多的像素，使最终得到的均值更具代表性，以提高最终还原的画面的质量。
[0076]
在一个实施例中，利用所述平均向量找到下一个中心像素，包括：
[0077]
将所述初始中心像素沿着所述平均向量的方向移动之后的位置的像素即为下一个中心像素；
[0078]
所述初始中心像素沿着所述平均向量的方向移动的距离为||shift||，其中shift为所述平均向量，||shift||为所述平均向量shift的模。
[0079]
具体地，参见图2所示，第一个窗口w
‑
1.1中的初始中心像素center
‑
1.1作为第一个像素，当窗口w
‑
1.1内的像素的类型划分结束后，利用相同类型的像素的平均向量，将center
‑
1.1按照平均向量shift进行平移得到第二个中心像素cent er
‑
1.2，然后统计center
‑
1.2所在的窗口w
‑
1.2的范围内的相同类型的像素。需要说明的是，窗口w
‑
1.2内的相同类型的像素与窗口w
‑
1.1的相同类型的像素都属于同一类型的像素。其他中心像素center
‑
1.3、center
‑
1.4与其他窗口w
‑
1.3、窗口w
‑
1.4的处理方法与前述方法相同。
[0080]
在步骤s104的一个实施例中，迭代收敛时的shift的值已经达到很小，例如可以设定对窗口w
‑
1.4内的像素进行处理后shift值达到很小，就可以停止窗口的偏移。此时对所有窗口(参见图2中的w
‑
1.1、w
‑
1.2、w
‑
1.3和w
‑
1.4)内的类型相同的像素求解平均像素特征量值。
[0081]
在一个实施例中，参见图4所示，步骤s106对所述差值图像中像素特征量值不等于零的像素利用孤立点去除算法进行去噪处理，可以包括以下步骤：
[0082]
s301，确定并定位至所述差值图像中像素特征量值不为零的当前像素的坐标，另外，可以把定位的条件设定为像素值不为零且灰度值小于等于预设灰度值的像素，其中，预设灰度值可以为4、5、6等等，挑选差异较大的像素的坐标。
[0083]
s302，提取所述当前像素预设范围内的周边像素的像素特征量值。
[0084]
具体地，可选的，在一个实施例中，预设范围为所述当前像素周围n
×
n的像素范
围，所述n为4、8、16和32中的一个，当设定为
×
8时，去噪效果最佳。
[0085]
s303，统计所述预设范围内的周边像素的像素特征量值不为零的周边像素的个数。
[0086]
具体地，可选的，在一个实施例中，所述预设个数为2
‑
8个，例如可以设定为4个，可以更加合理地对像素进行区分。
[0087]
s304，若所述像素特征量值不为零的周边像素的个数大于等于预设个数，则判定所述当前像素为有效变化像素；若所述像素特征量值不为零的像素的个数小于所述预设个数，则判定所述当前像素为量化噪声。
[0088]
s305，当所述当前像素为量化噪声时，将所述当前像素的像素特征量值设为零。
[0089]
s306，根据上述处理后的差值图像重建当前帧图像。
[0090]
具体地，可以根据以下公式进行重建：
[0091][0092]
其中，cur
′
(x，y)
为重建后的当前帧图像，cur
(x，y)
为当前像素，ref
(x，y)
为周边像素。
[0093]
参见图9，进行孤立点去除处理后的前后帧相同区域间的差值图像得到了很大程度的改善。
[0094]
采用以上方法去噪处理，极大消除量化噪声的影响，图像还原质量较高，可很好的应用到视频编解码压缩处理中。
[0095]
需要说明的是，尽管在附图中以特定顺序描述了本发明中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。另外，也易于理解的是，这些步骤可以是例如在多个模块/进程/线程中同步或异步执行。
[0096]
参见图10，本发明实施例还提供了一种电子设备300，电子设备300包括至少一个存储器310、至少一个处理器320以及连接不同平台系统的总线330。
[0097]
存储器310可以包括易失性存储器形式的可读介质，例如随机存取存储器(ram)211和/或高速缓存存储器312，还可以进一步包括只读存储器(rom)313。
[0098]
其中，存储器310还存储有计算机程序，计算机程序可以被处理器320执行，使得处理器320执行本发明任一项实施例中基于meanshift聚类的量化噪声的去除方法的步骤，其具体实现方式与上述基于meanshift聚类的量化噪声的去除方法的实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。
[0099]
存储器310还可以包括具有至少一个程序模块315的实用工具314，这样的程序模块315包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
[0100]
相应的，处理器320可以执行上述计算机程序，以及可以执行实用工具314。
[0101]
总线330可以表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。
[0102]
电子设备300也可以与一个或多个外部设备340例如键盘、指向设备、蓝牙设备等
通信，还可与一个或者多个能够与该电子设备300交互的设备通信，和/或与使得该电子设备300能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等)通信。这种通信可以通过输入输出接口350进行。并且，电子设备300还可以通过网络适配器360与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。网络适配器360可以通过总线330与电子设备300的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备300使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储平台等。
[0103]
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，所述计算机程序被执行时实现本发明实施例中基于meanshift聚类的量化噪声的去除方法的步骤，其具体实现方式与上述基于meanshift聚类的量化噪声的去除方法的实施例中记载的实施方式、所达到的技术效果一致，此部分内容不再赘述。
[0104]
图11示出了本实施例提供的用于实现上述基于meanshift聚类的量化噪声的去除方法的程序产品400，其可以采用便携式紧凑盘只读存储器(cd
‑
rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品400不限于此，在本发明中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。程序产品400可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0105]
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言诸如java、c 等，还包括常规的过程式程序设计语言诸如c语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
[0106]
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。