基于差分块的视频噪声估计方法、装置、设备和存储介质与流程

1.本技术涉及视频处理技术领域，特别是涉及一种基于差分块的视频噪声估计方法、装置、计算机设备和存储介质。


背景技术：

2.随着互联网技术的发展，视频通话以及视频直播逐渐的进入人们的生活中，人们越来越多的采用视频通话的方式进行通信，然而视频在传输的过程中，容易受到各种噪声的污染，在进行视频通话时，容易导致用户接收到的视频不清晰，不仅影响视觉效果，还会影响用户对视频中内容的识别结果的准确性。
3.目前，可以通过对视频图像中的噪声进行估计，得到噪声估计结果，根据噪声估计结果对视频图像进行去噪。然而，经常存在估计得到的噪声值与实际的噪声值相差较大的情况，导致噪声估计的准确度低。


技术实现要素：

4.基于此，有必要针对上述噪声估计值的准确度低的技术问题，提供一种基于差分块的视频噪声估计方法、装置、计算机设备和存储介质。
5.一种基于差分块的视频噪声估计方法，所述方法包括：确定目标视频中待进行噪声估计的第一视频帧，以及所述第一视频帧对应的噪声估计参考帧；获取所述第一视频帧对应的第一图像块集合；获取所述第一图像块集合中第一图像块对应的差分图像块，得到差分图像块集合，所述差分图像块为所述第一图像块与参考图像块的差分块，所述参考图像块为所述噪声估计参考帧中，所述第一图像块对应的相似图像块；获取所述差分图像块对应的差分平滑度以及所述第一图像块对应的第一平滑度；根据所述差分平滑度以及所述第一平滑度，从所述第一图像块集合以及所述差分图像块集合中，选取得到满足平滑度选取条件的目标图像块，得到目标图像块集合；根据所述目标图像块集合中各个目标图像块分别对应的块噪声估计值确定所述第一视频帧对应的目标噪声估计值，以基于所述目标噪声估计值进行视频处理。
6.一种基于差分块的视频噪声估计装置，所述装置包括：第一视频帧确定模块，用于确定目标视频中待进行噪声估计的第一视频帧，以及所述第一视频帧对应的噪声估计参考帧；第一图像块集合获取模块，用于获取所述第一视频帧对应的第一图像块集合；差分图像块集合得到模块，用于获取所述第一图像块集合中第一图像块对应的差分图像块，得到差分图像块集合，所述差分图像块为所述第一图像块与参考图像块的差分块，所述参考图像块为所述噪声估计参考帧中，所述第一图像块对应的相似图像块；平滑度获取模块，用于获取所述差分图像块对应的差分平滑度以及所述第一图像块对应的第一平滑度；目标图像块集合得到模块，用于根据所述差分平滑度以及所述第一平滑度，从所述第一图像块集合以及所述差分图像块集合中，选取得到满足平滑度选取条件的目标图像块，得到目标图像块集合；目标噪声估计值确定模块，用于根据所述目标图像块集合中各个目标图像块分别对
应的块噪声估计值确定所述第一视频帧对应的目标噪声估计值，以基于所述目标噪声估计值进行视频处理。
7.在一些实施例中，所述目标图像块集合得到模块包括：排序结果得到单元，用于按照从小到大的顺序对各个所述差分平滑度以及各个所述第一平滑度进行排序，得到排序结果；目标图像块选取单元，用于根据所述排序结果从所述第一图像块集合以及所述差分图像块集合中，选取得到满足平滑度选取条件的目标图像块，所述平滑度选取条件包括排序在预设排序之前或者预设比例之前中的至少一种。
8.在一些实施例中，所述排序结果得到单元，还用于获取小于平滑度阈值的差分平滑度以及第一平滑度，得到候选平滑度集合；对所述候选平滑度集合中的候选平滑度进行排序，得到排序结果。
9.在一些实施例中，所述目标噪声估计值确定模块包括：噪声统计值得到单元，用于对所述目标图像块集合中的各个目标图像块分别对应的块噪声估计值进行统计，得到噪声统计值；目标噪声估计值得到单元，用于根据所述噪声统计值得到所述第一视频帧对应的目标噪声估计值。
10.在一些实施例中，所述目标噪声估计值得到单元，还用于从所述目标视频中，确定所述第一视频帧对应的噪声关联视频帧；获取所述噪声关联视频帧对应的关联噪声估计值；对所述噪声统计值以及所述关联噪声估计值进行加权计算，得到所述第一视频帧对应的目标噪声估计值。
11.在一些实施例中，所述平滑度获取模块包括：中心像素点确定单元，用于确定所述差分图像块对应的中心像素点以及至少两个目标平滑度计算方向；参考像素点获取单元，用于获取所述目标平滑度计算方向上，所述中心像素点对应的参考像素点；方向平滑度得到单元，用于根据所述中心像素点与所述参考像素点之间的第一像素差异值，计算得到所述目标平滑度计算方向对应的方向平滑度；差分平滑度得到单元，用于基于各个所述目标平滑度计算方向分别对应的方向平滑度，计算得到所述差分图像块对应的差分平滑度。
12.在一些实施例中，所述差分平滑度得到单元，还用于对所述目标平滑度计算方向对应的方向平滑度进行统计，得到平滑度统计值；根据所述平滑度统计值得到所述差分图像块对应的差分平滑度。
13.在一些实施例中，所述基于差分块的视频噪声估计装置还包括块噪声估计值得到模块，所述块噪声估计值得到模块包括：像素平均值计算单元，用于计算所述目标图像块对应的像素平均值；第二像素差异值得到单元，用于获取所述目标图像块中各个像素点分别对应的像素值与所述像素平均值之间的差异值，作为第二像素差异值；块噪声估计值得到单元，用于根据所述第二像素差异值得到所述目标图像块对应的块噪声估计值。
14.在一些实施例中，所述第一图像块集合是对第一父图像块进行切分得到的，所述差分图像块集合得到模块包括：第二父图像块获取单元，用于根据所述第一父图像块的位置，从所述噪声估计参考帧中获取与所述第一父图像块相似的第二父图像块；父差分图像块得到单元，用于将所述第一父图像块与所述第二父图像块进行相减，得到父差分图像块；差分图像块得到单元，用于对所述父差分图像块进行切分，得到所述第一图像块集合中第一图像块对应的差分图像块。
15.在一些实施例中，所述第一视频帧是按照噪声估计间隔从所述目标视频中选取
的，所述装置还包括：目标噪声处理强度确定模块，用于根据所述目标噪声估计值确定目标噪声处理强度；噪声处理模块，用于根据所述目标噪声处理强度对所述目标视频中，所述第一视频帧的后向视频帧进行噪声处理；直至达到所述噪声估计间隔，获取更新的第一视频帧对应的目标噪声估计值。
16.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述基于差分块的视频噪声估计方法的步骤。
17.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于差分块的视频噪声估计方法的步骤。
18.上述基于差分块的视频噪声估计方法、装置、计算机设备和存储介质，确定目标视频中待进行噪声估计的第一视频帧，以及第一视频帧对应的噪声估计参考帧，获取第一视频帧对应的第一图像块集合，获取第一图像块集合中第一图像块对应的差分图像块，得到差分图像块集合，获取差分图像块对应的差分平滑度以及第一图像块对应的第一平滑度，根据差分平滑度以及第一平滑度，从第一图像块集合以及差分图像块集合中，选取得到满足平滑度选取条件的目标图像块，得到目标图像块集合，根据目标图像块集合中各个目标图像块分别对应的块噪声估计值确定第一视频帧对应的目标噪声估计值，以基于目标噪声估计值进行视频处理。由于差分图像块为第一图像块与参考图像块的差分块，参考图像块为噪声估计参考帧中，第一图像块对应的相似图像块，因此差分图像块对应的差分平滑度可以准确的反映噪声的大小；而通过第一图像块对应的第一平滑度以及差分图像块对应的差分平滑度，选取满足平滑度选取条件的目标图像块，能够选取得到噪声估计值具有代表性的图像块，因此提高了得到的视频帧的噪声估计值的准确度。
附图说明
19.图1为一些实施例中基于差分块的视频噪声估计方法的应用环境图；
20.图2为一些实施例中基于差分块的视频噪声估计方法的流程示意图；
21.图3为一些实施例中视频帧的示意图；
22.图4为一些实施例中计算差分平滑度的步骤的流程示意图；
23.图5为一些实施例中平滑度计算方向的示意图；
24.图6为一些实施例中得到差分图像块的步骤的示意图；
25.图7为一些实施例中父图像块的示意图；
26.图8为一些实施例中得到父差分图像块的步骤的示意图；
27.图9为一些实施例中基于差分块的视频噪声估计装置的结构框图；
28.图10为一些实施例中计算机设备的内部结构图。
具体实施方式
29.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
30.本技术提供的基于差分块的视频噪声估计方法，可以应用于如图1所示的应用环境中。该应用环境包括第一终端102、服务器104以及第二终端106。其中，服务器104通过网
络与第一终端102以及第二终端106进行通信。第一终端102与第二终端106可以通过服务器104进行视频传输，例如第一终端102可以将采集到的视频发送给服务器104，服务器104可以将接收到的视频转发给第二终端106。第一终端102可以对采集到的目标视频进行处理，将处理后的视频发送给服务器104。在本技术实施例中，第一终端102可以确定目标视频中待进行噪声估计的第一视频帧，以及第一视频帧对应的噪声估计参考帧，获取第一视频帧对应的第一图像块集合，获取第一图像块集合中第一图像块对应的差分图像块，得到差分图像块集合。其中，差分图像块指的是第一图像块与参考图像块的差分块，参考图像块指的是噪声估计参考帧中，第一图像块对应的相似图像块。第一终端102可以获取差分图像块对应的差分平滑度以及第一图像块对应的第一平滑度，根据差分平滑度以及第一平滑度，从第一图像块集合以及差分图像块集合中，选取得到满足平滑度选取条件的目标图像块，得到目标图像块集合。第一终端102可以根据目标图像块集合中各个目标图像块分别对应的块噪声估计值确定第一视频帧对应的目标噪声估计值。第一终端102可以基于目标噪声估计值对目标视频中的视频帧进行处理。其中，第一终端102和第二终端106可以但不限于是各种个人计算机、笔记本电脑、智能手机、视频采集设备、平板电脑和便携式可穿戴设备，视频采集设备可以是摄像头等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
31.可以理解，上述应用场景仅是一种示例，并不构成对本技术实施例提供的基于差分块的视频噪声估计方法的限定，本技术实施例提供的基于差分块的视频噪声估计方法还可以应用在其他场景中，例如，服务器104可以执行本技术提供的基于差分块的视频噪声估计方法，对接收到的视频进行处理，再如，第二终端106可以执行本技术提供的基于差分块的视频噪声估计方法，对接收到的视频进行处理。
32.在一些实施例中，如图2所示，提供了一种基于差分块的视频噪声估计方法，以该方法应用于图1中的第一终端102为例进行说明，包括以下步骤：
33.s202，确定目标视频中待进行噪声估计的第一视频帧，以及第一视频帧对应的噪声估计参考帧。
34.其中，目标视频可以是第一终端预先存储或者实时采集到的，也可以是第一终端从其他设备获取到的，还可以是第一终端生成的。目标视频可以是编码后的视频，例如可以是对采集到的视频进行编码后得到的视频，也可以是未经过编码的视频。
35.目标视频可以对应有目标视频帧序列。视频帧序列是由多个视频帧在按照时间先后顺序进行排列得到的，一个视频帧序列可以包括多个视频帧，视频帧是构成视频的最小单元。一个视频帧对应一张图像。如图3所示，展示了一个8
×
8的视频帧，“8
×
8”的单位是像素(pixel)，即图中的视频帧包括64个像素点，像素点为图像的最小单元，图中每一个小方格代表一个像素点，102、199、238和208分别为不同的像素点对应的像素值。一个包括5个视频帧的视频帧序列例如可以是[视频帧1，视频帧2，视频帧3，视频帧4，视频帧5]。目标视频帧序列指的是目标视频中的视频帧按照时间先后顺序排列得到的。第一视频帧为目标视频中需要进行噪声估计的视频帧，第一视频帧可以有多个，第一视频帧可以是从目标视频帧序列中获取的，例如可以是按照视频帧在视频帧序列中的排列顺序或者间隔获取的，也可以是从目标视频帧序列中随机选取的。
[0036]
视频在录制或传输的过程中可能会掺杂噪声，视频中的噪声可以是硬件设备和环
境因素产生的，硬件设备例如可以是摄像机和传感器，环境因素例如可以是光照变化和信号传输进过的信道等。噪声可以导致视频中图像的亮度或色彩随机波动。噪声估计指的是对视频帧中的噪声的指标进行估算，噪声的指标可以包括噪声强度、噪声持续时间或噪声频谱中的至少一种，噪声估计可以是估算噪声强度对应的均值或者方差中的至少一种。
[0037]
噪声估计参考帧指的是对第一视频帧进行噪声估计时，所参考的视频帧，可以是与第一视频帧之间的时间间隔或者视频帧间隔满足预设时间间隔的视频帧，预设时间间隔可以根据需要预先设置，例如可以是0.1秒。例如，噪声估计参考帧可以是与第一视频帧相邻的视频帧，例如可以是在第一视频帧之前的相邻的视频帧。
[0038]
在本技术实施例中，第一终端可以进行视频采集，将采集到的视频作为目标视频，例如当用户使用第一终端进行视频通话时，第一终端可以采集视频通话过程中的视频，作为目标视频。第一终端也可以获取预先存储的视频作为目标视频。
[0039]
在一些实施例中，第一终端可以通过间隔抽帧方式从目标视频中选取多个第一视频帧。间隔抽帧方式可以包括按照时间间隔进行抽帧的方法或按照帧数间隔进行抽帧的方法中的至少一种。间隔抽帧方式可以是等间隔的，也可以不是等间隔的。例如，第一终端可以按照固定时间间隔从目标视频中选取得到多个视频帧，作为各个第一视频帧，固定时间间隔可以根据需要进行设置，例如可以为0.3秒，还可以按照固定帧数间隔从目标视频中选取得到第一视频帧，固定帧数间隔例如为5帧。
[0040]
在一些实施例中，第一终端可以按照参考帧选取规则，从目标视频中为各个第一视频帧选取对应的噪声估计参考帧。其中，参考帧选取规则可以包括按照时间间隔选取、随机选取或按照帧数间隔选取中的至少一种，例如第一终端可以将第一视频帧对应的相邻视频帧作为噪声估计参考帧，相邻视频帧可以包括前向相邻的视频帧或后向相邻的视频帧中的至少一个。不同的第一视频帧选用的参考帧选取规则可以相同，也可以不同。
[0041]
s204，获取第一视频帧对应的第一图像块集合。
[0042]
其中，图像块是由多个像素点组成的，通过对第一视频帧进行切分，可以切分得到一个或者多个图像块。图像块可以是任意形状的，例如可以是三角形、矩形或者圆形中的至少一种，这里对图像块的形状不做限制。图像块也可以称为像素块。
[0043]
第一图像块为第一视频帧中的像素点组成的图像块。第一图像块可以是第一视频帧中的第一父图像块的子图像块。第一图像块的第一父图像块指的是从第一图像块中选取的图像区域。父图像块与子图像块为相对的概念，父图像块可以包括多个子图像块，子图像块是通过对对应的父图像块进行划分得到的，即子图像块为对应的父图像块中的一部分。当然第一图像块也可以是直接从第一视频帧选取得到的。第一图像块集合是由第一图像块组成的集合，可以包括一个或多个第一图像块，“多个”是指至少两个。例如可以包括3个第一图像块。
[0044]
在本技术实施例中，第一终端可以从第一视频帧中选取至少一个的第一父图像块，将选取到的第一父图像块进行划分，得到多个第一图像块，各个第一图像块组成第一图像块集合。例如，第一终端可以根据第一父图像块的图像块信息从第一视频帧中获取第一父图像块。其中，图像块信息可以包括尺寸信息或坐标信息中的至少一种，尺寸信息可以包括像素的数目，坐标信息可以包括关键像素点对应的坐标，关键像素点可以包括图像块的中心位置的像素点或角点位置的像素点中的至少一种。角点位置指的图像块中边与边的交
点位置，例如对于矩形的图像块，角点位置指的是矩形的四个直角位置的像素点。当然第一终端也可以从第一视频帧中随机选取得到的第一父图像块。
[0045]
s206，获取第一图像块集合中第一图像块对应的差分图像块，得到差分图像块集合，差分图像块为第一图像块与参考图像块的差分块，参考图像块为噪声估计参考帧中，第一图像块对应的相似图像块。
[0046]
其中，第一图像块对应的参考图像块(即相似图像块)，指的是噪声估计参考帧中与第一图像块相似的图像块。可以通过计算第一图像块与噪声估计参考帧中的图像之间的相似度得到相似图像块，可以将大于相似度阈值的相似度对应的图像块作为第一图像块的相似图像块。可以根据第一图像块在第一视频帧中的位置确定对应的参考图像块在噪声估计参考帧中的位置，从而可以根据位置从噪声估计参考帧中获取对应的参考图像块。其中，第一图像块在第一视频帧中的位置，可以与对应的参考图像块在噪声估计参考帧中的位置相同，参考图像块包括的像素点的数量可以与第一图像块包括的像素点的数量一致，例如均包括64个像素点。第一图像块可以称为空域像素块，差分图像块可以称为时域像素块。其中，空域像素块指的是来自于单个视频帧的像素块，时域像素块指的是根据至少两个视频帧得到的像素块。
[0047]
差分图像块是根据第一图像块以及参考图像块进行像素值相减得到的。差分图像块中的像素点可以称为差分像素点。差分图像块中的目标差分像素点对应的像素值，可以为第一图像块中目标第一像素点与参考图像块中的目标参考像素点之间的像素差异值。其中，目标第一像素点在第一图像块中的位置与目标参考像素点在参考像素块中的位置一致。差分图像块集合是由差分图像块组成的集合，可以包括多个差分图像块。
[0048]
在本技术实施例中，第一终端可以根据第一图像块的在第一视频帧中的位置，从噪声估计参考帧中选取得到参考图像块。例如，第一终端可以从噪声估计参考帧中选取与第一图像块在第一视频帧中的位置相同或相近的图像块，作为第一图像块对应的参考图像块。
[0049]
在一些实施例中，第一终端可以按照获取第一父图像块的方法，从噪声估计参考帧中获取参考父图像块，将参考父图像块进行划分得到多个参考图像块。第一终端可以确定第一父图像块对应的参考父图像块，从对应的参考父图像块划分得到的多个参考图像块中，选取得到第一图像块对应的差分图像块。
[0050]
s208，获取差分图像块对应的差分平滑度以及第一图像块对应的第一平滑度。
[0051]
其中，平滑度用于表示图像块的平滑程度，平滑度越大，表示图像块越不平滑，平滑度越小，表示图像块越平滑。平滑度可以是根据图像块中像素值的差异计算得到的。平滑度可以与像素值的差异成正相关关系。平滑度可以反映图像中的噪声的大小。平滑度与噪声大小可以是成正相关关系的，即平滑度越大，噪声越大，平滑度越小，噪声越小。平滑度也可以称为平滑度因子。差分平滑度为差分图像块对应的平滑度，第一平滑度为第一图像块对应的平滑度。差分平滑度是由差分图像块中的差分像素点对应的像素值计算得到的。第一平滑度是由第一图像块中的像素点对应的像素值计算得到的。差分平滑度与第一平滑度的计算方法可以相同，也可以不同。
[0052]
在本技术实施例中，第一终端可以将差分图像块包括的像素点进行划分，得到多个像素点集合，根据像素点集合中的各个像素点分别对应的像素值进行计算，例如可以计
算集合中像素值的统计值，或者计算集合中所有像素点与集合中的同一个像素点之间的差异，得到各个像素点集合分别对应的计算结果，根据各个计算结果得到差分平滑度。其中，各个像素点集合可以包括相同数量的像素点，也可以包括不同数量的像素点。同一个像素点例如可以是差分图像块中处于中心位置的像素点。
[0053]
在一些实施例中，第一终端可以按照像素点选取规则，从差分图像块中选取多个像素点，得到像素点集合。像素点选取规则可以包括多种，像素点选取规则可以是根据需要设置的，也可以是预先设置的。像素点选取规则例如可以是选取中心位置的像素点以及与中心位置的像素点相邻或相近的多个像素点。
[0054]
s210，根据差分平滑度以及第一平滑度，从第一图像块集合以及差分图像块集合中，选取得到满足平滑度选取条件的目标图像块，得到目标图像块集合。
[0055]
其中，平滑度选取条件可以根据需要进行设置，可以包括平滑度小于平滑度阈值，还可以包括平滑度在部分平滑度或者全部平滑度中的排列顺序满足排列顺序要求。其中，全部平滑度指包括全部的第一平滑度以及全部的差分平滑度。部分平滑度可以包括部分的第一平滑度或者部分的差分平滑度中的至少一个。排列顺序要求可以根据需要设置，可以包括排序在特定排序之前或者特定比例之前中的至少一种。特定排序可以根据需要设置，例如特定排序可以根据视频场景确定。视频场景可以包括实时视频场景或非实时视频场景中的至少一种，实时视频场景例如可以包括直播和视频通话，非实时视频场景例如可以包括视频文件转码。当视频场景为实时视频场景时，特定排序可以为第一排序，或者特定比例为第一比例，当视频场景为非实时视频场景时，特定排序可以为第二排序，或者特定比例为第二比例。其中第二排序大于第一排序，第二比例大于第一比例。例如第一排序例如可以为12，第二排序例如可以为21。这样，在实时视频场景中可以减少计算数据量，提高计算速度，从而保证视频流畅度；在非实时视频场景中可以保证具有充分的计算数据，提高噪声估计的准确度。特定排序或者特定比例的至少一个还可以根据第一视频帧的前向视频帧的噪声大小确定，前向视频帧是指在第一视频帧之前的视频帧，前向视频帧对应的噪声估计值与特定排序成正相关关系，前向视频帧对应的噪声估计值与特定比例成正相关关系，例如当前向视频帧的噪声较大时，特定排序或者特定比例的至少一个可以设置的大一些，例如可以设置为第三排序或者第三比例，当前向视频帧的噪声较小时，特定排序或者特定比例的至少一个可以设置的小一些，例如可以设置为第四排序或者第四比例。其中第三排序大于第四排序，第三比例大于第四比例，第三排序例如可以为21，第四排序例如可以为12。当前向视频帧的噪声较大时，特定排序设置的大一些，可以筛选出充足的图像块，以保证噪声估计的准确性，以便于进行有效的噪声去除，当前向视频帧的噪声较小时，可以推测第一视频帧的噪声较小，特定排序设置的小一些既可以筛选出进行噪声估计的图像块，又能减少数据计算量，提高计算速度。特定比例以及特定排序也可以是预先设置的固定值，例如特定比例为30％，特定排序为20。
[0056]
目标图像块可以是第一平滑度满足平滑度选取条件的第一图像块，也可以是差分平滑度满足平滑度选取条件的差分图像块。目标图像块集合是由目标图像块组成的集合，可以包括多个目标图像块。
[0057]
在本技术实施例中，由于当图像块中各个像素点之间的像素差异值较大，图像块自身的像素点对应的像素值计算得到的平滑度可能是较大的，图像块的平滑度可以理解为
图像平滑度以及噪声平滑度相加后的结果。其中，图像平滑度是根据图像块自身的像素值之间的差异得到的，噪声平滑度是根据噪声计算得到的，噪声平滑度越大，表示噪声越大。通常图像平滑度较小，图像块的平滑度与噪声平滑度之间的差异较小，从而图像块的平滑度可以准确的反映噪声平滑度，当图像平滑度较大时，图像块的平滑度与噪声平滑度相差较大，不能准确的反映真实的噪声大小，因此可以对第一平滑度以及差分平滑度进行筛选，去除图像平滑度较大的平滑度。
[0058]
在一些实施例中，第一终端可以按照筛选条件对差分平滑度以及第一平滑度进行筛选，筛选得到有效的差分平滑度以及有效的第一平滑度，根据有效的差分平滑度以及有效的第一平滑度，从第一图像块集合以及差分图像块集合中，选取得到满足平滑度选取条件的目标图像块。筛选条件可以包括平滑度小于平滑度阈值，平滑度阈值可以根据需要设置，例如可以根据多个图像平滑度的统计值计算得到。例如，第一终端可以按照从小到大的顺序对差分平滑度以及第一平滑度进行排序，得到平滑度序列，从平滑度序列中选取排序在特定排序之前的平滑度，作为有效的平滑度，将有效的平滑度对应的第一图像块以及差分图像块，作为目标图像块。
[0059]
s212，根据目标图像块集合中各个目标图像块分别对应的块噪声估计值确定第一视频帧对应的目标噪声估计值，以基于目标噪声估计值进行视频处理。
[0060]
其中，噪声估计值指的是噪声估计的结果，可以为噪声的统计值。块噪声估计值是对目标图像块进行噪声估计得到的噪声估计值。视频处理可以包括对视频中的视频帧进行去噪、识别、分析或压缩中的至少一种。视频处理可以是实时的，也可以是非实时的。例如，第一终端可以在实时的对采集到的视频帧进行处理。目标噪声估计值指的是对第一视频帧进行噪声估计得到的噪声估计值。
[0061]
在本技术实施例中，第一终端可以对块噪声估计值进行统计计算，得到块噪声估计值的统计值，将块噪声估计值的统计值作为第一视频帧对应的目标噪声估计值，也可以根据块噪声估计值的统计值进行进一步计算，得到第一视频帧对应的目标噪声估计值。例如第一终端可以获取与第一视频帧相关联的视频帧的噪声估计值，根据块噪声估计值以及相关联的视频帧的噪声估计值，计算得到第一视频帧对应的目标噪声估计值。相关联的视频帧例如为与第一视频帧相邻的视频帧。
[0062]
在一些实施例中，第一视频帧可以为当前视频帧，当前视频帧指的是当前时间采集到的视频帧，第一终端可以在采集到当前视频帧时，对当前视频帧中的噪声进行估计，实时的计算当前视频帧对应的目标噪声估计值。从而可以对视频中的噪声进行实时估计。
[0063]
在一些实施例中，第一终端可以利用实时计算得到的目标噪声估计值对第一视频帧实时的进行噪声处理，第一终端还可以利用目标噪声估计值对与第一视频帧相邻或者相近的后向视频帧实时的进行噪声处理。从而可以根据同一目标噪声估计值对多个视频帧进行噪声处理，提高了噪声处理的效率。
[0064]
上述基于差分块的视频噪声估计方法中，确定目标视频中待进行噪声估计的第一视频帧，以及第一视频帧对应的噪声估计参考帧，获取第一视频帧对应的第一图像块集合，获取第一图像块集合中第一图像块对应的差分图像块，得到差分图像块集合，获取差分图像块对应的差分平滑度以及第一图像块对应的第一平滑度，根据差分平滑度以及第一平滑度，从第一图像块集合以及差分图像块集合中，选取得到满足平滑度选取条件的目标图像
块，得到目标图像块集合，根据目标图像块集合中各个目标图像块分别对应的块噪声估计值确定第一视频帧对应的目标噪声估计值，以基于目标噪声估计值进行视频处理。由于差分图像块为第一图像块与参考图像块的差分块，参考图像块为噪声估计参考帧中，第一图像块对应的相似图像块，因此差分图像块对应的差分平滑度可以准确的反映噪声的大小；而通过第一图像块对应的第一平滑度以及差分图像块对应的差分平滑度，选取满足平滑度选取条件的目标图像块，能够选取得到噪声估计值具有代表性的图像块，因此提高了得到的视频帧的噪声估计值的准确度。
[0065]
目前，在视频通话、视频直播及视频文件应用领域，视频的采集过程和传输过程可能会造成视频在空域单帧图像和时域相邻帧图像中存在噪声，影响视频去噪、图像识别、视频分析以及视频压缩等处理技术的应用，因此对视频中的噪声进行准确快速估计十分关键。采用本技术的基于差分块的视频噪声估计方法，能够有效、实时并且准确地估计不同视频场景的噪声，有效降低噪声估计的计算复杂度。
[0066]
在一些实施例中，步骤s210根据差分平滑度以及第一平滑度，从第一图像块集合以及差分图像块集合中，选取得到满足平滑度选取条件的目标图像块包括：按照从小到大的顺序对各个差分平滑度以及各个第一平滑度进行排序，得到排序结果；根据排序结果从第一图像块集合以及差分图像块集合中，选取得到满足平滑度选取条件的目标图像块，平滑度选取条件包括排序在预设排序之前或者预设比例之前中的至少一种。
[0067]
其中，排序结果可以包括各个差分平滑度分别对应的排序，以及各个第一平滑度分别对应的排序。预设排序是预先设置的，例如可以是20。预设比例为预先设置的比例，可以为预设排序与最大的排列序号之间的比值，例如预设排序为20，最大的排列序号为100，则预设比例可以为1/5。
[0068]
在本技术实施例中，第一终端可以将差分平滑度对应的排列序号与预设排序进行对比，当差分平滑度对应的排列序号小于预设排序时，从差分图像块集合中获取差分平滑度对应的差分图像块，作为目标图像块。第一终端可以计算差分平滑度对应的排列序号与最大的排列序号之间的比值，得到差分序号比值，将差分序号比值与预设比例进行对比，当确定差分序号比值小于预设比例时，从差分图像块集合中获取差分平滑度对应的差分图像块，作为目标图像块。
[0069]
在一些实施例中，第一终端可以将第一平滑度对应的排列序号与预设排序进行对比，当第一平滑度对应的排列序号小于预设排序时，从第一图像块集合中获取第一平滑度对应的差分图像块，作为目标图像块。第一终端可以计算第一平滑度对应的排列序号与最大的排列序号之间的比值，得到第一序号比值，将第一序号比值与预设比例进行对比，当确定第一序号比值小于预设比例时，从第一图像块集合中获取第一平滑度对应的第一图像块，作为目标图像块。
[0070]
本实施例中，按照从小到大的顺序对各个差分平滑度以及各个第一平滑度进行排序，得到排序结果，根据排序结果从第一图像块集合以及差分图像块集合中，选取得到满足平滑度选取条件的目标图像块，从而可以根据排序结果快速的选取得到目标图像块，提高了选取目标图像块的效率。
[0071]
在一些实施例中，按照从小到大的顺序对各个差分平滑度以及各个第一平滑度进行排序，得到排序结果包括：获取小于平滑度阈值的差分平滑度以及第一平滑度，得到候选
平滑度集合；对候选平滑度集合中的候选平滑度进行排序，得到排序结果。
[0072]
其中，平滑度阈值可以是根据需要设置的，例如可以为4到6之间，例如可以为5.0，由于图像块的平滑度可以理解为图像平滑度以及噪声平滑度相加后的结果，而如果图像平滑度较大，则将会导致对噪声估计造成较大的误差，通过实验，通过将平滑度阈值设置在4到6之间，平滑度阈值在该范围内时，既能筛选到充分反映噪声大小的差分平滑度以及第一平滑度，又能去除图像平滑度较大的差分平滑度以及第一平滑度，从而避免图像平滑度较大的差分平滑度以及第一平滑度对噪声估计的影响，提高噪声估计的准确度。候选平滑度可以是比平滑度阈值小的第一平滑度，也可以是比平滑度阈值小的差分平滑度。候选平滑度集合为各个候选平滑度组成的集合。平滑度阈值还可以根据多个参考视频帧分别对应的参考平滑度的统计值得到，例如可以是多个视频帧分别对应的参考平滑度的平均值。参考视频帧可以为参考视频中的任意的视频帧。参考视频与目标视频中的噪声来源可以是一致的，参考视频与目标视频对应的视频采集设备、视频采集地点或视频采集时间中的至少一种可以是一致的。参考平滑度为参考视频帧对应的平滑度序列中排序为参考排序的平滑度。参考视频帧对应的平滑度序列的得到方法可以参考，第一视频帧对应的平滑度序列的得到方法。其中，参考排序可以为上文中提到的特定排序，也可以根据需要进行设置，例如可以是20。例如，第一终端可以获取3个参考视频，从每个参考视频中选取2个参考视频帧，计算每个参考视频帧分别对应的平滑度序列，获取每个平滑度序列中排序为第20的平滑度，作为参考平滑度，共得到6个参考平滑度，计算这6个参考平滑度的平均值，得到平滑度阈值。本技术实施例中，根据多个参考视频帧分别对应的参考平滑度的统计值，得到平滑度阈值，提高了平滑的准确度。
[0073]
在本技术实施例中，第一终端可以将第一平滑度与平滑度阈值进行对比，当根据对比的结果确定第一平滑度小于平滑度阈值时，可以将第一平滑度作为候选平滑度。第一终端可以将差分平滑度与平滑度阈值进行对比，当根据对比的结果确定差分平滑度小于平滑度阈值时，可以将差分平滑度作为候选平滑度。例如，若平滑度阈值为tr，差分平滑度为ct，则当ct＜tr时，可以将ct作为候选平滑度。第一终端可以对候选平滑度集合中的各个候选平滑度按照从小到大的顺序进行排序。
[0074]
本实施例中，获取小于平滑度阈值的差分平滑度以及第一平滑度，得到候选平滑度集合，对候选平滑度集合中的候选平滑度进行排序，得到排序结果，从而可以从差分平滑度以及第一平滑度中去除图像平滑度较大的平滑度，避免选用图像平滑度较大的差分平滑度或第一平滑度作为候选平滑度，提高了候选平滑度的准确度，并且在进行排序之前，先对差分平滑度以及第一平滑度进行筛选，可以减少需要排序的差分平滑度以及第一平滑度的数量，从而加快排序的速度，提高排序的效率。
[0075]
在一些实施例中，步骤s212根据目标图像块集合中各个目标图像块分别对应的块噪声估计值确定第一视频帧对应的目标噪声估计值包括：对目标图像块集合中的各个目标图像块分别对应的块噪声估计值进行统计，得到噪声统计值；根据噪声统计值得到第一视频帧对应的目标噪声估计值。
[0076]
其中，噪声统计值为目标图像块集合中的各个目标图像块分别对应的块噪声估计值的统计值，统计值可以包括均值、方差、众数或者总和中的至少一种。
[0077]
在本技术实施例中，第一终端可以对目标图像块集合中的各个目标图像块分别对
应的块噪声估计值进行统计，例如第一终端可以通过公式(1)对块噪声估计值进行均值计算，将计算得到的均值，作为噪声统计值。其中，v为正整数，v的取值范围为1到β(包括1和β)，β表示块噪声估计值的个数，varaincev表示第v个块噪声估计值，noise
ii
表示目标视频中的第ii个视频帧(记作f
ii
)对应的噪声统计值。
[0078][0079]
在一些实施例中，第一终端可以将噪声统计值作为第一视频帧对应的目标噪声估计值，也可以对噪声统计值进行计算得到目标噪声估计值，例如第一终端可以确定与第一视频帧相邻或者相近的视频帧，获取相邻或相近的视频帧对应的目标噪声估计值，作为参考噪声估计值。第一终端可以根据噪声统计值以及参考噪声估计值进行计算，得到第一视频帧对应的目标噪声估计值，其中相邻的视频帧例如可以是前向相邻的视频帧，相近的视频帧可以是与第一视频帧之间的时间间隔小于时间间隔阈值的视频帧，时间间隔阈值可以根据需要设置，例如可以是0.2秒。
[0080]
本实施例中，对目标图像块集合中的各个目标图像块分别对应的块噪声估计值进行统计，得到噪声统计值，由于统计数据通常比单个独立的数据的准确度高，与真实的数据更加接近，因此噪声统计值可以较为准确的反映第一视频帧的噪声情况，因此根据噪声统计值得到第一视频帧对应的目标噪声估计值，可以提高目标噪声估计值的准确度。
[0081]
在一些实施例中，根据噪声统计值得到第一视频帧对应的目标噪声估计值包括：从目标视频中，确定第一视频帧对应的噪声关联视频帧；获取噪声关联视频帧对应的关联噪声估计值；对噪声统计值以及关联噪声估计值进行加权计算，得到第一视频帧对应的目标噪声估计值。
[0082]
其中，噪声关联视频帧指的是与第一视频帧的目标噪声估计值的计算相关的视频帧。噪声关联视频帧可以包括与第一视频帧相邻的视频帧中的至少一种。噪声关联视频帧还可以为噪声估计参考帧。关联噪声估计值是根据噪声关联视频帧计算得到的目标噪声估计值，关联噪声估计值的计算方法与第一视频帧对应的目标噪声估计值的计算方法可以相同，也可以不同。
[0083]
在本技术实施例中，可以采用多个视频帧分别计算得到的目标噪声估计值，共同计算第一视频帧对应的目标噪声估计值，从而提高目标噪声估计值的准确度，例如第一终端可以利用噪声关联视频帧以及第一视频帧，共同计算得到第一视频帧对应的目标噪声估计值。
[0084]
在一些实施例中，第一终端可以按照关联帧选取规则从目标视频中，选取得到第一视频帧对应的噪声关联视频帧。关联帧选取规则可以与参考帧选取规则一致，即关联帧选取规则可以包括按照时间间隔选取、随机选取或按照帧数间隔选取中的至少一种。第一终端可以获取噪声关联视频帧对应的关联噪声估计值，获取噪声统计值对应的第一权重，关联噪声估计值对应的第二权重，根据第一权重以及第二权重对噪声统计值以及关联噪声估计值进行加权计算，得到第一视频帧对应的目标噪声估计值。例如，第一终端可以通过公式(2)计算得到第一视频帧f
ii
对应的目标噪声估计值，其中，w表示第一权重，1-w表示第二权重，noise
pre
表示关联噪声估计值，noise表示目标噪声估计值。其中，w可以根据需要进行设置，例如为0.5。公式(2)可以理解为在时域上对关联噪声估计值以及噪声统计值进行加
权，从而充分利用了时域噪声信息(例如关联噪声估计值)。
[0085]
noise＝(1-w)noise
pre
wnoise
ii
ꢀꢀ
(2)
[0086]
本实施例中，从目标视频中，确定第一视频帧对应的噪声关联视频帧，获取噪声关联视频帧对应的关联噪声估计值，对噪声统计值以及关联噪声估计值进行加权计算，得到第一视频帧对应的目标噪声估计值，从而可以在第一视频帧计算得到的噪声统计值的基础上，通过噪声关联视频帧的关联噪声估计值对噪声统计值进行校正，使得计算得到的目标噪声估计值更加准确。
[0087]
在一些实施例中，如图4所示，步骤s208获取差分图像块对应的差分平滑度包括：
[0088]
s402，确定差分图像块对应的中心像素点以及至少两个目标平滑度计算方向。
[0089]
其中，中心像素点指的是处于中心位置的像素点。平滑度计算方向是由图像块中的一个或者多个像素点形成的路径的方向。每个平滑度计算方向均可以包括中心像素点。平滑度计算方向可以包括直线方向或者弯曲方向中的至少一种，其中直线方向可以包括水平方向、垂直方向、45度方向或者135度方向的至少一个。水平方向可以是即从左到右或者从右到左的方向，垂直方向是指从上到小或者从下到上的方向。45度方向是指从差分图像块的左下角到右上角的方向，135度方向是指从差分图像块的右下角到左上角的方向。平滑度计算方向还可以包括更多的计算方向，这里不做限制。各个平滑度计算方向包括的像素点的数目可以是相同的也可以是不同的。平滑度计算方向包括的像素点的数量可以是根据需要设置的，也可以是预先设置的，例如可以是5个。
[0090]
如图5所示，展示了一个3
×
3的差分图像块对应的4个平滑度计算方向，中心像素点为(i,j)位置处的像素点，其中，i表示像素点的横坐标，j表示像素点的纵坐标，135度方向对应的像素点的位置分别为(i-1,j-1)、(i,j)和(i 1,j 1)，垂直方向对应的像素点的位置分别为(i-1,j)、(i,j)和(i 1,j)，45度方向对应的像素点的位置分别为(i-1,j 1)、(i,j)和(i 1,j-1)，水平方向对应的像素点的位置分别为(i,j-1)、(i,j)和(i,j 1)。目标平滑度计算方向指的是从差分图像块中确定的平滑度计算方向。
[0091]
在本技术实施例中，第一终端可以根据差分图像块的尺寸，确定差分图像块对应的中心像素点，差分图像块的尺寸可以包括差分图像块的长度或宽度中的至少一种，长度和宽度的单位可以是像素，长度例如可以是3个像素。例如当差分图像块的长度以及宽度均为奇数时，若差分图像块中的像素点的横坐标的最小值为1，纵坐标的最小值为1，则中心像素点的位置可以为((长度 1)/2，(宽度 1)/2)，当差分图像块的长度为偶数或者宽度为偶数时，中心像素点的位置可以选自(长度/2，宽度/2)、(长度/2 1，宽度/2)、(长度/2，宽度/2 1)以及(长度/2 1，宽度/2 1)。第一终端可以获取差分图像块对应的候选平滑度计算方向集合，候选平滑度计算方向集合中可以包括多个差分图像块对应的平滑度计算方向，第一终端可以从候选平滑度计算方向集合中选取得到目标平滑度计算方向。
[0092]
s404，获取目标平滑度计算方向上，中心像素点对应的参考像素点。
[0093]
其中，参考像素点指的是目标平滑度计算方向包括的像素点中，除中心像素点之外的各个像素点，如图5所示，(i-1,j)位置处的像素点以及(i 1,j)位置处的像素点为垂直方向上的2个参考像素点。
[0094]
在本技术实施例中，第一终端可以获取目标平滑度计算方向上的各个像素点，当目标平滑度计算方向上的像素点不为中心像素点时，将像素点作为参考像素点。
[0095]
s406，根据中心像素点与参考像素点之间的第一像素差异值，计算得到目标平滑度计算方向对应的方向平滑度。
[0096]
其中，像素差异值指的是不同的像素点对应的像素值之间的差异。第一像素差异值指的是中心像素点对应的像素值，与参考像素点对应的像素值之间的差异。例如，若图5中的(i,j)位置处的中心像素点对应的像素值为200，(i-1,j)位置处的参考像素点对应的像素值为100，则第一像素差异值为200-100＝100。
[0097]
在本技术实施例中，第一终端可以计算目标平滑度计算方向对应的各个第一像素差异值的差异统计值，作为目标平滑度计算方向对应的方向平滑度。差异统计值可以包括目标平滑度计算方向对应的各个第一像素差异对应的均值、方差、众数或总和中的至少一种。
[0098]
s408，基于各个目标平滑度计算方向分别对应的方向平滑度，计算得到差分图像块对应的差分平滑度。
[0099]
其中，差分平滑度为差分图像块对应的平滑度，差分平滑度是根据各个方向平滑度计算得到的，可以为方向平滑度的统计值。其中方向平滑度的统计值可以包括方向平滑度的均值或总和中的至少一种。
[0100]
在本技术实施例中，第一终端可以计算方向平滑度的统计值，根据方向平滑度的统计值得到差分图像块对应的差分平滑度。第一终端还可以对方向平滑度的统计值进行缩放处理，得到差分图像块对应的差分平滑度。其中，缩放处理可以包括缩小或放大中的至少一种。
[0101]
本实施例中，确定差分图像块对应的中心像素点以及至少两个目标平滑度计算方向，获取目标平滑度计算方向上，中心像素点对应的参考像素点，根据中心像素点与参考像素点之间的第一像素差异值，计算得到目标平滑度计算方向对应的方向平滑度，基于各个目标平滑度计算方向分别对应的方向平滑度，计算得到差分图像块对应的差分平滑度，实现了根据多个平滑度计算方向对应的方向平滑度计算差分平滑度，提高了差分平滑度的准确度。
[0102]
在一些实施例中，第一图像块对应的第一平滑度的计算方法，与差分图像块对应的差分平滑度的计算方法类似，可以参考差分平滑度的计算步骤，计算第一图像块对应的第一平滑度。
[0103]
在一些实施例中，步骤s408基于各个目标平滑度计算方向分别对应的方向平滑度，计算得到差分图像块对应的差分平滑度包括：对目标平滑度计算方向对应的方向平滑度进行统计，得到平滑度统计值；根据平滑度统计值得到差分图像块对应的差分平滑度。
[0104]
其中，平滑度统计值指的是各个方向平滑度的统计值，可以包括各个方向平滑度的总和、均值或众数中的至少一种。
[0105]
在本技术实施例中，第一终端可以计算各个方向平滑度的总和，将计算的总和作为平滑度统计值。例如，第一终端可以采用公式(3)计算得到平滑度统计值，
[0106][0107]
其中，st表示平滑度统计值，φ表示目标平滑度计算方向组成的集合，t为一个选自φ的目标平滑度计算方向，a表示目标平滑度计算方向t上包括的像素点的个数，p(i,j)
表示差分图像块的中心像素点对应的像素值，即(i,j)表示中心像素点的位置，其中i≥1，j≥1。表示目标平滑度计算方向t上的一个参考像素点，表示目标平滑度计算方向t上的各个参考像素点对应的像素值的总和，例如当目标平滑度计算方向t为图5中的135度方向时，则：
[0108][0109]
在一些实施例中，第一终端可以将平滑度统计值作为差分图像块对应的差分平滑度，也可以对平滑度统计值进行计算，将计算的结果作为差分图像块对应的差分平滑度，例如第一终端可以对平滑度统计值进行缩放，得到缩放后的平滑度统计值，将缩放后的平滑度统计值作为差分图像块对应的差分平滑度。
[0110]
在一些实施例中，第一终端可以通过纹理复杂度计算方法，计算得到差分图像块对应的平滑度统计值。纹理复杂度计算方法可以包括梯度计算方法。梯度计算方法例如可以为公式(5)。其中，g
t
(i,j)＝(dx(i,j) dy(i,j))/2，dx(i,j)＝p(i 1,j)-p(i,j)，dy(i,j)＝p(i 1,j)-p(i,j)。其中，p(i,j)表示(i,j)位置对应的像素点的像素值，q1表示矩形像素块的长度，q2表示矩形像素块的宽度，q1＝8表示矩形像素块长度为8个像素点。其中q1可以与q2相同，也可以不相同。1≤i≤q1，1≤j≤q2。
[0111][0112]
本实施例中，对目标平滑度计算方向对应的方向平滑度进行统计，得到平滑度统计值，由于统计值比单一的数据更能反映真实的情况，因此根据平滑度统计值得到差分图像块对应的差分平滑度，可以提高差分平滑度的准确度。
[0113]
在一些实施例中，得到目标图像块对应的块噪声估计值的步骤包括：计算目标图像块对应的像素平均值；获取目标像素块中各个像素点分别对应的像素值与像素平均值之间的差异值，作为第二像素差异值；根据第二像素差异值得到目标图像块对应的块噪声估计值。
[0114]
其中，目标图像块对应的像素平均值指的是目标图像块中所有像素点对应的像素值的平均值。第二像素差异值指的是目标像素块中的像素点对应的像素值与像素平均值之间的差异，例如，若目标像素块中的像素点对应的像素值为100，像素平均值为80，则第二像素差异值为100-80＝20。
[0115]
在本技术实施例中，第一终端可以利用均值计算方法计算目标图像块中所有像素点对应的像素值的平均值，得到目标图像块对应的像素平均值。均值计算方法例如可以为公式(6)。其中，表示像素平均值。
[0116][0117]
在一些实施例中，第一终端可以将目标像素块中的像素点对应的像素值与像素平均值进行相减，计算相减得到的结果的绝对值，作为第二像素差异值。
[0118]
在一些实施例中，第一终端对各个第二像素差异值进行计算，得到目标图像块对应的块噪声估计值。目标图像块的来源不同，计算块噪声估计值的方法可以不同。目标图像
块的来源包括第一图像块集合以及差分图像块集合。例如若目标图像块是从第一图像块集合中选取得到的，则可以根据公式(7)计算得到块噪声估计值，若目标图像块是从差分图像块集合中选取得到的，则可以根据公式(8)计算得到块噪声估计值。
[0119][0120][0121]
其中，varaince
k1
表示第k1个目标图像块对应的块噪声估计值，varaince
k2
表示第k2个目标图像块对应的块噪声估计值。
[0122]
本实施例中，根据第二像素差异值得到目标图像块对应的块噪声估计值，由于第二像素差异值是目标像素块中的像素点对应的像素值与像素平均值之间的差异值。因此第二像素差异值能够准确的反映目标图像块中噪声的大小，从而使得根据第二像素差异值得到的块噪声估计值的准确度高。
[0123]
在一些实施例中，如图6所示，第一图像块集合是对第一父图像块进行切分得到的，步骤s206获取第一图像块集合中第一图像块对应的差分图像块包括：
[0124]
s602，根据第一父图像块的位置，从噪声估计参考帧中获取与第一父图像块相似的第二父图像块。
[0125]
其中，第一父图像块为第一视频帧中的图像块。第一父图像块可以是第一终端按照父图像块选取规则从第一视频帧中选取得到的。父图像块选取规则可以包括随机选取或按照预设图像块信息选取中的至少一种。预设图像块信息可以是根据需要预先设置的，可以包括图像块的尺寸信息或在第一视频帧中的位置信息中的至少一种。第一父图像块可以有多个。不同的第一父图像块的大小以及形状可以是相同的也可以是不同的，各个第一父图像块之间可以是不存在交叠的，也可以是存在交叠的。存在交叠指的是具有相同的像素点，不存在交叠指的是不具有相同的像素点。第一终端可以将获取到的各个第一父图像块进行存储，例如，第一父图像块可以是第一终端从实时采集到的视频帧fc中随机选取的不交叠的n个k
×
k的图像块b(c,m)并进行保存，从而可以有效保证噪声估计的鲁棒性和计算速度。其中，m＝0,1...n，c、n以及k均为大于等于1的正整数，fc表示目标视频中的第c帧，b(c,m)表示fc中的第m个第一父图像块。
[0126]
不同的视频场景，第一父图像块的数量和尺寸可以是不同的。视频场景可以包括实时视频场景或非实时视频场景中的至少一种，实时视频场景例如可以包括直播和视频通话，非实时视频场景例如可以包括视频文件转码。实时视频场景下选取第一父图像块的数量和尺寸可以分别比非实时视频场景下的选取第一父图像块的数量和尺寸小，例如实时视频场景下n以及k可以取较小值，从而在实时视频场景下可以降低噪声估计的复杂度，以便快速的完成噪声估计，避免影响实时视频的流畅度，而对于非实时视频场景，可以选取数量和尺寸较大的第一父图像块，例如非实时视频场景下n以及k可以取较大值，以便更加准确的进行噪声估计。
[0127]
第一父图像块的位置指的是第一父图像块在第一视频帧中所处的位置，可以包括第一父图像块的横坐标的取值范围、纵坐标的取值范围或中心位置对应的横坐标以及纵坐
标中的至少一种。第二父图像块为噪声估计参考帧中的与第一父图像块相似的图像块。第二父图像块在噪声估计参考帧中的位置，可以与第一父图像块的位置相同。第二父图像块包括的像素点的数量与第一父图像块包括的像素点的数量可以相同。
[0128]
在本技术实施例中，第一终端可以根据第一父图像块的位置，从噪声估计参考帧中获取多个候选图像块，计算各个候选图像块与第一父图像块之间的相似度，将相似度满足相似度条件的候选图像块，作为第一图像块对应的相似图像块，即参考图像块。其中，各个候选图像块的形状以及尺寸可以与第一父图像块一致，候选图像块在噪声估计参考帧中的位置，可以与第一父图像块的位置相同。
[0129]
在一些实施例中，第一终端可以从噪声估计参考帧中，选取与第一父图像块的位置一致的图像块，作为第一父图像块对应的第二父图像块。如图7所示，第一父图像块与噪声估计参考帧的大小均为64
×
64，第一父图像块为第一视频帧中前16行以及前16列的像素点组成的图像块，第二父图像块为噪声估计参考帧中前16行以及前16列的像素点组成的图像块。
[0130]
s604，将第一父图像块与第二父图像块进行相减，得到父差分图像块。
[0131]
其中，相减指的是像素值进行相减。父差分图像块可以包括多个差分像素点，当第一父图像块以及第二父图像块分别包括的像素点的数量均为r时，则父差分图像块包括r个差分像素点。父差分图像块中第一位置处的差分像素点的像素值为，第一父图像块中第一位置处的像素点与第二父图像块中第一位置处的像素点之间的像素差异值。
[0132]
在本技术实施例中，第一终端可以从第一父图像块中选取第一像素点，从第二父图像块中选取与第一像素点位置一致的第二像素点，计算第一像素点与第二像素点之间的像素差异值，将第一像素点与第二像素点之间的像素差异值作为差分像素点的像素值，将第一像素点的位置作为差分像素点在父差分图像块中的位置。如图8所示，展示了一个将第一父图像块与第二父图像块对应位置的像素值进行相减，得到父差分图像块的示意图，其中每一个小方格代表一个像素点。父差分图像块中的各个像素点的像素值为第一父图像块以及第二父图像块中对应位置的像素值差异，例如，第1行第1列的像素点对应的像素值100，为第一父图像块中第1行第1列的像素点与第二父图像块中第1行第1列的像素点之间的差异，即100＝200-100，同理，48＝128-80，96＝156-60。
[0133]
在一些实施例中，噪声估计参考帧为第一视频帧的前向视频帧，例如当第一视频帧为fc时，噪声估计参考帧可以为目标视频中的第c-1帧(可以记作f
c-1
)，这时第一终端可以采用公式(9)计算父差分图像块。
[0134]
d(c,m)＝b(c,m)-b(c-1,m)
ꢀꢀ
(9)
[0135]
其中，b(c-1,m)表示f
c-1
中第m个第二父图像块，d(c,m)表示父差分图像块。
[0136]
s606，对父差分图像块进行切分，得到第一图像块集合中第一图像块对应的差分图像块。
[0137]
在本技术实施例中，第一终端可以按照图像块切分方法，对父差分图像块进行切分。图像块切分方法可以包括均匀切分方法或非均匀切分方法中的至少一种。采用均匀切分方法切分得到的各个差分图像块的形状以及大小可以是相同的。采用非均匀切分方法得到的各个差分图像块形状以及大小可以是各不相同的。
[0138]
在一些实施例中，第一终端可以根据目标数量，将父差分图像块进行均匀切分，得
到目标数量的差分图像块，其中目标数量可以根据需要设置，例如可以为3或5。例如第一终端可以将一个k
×
k大小的父差分图像块，均匀切分为q个k/q
×
k/q大小的差分图像块，q≥1，k≥1。
[0139]
本实施例中，根据第一父图像块的位置，从噪声估计参考帧中获取与第一父图像块相似的第二父图像块，从而可以根据第一父图像块的位置快速的获取到第二父图像块，提高了获取第二父图像块的效率。
[0140]
在一些实施例中，第一视频帧是按照噪声估计间隔从目标视频中选取的，该方法还包括：根据目标噪声估计值确定目标噪声处理强度；根据目标噪声处理强度对目标视频中，第一视频帧的后向视频帧进行噪声处理；直至达到噪声估计间隔，获取更新的第一视频帧对应的目标噪声估计值。
[0141]
其中，噪声估计间隔可以包括各个第一视频帧之间的时间间隔或者帧数间隔中的至少一种。各个第一视频帧之间的时间间隔可以是相同的，也可以是不同的。各个第一视频帧之间的帧数间隔可以是相同的，也可以是不同的。各个第一视频帧之间时间间隔和帧数间隔可以根据需要设置，帧数间隔例如可以为5。噪声估计间隔可以根据视频场景确定。实时视频场景下的噪声估计间隔可以比非实时视频场景下的噪声估计间隔大，从而在实时视频场景下可以降低噪声估计的复杂度，避免影响实时视频的流畅度，而对于非实时视频场景，选择较小的噪声估计间隔，可以提高噪声估计的准确度，从而实现了噪声估计间隔在计算复杂度和估计准确性上的均衡选取。
[0142]
噪声处理强度指的是对噪声进行处理的程度，可以包括不同等级的噪声处理强度，例如可以包括零噪声处理强度、弱噪声处理强度、中度噪声处理强度或者高度噪声处理强度中的至少一种。零噪声处理强度表示噪声较小，不进行噪声处理。弱噪声处理强度、中度噪声处理强度和高度噪声处理强度对应的噪声处理程度依次递增。不同的等级的噪声处理强度，可以分别对应不同的噪声估计值范围。目标噪声处理强度可以为目标噪声估计值所属的噪声估计值范围对应的噪声处理强度。第一视频帧的后向视频帧指的是目标视频中，排列在第一视频帧之后的视频帧。
[0143]
在本技术实施例中，第一终端可以将目标噪声处理强度与噪声处理强度阈值进行对比，当目标噪声处理强度大于或等于噪声处理强度阈值时，根据目标噪声处理强度对目标视频中，第一视频帧的后向视频帧进行噪声处理；当目标噪声处理强度小于噪声处理强度阈值时，不对目标视频进行处理。噪声处理强度阈值可以根据需要进行设置，也可以是预先设置的。
[0144]
在一些实施例中，第一终端可以按照从前到后的时间顺序，从目标视频中获取排列在第一视频帧之后的后向视频帧，计算后向视频帧与第一视频帧之间的间隔，当间隔小于噪声估计间隔时，根据目标噪声处理强度对后向视频帧进行噪声处理，当间隔等于噪声估计间隔时，将后向视频帧作为更新的第一视频帧。第一终端可以获取更新的第一视频帧对应的目标噪声估计值，根据更新的第一视频帧对应的目标噪声估计值对目标视频进行处理。
[0145]
在一些实施例中，第一终端可以利用去噪滤波器对目标视频中的视频帧进行去噪。去噪滤波器可以是自定义的，也可是现有的滤波器，例如可以是高斯滤波器。第一终端可以根据目标噪声处理强度对去噪滤波器中的滤波参数进行设置，得到设置后的去噪滤波
器，利用设置后的去噪滤波器，对目标视频中第一视频帧的后向视频帧进行噪声处理。目标噪声处理强度与滤波参数之间可以是成正相关关系的，也可以是成负相关关系的。例如，对于一维高斯滤波器：滤波参数指的是σ，目标噪声处理强度与σ之间成正相关关系，即目标噪声处理强度越大，滤波参数σ越大，目标噪声处理强度越小，滤波参数σ越小。
[0146]
本实施例中，根据目标噪声估计值确定目标噪声处理强度，从而可以根据目标噪声估计值的大小，确定合理且准确的目标噪声处理强度，根据目标噪声处理强度对目标视频中，第一视频帧的后向视频帧进行噪声处理，直至达到噪声估计间隔，获取更新的第一视频帧对应的目标噪声估计值，从而可以根据第一视频帧分别对应的目标噪声处理强度，对多个视频帧进行噪声处理，并且当第一视频帧更新时，可以得到新的目标噪声处理强度，以便于使用新的目标噪声处理强度对视频帧进行噪声处理，实现了动态调整目标噪声处理强度的效果，在噪声随时间变化的情况下，可以使得目标噪声处理强度更加准确，提高了噪声处理的准确度。
[0147]
在一些实施例中，提供了一种基于差分块的视频噪声估计方法，包括以下步骤：
[0148]
1、确定目标视频中待进行噪声估计的第一视频帧，以及第一视频帧对应的噪声估计参考帧，获取第一视频帧对应的第一图像块集合。
[0149]
其中，第一图像块集合是对第一父图像块进行切分得到的。第一父图像块是从第一视频帧中随机选取的图像区域。
[0150]
2、根据第一父图像块的位置，从噪声估计参考帧中获取与第一父图像块相似的第二父图像块，将第一父图像块与第二父图像块进行相减，得到父差分图像块。
[0151]
其中，第一父图像块在第一视频帧中的位置，可以与对应的第二父图像块在噪声估计参考帧中的位置一致。
[0152]
3、对父差分图像块进行切分，得到第一图像块集合中第一图像块对应的差分图像块，得到差分图像块集合。
[0153]
其中，差分图像块为第一图像块与参考图像块的差分块，参考图像块为噪声估计参考帧中，第一图像块对应的相似图像块。
[0154]
4、确定差分图像块对应的中心像素点以及至少两个目标平滑度计算方向，获取目标平滑度计算方向上，中心像素点对应的参考像素点。
[0155]
其中，目标平滑度计算方向上可以包括多个，参考像素点指的是目标平滑度计算方向上除中心像素点之外的像素点。
[0156]
5、根据中心像素点与参考像素点之间的第一像素差异值，计算得到目标平滑度计算方向对应的方向平滑度，对目标平滑度计算方向对应的方向平滑度进行统计，得到平滑度统计值。
[0157]
其中，第一终端可以将方向平滑度相加，将相加后的结果作为平滑度统计值。
[0158]
6、根据平滑度统计值得到差分图像块对应的差分平滑度，获取第一图像块对应的第一平滑度，获取小于平滑度阈值的差分平滑度以及第一平滑度，得到候选平滑度集合。
[0159]
其中，第一终端可以按照从小到大的顺序对第一平滑度以及差分平滑度进行排序，得到平滑度序列，从平滑度序列中选取排列在前的预设数目的平滑度，得到候选平滑度
集合。
[0160]
7、对候选平滑度集合中的候选平滑度进行排序，得到排序结果，根据排序结果从第一图像块集合以及差分图像块集合中，选取得到满足平滑度选取条件的目标图像块，得到目标图像块集合。
[0161]
其中，平滑度选取条件包括排序在预设排序之前或者预设比例之前中的至少一种。
[0162]
8、计算目标图像块对应的像素平均值，获取目标像素块中各个像素点分别对应的像素值与像素平均值之间的差异值，作为第二像素差异值。
[0163]
9、根据第二像素差异值得到目标图像块对应的块噪声估计值，对目标图像块集合中的各个目标图像块分别对应的块噪声估计值进行统计，得到噪声统计值。
[0164]
其中，第一终端可以第二像素差异值的平方，将各个第二像素差异值的平方进行相加，得到目标图像块对应的块噪声估计值。
[0165]
10、从目标视频中，确定第一视频帧对应的噪声关联视频帧，获取噪声关联视频帧对应的关联噪声估计值。
[0166]
其中，噪声关联视频帧可以为第一视频帧的前向视频帧。
[0167]
11、对噪声统计值以及关联噪声估计值进行加权计算，得到第一视频帧对应的目标噪声估计值，根据目标噪声估计值确定目标噪声处理强度。
[0168]
12、根据目标噪声处理强度对目标视频中，第一视频帧的后向视频帧进行噪声处理；直至达到噪声估计间隔，获取更新的第一视频帧对应的目标噪声估计值。
[0169]
其中，可以利用更新的第一视频帧对应的目标噪声估计值，对更新的第一视频帧以及更新的第一视频帧的后向视频帧，进行噪声处理，实现对视频帧的快速噪声处理。
[0170]
应该理解的是，虽然图2-8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-8中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0171]
在一些实施例中，如图9所示，提供了一种基于差分块的视频噪声估计装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：第一视频帧确定模块902、第一图像块集合获取模块904、差分图像块集合得到模块906、平滑度获取模块908、目标图像块集合得到模块910和目标噪声估计值确定模块912，其中：
[0172]
第一视频帧确定模块902，用于确定目标视频中待进行噪声估计的第一视频帧，以及第一视频帧对应的噪声估计参考帧。
[0173]
第一图像块集合获取模块904，用于获取第一视频帧对应的第一图像块集合。
[0174]
差分图像块集合得到模块906，用于获取第一图像块集合中第一图像块对应的差分图像块，得到差分图像块集合，差分图像块为第一图像块与参考图像块的差分块，参考图像块为噪声估计参考帧中，第一图像块对应的相似图像块。
[0175]
平滑度获取模块908，用于获取差分图像块对应的差分平滑度以及第一图像块对
应的第一平滑度。
[0176]
目标图像块集合得到模块910，用于根据差分平滑度以及第一平滑度，从第一图像块集合以及差分图像块集合中，选取得到满足平滑度选取条件的目标图像块，得到目标图像块集合。
[0177]
目标噪声估计值确定模块912，用于根据目标图像块集合中各个目标图像块分别对应的块噪声估计值确定第一视频帧对应的目标噪声估计值，以基于目标噪声估计值进行视频处理。
[0178]
在一些实施例中，目标图像块集合得到模块910包括：
[0179]
排序结果得到单元，用于按照从小到大的顺序对各个差分平滑度以及各个第一平滑度进行排序，得到排序结果。
[0180]
目标图像块选取单元，用于根据排序结果从第一图像块集合以及差分图像块集合中，选取得到满足平滑度选取条件的目标图像块，平滑度选取条件包括排序在预设排序之前或者预设比例之前中的至少一种。
[0181]
在一些实施例中，排序结果得到单元，还用于获取小于平滑度阈值的差分平滑度以及第一平滑度，得到候选平滑度集合；对候选平滑度集合中的候选平滑度进行排序，得到排序结果。
[0182]
在一些实施例中，目标噪声估计值确定模块912包括：
[0183]
噪声统计值得到单元，用于对目标图像块集合中的各个目标图像块分别对应的块噪声估计值进行统计，得到噪声统计值。
[0184]
目标噪声估计值得到单元，用于根据噪声统计值得到第一视频帧对应的目标噪声估计值。
[0185]
在一些实施例中，目标噪声估计值得到单元，还用于从目标视频中，确定第一视频帧对应的噪声关联视频帧；获取噪声关联视频帧对应的关联噪声估计值；对噪声统计值以及关联噪声估计值进行加权计算，得到第一视频帧对应的目标噪声估计值。
[0186]
在一些实施例中，平滑度获取模块908包括：
[0187]
中心像素点确定单元，用于确定差分图像块对应的中心像素点以及至少两个目标平滑度计算方向。
[0188]
参考像素点获取单元，用于获取目标平滑度计算方向上，中心像素点对应的参考像素点。
[0189]
方向平滑度得到单元，用于根据中心像素点与参考像素点之间的第一像素差异值，计算得到目标平滑度计算方向对应的方向平滑度。
[0190]
差分平滑度得到单元，用于基于各个目标平滑度计算方向分别对应的方向平滑度，计算得到差分图像块对应的差分平滑度。
[0191]
在一些实施例中，差分平滑度得到单元，还用于对目标平滑度计算方向对应的方向平滑度进行统计，得到平滑度统计值；根据平滑度统计值得到差分图像块对应的差分平滑度。
[0192]
在一些实施例中，基于差分块的视频噪声估计装置还包括块噪声估计值得到模块，块噪声估计值得到模块包括：
[0193]
像素平均值计算单元，用于计算目标图像块对应的像素平均值。
[0194]
第二像素差异值得到单元，用于获取目标图像块中各个像素点分别对应的像素值与像素平均值之间的差异值，作为第二像素差异值。
[0195]
块噪声估计值得到单元，用于根据第二像素差异值得到目标图像块对应的块噪声估计值。
[0196]
在一些实施例中，第一图像块集合是对第一父图像块进行切分得到的，差分图像块集合得到模块906包括：
[0197]
第二父图像块获取单元，用于根据第一父图像块的位置，从噪声估计参考帧中获取与第一父图像块相似的第二父图像块。
[0198]
父差分图像块得到单元，用于将第一父图像块与第二父图像块进行相减，得到父差分图像块。
[0199]
差分图像块得到单元，用于对父差分图像块进行切分，得到第一图像块集合中第一图像块对应的差分图像块。
[0200]
在一些实施例中，第一视频帧是按照噪声估计间隔从目标视频中选取的，该装置还包括：
[0201]
目标噪声处理强度确定模块，用于根据目标噪声估计值确定目标噪声处理强度。
[0202]
噪声处理模块，用于根据目标噪声处理强度对目标视频中，第一视频帧的后向视频帧进行噪声处理；直至达到噪声估计间隔，获取更新的第一视频帧对应的目标噪声估计值。
[0203]
关于基于差分块的视频噪声估计装置的具体限定可以参见上文中对于基于差分块的视频噪声估计方法的限定，在此不再赘述。上述基于差分块的视频噪声估计装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0204]
在一些实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、运营商网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种基于差分块的视频噪声估计方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0205]
本领域技术人员可以理解，图10中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0206]
在一些实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
[0207]
在一些实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机
程序被处理器执行时实现上述各方法实施例中的步骤。
[0208]
在一些实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。
[0209]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。
[0210]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0211]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。