图像处理方法、装置、存储介质及电子设备与流程

1.本技术涉及图像处理技术领域，具体涉及一种图像处理方法、装置、存储介质及电子设备。


背景技术：

2.目前，拍摄功能的好坏已经成为衡量一台电子设备(比如智能手机、平板电脑等)性能的关键，用户可以通过电子设备随时随地地拍摄想要拍摄的场景。为了丰富拍摄功能，电子设备在拍摄时还可以获取到场景的深度信息，并利用该深度信息对拍摄的图像进行相应处理，以提升图像效果。因此，如何高效的获取深度信息变得尤为重要。


技术实现要素：

3.本技术提供了一种图像处理方法、装置、存储介质及电子设备，能够高效的实现深度信息的获取。
4.本技术提供图像处理方法，包括：
5.获取拍摄场景的当前视频帧，以及获取所述拍摄场景的历史视频帧；
6.根据所述当前视频帧以及所述历史视频帧识别所述拍摄场景的运动区域和非运动区域；
7.获取所述运动区域在所述当前视频帧中的第一深度信息；
8.获取所述非运动区域在所述当前视频帧中的第二深度信息；
9.根据所述第一深度信息和所述第二深度信息获得所述当前视频帧的当前深度信息。
10.本技术提供的图像处理装置，包括：
11.图像获取模块，用于获取拍摄场景的当前视频帧，以及获取所述拍摄场景的历史视频帧；
12.区域识别模块，用于根据所述当前视频帧以及所述历史视频帧识别所述拍摄场景的运动区域和非运动区域；
13.第一深度获取模块，用于获取所述运动区域在所述当前视频帧中的第一深度信息；
14.第二深度获取模块，用于获取所述非运动区域在所述当前视频帧中的第二深度信息；
15.深度合成模块，用于根据所述第一深度信息和所述第二深度信息获得所述当前视频帧的当前深度信息。
16.本技术提供的存储介质，其上存储有计算机程序，当所述计算机程序被处理器加载时执行如本技术任一实施例提供的图像处理方法。
17.本技术提供的电子设备，包括处理器和存储器，所述存储器存有计算机程序，所述处理器通过加载所述计算机程序，用于执行如本技术任一实施例提供的图像处理方法。
18.本技术还提供一种电子设备，包括图像信号前处理器和图像信号处理器，其中，所述图像信号前处理器包括：
19.图像信号处理单元，用于获取拍摄场景的当前视频帧，以及获取所述拍摄场景的历史视频帧；
20.数字信号处理单元，用于根据所述当前视频帧以及所述历史视频帧识别所述拍摄场景的运动区域和非运动区域；
21.神经网络处理单元，用于获取所述运动区域在所述当前视频帧中的第一深度信息；
22.所述数字信号处理单元还用于获取所述非运动区域在所述当前视频帧中的第二深度信息；
23.所述数字信号处理单元还用于根据所述第一深度信息和所述第二深度信息获得所述当前视频帧的当前深度信息；
24.所述图像信号处理器用于根据所述当前深度信息对当前视频帧进行后处理，得到后处理图像。
25.相较于相关技术，本技术首先获取拍摄场景的当前视频帧以及历史视频帧；根据当前视频帧以及历史视频帧识别拍摄场景的运动区域和非运动区域；获取运动区域在当前视频帧中的第一深度信息；获取非运动区域在当前视频帧中的第二深度信息；根据第一深度信息和第二深度信息获得当前视频帧的当前深度信息。由此，相较于直接对当前视频帧进行深度计算，本技术能够更为高效的实现深度信息的获取。
附图说明
26.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
27.图1是本技术实施例提供的图像处理方法的一流程示意图。
28.图2是本技术实施例中获取到的当前视频帧和历史视频帧的示例图。
29.图3是本技术实施例中非运动区域的划分的示例图。
30.图4是本技术实施例中第一摄像头和第二摄像头的设置位置示意图。
31.图5是本技术实施例中的成像示意图。
32.图6是本技术实施例中进行虚化处理的示例图。
33.图7是本技术实施例提供的图像处理方法的另一流程示意图。
34.图8是本技术实施例提供的图像处理装置的一结构示意图。
35.图9是本技术实施例提供的电子设备的一结构示意图。
36.图10是本技术实施例提供的电子设备的另一结构示意图。
具体实施方式
37.应当说明的是，以下的说明是通过所例示的本技术具体实施例，其不应被视为限制本技术未在此详述的其它具体实施例。
38.本技术实施例提供一种图像处理方法、图像处理装置、存储介质以及电子设备。其中，该图像处理方法的执行主体可以是本技术实施例提供的图像处理装置，或者集成了该图像处理装置的电子设备，其中该图像处理装置可以采用硬件或者软件的方式实现。其中，电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等配置有处理器而具有处理能力的设备。
39.请参照图1，图1为本技术实施例提供的图像处理方法的流程示意图，本技术实施例提供的图像处理方法的具体流程可以如下：
40.在101中，获取拍摄场景的当前视频帧，以及获取拍摄场景的历史视频帧。
41.本技术提供的图像处理方法适用于视频拍摄场景，比如拍摄预览和录制视频时。其中，拍摄场景为电子设备在启动拍摄类应用程序后摄像头所对准的场景，其可以为任何场景，可以包括人和物等。
42.其中，对于如何启动电子设备的拍摄类应用程序以及何种拍摄类应用程序，本技术中不做具体限制。比如，电子设备可以根据用户操作来启动电子设备的系统应用“相机”，在启动“相机”后，电子设备将通过摄像头实时进行图像采集，此时，其摄像头所对准的场景即为拍摄场景。比如，电子设备可以根据用户对“相机”入口的触摸操作来启动“相机”，还可以根据用户的语音口令“启动相机”来启动“相机”等。
43.应当说明的是，区别于拍照得到的独立图像，视频的实质为连续多帧图像构成的图像序列，本技术中将视频(图像序列)中的图像帧称为视频帧。可以理解的是，随着拍摄的持续进行，视频的视频帧将随之持续增加。当前视频帧即当前时刻所拍摄得到的视频帧，而历史视频帧即为当前时刻之前所拍摄得到的视频帧。
44.本技术实施例中，电子设备首先获取到拍摄场景的当前视频帧，以及获取拍摄场景的历史视频帧。其中，对于获取的历史视频帧的数量，本技术实施例中不做具体限制，可由本领域普通技术人员根据实际需要进行配置。
45.在102中，根据当前视频帧以及历史视频帧识别拍摄场景的运动区域和非运动区域。
46.可以理解的是，视频的拍摄场景是动态的，其中存在运动人或物等，本技术中将拍摄场景中存在运动物体的区域记为运动区域，将拍摄场景中除运动区域之外的区域记为非运动区域。
47.相应的，为了能够实现深度信息的高效获取，本技术实施例中将拍摄场景分割为运动区域和非运动区域，针对运动区域和非运动区域，分别进行深度信息的获取。
48.本技术实施例中，可以根据获取到的当前视频帧以及历史视频帧中的内容变化来识别拍摄场景的运动区域。
49.比如，请参照图2，当前视频帧和历史视频帧中的人像内容发生了变化，相应的，人像所在的区域将被识别为运动区域，人像之外的区域即为非运动区域。
50.示例性的，电子设备内置有图像信号前处理器，该图像信号前处理器包括神经网络处理单元，神经网络处理单元中固化有预训练的区域识别模型，该区域识别模型被配置为用于运动区域和非运动区域的分割。当需要识别拍摄场景中的运动区域时，电子设备即利用神经网络处理单元将当前视频帧和历史视频帧输入到区域识别模型，相应得到拍摄场景的运动区域和非运动区域。
51.在103中，获取运动区域在当前视频帧中的第一深度信息。
52.本技术实施例中，在完成运动区域和非运动区域的识别之后，电子设备按照配置的深度获取策略获取运动区域在当前视频帧中的深度信息，记为第一深度信息。
53.示例性的，运动趋势包括运动方向、运动速度以及运动加速度中的至少一种。可以理解的是，物体的当前位置是已知的，若能够获取到物体的运动趋势，则根据该运动趋势则可以预测得到该物体在下一时刻的位置，而位置的变化即对应了深度信息的变化。本技术实施例中，当前视频帧相对于历史视频帧，反映了拍摄场景在历史视频帧对应时刻的下一时刻的状态，因此，可以根据历史视频帧的历史深度信息以及运动区域的运动趋势来获取到运动区域在当前视频帧的深度信息，记为第一深度信息。
54.比如，本技术实施例中，利用预设的缓存队列实时缓存有3-5帧历史视频的深度信息，相应的，可以从前述缓存队列中获取到缓存的多帧历史视频帧的历史深度信息。
55.比如，电子设备内置的图像信号前处理器中的神经网络处理单元还固化有预训练的趋势识别模型，该趋势识别模型被配置为利用多帧连续视频帧识别运动趋势。当需要获取拍摄场景中运动区域的运动趋势时，电子设备即利用神经网络处理单元将当前视频帧和历史视频帧输入到趋势识别模型，相应得到拍摄场景中运动区域的运动趋势。
56.在104中，获取非运动区域在当前视频帧中的第二深度信息。
57.本技术实施例中，在完成运动区域和非运动区域的识别之后，电子设备按照配置的深度获取策略获取非运动区域在当前视频帧中的深度信息，记为第二深度信息。
58.示例性的，运动区域为存在运动物体的区域，而随着运动物体的运动，其将对拍摄场景中的其它物体造成遮挡，相应的，非运动区域在单一的历史视频帧中的深度信息可能是不完整的。
59.相应的，电子设备根据历史视频帧的历史深度信息获取拍摄场景的非运动区域在当前视频帧中的第二深度信息。其中，若从单一历史视频帧中只获取到的非运动区域的部分深度信息，则可以从其它历史视频帧中获取到非运动区域的其它部分深度信息，从而拼接得到非运动区域的完整深度信息。由于非运动区域不存在运动物体，其深度信息通常不会发生变化，因此将获取到的非运动区域在历史视频帧中的深度信息作为非运动区域在当前视频帧中的第二深度信息。
60.比如，请参照图3，非运动区域可以划分为图示a和b两个部分，其中，非运动区域a部分的深度信息从一历史视频帧中获取得到，非运动区域b部分的深度信息从另一历史视频帧中获取得到，并由此拼接得到非运动区域在当前视频帧中的第二深度信息。
61.应当说明的是，以上103和104的执行先后顺序不受序号大小的影响，可以是执行完成103后再执行104，也可以是执行完成104后再执行103，还可以是同步执行103和104。
62.比如，电子设备内置的图像信号前处理器还包括数字信号处理单元，该数字信号处理单元被配置为根据前述历史深度信息获取拍摄场景的非运动区域在当前视频帧中的第二深度信息，由此，数字信号处理单元可以在神经网络处理单元获取运动区域在当前视频帧中的第一深度信息时，同步获取非运动区域在当前视频帧中的第二深度信息，由此来提升深度信息的整体获取效率。
63.在105中，根据第一深度信息和第二深度信息获得当前视频帧的当前深度信息。
64.如上所述，电子设备已经获取到了拍摄场景中运动区域在当前视频帧中的第一深
度信息，以及获取到了拍摄场景中非运动区域在当前视频帧中的第二深度信息，此时，将第一深度信息和第二深度信息进行合成，即可获得拍摄场景在当前视频帧的深度信息，记为当前深度信息。比如，直接根据运动区域和非运动区域的位置划分，将运动区域的第一深度信息和非运动区域的第二深度信息拼接为拍照场景完整区域在当前视频帧的当前深度信息。
65.本技术实施例中，在获取得到当前视频帧的当前深度信息之后，还将当前视频帧的当前深度信息缓存至缓存队列中，可以理解的是，在下一个“当前时刻”，此时的当前视频帧即变为了历史视频帧，当前深度信息相应变为了历史深度信息。
66.由上可知，本技术首先获取拍摄场景的当前视频帧以及历史视频帧；根据当前视频帧以及历史视频帧识别拍摄场景的运动区域和非运动区域；获取运动区域在当前视频帧中的第一深度信息；获取非运动区域在当前视频帧中的第二深度信息；根据第一深度信息和第二深度信息获得当前视频帧的当前深度信息。由此，相较于直接对当前视频帧进行深度计算，本技术能够更为高效的实现深度信息的获取。
67.可选地，在一实施例中，根据第一深度信息和第二深度信息获得当前视频帧的当前深度信息之前，还包括：
68.(1)根据第一深度计算策略计算得到非运动区域在当前视频帧中的第三深度信息；
69.(2)根据第三深度信息对第二深度信息进行修正，得到修正后的第二深度信息；
70.根据第一深度信息和第二深度信息合成得到当前视频帧的当前深度信息，包括：
71.(3)根据第一深度信息和修正后的第二深度信息合成得到当前深度信息。
72.区别于直接从历史视频帧中获取到非运动区域的深度信息，本技术还配置有第一深度计算策略，该第一深度计算策略被配置采用深度计算算法实时计算得到非运动区域在当前视频帧的深度信息。
73.示例性的，请参照图4，电子设备配置有两个摄像头，分别为第一摄像头和第二摄像头。电子设备在拍摄时，同步通过第一摄像头和第二摄像头进行拍摄，选择其中之一拍摄的图像帧作为当前视频帧/历史视频帧。
74.比如，预先将第一摄像头和第二摄像头中的一个摄像头作为主摄像头，将其中另一个摄像头作为副摄像头，电子设备将始终利用主摄像头获取拍摄场景的当前视频帧，而副摄像头拍摄的图像帧则用于协同当前视频帧进行深度计算。其中，根据主摄像头和副摄像头的设置距离，通过三角测距算法进行深度信息的计算。
75.以下以计算一对象的深度信息为例进行说明：
76.由于主摄像头和副摄像头并列设置于电子设备的同一平面，且主摄像头和副摄像头之间具有一定的距离，从而导致了这两个摄像头具有视差。根据三角测距算法可以计算得到主摄像头和副摄像头同步拍摄的两个图像帧中同一对象的深度信息，也即是该对象距离主摄像头和副摄像头所在平面的距离。
77.请参照图5，or表示主摄像头所在的位置，ot表示副摄像头所在的位置，主摄像头和副摄像头的距离为b，焦平面距离主摄像头和副摄像头所在平面的距离为f。
78.电子设备同步通过主摄像头和副摄像头同步进行拍摄，主摄像头将在焦平面成像得到当前视频帧，副摄像头将在焦平面成像得到副图像帧。
79.p表示对象在当前视频帧中的位置，p’表示同一对象在副图像帧中的位置，其中，p点距离当前视频帧左侧边界的距离为xr，p’距离副图像帧左侧边界的距离为xt。
80.现假设对象距离主摄像头和副摄像头所在平面的距离为z，则有以下公式：
[0081][0082]
利用两个三角形相似的原理，进一步得到公式1和公式2：
[0083]
公式1，b1/z＝(xr’ x1)/(z-f)；
[0084]
公式2，b2/z＝(xt x2)/(z-f)；
[0085]
其中，b1表示主摄像头到对象投影点的距离，b2表示副摄像头到对象投影点的距离，xr’表示p点到当前视频帧右侧边界的距离，x1表示当前视频帧右侧边界到对象投影点的距离，x2表示副图像帧左侧边界到对象投影点的距离。
[0086]
对公式1与公式2进行加法操作，得到公式3，
[0087]
公式3：(b1 b2)/z＝(xr’ x1 xt x2)/(z-f)，
[0088]
即b/z＝(xr’ x1 xt x2)/(z-f)；
[0089]
由于主摄像头和副摄像头的焦平面宽度均为2k，则半个焦平面宽度为k，得到公式4和公式5，
[0090]
公式4：(k x1) (x2 k)＝b，
[0091]
即b-x1-x2＝2k；
[0092]
公式5：xr’ xr＝2k；
[0093]
由公式4和公式5，得到公式6，
[0094]
公式6：b-x1-x2＝xr’ xr
[0095]
即xr’＝b-x1-x2-xr；
[0096]
将公式6代入公式3中，得到公式7，
[0097]
公式7：b/z＝[(b-x1-x2-xr) x1 xt x2]/(z-f)
[0098]
即b/z＝(b-xr xt)/(z-f)，得到z＝bf/(xr-xt)；
[0099]
令(xr-xt)＝d，对公式7进行替换，得到公式8，
[0100]
公式8：z＝bf/d；
[0101]
其中，d为对象在当前视频帧和副图像帧中的位置差，即“xr-xt”，b和f均为固定值。
[0102]
如上，电子设备利用当前视频帧以及同步拍摄得到的副图像帧，根据第一深度计算策略计算得到拍摄场景的非运动区域在当前视频帧中的深度信息，记为第三深度信息。
[0103]
至此，电子设备采用不同的方式获取到了拍摄场景的非运动区域在当前视频帧中的深度信息，分别为第二深度信息和第三深度信息。本技术实施例中，电子设备还按照预先配置的修正策略，利用第三深度信息对第二深度信息进行修正，得到修正后的第二深度信息。
[0104]
相应的，在合成得到拍摄场景在当前视频帧的当前深度信息时，即可根据第一深度信息和修正后的第二深度信息合成得到拍摄场景在当前视频帧的当前深度信息。
[0105]
示例性的，电子设备内置的图像信号前处理器的数字信号处理单元还被配置为根据第一深度计算策略计算得到前述非运动区域在当前视频帧中的第三深度信息，并根据第
三深度信息对第二深度信息进行修正，相应得到修正后的第二深度信息。
[0106]
可选地，在一实施例中，根据第三深度信息对第二深度信息进行修正，得到修正后的第二深度信息，包括：
[0107]
对第三深度信息以及第二深度信息进行加权求和，将加权求和结果作为修正后的第二深度信息。
[0108]
本技术进一步提供一种可选地对第二深度信息进行修正的修正策略。其中，电子设备采用加权求和的方式对第三深度信息和第二深度信息进行融合修正，将加权结果作为修正后的第二深度信息。可以表示为：
[0109]
d2’
＝a*d2 b*d3；
[0110]
其中，d2’
表示修正后的第二深度信息，d2表示第二深度信息，d3表示第三深度信息，a表示分配给第二深度信息的权重，b表示分配给第三深度信息的权重。
[0111]
应当说明的是，本技术实施例中对于第三深度信息和第二深度信息的权重配置方式不做具体限定，可由本领域普通技术人员根据实际需要进行配置。比如，可以为第二深度信息和第三深度信息配置静态权重，即预先为第二深度信息和第三深度信息分配固定不变的权重，也可以为第二深度信息和第三深度信息配置动态权重，即第二深度信息和第三深度信息根据某条件动态变化。
[0112]
示例性的，本技术实施例中为第二深度信息和第三深度信息分配动态权重。
[0113]
其中，电子设备从非运动区域中选择一个基准点，比如，可以识别出非运动区域中的显著区域，将该显著区域的几何中心作为基准点。然后，根据第一深度计算策略计算得到该基准点在当前视频帧中的深度信息，记为基准深度信息。然后，从第二深度信息中获取到该基准点的深度信息，记为第一候选基准深度信息，以及从第三深度信息中获取到该基准点的深度信息，记为第二候选基准深度信息。然后，获取到第一候选基准深度信息与基准深度信息的差异，记为第一差异，以及获取到第二候选基准深度信息与基准深度信息的差异，记为第二差异。然后，根据第一差异和第二差异的大小进行权重的动态分配，比如，第一差异大于第二差异，则分配给第二深度信息的权重将小于分配给第三深度信息的权重，以此为约束，可由本领域普通技术人员根据实际需要配置具体的权重值。
[0114]
可选地，在一实施例中，根据第一深度信息和第二深度信息获得当前视频帧的当前深度信息之前，还包括：
[0115]
(1)根据第二深度计算策略计算得到运动区域在当前视频帧中的第四深度信息；
[0116]
(2)根据第四深度信息对第一深度信息进行修正，得到修正后第一深度信息；
[0117]
根据第一深度信息和第二深度信息合成得到当前视频帧的当前深度信息，包括：
[0118]
(3)根据修正后的第一深度信息和第二深度信息合成得到当前深度信息。
[0119]
区别于直接利用历史视频帧的历史深度信息以及运动趋势预测得到运动区域的第一深度信息，本技术还配置有第二深度计算策略，该第二深度计算策略被配置采用深度计算算法实时计算得到运动区域在当前视频帧的深度信息。比如，本技术实施例中，采用相同的深度计算算法实时计算得到运动区域/非运动区域在当前视频帧的深度信息。
[0120]
相应的，电子设备利用当前视频帧以及同步拍摄得到的副图像帧，根据第二深度计算策略计算得到拍摄场景的运动区域在当前视频帧中的深度信息，记为第四深度信息。
[0121]
至此，电子设备采用不同的方式获取到了拍摄场景的运动区域在当前视频帧中的
深度信息，分别为第一深度信息和第四深度信息。本技术实施例中，电子设备还按照预先配置的修正策略，利用第四深度信息对第一深度信息进行修正，得到修正后的第一深度信息。
[0122]
相应的，在合成得到拍摄场景在当前视频帧的当前深度信息时，即可根据修正后的第一深度信息和第二深度信息合成得到拍摄场景在当前视频帧的当前深度信息。
[0123]
示例性的，电子设备内置的图像信号前处理器的数字信号处理单元还被配置为根据第二深度计算策略计算得到前述运动区域在当前视频帧中的第四深度信息，并根据第四深度信息对第一深度信息进行修正，相应得到修正后的第一深度信息。
[0124]
可选地，在一实施例中，根据第四深度信息对第一深度信息进行修正，得到修正后第一深度信息，包括：
[0125]
对第四深度信息以及第一深度信息进行加权求和，将加权求和结果作为修正后的第一深度信息。
[0126]
本技术进一步提供一种可选地对第一深度信息进行修正的修正策略。其中，电子设备采用加权求和的方式对第四深度信息和第一深度信息进行融合修正，将加权结果作为修正后的第一深度信息。可以表示为：
[0127]
d1’
＝c*d1 d*d4；
[0128]
其中，d1’
表示修正后的第一深度信息，d1表示第一深度信息，d4表示第四深度信息，c表示分配给第一深度信息的权重，d表示分配给第四深度信息的权重。
[0129]
应当说明的是，本技术实施例中对于第四深度信息和第一深度信息的权重配置方式不做具体限定，可由本领域普通技术人员根据实际需要进行配置。比如，可以为第一深度信息和第四深度信息配置静态权重，即预先为第一深度信息和第四深度信息分配固定不变的权重，也可以为第一深度信息和第四深度信息配置动态权重，即第一深度信息和第四深度信息根据某条件动态变化。
[0130]
示例性的，本技术实施例中为第一深度信息和第四深度信息分配动态权重。
[0131]
其中，电子设备从非运动区域中选择一个基准点，比如，可以识别出运动区域中的显著区域，将该显著区域的几何中心作为基准点。然后，根据第二深度计算策略计算得到该基准点在当前视频帧中的深度信息，记为基准深度信息。然后，从第一深度信息中获取到该基准点的深度信息，记为第三候选基准深度信息，以及从第四深度信息中获取到该基准点的深度信息，记为第四候选基准深度信息。然后，获取到第三候选基准深度信息与基准深度信息的差异，记为第三差异，以及获取到第四候选基准深度信息与基准深度信息的差异，记为第四差异。然后，根据第三差异和第四差异的大小进行权重的动态分配，比如，第三差异大于第四差异，则分配给第一深度信息的权重将小于分配给第四深度信息的权重，以此为约束，可由本领域普通技术人员根据实际需要配置具体的权重值。
[0132]
可选地，在一实施例中，在获取拍摄场景的历史视频帧及其对应的历史深度信息失败时，还包括：
[0133]
根据第三深度计算策略计算得到拍摄场景在当前视频帧的深度信息。
[0134]
可以理解的是，在获取到当前视频帧为拍摄的第一帧视频帧时，此时将不存在可供获取的历史视频帧以及历史深度信息。因此，本技术还配置有第三深度计算策略，该第三深度计算策略被配置采用深度计算算法实时计算得到拍摄场景在当前视频帧的当前深度信息。
[0135]
比如，本技术实施例中，同样采用三角测距算法来计算得到拍摄场景在当前视频帧中的当前深度信息。
[0136]
示例性的，电子设备内置的图像信号前处理器的数字信号处理单元还被配置为根据第三深度计算策略计算得到拍摄场景的全部区域在当前视频帧中的当前深度信息。
[0137]
本技术实施例中，在获取得到当前视频帧的当前深度信息之后，还将当前视频帧的当前深度信息缓存至缓存队列中，可以理解的是，在下一个“当前时刻”，此时的当前视频帧即变为了历史视频帧，当前深度信息相应变为了历史深度信息。
[0138]
可选地，在一实施例中，根据第一深度信息和第二深度信息获得当前视频帧的当前深度信息之前，还包括：
[0139]
(1)根据第一深度计算策略计算得到非运动区域在当前视频帧中的第三深度信息，以及根据第二深度计算策略计算得到运动区域在当前视频帧中的第四深度信息；
[0140]
(2)根据第三深度信息对第二深度信息进行修正得到修正后的第二深度信息，以及根据第四深度信息对第一深度信息进行修正得到修正后的第一深度信息；
[0141]
根据第一深度信息和第二深度信息合成得到当前视频帧的当前深度信息，包括：
[0142]
(3)根据修正后的第一深度信息和修正后的第二深度信息合成得到当前深度信息。
[0143]
可选地，在一实施例中，获取运动区域在当前视频帧中的第一深度信息，包括：
[0144]
(1)根据当前视频帧以及历史视频帧获取运动区域的运动趋势；
[0145]
(2)获取拍摄历史视频帧以及当前视频帧期间的运动数据；
[0146]
(3)根据运动数据对运动趋势进行修正，得到修正后的运动趋势；
[0147]
(4)根据修正后的运动趋势以及历史视频帧的历史深度信息，获取第一深度信息。
[0148]
其中，在获取运动区域在当前视频帧中的第一深度信息时，电子设备首先根据当前视频帧以及历史视频帧获取运动区域的运动趋势，具体可参照以上实施例中的相关描述，此处不再赘述。
[0149]
可以理解的是，除了拍摄场景中存在运动的物体之外，电子设备在拍摄时自身也可能是运动的。这样，利用当前视频帧和历史视频帧所获取到运动趋势中将携带电子设备自身运动的影响，为了排除电子设备自身运动对运动趋势的影响，电子设备进一步获取拍摄历史视频帧以及当前视频帧期间的运动数据。比如，电子设备可以利用内置的运动传感器(比如陀螺仪)来获取其在拍摄历史视频帧以及当前视频帧期间的运动数据。
[0150]
在获取到拍摄历史视频帧以及当前视频帧期间的运动数据之后，电子设备即按照预先配置的修正策略，根据该运动数据对前述运动趋势进行修正，相应得到修正后的运动趋势。
[0151]
之后，即可以根据修正后的运动趋势以及历史视频帧的历史深度信息，来获取前述运动区域在当前视频帧中的第一深度信息，具体可参照以上实施例中根据运动趋势以及历史视频帧的历史深度信息获取第一深度信息的方式相应实施，此处不再赘述。
[0152]
可选地，在一实施例中，根据第一深度信息和第二深度信息获得当前视频帧的当前深度信息之后，还包括：
[0153]
(1)根据当前深度信息在当前视频帧中确定需要进行虚化处理的目标区域；
[0154]
(2)对目标区域进行虚化处理，得到虚化处理后的当前视频帧。
[0155]
本技术实施例中，还利用获取到的当前深度信息对当前视频帧进行虚化处理。
[0156]
示例性的，电子设备除了内置有图像信号前处理器之外，还内置有图像信号处理器，图像信号处理器被配置为与图像信号前处理器进行差异化处理。比如，本技术实施例中，图像信号处理器被配置为根据图像信号处理器获取到的当前深度信息对当前视频帧进行虚化处理。
[0157]
其中，图像信号处理器根据当前视频帧的当前深度信息，在当前视频帧中确定需要进行虚化处理的目标区域，比如根据当前视频帧的当前深度信息将当前视频帧的背景区域确定为需要进行虚化处理的目标区域；在确定需要进行虚化处理的目标区域之后，图像信号处理器即可对当前视频帧的目标区域进行虚化处理(比如，可以采用高斯模糊的方式对目标区域进行虚化处理)，得到虚化图像。
[0158]
其中，深度信息包括深度值，在对当前视频帧的目标区域进行虚化处理时，图像信号处理器可以将当前视频帧中的目标区域划分为对应不同深度值的多个子目标区域；根据各子目标区域对应的深度值，以及预设的深度值和虚化强度的对应关系，确定各子目标区域对应的虚化强度；按照各子目标区域对应的虚化强度，分别对各子目标区域进行虚化处理。
[0159]
其中，在进行虚化处理时，图像信号处理器首先将当前视频帧中的目标区域划分为对应不同深度值的多个子目标区域。比如，设置一深度值，对该深度值加减相同的变化值得到对应该深度值的深度值区间，将深度值位于前述深度值区间内的多个像素点聚合为一个子目标区域；设置另一深度值，对该深度值加减相同的变化值得到对应该深度值的深度值区间，将深度值位于前述深度值区间内的多个像素点聚合为另一个子目标区域，如此类推，得到对应不同深度值的多个子目标区域。
[0160]
在划分得到多个子目标区域之后，根据各子目标区域对应的深度值，以及预设的深度值和虚化强度的对应关系，确定各子目标区域对应的虚化强度。在确定个子目标区域的虚化程度之后，即可按照各子目标区域的虚化程度，分别对各子目标区域进行虚化处理。
[0161]
其中，对于前述对应关系的设置不做具体限制，可由本领域技术人员根据实际需要进行设置，比如，可以设置虚化强度和深度值成正比关系，也即是深度值越大，虚化程度越大。这样，在背景区域中，距离越近，将越清晰，而距离越远，将越模糊，由此实现层次化的虚化效果。
[0162]
比如，请参照图6，左侧所示为虚化处理前的当前视频帧，其中，人像位于前景区域，不需要进行虚化处理，3团植物位于背景区域，且深度值均不相同，右下至上的顺序呈递增趋势；右侧所示为虚化处理后的当前视频帧，可见，3团植物均被虚化，但虚化程度同样由下至上的顺序呈递增趋势，下侧植物的虚化程度较低，相应比较清晰，上侧植物的虚化程度较高，相应比较模糊，中间植物的虚化程度居中，介于之前二者之间。
[0163]
请参照图7，本技术提供的图像处理方法的流程还可以为：
[0164]
在201中，电子设备获取拍摄场景的当前视频帧，以及获取拍摄场景的历史视频帧及其对应的历史深度信息。
[0165]
本技术提供的图像处理方法适用于视频拍摄场景，比如拍摄预览和录制视频时。其中，拍摄场景为电子设备在启动拍摄类应用程序后摄像头所对准的场景，其可以为任何场景，可以包括人和物等。
[0166]
其中，对于如何启动电子设备的拍摄类应用程序以及何种拍摄类应用程序，本技术中不做具体限制。比如，电子设备可以根据用户操作来启动电子设备的系统应用“相机”，在启动“相机”后，电子设备将通过摄像头实时进行图像采集，此时，其摄像头所对准的场景即为拍摄场景。比如，电子设备可以根据用户对“相机”入口的触摸操作来启动“相机”，还可以根据用户的语音口令“启动相机”来启动“相机”等。
[0167]
应当说明的是，区别于拍照得到的独立图像，视频的实质为连续多帧图像构成的图像序列，本技术中将视频(图像序列)中的图像帧称为视频帧。可以理解的是，随着拍摄的持续进行，视频的视频帧将随之持续增加。当前视频帧即当前时刻所拍摄得到的视频帧，而历史视频帧即为当前时刻之前所拍摄得到的视频帧。
[0168]
本技术实施例中，电子设备首先获取到拍摄场景的当前视频帧，以及获取拍摄场景的历史视频帧及其对应的深度信息，记为历史深度信息。其中，对于获取的历史视频帧的数量，本技术实施例中不做具体限制，可由本领域普通技术人员根据实际需要进行配置。
[0169]
比如，本技术实施例中，利用预设的缓存队列实时缓存有3-5帧历史视频的深度信息，相应的，可以从前述缓存队列中获取到缓存的多帧历史视频帧的历史深度信息。
[0170]
在202中，电子设备根据当前视频帧以及历史视频帧识别拍摄场景的运动区域。
[0171]
可以理解的是，视频的拍摄场景是动态的，其中存在运动人或物等，本技术中将拍摄场景中存在运动物体的区域记为运动区域，将拍摄场景中除运动区域之外的区域记为非运动区域。
[0172]
相应的，为了能够实现深度信息的高效获取，本技术实施例中将拍摄场景分割为运动区域和非运动区域，针对运动区域和非运动区域，分别进行深度信息的获取。
[0173]
本技术实施例中，可以根据获取到的当前视频帧以及历史视频帧中的内容变化来识别拍摄场景的运动区域。
[0174]
比如，请参照图2，当前视频帧和历史视频帧中的人像内容发生了变化，相应的，人像所在的区域将被识别为运动区域，人像之外的区域即为非运动区域。
[0175]
示例性的，电子设备内置有图像信号前处理器，该图像信号前处理器包括神经网络处理单元，神经网络处理单元中固化有预训练的区域识别模型，该区域识别模型被配置为用于运动区域和非运动区域的分割。当需要识别拍摄场景中的运动区域时，电子设备即利用神经网络处理单元将当前视频帧和历史视频帧输入到区域识别模型，相应得到拍摄场景的运动区域和非运动区域。
[0176]
在203中，电子设备根据当前视频帧以及历史视频帧获取运动区域的运动趋势，并根据运动趋势以及历史视频帧的历史深度信息，获取运动区域在当前视频帧中的第一深度信息。
[0177]
其中，运动趋势包括运动方向、运动速度以及运动加速度中的至少一种。本技术实施例中，电子设备在将拍摄场景分割为运动区域和非运动区域之后，进一步根据当前视频帧以及历史视频帧获取运动区域的运动趋势。
[0178]
可以理解的是，物体的当前位置是已知的，若能够获取到物体的运动趋势，则根据该运动趋势则可以预测得到该物体在下一时刻的位置，而位置的变化即对应了深度信息的变化。
[0179]
示例性的，电子设备内置的图像信号前处理器中的神经网络处理单元还固化有预
训练的趋势识别模型，该区域识别模型被配置为利用多帧连续视频帧识别运动趋势。当需要获取拍摄场景中运动区域的运动趋势时，电子设备即利用神经网络处理单元将当前视频帧和历史视频帧输入到趋势识别模型，相应得到拍摄场景中运动区域的运动趋势。
[0180]
相应的，本技术实施例中，当前视频帧相对于历史视频帧，反映了拍摄场景在历史视频帧对应时刻的下一时刻的状态，因此，可以根据历史视频帧的历史深度信息以及运动区域的运动趋势来获取到运动区域在当前视频帧的深度信息，记为第一深度信息。
[0181]
在204中，电子设备根据第二深度计算策略计算得到运动区域在当前视频帧中的第四深度信息，以及根据第四深度信息对第一深度信息进行修正，得到修正后第一深度信息。
[0182]
区别于直接利用历史视频帧的历史深度信息以及运动趋势预测得到运动区域的第一深度信息，本技术还配置有第二深度计算策略，该第二深度计算策略被配置采用深度计算算法实时计算得到运动区域在当前视频帧的深度信息。比如，本技术实施例中，采用三角测距算法实时计算得到运动区域在当前视频帧的深度信息。
[0183]
示例性的，请参照图4，电子设备配置有两个摄像头，分别为第一摄像头和第二摄像头。电子设备在拍摄时，同步通过第一摄像头和第二摄像头进行拍摄，选择其中之一拍摄的图像帧作为当前视频帧/历史视频帧。
[0184]
比如，预先将第一摄像头和第二摄像头中的一个摄像头作为主摄像头，将其中另一个摄像头作为副摄像头，电子设备将始终利用主摄像头获取拍摄场景的当前视频帧，而副摄像头拍摄的图像帧则用于协同当前视频帧进行深度计算。其中，根据主摄像头和副摄像头的设置距离，通过三角测距算法进行深度信息的计算。
[0185]
相应的，电子设备利用当前视频帧以及同步拍摄得到的副图像帧，根据第二深度计算策略计算得到拍摄场景的运动区域在当前视频帧中的深度信息，记为第四深度信息。
[0186]
至此，电子设备采用不同的方式获取到了拍摄场景的运动区域在当前视频帧中的深度信息，分别为第一深度信息和第四深度信息。本技术实施例中，电子设备还按照预先配置的修正策略，利用第四深度信息对第一深度信息进行修正，得到修正后的第一深度信息。
[0187]
可选地，本技术进一步提供一种可选地对第一深度信息进行修正的修正策略。其中，电子设备采用加权求和的方式对第四深度信息和第一深度信息进行融合修正，将加权结果作为修正后的第一深度信息。可以表示为：
[0188]
d1’
＝c*d1 d*d4；
[0189]
其中，d1’
表示修正后的第一深度信息，d1表示第一深度信息，d4表示第四深度信息，c表示分配给第一深度信息的权重，d表示分配给第四深度信息的权重。
[0190]
应当说明的是，本技术实施例中对于第四深度信息和第一深度信息的权重配置方式不做具体限定，可由本领域普通技术人员根据实际需要进行配置。比如，可以为第一深度信息和第四深度信息配置静态权重，即预先为第一深度信息和第四深度信息分配固定不变的权重，也可以为第一深度信息和第四深度信息配置动态权重，即第一深度信息和第四深度信息根据某条件动态变化。
[0191]
示例性的，本技术实施例中为第一深度信息和第四深度信息分配动态权重。
[0192]
其中，电子设备从非运动区域中选择一个基准点，比如，可以识别出运动区域中的显著区域，将该显著区域的几何中心作为基准点。然后，根据第二深度计算策略计算得到该
基准点在当前视频帧中的深度信息，记为基准深度信息。然后，从第一深度信息中获取到该基准点的深度信息，记为第三候选基准深度信息，以及从第四深度信息中获取到该基准点的深度信息，记为第四候选基准深度信息。然后，获取到第三候选基准深度信息与基准深度信息的差异，记为第三差异，以及获取到第四候选基准深度信息与基准深度信息的差异，记为第四差异。然后，根据第三差异和第四差异的大小进行权重的动态分配，比如，第三差异大于第四差异，则分配给第一深度信息的权重将小于分配给第四深度信息的权重，以此为约束，可由本领域普通技术人员根据实际需要配置具体的权重值。
[0193]
在205中，电子设备根据历史深度信息获取拍摄场景的非运动区域在当前视频帧中的第二深度信息。
[0194]
可以理解的是，运动区域为存在运动物体的区域，而随着运动物体的运动，其将对拍摄场景中的其它物体造成遮挡，相应的，非运动区域在单一的历史视频帧中的深度信息可能是不完整的。
[0195]
相应的，电子设备根据历史视频帧的历史深度信息，获取拍摄场景的非运动区域在历史视频帧的深度信息，其中，若从单一历史视频帧中只获取到的非运动区域的部分深度信息，则可以从其它历史视频帧中获取到非运动区域的其它部分深度信息，从而拼接得到非运动区域的完整深度信息。由于非运动区域不存在运动物体，其深度信息通常不会发生变化，因此将获取到的非运动区域在历史视频帧中的深度信息作为非运动区域在当前视频帧中的第二深度信息。
[0196]
比如，请参照图3，非运动区域可以划分为图示a和b两个部分，其中，非运动区域a部分的深度信息从一历史视频帧中获取得到，非运动区域b部分的深度信息从另一历史视频帧中获取得到，并由此拼接得到非运动区域在当前视频帧中的第二深度信息。
[0197]
在206中，电子设备根据第一深度计算策略计算得到非运动区域在当前视频帧中的第三深度信息，以及根据第三深度信息对第二深度信息进行修正，得到修正后的第二深度信息。
[0198]
区别于直接从历史视频帧中获取到非运动区域的深度信息，本技术还配置有第一深度计算策略，该第一深度计算策略被配置采用深度计算算法实时计算得到非运动区域在当前视频帧的深度信息。比如，电子设备同样采用三角测距算法计算非运动区域在当前视频帧中的深度信息。
[0199]
相应的，电子设备还利用当前视频帧以及同步拍摄得到的副图像帧，根据第一深度计算策略计算得到拍摄场景的非运动区域在当前视频帧中的深度信息，记为第三深度信息。
[0200]
至此，电子设备采用不同的方式获取到了拍摄场景的非运动区域在当前视频帧中的深度信息，分别为第二深度信息和第三深度信息。本技术实施例中，电子设备还按照预先配置的修正策略，利用第三深度信息对第二深度信息进行修正，得到修正后的第二深度信息。
[0201]
可选地，本技术进一步提供一种可选地对第二深度信息进行修正的修正策略。其中，电子设备采用加权求和的方式对第三深度信息和第二深度信息进行融合修正，将加权结果作为修正后的第二深度信息。可以表示为：
[0202]
d2’＝a*d2 b*d3；
[0203]
其中，d2’表示修正后的第二深度信息，d2表示第二深度信息，d3表示第三深度信息，a表示分配给第二深度信息的权重，b表示分配给第三深度信息的权重。
[0204]
应当说明的是，本技术实施例中对于第三深度信息和第二深度信息的权重配置方式不做具体限定，可由本领域普通技术人员根据实际需要进行配置。比如，可以为第二深度信息和第三深度信息配置静态权重，即预先为第二深度信息和第三深度信息分配固定不变的权重，也可以为第二深度信息和第三深度信息配置动态权重，即第二深度信息和第三深度信息根据某条件动态变化。
[0205]
示例性的，本技术实施例中为第二深度信息和第三深度信息分配动态权重。
[0206]
其中，电子设备从非运动区域中选择一个基准点，比如，可以识别出非运动区域中的显著区域，将该显著区域的几何中心作为基准点。然后，根据第一深度计算策略计算得到该基准点在当前视频帧中的深度信息，记为基准深度信息。然后，从第二深度信息中获取到该基准点的深度信息，记为第一候选基准深度信息，以及从第三深度信息中获取到该基准点的深度信息，记为第二候选基准深度信息。然后，获取到第一候选基准深度信息与基准深度信息的差异，记为第一差异，以及获取到第二候选基准深度信息与基准深度信息的差异，记为第二差异。然后，根据第一差异和第二差异的大小进行权重的动态分配，比如，第一差异大于第二差异，则分配给第二深度信息的权重将小于分配给第三深度信息的权重，以此为约束，可由本领域普通技术人员根据实际需要配置具体的权重值。
[0207]
在207中，电子设备根据修正后的第一深度信息和修正后的第二深度信息合成得到当前视频帧的当前深度信息。
[0208]
如上所述，电子设备已经获取到了拍摄场景中运动区域在当前视频帧中修正后的第一深度信息，以及获取到了拍摄场景中非运动区域在当前视频帧中修正后的第二深度信息，此时，即可根据修正后的第一深度信息和修正后的第二深度信息合成得到拍摄场景在当前视频帧的深度信息，记为当前深度信息。比如，直接根据运动区域和非运动区域的位置划分，将修正后的第一深度信息和修正后的第二深度信息拼接为拍照场景完整区域在当前视频帧的当前深度信息。
[0209]
本技术实施例中，在获取得到当前视频帧的当前深度信息之后，还将当前视频帧的当前深度信息缓存至缓存队列中，可以理解的是，在下一个“当前时刻”，此时的当前视频帧即变为了历史视频帧，当前深度信息相应变为了历史深度信息。
[0210]
在208中，电子设备根据当前深度信息在当前视频帧中确定需要进行虚化处理的目标区域，并对目标区域进行虚化处理，得到虚化处理后的当前视频帧。
[0211]
本技术实施例中，还利用获取到的当前深度信息对当前视频帧进行虚化处理。
[0212]
其中，电子设备根据当前视频帧的当前深度信息，在当前视频帧中确定需要进行虚化处理的目标区域，比如根据当前视频帧的当前深度信息将当前视频帧的背景区域确定为需要进行虚化处理的目标区域；在确定需要进行虚化处理的目标区域之后，电子设备即可对当前视频帧的目标区域进行虚化处理(比如，可以采用高斯模糊的方式对目标区域进行虚化处理)，得到虚化图像。
[0213]
其中，深度信息包括深度值，在对当前视频帧的目标区域进行虚化处理时，电子设备可以将当前视频帧中的目标区域划分为对应不同深度值的多个子目标区域；根据各子目标区域对应的深度值，以及预设的深度值和虚化强度的对应关系，确定各子目标区域对应
的虚化强度；按照各子目标区域对应的虚化强度，分别对各子目标区域进行虚化处理。
[0214]
其中，在进行虚化处理时，电子设备首先将当前视频帧中的目标区域划分为对应不同深度值的多个子目标区域。比如，设置一深度值，对该深度值加减相同的变化值得到对应该深度值的深度值区间，将深度值位于前述深度值区间内的多个像素点聚合为一个子目标区域；设置另一深度值，对该深度值加减相同的变化值得到对应该深度值的深度值区间，将深度值位于前述深度值区间内的多个像素点聚合为另一个子目标区域，如此类推，得到对应不同深度值的多个子目标区域。
[0215]
在划分得到多个子目标区域之后，根据各子目标区域对应的深度值，以及预设的深度值和虚化强度的对应关系，确定各子目标区域对应的虚化强度。在确定个子目标区域的虚化程度之后，即可按照各子目标区域的虚化程度，分别对各子目标区域进行虚化处理。
[0216]
其中，对于前述对应关系的设置不做具体限制，可由本领域技术人员根据实际需要进行设置，比如，可以设置虚化强度和深度值成正比关系，也即是深度值越大，虚化程度越大。这样，在背景区域中，距离越近，将越清晰，而距离越远，将越模糊，由此实现层次化的虚化效果。
[0217]
比如，请参照图6，左侧所示为虚化处理前的当前视频帧，其中，人像位于前景区域，不需要进行虚化处理，3团植物位于背景区域，且深度值均不相同，右下至上的顺序呈递增趋势；右侧所示为虚化处理后的当前视频帧，可见，3团植物均被虚化，但虚化程度同样由下至上的顺序呈递增趋势，下侧植物的虚化程度较低，相应比较清晰，上侧植物的虚化程度较高，相应比较模糊，中间植物的虚化程度居中，介于之前二者之间。
[0218]
在一实施例中，还提供一种图像处理装置。请参照图8，图8为本技术实施例提供的图像处理装置的结构示意图。其中该图像处理装置应用于电子设备，该图像处理装置包括图像获取模块301、区域识别模块302、第一深度获取模块303、第二深度获取模块304以及深度合成模块305，如下：
[0219]
图像获取模块301，用于获取拍摄场景的当前视频帧，以及获取拍摄场景的历史视频帧；
[0220]
区域识别模块302，用于根据当前视频帧以及历史视频帧识别拍摄场景的运动区域和非运动区域；
[0221]
第一深度获取模块303，用于获取运动区域在当前视频帧中的第一深度信息；
[0222]
第二深度获取模块304，用于获取非运动区域在当前视频帧中的第二深度信息；
[0223]
深度合成模块305，用于根据第一深度信息和第二深度信息获得当前视频帧的当前深度信息。
[0224]
在一实施例中，在根据第一深度信息和第二深度信息获得当前视频帧的当前深度信息之前，第一深度获取模块303还用于：
[0225]
根据第一深度计算策略计算得到非运动区域在当前视频帧中的第三深度信息；
[0226]
根据第三深度信息对第二深度信息进行修正，得到修正后的第二深度信息；
[0227]
在根据第一深度信息和第二深度信获得当前视频帧的当前深度信息时，深度合成模块305用于：
[0228]
根据第一深度信息和修正后的第二深度信息合成得到当前深度信息。
[0229]
在一实施例中，在根据第三深度信息对第二深度信息进行修正，得到修正后的第
二深度信息时，第一深度获取模块303用于：
[0230]
对第三深度信息以及第二深度信息进行加权求和，将加权求和结果作为修正后的第二深度信息。
[0231]
在一实施例中，在根据第一深度信息和第二深度信息获得当前视频帧的当前深度信息之前，第二深度获取模块304还用于：
[0232]
根据第二深度计算策略计算得到运动区域在当前视频帧中的第四深度信息；
[0233]
根据第四深度信息对第一深度信息进行修正，得到修正后第一深度信息；
[0234]
在根据第一深度信息和第二深度信息获得当前视频帧的当前深度信息时，深度合成模块305用于：
[0235]
根据修正后的第一深度信息和第二深度信息合成得到当前深度信息。
[0236]
在一实施例中，在根据第四深度信息对第一深度信息进行修正，得到修正后第一深度信息时，第二深度获取模块304用于：
[0237]
对第四深度信息以及第一深度信息进行加权求和，将加权求和结果作为修正后的第一深度信息。
[0238]
在一实施例中，在获取运动区域在当前视频帧中的第一深度信息时，第一深度获取模块303用于：
[0239]
根据当前视频帧以及历史视频帧获取运动区域的运动趋势；
[0240]
获取拍摄历史视频帧以及当前视频帧期间的运动数据；
[0241]
根据运动数据对运动趋势进行修正，得到修正后的运动趋势；
[0242]
根据修正后的运动趋势以及历史视频帧的历史深度信息，获取第一深度信息。
[0243]
在一实施例中，本技术提供的图像处理装置还包括虚化模块，在根据第一深度信息和第二深度信息获得当前视频帧的当前深度信息之后，用于：
[0244]
根据当前深度信息在当前视频帧中确定需要进行虚化处理的目标区域；
[0245]
对目标区域进行虚化处理，得到虚化处理后的当前视频帧。
[0246]
应当说明的是，本技术实施例提供的图像处理装置与上文实施例中的图像处理方法属于同一构思，在图像处理装置上可以运行图像处理方法实施例中提供的任一方法，其具体实现过程详见以上实施例，此处不再赘述。
[0247]
在一实施例中，还提供一种电子设备，请参照图9，电子设备包括处理器401和存储器402。
[0248]
本技术实施例中的处理器401是通用处理器，比如arm架构的处理器。
[0249]
存储器402中存储有计算机程序，其可以为高速随机存取存储器，还可以为非易失性存储器，比如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件等。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402中计算机程序的访问，实现本技术提供的任一图像处理方法中的步骤，比如：
[0250]
获取拍摄场景的当前视频帧，以及获取拍摄场景的历史视频帧；
[0251]
根据当前视频帧以及历史视频帧识别拍摄场景的运动区域和非运动区域；
[0252]
获取运动区域在当前视频帧中的第一深度信息；
[0253]
获取非运动区域在当前视频帧中的第二深度信息；
[0254]
根据第一深度信息和第二深度信息获得当前视频帧的当前深度信息。
[0255]
应当说明的是，本技术实施例提供的电子设备与上文实施例中的图像处理方法属于同一构思，在电子设备上可以运行图像处理方法实施例中提供的任一方法，其具体实现过程详见特征提取方法实施例，此处不再赘述。
[0256]
在一实施例中，还提供一种电子设备，请参照图10，电子设备包括图像信号前处理器501和图像信号处理器502。
[0257]
其中，图像信号处理器502能够对图像数据进行处理，提升图像数据的质量。比如，图像信号处理器502能够对图像数据做坏点校正处理，消除图像数据中的坏点。
[0258]
图像信号前处理器501相较于图像信号处理器502，其在图像信号处理器502对图像数据进行处理之前进行一些差异化处理，可以看做是图像信号处理器502进行处理之前的预处理。
[0259]
其中，图像信号前处理器501包括：
[0260]
图像信号处理单元5011，用于获取拍摄场景的当前视频帧，以及获取拍摄场景的历史视频帧；
[0261]
数字信号处理单元5012，用于根据当前视频帧以及历史视频帧识别拍摄场景的运动区域和非运动区域；
[0262]
神经网络处理单元5013，用于获取运动区域在当前视频帧中的第一深度信息；
[0263]
数字信号处理单元5012还用于获取非运动区域在当前视频帧中的第二深度信息；
[0264]
数字信号处理单元5012还用于根据第一深度信息和第二深度信息合成得到当前视频帧的当前深度信息；
[0265]
图像信号处理器502用于根据前述当前深度信息对当前视频帧进行后处理，得到后处理图像。
[0266]
可选地，在根据第一深度信息和第二深度信息获得当前视频帧的当前深度信息之前，数字信号处理单元5012还用于：
[0267]
根据第一深度计算策略计算得到非运动区域在当前视频帧中的第三深度信息；
[0268]
根据第三深度信息对第二深度信息进行修正，得到修正后的第二深度信息；
[0269]
在根据第一深度信息和第二深度信息获得当前视频帧的当前深度信息时，数字信号处理单元5012用于：
[0270]
根据第一深度信息和修正后的第二深度信息合成得到当前深度信息。
[0271]
可选地，在根据第三深度信息对第二深度信息进行修正，得到修正后的第二深度信息时，数字信号处理单元5012用于：
[0272]
对第三深度信息以及第二深度信息进行加权求和，将加权求和结果作为修正后的第二深度信息。
[0273]
可选地，在根据第一深度信息和第二深度信息获得当前视频帧的当前深度信息之前，数字信号处理单元5012还用于：
[0274]
根据第二深度计算策略计算得到运动区域在当前视频帧中的第四深度信息；
[0275]
根据第四深度信息对第一深度信息进行修正，得到修正后第一深度信息；
[0276]
在根据第一深度信息和第二深度信息获得当前视频帧的当前深度信息时，数字信号处理单元5012用于：
[0277]
根据修正后的第一深度信息和第二深度信息合成得到当前深度信息。
[0278]
可选地，在根据第四深度信息对第一深度信息进行修正，得到修正后第一深度信息时，数字信号处理单元5012用于：
[0279]
对第四深度信息以及第一深度信息进行加权求和，将加权求和结果作为修正后的第一深度信息。
[0280]
可选地，在获取运动区域在当前视频帧中的第一深度信息时，神经网络处理单元5013用于：数字信号处理单元5012还用于：
[0281]
通过数字信号处理单元5012获取拍摄历史视频帧以及当前视频帧期间的运动数据；以及通过数字信号处理单元5012根据运动数据对运动趋势进行修正，得到修正后的运动趋势；
[0282]
根据修正后的运动趋势以及历史深度信息，获取第一深度信息。
[0283]
可选地，图像信号处理器502用于：
[0284]
根据当前深度信息在当前视频帧中确定需要进行虚化处理的目标区域；
[0285]
对目标区域进行虚化处理，得到虚化处理后的当前视频帧。
[0286]
需要说明的是，对本技术实施例的图像处理方法而言，本领域普通测试人员可以理解实现本技术实施例的图像处理方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，所述计算机程序可存储于一计算机可读取存储介质中，如存储在电子设备的存储器中，并被该电子设备内的处理器执行，在执行过程中可包括如图像处理方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。
[0287]
以上对本技术实施例所提供的一种图像处理方法、装置、存储介质及电子设备进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。