电子设备和控制电子设备的方法与流程

1.本技术涉及一种电子设备和一种控制电子设备的方法。


背景技术：

2.数码单反相机(dslr)等已经用于生成具有虚化效果(bokeh)的图像，在具有虚化效果的图像中，需要注意的部分变得更加清晰，该部分的前景和背景变得模糊，也就是说，需要引起注意的部分变得更清晰，该部分的前景和背景变得模糊。
3.近年来，从具有深的景深的相机拍摄的图像中人工生成具有虚化效果的图像的图像处理技术被广泛推广。具有深的景深的相机安装在诸如智能手机之类的电子设备中，并捕获从短距离部分到长距离部分聚焦的图像。
4.一种使用双目立体视觉拍摄的立体图像所包含的深度信息的方法，是一种用于人工生成具有虚化效果的图像的技术。通过使用这种技术，电子设备，如智能手机，可以生成具有虚化效果的图像。
5.然而，在目标物中对象表面的某些类型的深度信息可能是错误的。例如，如果双目立体图像的低纹理图案沿着核线没有明显的变化、或者重复的图案例如棋盘格图案，则无法准确计算深度信息。因此，会产生具有不充分的虚化效果的图像。图21示意了现有技术中具有虚化效果的图像。区域b实际上是一个聚焦区域，但由于区域b上的重复图案，导致区域b的深度信息是错误的，因此在区域b上进行了错误的图像处理。
6.可用于电子设备(如智能手机)的图像处理系统中使用的算法不能被直接改进，因为该系统对于电子设备制造商来说通常是黑匣子。因此，很难根据立体图像校正深度信息。


技术实现要素：

7.本技术旨在解决上述至少一个技术问题，因此，本技术提供一种电子设备和一种控制电子设备的方法。
8.本技术公开了一种电子设备，可以包括：
9.主相机模块，用于对目标物进行拍摄获得主相机图像；
10.从相机模块，用于对所述目标物进行拍摄获得从相机图像；
11.测距传感器模块，用于向所述目标物发射脉冲光、并检测由所述目标物反射所述脉冲光得到的反射光，以获得飞行时间(time of flight,tof)深度信息；以及
12.图像信号处理器，用于控制所述主相机模块、所述从相机模块和所述测距传感器模块以根据所述主相机图像、所述从相机图像和所述tof深度信息获取具有虚化效果的相机图像，其中所述具有虚化效果的相机图像为含有一个或多个虚化部分的所述主相机图像；其中
13.所述图像信号处理器用于根据所述主相机图像和所述tof深度信息对作为所述主相机图像和所述从相机图像的匹配处理的结果而获得的立体图像的深度信息进行校正处理，以获取校正后的深度信息；以及
14.所述图像信号处理器用于根据所述校正后的深度信息对所述主相机图像进行虚化处理，获得所述具有虚化效果的相机图像；
15.其中，所述图像信号处理器用于进行不确定区域检测处理，以检测所述主相机图像中无法进行所述主相机图像与所述从相机图像的所述匹配处理的不确定区域；
16.其中，所述图像信号处理器用于进行深度信息校正处理，以根据邻近所述不确定区域的外围区域的所述tof深度信息与所述外围区域的所述深度信息之间的关系对所述不确定区域的所述深度信息进行校正。
17.在一些实施方式中，所述外围区域可与所述不确定区域邻接。
18.在一些实施方式中，所述外围区域可通过间隙与所述不确定区域间隔开。
19.在一些实施方式中，所述间隙可大于所述不确定区域的泄露量，且所述泄露是由于对所述不确定区域的深度信息进行平滑处理而产生的。
20.在一些实施方式中，所述外围区域可环绕所述不确定区域。
21.在一些实施方式中，在所述深度信息校正处理中，所述图像信号处理器可以用于通过回归分析或者直方图分析计算所述关系。
22.在一些实施方式中，在所述不确定区域检测处理中，
23.所述图像信号处理器可以用于通过将参考区域相对于感兴趣区域移动预设移动量来对所述主相机图像执行自相关性计算，从而计算所述感兴趣区域和所述参考区域之间的相似度；
24.所述图像信号处理器可以用于检测相对于所述预设移动量的所述相似度的变化小于预设值的区域、并将所述区域标记为低纹理区域；以及
25.所述图像信号处理器可以用于检测相对于所述预设移动量的所述相似度的多个峰值被一再发现的区域、并将所述区域标记为重复图案区域。
26.在一些实施方式中，在所述深度信息校正处理中，所述图像信号处理器可以用于基于正确区域定义标准，其中所述正确区域为既没有所述低纹理区域也没有所述重复图案区域的聚焦区域，以及可以用于根据所述标准排除所述外围区域内不正确的一组深度信息和tof深度信息、并根据所述外围区域内剩余的深度信息和tof深度信息计算所述关系。
27.在一些实施方式中，在所述深度信息校正处理中，所述图像信号处理器可以用于计算所述正确区域的所述tof深度信息的第一平均值和所述正确区域的所述深度信息的第二平均值，以及排除第一不正确区域内的一组深度信息和tof深度信息和第二不正确区域内的一组深度信息和tof深度信息，所述第一不正确区域是所述tof深度信息大于所述第一平均值且所述深度信息小于所述第二平均值的区域，所述第二不正确区域是所述tof深度信息小于所述第一平均值且所述深度信息大于所述第二平均值的区域。
28.在一些实施方式中，在所述深度信息校正处理中，所述图像信号处理器可以用于根据所述关系估算所述不确定区域的深度信息。
29.在一些实施方式中，在所述深度信息校正处理中，所述图像信号处理器可以用于将所述不确定区域的所述深度信息替换为所述估算的深度信息，从而获得所述校正后的深度信息。
30.在一些实施方式中，所述电子设备的所述正确区域可以由所述电子设备的使用者指定。
31.在一些实施方式中，所述电子设备还可以包括：显示模块，用于显示所述主相机图像；输入模块，用于输入位置信息，其中所述位置信息表征所述主相机图像的一部分、且所述位置信息用于定义所述正确区域；以及主处理器，用于控制所述显示模块和所述输入模块。
32.在一些实施方式中，在所述深度信息校正处理中，所述图像信号处理器可以用于根据所述外围区域的所述深度信息对所述不确定区域的所述深度信息进行平滑处理。
33.在一些实施方式中，所述测距传感器模块检测到的所述tof深度信息的分辨率可以低于根据所述主相机图像和所述从相机图像而获得的所述立体图像的立体深度信息的分辨率。
34.在一些实施方式中，在所述不确定区域检测处理中，当基于峰值间隔的平均值或相对于所述预设移动量的相似度的模值(mode value)的频率等于或大于预设标记参考值，所述图像信号处理器可用于标记所述重复图案区域。
35.在一些实施方式中，在所述不确定区域检测处理中，当所述频率低于所述预设标记参考值，所述图像信号处理器可用于标记所述低纹理区域。
36.在一些实施方式中，在所述不确定区域检测处理中，所述图像信号处理器可以用于根据所述相似度的所述变化的大小，还对所述低纹理区域进行分类。
37.在一些实施方式中，可以在所述自相关计算中使用平方差之和(ssd)法、绝对差之和(sad)法、归一化互相关(ncc)法、零均值归一化互相关(zncc)法或归一化互相关之和(sncc)法计算所述相似度。
38.在一些实施方式中，所述主相机模块可以包括用于聚焦于所述目标物的第一镜头、用于检测通过所述第一镜头输入的图像的第一图像传感器、和用于驱动所述第一图像传感器的第一图像传感器驱动器；以及所述从相机模块可以包括用于聚焦于所述目标物的第二镜头、用于检测通过所述第二镜头输入的图像的第二图像传感器、和用于驱动所述第二图像传感器的第二图像传感器驱动器。
39.在一些实施方式中，所述电子设备可以是智能手机。
40.本技术还提供一种用于控制电子设备的方法，所述电子设备可以包括：
41.主相机模块，用于对目标物进行拍摄获得主相机图像；
42.从相机模块，用于对所述目标物进行拍摄获得从相机图像；
43.测距传感器模块，用于向所述目标物发射脉冲光、并检测由所述目标物反射所述脉冲光得到的反射光，以获得tof深度信息；以及
44.图像信号处理器，用于控制所述主相机模块、所述从相机模块和所述测距传感器模块根据所述主相机图像、所述从相机图像和所述tof深度信息获取具有虚化效果的相机图像，其中所述具有虚化效果的相机图像为含有一个或多个虚化部分的所述主相机图像；
45.所述用于控制所述电子设备的方法可以包括：
46.利用所述图像信号处理器检测所述主相机图像中无法进行所述主相机图像和所述从相机图像的匹配处理的不确定区域；
47.利用所述图像信号处理器基于所述主相机图像和所述tof深度信息，对通过所述主相机图像和所述从相机图像的立体处理(计算机立体视觉处理)而获得的立体图像的深度信息进行校正，以获得校正后的深度信息；以及
48.利用所述图像信号处理器基于所述校正后的深度信息对所述主相机图像进行虚化处理，以获得所述具有虚化效果的相机图像；
49.其中，在进行所述深度信息的所述校正中，所述图像信号处理器根据邻近所述不确定区域的外围区域的所述tof深度信息与所述外围区域的所述深度信息之间的关系对所述不确定区域的所述深度信息进行校正。
附图说明
50.本技术实施例的这些和/或其他方面和优点将从以下参考附图的描述中变得明显和更容易理解，其中：
51.图1示出了本技术实施例公开的电子设备的一种电路结构示意图。
52.图2示出了应用图1所示的电子设备生成具有虚化效果的图像的一种流程示意图。
53.图3示出了生成具有虚化效果的相机图像的一种流程示意图。
54.图4a示出了由图1所示的电子设备拍摄的主相机图像的一种示意图。
55.图4b示出了对应图4a所示的主相机图像的tof深度信息的一种示意图。
56.图5a示出了对应图4a所示的主相机图像的深度信息的一种示意图。
57.图5b示出了基于未校正的深度信息对所述主相机图像进行虚化处理获取具有虚化效果的图像的一种示意图。
58.图6示出了图1所示的电子设备执行获取正确区域的一种流程示意图。
59.图7示出了在显示模块显示的主相机图像中指定正确区域的一种示意图。
60.图8示出了图1所示的电子设备执行不确定区域检测的一种流程示意图。
61.图9示出了图8所示的不确定区域检测中自相关性计算模型的一种示意图。
62.图10a示出了参考区域相对于被标记为低纹理区域的不确定区域中的感兴趣区域的移动与通过自相关性获得的相似度之间的关系的一种示意图。
63.图10b示出了参考区域相对于被标记为重复图案区域的不确定区域中的感兴趣区域的移动与通过自相关性计算获得的相似度之间的关系的一种示意图。
64.图11示出了标记为低纹理区域的不确定区域和标记为重复图案区域的不确定区域的一种示意图。
65.图12示出了图8所示的不确定区域检测处理中的结合操作的一种流程示意图。
66.图13a示出了频率(特征值)和纹理标记之间的关系的一种示意图。
67.图13b示出了相似度差异之间的关系的一种示意图。
68.图14示出了图3所示的深度信息校正处理的一种流程示意图。
69.图15示出了用于排除一组不正确的深度信息和tof深度信息的标准的一种示意图。
70.图16a示出了将外围区域添加到图5a中的一种示意图。
71.图16b示出了将外围区域添加到图4b中的一种示意图。
72.图17示出了替换处理后深度信息的一种示意图。
73.图18a示出了将外围区域添加到图5a中的一种示意图。
74.图18b示出了将外围区域添加到图4b中的另一种示意图。
75.图19示出了替换后深度信息的另一种示意图。
76.图20示出了本技术在深度信息校正处理之后的相机图像的一种示意图。
77.图21示出了具有不充分虚化效果的相机图像的一种示意图。
具体实施方式
78.下面，将详细描述本技术的实施例，实施例中的举例将结合对应的附图进行说明。在整个说明中，相同或类似的元件以及具有相同或类似功能的元件由类似的附图标记表示。本文参考附图描述的实施例是解释性的，旨在说明本技术，但不应被解释为限制本技术。
79.《电子设备100》
80.图1是本技术实施例公开的一种电子装置100的电路结构示意图。附图标记101a和101b描绘了目标物(目标对象)。目标物101a相对较近，目标物101b相对较远。
81.如图1所示，电子装置100包括立体相机模块10、测距传感器模块20和控制立体相机模块10和测距传感器模块20的图像信号处理器30。图像信号处理器30处理从立体相机模块10获得的相机图像数据。
82.如图1所示，立体相机模块10包括用于双目立体观看的主相机模块11和从相机模块12。
83.主相机模块11包括能够聚焦于目标物的第一镜头11a、检测通过第一镜头11a输入的图像的第一图像传感器11b、以及驱动第一图像传感器11b的第一图像传感器驱动器11c，如图1所示。
84.从摄像机模块12包括能够聚焦于目标物的第二镜头12a、检测通过所述第二镜头12a输入的图像的第二图像传感器12b、以及驱动第二图像传感器12b的第二图像传感器驱动器12c，如图1所示。
85.主相机模块11获取目标物101a和101b的主相机图像。同样，从相机模块12获取目标物101a和101b的从相机图像。
86.测距传感器模块20通过向目标物101a和101b发射脉冲光并检测来自目标物101a和101b的反射光来获取tof(time of flight)深度信息(tof深度值)。tof深度信息表示电子设备100与目标物之间的实际距离。
87.测距传感器模块20检测到的tof深度信息的分辨率低于基于主相机图像和从相机图像获得的立体图像的立体深度信息的分辨率。执行扭曲(warp)处理(tof深度扩展处理)y2，以将tof深度信息扩展到主相机图像的视场(field of view,fov)中。
88.图像信号处理器30控制主相机模块11、从相机模块12和测距传感器模块20以获取相机图像。相机图像是具有虚化效果的主相机图像。基于通过主相机模块11获得的主相机图像、通过从相机模块12获得的从相机图像以及通过测距传感器模块20获得的tof深度信息，获得所述相机图像。
89.在本技术的一个实施例中，如图1所示，该电子设备100包括全球导航卫星系统(gnss)模块40、无线通信模块41、编解码器(coder-decoder，codec)42、扬声器43、麦克风44、显示模块45、输入模块46、惯性测量单元(inertial measurement unit，imu)47、主处理器48和存储器49。
90.全球导航卫星系统模块40测量电子设备100的当前位置。无线通信模块41与互联
网进行无线通信。编解码器42使用预定的编码/解码方法，双向执行编码和解码，如图1所示。扬声器43根据编解码器42解码的声音数据输出声音。麦克风44根据输入的声音向编解码器输出声音数据。
91.显示模块45显示预设信息。例如，显示模块45显示主相机图像，以便用户可以检查它。
92.输入模块46通过用户操作输入信息。例如，输入模块46输入一个位置信息，该位置信息表征显示模块45上显示的主相机图像的一部分。位置信息是如图7所示的聚焦位置210。聚焦位置210定义了后面描述的正确区域rc。值得一提的是，图像信号处理器30或主处理器48可以指定聚焦位置210。
93.imu47可以检测电子设备100的角速度和加速度。
94.主处理器48控制gnss模块40、无线通信模块41、编解码器42、扬声器43、麦克风44、显示模块45、输入模块46和imu47。
95.存储器49存储图像信号处理器30所需的程序和数据、获得的图像数据、以及主处理器48所需的程序和数据。
96.在本实施例中，具有上述配置的电子设备100例如是智能手机等移动设备，也可以是包括多个相机模块的其他类型的电子设备。
97.《电子设备100的数据流》
98.图2示出了电子装置100生成的相机图像的一种数据流程示意图。
99.如图2所示，图像信号处理器30控制主相机模块11、从相机模块12和测距传感器模块20，以基于主相机模块11获取的主相机图像201、从相机模块12获取的从相机图像202以及测距传感器模块20获取的tof深度信息203获取所述相机图像。
100.图像信号处理器30通过对主相机图像201和从相机图像202进行匹配处理(计算机立体视觉处理，computer stereo vision processing，简称stereo processing)x1来获取立体深度信息204，如图2所示。
101.图像信号处理器30通过对目标物的区域执行ai处理(图像处理)x2，来提取定义主相机图像201中的目标物的区域的人物区域信息(在更广泛的意义上，目标物区域信息)205。
102.图像信号处理器30通过对立体深度信息204和提取的人物区域信息(目标物区域信息)205进行结合处理，以获取主相机图像201的深度信息206。
103.图像信号处理器30还执行不确定区域检测处理y1来检测主相机图像201中的不确定区域。不确定区域是无法进行主相机图像201和从相机图像202的匹配处理的区域。不确定区域是无法通过立体图像的立体深度信息来计算视差的区域。具体来说，不确定区域是低纹理区域或重复图案区域。
104.图像信号处理器30获取与主相机图像201中检测到的不确定区域相关的不确定区域信息207。
105.图像信号处理器30执行扭曲(warp)处理y2，以使tof深度信息203的视场(fov)与主相机图像201的视场匹配。扭曲处理y2是基于tof深度信息203和相机参数211执行的。相机参数211包括主相机模块11的相机参数和测距传感器模块20的相机参数。
106.图像信号处理器30执行深度校正y3以校正不确定区域的深度信息206。深度校正
y3是根据tof深度信息203、深度信息206、不确定区域信息207和聚焦位置210进行的。通过深度校正y3可以获取校正后的深度信息208。深度校正y3将在后面参考图3详细描述。
107.对于未检测到tof深度信息的非检测区域(例如，目标物的前景和背景)，图像信号处理器30可以通过将所述非检测区域的深度信息替换为符合用户指令的用于校正的深度信息来获取深度校正y3中的校正后的深度信息208。
108.如上所述，图像信号处理器30基于主相机图像201和tof深度信息203校正深度信息206以获得校正后的深度信息208。深度信息206是基于匹配处理x1获得的立体图像获得的。
109.然后，图像信号处理器30基于校正后的深度信息208对主相机图像201执行虚化(bokeh)处理x4，从而获得具有虚化效果的相机图像209。
110.可以在考虑聚焦位置210的情况下执行背景虚化处理x4。例如，随着校正后的深度信息208与聚焦位置210周围的深度信息的平均值之间的差值的增加，通过强调更多的虚化来生成具有虚化效果的相机图像209。
111.《电子设备100的控制方法》
112.现将举例描述控制上述电子设备100的一种方法。具体地，下面将描述电子设备100获取具有适当虚化效果的相机图像的流程的一种举例。
113.图3示出了在电子设备100中生成具有虚化效果的相机图像的一种流程示意图。图4a示出了电子设备100拍摄的主相机图像的一种示意图。图4b示出了对应图4a所示的主相机图像的tof深度信息的一种示意图。图5a示出了对应图4a所示的主相机图像的深度信息的一种示意图。图5b示出了基于未校正的深度信息对主相机图像进行虚化处理x4获取具有虚化效果的相机图像的示意图。
114.首先，图像信号处理器30获得由聚焦位置210定义的正确区域。例如，正确区域是以聚焦位置为中心的圆形或矩形区域。图6示出了用于获取正确区域的一种流程示意图。
115.正确区域是既没有棋盘格图案(即低纹理区域)也没有多个水平长板(即重复图案区域)的聚焦区域。
116.根据图6所示的流程图，显示模块45显示由主相机模块11拍摄的主相机图像(步骤s61)。如图7所示，主相机图像包括近距离目标物101a和远距离目标物101b。在这个例子中，目标物101a具有板状构件和在板状构件的前表面上绘制的棋盘格图案。目标物101b是多个水平长板，它们沿垂直方向排列。
117.接下来，用户指定一个正确区域(步骤s62)。例如，用户通过点击显示模块45的触摸屏来指定正确区域。在这个例子中，如图7所示，正确区域rc被指定在不是棋盘格图案的前表面的一部分上。值得一提的是，电子设备100(例如，图像信号处理器30或主处理器48)可以指定正确区域。
118.接下来，图像信号处理器30通过控制主相机模块11、从相机模块12和测距传感器模块20来获取主相机图像(图4a)、深度信息(图5a)和tof深度信息(图4b)(步骤s32)。
119.图4a示出了主相机图像的一种举例示意图。主相机图像有近距离目标物101a和远距离目标物101b。在图4a中，区域r1表示目标物101b的区域，区域r2表示棋盘格图案(格子图案)的区域，区域r3表示通过从目标物101a去除棋盘格图案而获得的区域。区域rb表示背景区域。
120.图5a示出了对应图4a所示的主相机图像的深度信息的一种示意图。区域r1f是区域r1的一部分。由于低纹理，区域r1f的深度信息不正确。同样，区域r2f是区域r2的一部分。由于重复图案，区域r2f中的深度信息不正确。
121.如图4b所示，在检测到tof深度信息的检测区域中，较亮的部分表示物体距离较近，未检测到tof深度信息的非检测区域用阴影显示。背景区域rb是非检测区域。
122.接下来，图像信号处理器30执行不确定区域检测处理，以检测不能对主相机图像和从相机图像执行计算机立体视觉处理的不确定区域(步骤s33)。稍后将参照图8详细描述步骤s33。
123.接下来，图像信号处理器30通过校正对应于不确定区域的深度信息来获得校正后的深度信息(步骤s34)。举例，对应于不确定区域的深度信息是那些没有深度值的、或者没有值但是使用周围部分的深度值进行插值的。稍后将参照图14详细描述步骤s34。
124.接下来，图像信号处理器30对主相机图像执行虚化处理x4以获得具有虚化效果的相机图像209(步骤s35)。如图5b所示，通过虚化处理x4获得的具有虚化效果的相机图像在不应该具有虚化效果的区域r2f中具有虚化效果。这是因为作为区域r2中的一部分的区域r2f中的深度信息由于图5a所示的重复图案而不正确。
125.《不确定区域检测处理的详细说明》
126.参考图8至11举例说明了不确定区域检测处理流程(即步骤s33)。
127.图8示出了不确定区域检测处理的一种流程示意图。图9示出了不确定区域检测处理流程中的自相关性计算模型的示意图。图10a示出了参考区域相对于被标记为低纹理区域的不确定区域中的感兴趣区域的移动与通过自相关性获得的相似度之间的关系的一种示意图。图10b示出了参考区域相对于标记为重复图案区域的不确定区域中的感兴趣区域的移动与通过自相关性计算获得的相似度之间的关系的一种示意图。图11示出了标记为低纹理区域的不确定区域和标记为重复图案区域的不确定区域的一种示意图。
128.首先，图像信号处理器30基于主相机图像的参考区域进行自相关性计算，该主相机图像的参考区域相对于感兴趣区域移动预设移动量，从而计算感兴趣区域与参考区域之间的相似度(特征值)(步骤s81)。
129.具体地，如图9所示，图像信号处理器30在参考区域rf相对于感兴趣区域ri沿着核线方向移动预设移动量的情况下，对主相机图像进行自相关性计算，从而计算感兴趣区域ri与参考区域rf之间的相似度(特征值)。核线是平行立体图像的核线。
130.在不确定区域检测处理的自相关性计算中，可采用平方差之和(ssd)方法，绝对差之和(sad)方法，归一化互相关(ncc)方法，零均值归一化互相关(zncc)方法，或归一化互相关之和(sncc)方法计算相似度。
131.接下来，图像信号处理器30检测相对于预设移动量的相似度的变化小于预定值的区域(步骤s82)，并将检测到的区域标记为低纹理区域。
132.例如，如果在区域中，基于峰值间隔的平均值或相对于预设移动量的相似度的峰值的模值的频率(特征值)小于预设标记参考值，图像信号处理器30将该区域标记为低纹理区域(参见图10a和图11)。
133.图像信号处理器30可以根据相似度的变化(深度的低点的变化)的大小进一步对低纹理区域进行分类。
134.接下来，图像信号处理器30检测在相对于预设移动量的相似度中存在多个峰值的区域(步骤s83)，并将检测到的区域标记为重复图案区域。
135.例如，如果在一个区域中，基于峰值间隔的平均值或相对于预设移动量的相似度的峰值的模值的频率(特征值)等于或大于预设标记参考值，则图像信号处理器30将该区域标记为重复图案区域(见图10b和11)。
136.接下来，图像信号处理器30结合标记的重复图案区域和标记的低纹理区域(步骤s84)。
137.图12示出了步骤s84中结合操作的一种流程示意图。图13a示出了频率(特征值)和纹理标记之间关系的示意图。图13b示出了相似度差异之间的关系示意图。
138.在结合流程(步骤s84)中，首先，图像信号处理器30对主相机图像进行自相关性计算，将参考区域rf相对于感兴趣区域ri沿与核线正交的方向移动预设移动量，从而计算感兴趣区域ri与参考区域rf之间的相似度(特征值)(步骤s121)。
139.值得一提的是，如果需要减少图像信号处理器30的处理时间，则可以省略与核线正交方向的自相关性计算。
140.接下来，图像信号处理器30根据在上述自相关性计算(步骤s122)中计算的相似度计算特征值(频率)，将在不确定区域中具有相似特征值的像素连接起来，对不确定区域中的连接像素组进行分类(见图13a)，并对这些组进行标记(步骤s123)。
141.如上所述，特征值或频率是根据峰值之间的间隔的平均值或相似度的峰值的模值计算的。低纹理区域根据相似度的低点的深度进行标记。预先从自相关性计算中排除清晰纹理区域(图13b)。
142.《深度信息校正处理的详细说明》
143.下面，将参照图14至20举例说明深度信息校正处理流程(即步骤s34)。
144.图14示出了深度信息校正处理的一种流程示意图。图15示出了排除一组不正确的深度信息和tof深度信息的标准的一种示意图。图16a示出了将外围区域rp1和rp2添加到图5a的示意图。图16b示出了将外围区域rp1和rp2添加到图4b中的示意图。图17示出了在替换处理后深度信息的示意图。
145.图16a、16b和17显示了在不确定区域没有泄露(或渗漏)(leakage)时的示意图。“泄漏”是由于对不确定区域的深度信息进行平滑处理而发生的。即使所述不确定区域不包括聚焦位置，所述平滑处理也由所述电子装置100(例如，图像信号处理器30)自动执行。
146.图18a示出了将外围区域rp1和rp2添加到图5a中的示意图。图18b示出了将外围区域rp1和rp2添加到图4b中的示意图。图19示出了在替换处理后深度信息的另一种示意图。图18a、18b和19显示了存在泄漏时的示意图。不确定区域r2由于平滑处理而扩大，并渗透到外围区域rp2。
147.图20示出了本技术在深度信息校正处理后的相机图像的一种示意图。
148.首先，图像信号处理器30定义标准(步骤s141)。该标准用于排除外围区域rp1和rp2中的不正确数据。
149.如图16a和16b所示，外围区域rp1是包围不确定区域r1的环绕区域，外围区域rp2是包围不确定区域r2的环绕区域。外围区域是毗邻不确定区域的区域。外围区域与不确定区域邻接。或者，外围区域可以通过间隙与不确定区域分开。所述间隙大于不确定区域的泄
漏量。
150.在s141中，标准是基于正确区域rc来定义的，rc是一个既没有低纹理区域也没有重复图案区域的聚焦区域。例如，为了定义标准，图像信号处理器30计算正确区域rc的tof深度信息的平均值ave1(第一平均值)和正确区域rc的深度信息的平均值ave2(第二平均值)。
151.如图15所示，平均值ave1和ave2将具有水平轴tof深度信息和垂直轴深度信息的图分为四个象限q1、q2、q3和q4。
152.象限q2是一个不正确区域，其中tof深度信息小于第一平均值ave1，深度信息大于第二平均值ave2。象限q4是一个不正确区域，其中tof深度信息大于第一平均值ave1，而深度信息小于第二平均值ave2。
153.q2和q4中的深度信息和tof深度信息被认为是不正确的，并被排除作为非法值。另一方面，q1和q3是正确区域，因此不排除q1和q3中的深度信息和tof深度信息。
154.接下来，图像信号处理器30根据所述标准(步骤s142)排除外围区域内的一组不正确的深度信息和tof深度信息。例如，q2和q4内的一组或多组深度信息和tof深度信息被排除在下一步s143中使用的数据之外。
155.接下来，图像信号处理器30计算外围区域的tof深度信息与外围区域的深度信息之间的关系(步骤s143)。步骤s143中的计算可以通过统计方法进行，例如回归分析或直方图分析等。计算关系的准确性很高，因为事先排除了外围区域中的不正确值。
156.作为步骤s143的结果，可以得到以下模型:
157.y ＝ ax b
ꢀꢀ
(1)
158.其中y是深度值，x是tof深度值，a和b是通过回归分析估计的参数。
159.接下来，图像信号处理器30根据关系(即由公式(1)定义的模型)估算不确定区域中的深度信息(步骤s144)。对可以检测到tof深度信息的像素进行估算处理。也就是说，在图4b所示的例子中，由于背景区域rb是一个无法检测到tof深度信息的非检测区域，因此不对该区域的像素进行估算处理。
160.然后，图像信号处理器30将不确定区域的深度信息替换为不确定区域的估算的深度信息，从而获得校正后的深度信息(步骤s145)。如图17所示，区域r2f中的不正确的深度信息已被估算的深度信息完全替换。结果，r2区域的深度值变得均匀。
161.与此相反，在图19所示的情况下，由于上述“泄漏”，区域r4中的不正确的深度信息仍然存在。区域r4是不确定区域r2扩展的区域(即“泄漏”部分)。
162.接下来，图像信号处理器30根据外围区域的深度信息对不确定区域的深度信息进行平滑处理(步骤s145)。因此，可以校正区域r4中剩余的不正确的深度信息，使得区域r2中的深度值变得均匀。
163.值得一提的是，对于每个不确定区域执行步骤s142至s146。在图16a的情况下，对于不确定区域r1和r2分别执行步骤s142至s146。
164.根据上述流程，可以生成具有适当虚化效果的相机图像。例如，如图20所示，已经纠正了棋盘格图案中不适当的虚化效果。图21中的虚化区域b已被校正为聚焦区域。
165.在本技术的一个实施例中，如果不执行前述的排除处理，则可以选择省略步骤s141和s142。
166.在本技术的一个实施例中，如果不执行前述的平滑处理，则可以选择省略步骤s146。例如，如果设置外围区域与不确定区域之间的间隙大于不确定区域的泄漏的量，则可以省略步骤s146
167.在本技术的一个实施例中，不确定区域可以通过在s141和s142之间进行形态学处理来扩大。
168.根据本技术，不确定区域检测处理用于检测深度信息可能为不正确的不确定区域，深度信息校正处理用于根据邻近不确定区域的外围区域的tof深度信息与外围区域的深度信息之间的关系对检测的不确定区域的深度信息进行校正。因此，即使立体深度信息和tof深度信息之间的关系不清楚，或者由于物体的低纹理或重复图案导致深度信息不正确，也可以生成具有适当虚化效果的图像。
169.此外，根据本技术，在根据聚焦位置定义的正确区域的标准计算关系之前，将排除外围区域的不正确数据。因此，可以提高关系的准确性，并且可以实现校正深度信息的高精度。
170.在本技术的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术的限制。
171.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
172.在本技术的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“连接”、“耦合”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本技术中的具体含义。
173.在本技术实施例中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。
174.本技术前述描述提供了许多不同的实施例或例子用来实现本技术的不同结构。为了简化本技术，上文中对特定元件和设置进行描述。然而，这些元件和设置仅仅为示例，并且目的不在于限制本技术。此外，本技术可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。此外，在本技术中提供了不同处理过程和材料的例子。然而，对于本领域技术人员而言，也可以应用其他的处理过程和/或材料。
175.在本说明书的描述中，参考术语“一个实施方式”、“某些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
176.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
177.以其他方式描述或在流程图中显示的逻辑和/或步骤，例如，用于实现逻辑功能的可执行指令的特定序列表，可以在指令执行系统、设备或装置(例如基于计算机的系统、由处理器或能够从指令执行系统获得指令的其他系统组成的系统、执行指令的设备和装置)使用的任何计算机可读介质中专门实现，或者与指令执行系统、设备和设备结合使用。根据本说明书，“计算机可读介质”可以是任何适合于包括、存储、通信、传播或传输由指令执行系统、设备或装置使用或结合使用的程序的设备。计算机可读介质的更多具体例子包括但不限于:带有一根或多根导线的电子连接(电子设备)、便携式计算机外壳(磁性装置)、随机存取存储器(ram)、只读存储器(rom)、可擦可编程式只读存储器(eprom或闪存)、光纤装置和便携式光盘只读存储器(cdrom)。此外，计算机可读介质甚至可以是能够在其上打印程序的纸张或其他适当介质，这是因为，例如，可以对纸张或其他适当介质进行光学扫描，然后在必要时用其他适当方法进行编辑、解密或处理，以电子方式获得程序，然后可以将程序存储在计算机存储器中。
178.应当理解，本技术的每个部分可以通过硬件、软件、固件或其组合来实现。在上述实施例中，多个步骤或方法可以由存储在存储器中的软件或固件实现，并由适当的指令执行系统执行。例如，如果通过硬件实现，同样在另一个实施例中，步骤或方法可以通过本领域已知的以下技术的一种或组合来实现：具有用于实现数据信号的逻辑功能的逻辑门电路的离散逻辑电路，一种具有适当组合逻辑门电路、可编程门阵列(pga)、现场可编程门阵列(fpga)等的专用集成电路。
179.本领域技术人员应当理解，本技术的上述示例性方法中的全部或部分步骤可以通过使用程序命令相关硬件来实现。这些程序可以存储在计算机可读存储介质中，并且当在计算机上运行时，这些程序包括本技术的方法实施例中的步骤的一个或组合。
180.此外，本技术实施例的每个功能单元可以集成在处理模块中，或者这些单元可以是单独的物理存在，或者两个或多个单元集成在处理模块中。集成模块可以以硬件或软件功能模块的形式实现。当集成模块以软件功能模块的形式实现并且作为独立产品销售或使用时，集成模块可以存储在计算机可读存储介质中。
181.上述存储介质可以是只读存储器、磁盘、cd等。
182.尽管已经示出并描述了本技术的实施例，但本领域技术人员将理解，这些实施例是解释性的，不能被解释为限制本技术，且在不脱离本技术的范围的情况下，可以对实施例中进行变换、修改、替代和变更。