景深的判断方法、装置、电子设备和存储介质与流程

1.本发明涉及图像处理技术领域，尤其涉及一种景深的判断方法、装置、电子设备和存储介质。


背景技术：

2.相关技术中，为了保证被拍摄物在景深范围内，通常采用自动变焦摄像头或者采用距离传感器进行检测提醒。但是，摄像头定焦的扫描设备无法实现自动变焦功能，且采用距离传感器会增加硬件成本和系统复杂度。


技术实现要素：

3.本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
4.为此，本发明的第一个目的在于提出一种景深的判断方法，以通过结构光成像判断目标物体是否处于离焦状态，无需增加生产成本。
5.本发明的第二个目的在于提出一种扫描设备的控制方法。
6.本发明的第三个目的在于提出一种景深的判断装置。
7.本发明的第四个目的在于提出一种电子设备。
8.本发明的第五个目的在于提出一种计算机可读存储介质。
9.为达上述目的，本发明第一方面实施例提出了一种景深的判断方法，包括：获取用于投影的初始图像，所述初始图像至少包括亮暗图和亮图；将所述初始图像投射至目标物体；采集所述初始图像在所述目标物体表面所呈的目标图像，所述目标图像包括与所述亮暗图对应的目标亮暗图和与所述亮图对应的目标亮图；根据所述目标图像的像素值，确定目标物体是否处于离焦状态。
10.根据本发明的一个实施例，所述根据所述目标图像的像素值，确定目标物体是否处于离焦状态，包括：根据所述目标亮暗图获取第一像素矩阵图，并根据所述目标亮图获取第二像素矩阵图；获取各像素点在所述第一像素矩阵图和所述第二像素矩阵图中的像素差值；如果所述像素差值中小于预设阈值的像素点达到预设比例时，则确定所述目标物体处于离焦状态。
11.根据本发明的一个实施例，所述根据所述目标亮暗图获取第一像素矩阵图，并根据所述目标亮图获取第二像素矩阵图，包括：获取所述目标亮暗图各像素点的第一像素值和所述目标亮图各像素点的第二像素值；根据所述第一像素值构造第一像素矩阵图，并根据所述第二像素值构造第二像素矩阵图。
12.根据本发明的一个实施例，所述根据所述第二像素值构造第二像素矩阵图，包括：获取所述亮暗图中亮部分的第一面积和暗部分的第二面积；根据所述第一面积和所述第二面积，获取像素修正值；利用所述像素修正值对所述第二像素值进行修正，获取修正后的第二像素值；根据所述修正后的第二像素值构造所述第二像素矩阵图。
13.本技术能够通过采集目标物体表面的目标亮暗图和目标亮图，来确定目标物体是
否处于离焦状态，以便于根据目标物体的状态进行控制，能够有效提高定焦镜头的图像采集效率为达上述目的，本发明第二方面实施例提出了一种，包括：
14.为达上述目的，本发明第二方面实施例提出了一种扫描设备的控制方法，包括：按照预设频率控制所述扫描设备的光源开启；采用所述的景深的判断方法对所述目标物体的离焦状态进行检测。
15.根据本发明的一个实施例，在确定所述目标物体处于离焦状态之后，还包括：控制降低投影设备执行关闭所述光源、降低所述光源亮度或提醒设备运行状态中的至少一种。
16.为了实现上述目的，本发明第三方面实施例提出了一种景深的判断装置，获取模块，用于获取用于投影的初始图像，所述初始图像至少包括亮暗图和亮图；投影模块，用于将所述初始图像投射至目标物体；采集模块，用于采集所述初始图像在所述目标物体表面所呈的目标图像，所述目标图像包括与所述亮暗图对应的目标亮暗图和与所述亮图对应的目标亮图；识别模块，用于根据所述目标图像的像素值，确定目标物体是否处于离焦状态。
17.为了实现上述目的，本发明第四方面实施例提出了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现所述的景深的判断方法。
18.为了实现上述目的，本发明第五方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的景深的判断方法。
19.本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
20.本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
21.图1为本发明实施例的景深的判断方法的流程图；
22.图2为本发明实施例的初始图像的示意图；
23.图3为本发明实施例的目标图像的示意图；其中，第一行的目标物体处于景深范围内，第二行的目标物体处于离焦状态；
24.图4为本发明一个实施例的景深的判断方法的流程图；
25.图5为本发明另一个实施例的景深的判断方法的流程图；
26.图6为本发明又一个实施例的景深的判断方法的流程图；
27.图7为本发明再一个实施例的景深的判断方法的流程图；
28.图8为本发明实施例的扫描设备的控制方法的流程图；
29.图9为本发明实施例的景深的判断装置的方框示意图。
具体实施方式
30.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
31.下面参考附图描述本发明实施例的景深的判断方法、装置、电子设备和存储介质。
32.图1为本发明实施例的景深的判断方法的流程图。如图1所示，本发明实施例的景深的判断方法，包括以下步骤：
33.s101：获取用于投影的初始图像。
34.其中，初始图像至少包括亮暗图和亮图，如图2所示。
35.需要说明的是，投影图像可以是二进制投影、灰度图、彩色图、或其他，亮暗图可为亮暗条纹图、棋盘图或其他，在本实施例中，投影图像为二进制投影，即，亮为1，暗为0，无灰阶，亮暗图为亮暗条纹图。其中，亮图为用于投影的图像中全部像素均为亮，亮暗条纹图由亮条纹与暗条纹交替组合而成，亮条纹处各像素点为1，暗条纹处各像素点为0，亮条纹与暗条纹的宽度比为m：n，其中，m，n为大于0的有理数。初始图像的分辨率、尺寸大小可根据投影设备进行设定，本技术不做具体限定。
36.应当理解的是，亮图为参照图，即，亮图和亮暗条纹图中亮条纹的亮度应当相同，用于和亮暗条纹图一起计算并判断目标物体是否处于景深范围内。
37.s102：将初始图像投射至目标物体。
38.需要说明的是，可通过设置在投影装置中的任意波长的单色光光源将初始图像投射至目标物体，例如led光源等，在本技术实施例中led光源采用蓝光波段。应当理解的是，在初始图像投影时，可将光源设置为初始图像的形状，也可在光源侧通过增加初始图像的方式使初始图像投射至目标物体。
39.还需要说明的是，由于初始图像不止一幅，因此，在投影过程中需要控制投影设备的电流保持不变，以保证亮图与亮暗条纹图中的亮度相同。在一次拍摄过程中，可控制初始图像依次投射至目标物体的表面，并采集目标图像。应当理解的是，在至少一幅初始图像应当投射至相同的位置，即，在将初始图像向目标物体进行投射时，应当控制投影装置保持位置稳定。
40.s103：采集初始图像在目标物体表面所呈的目标图像。
41.其中，目标图像包括亮暗图对应的目标亮暗图和与亮图对应的目标亮图。
42.在本技术实施例中，用于采集目标图像的拍摄装置可为相机，所述相机可为黑白相机和/或彩色相机。
43.应当理解的是，为了节约生产成本，本技术中的光源和图像采集装置可与扫描设备共用，即，在目标物体处于景深范围内时，光源则用于提供扫描设备在所处环境对目标物体的照明，图像采集装置用于采集目标物体的图像信息，在尚未确定目标物体是否在景深范围内时，光源则用于将初始图像进行投射，以便图像采集装置采集初始图像在目标物体表面所呈的目标图像，进而根据目标图像识别物体是否处于离焦状态。
44.s104：根据目标图像的像素值，确定目标物体是否处于离焦状态。
45.其中，如图3所示，在视觉上，若目标物体在图像采集装置的景深范围内，则被采集到的目标亮暗条纹图中亮条纹和暗条纹的对比对会比较高(第一行三幅图)，相反，若目标物体不在图像采集装置的景深范围内，即离焦状态，则亮条纹和暗条纹的分界会变模糊，对比度会下降(第二行三幅图)。因此，本技术通过提取目标图像中的像素值，根据像素值情况计算出目标物体是否处于离焦状态。
46.应当理解的是，在具体实践中可根据采用的图像采集设备和数据处理能力对像素值进行处理，例如，当选择彩色相机时，因图像中像素值丰富可直接采用像素值进行离焦状
态检测，当选择黑白相机时，可仅采用采用灰度值进行离焦状态检测。
47.需要说明的是，光源亮度的提升会使最终拍摄到的图像的信噪比得到有效提升，但带来的后果是光源的发热量显著增加。其中，以采用定焦摄像头的口内扫描仪类似的手持设备为例，在使用过程中需要频繁调整拍摄位置和握持姿势，因此，大量时间拍摄到的目标物体均不在景深范围内，严重影响拍摄效率与能耗，因此，准确识别出目标物体是否处于离焦状态就极为重要。
48.由此，本技术能够通过采集目标物体表面的目标亮暗图和目标亮图，来确定目标物体是否处于离焦状态，以便于根据目标物体的状态进行控制，能够有效提高定焦镜头的图像采集效率。
49.进一步地，如图4所示，根据目标图像的像素值，确定目标物体是否处于离焦状态，包括：
50.s201：根据目标亮暗图获取第一像素矩阵图，并根据目标亮图获取第二像素矩阵图。
51.s202：获取各像素点在第一像素矩阵图和第二像素矩阵图中像素差值。
52.s203：如果像素差值中小于预设阈值的像素点达到预设比例时，则确定目标物体处于离焦状态。
53.也就是说，要对拍摄到的图像整体进行离焦状态的识别，若像素差值中大于预设阈值的像素点达到预设比例时，即为该区域内存在处于景深范围的目标物体，以确保处于景深范围内的目标物体均能够被识别到，防止造成拍摄冗余，增加患者持续张口的负担，若像素差值中大于预设阈值的像素点小于预设比例时，说明此时图像中处于景深范围内的图像过少，即，采集到的有用信息过少，保持图像采集状态则所消耗的资源与获得的信息量不成比例，因此，认定该状态下的目标物体处于离焦状态。
54.应当理解的是，在第一像素矩阵图和第二像素矩阵图中各像素点的像素值做差时，由于拍摄区域相同，像素点位置彼此对应，且亮图的亮度与亮暗图中亮部分的亮度相同，因此，目标亮图中第二像素值应当与目标亮暗图中亮部分处的第一像素值相当，故，将目标亮图中第二像素值与目标亮暗图中暗部分处的第一像素值进行做差时，即为获取目标亮暗图中亮部分与暗部分的像素差值，可以理解为像素的对比情况，若像素差值大于或等于预设阈值，则说明目标亮暗图亮部分处的像素与暗部分处的像素相差较大，即，对比度高，则确定目标物体处于景深范围内，相反，若像素差值小于预设阈值，则说明目标亮暗图亮部分处的像素与暗部分处的像素相差较小，即，对比度低，则确定目标物体处于离焦状态。
55.其中，如图5所示，根据目标亮暗图获取第一像素矩阵图，并根据目标亮图获取第二像素矩阵图，包括：
56.s301：获取目标亮暗图各像素点的第一像素值和目标亮图各像素点的第二像素值。
57.s302：根据第一像素值构造第一像素矩阵图，并根据第二像素值构造第二像素矩阵图。
58.具体而言，可根据目标图像中每个像素空间位置和对应的像素值构造二维矩阵，其中，矩阵的序号对应像素的空间位置，矩阵单元的内容为此像素拍摄的像素值。目标图像
的分辨率为m*n，其中，m为行数，n为列数。由此，目标亮暗图对应的第一像素矩阵图可为s，像素值为s
ij
∈s，目标亮图对应的第二像素矩阵图为w，像素值为w
ij
∈w，其中，i∈[1,m]，j∈[1,n]。
[0059]
其中，如图6所示，根据第一像素值构造第一像素矩阵图，包括：
[0060]
s401：获取亮暗图中亮条纹的第一面积和暗条纹的第二面积。
[0061]
s402：根据第一面积和第二面积，获取像素修正值。
[0062]
s403：利用像素修正值对第二像素值进行修正，获取修正后的第二像素值。
[0063]
s404：根据修正后的第二像素值构造第二像素矩阵图。
[0064]
需要说明的是，由于亮暗图是亮部分和暗部分交替组成合成的图像，其亮度仅由亮部分提供，使得目标亮暗图整体的像素值明显小于目标亮图的像素值，为了使二者的像素值处于相同量级，需要对目标亮图的第二像素矩阵图进行修正。
[0065]
具体地，可根据亮部分与暗部分的面积比例对第二像素矩阵图中的像素值进行修正。例如，当亮暗图为条纹图时，由于亮暗条纹图中亮条纹与暗条纹的长度相同，因此，可仅通过宽度进行调节，当宽度比为m：n时，则修正后的像素值为应当理解的是，若亮暗图为棋盘图时，可根据亮部分和暗部分的面积比进行修正，若亮暗图为其他部分时也可采用亮部分和暗部分的面积进行修正。
[0066]
扫描设备在工作过程中容易出现杂散光和环境光，例如口腔结构中会由嘴部进入杂散光，而杂散光和环境光对目标物体的离焦状态检测结果会产生影响，，因此，为了防止杂散光和环境光的影响，本技术初始图像进一步增加暗图，以根据目标暗图的像素矩阵图对第一像素矩阵图和第二像素矩阵图进行进一步修正。
[0067]
具体地，如图7所示，根据第一像素值构造第一像素矩阵图，并根据第二像素值构造第二像素矩阵图之前，还包括：
[0068]
s501：获取暗图在目标物体表面所呈的目标暗图。
[0069]
s502：提取目标暗图各像素点的第三像素值。
[0070]
s503：获取第一像素值和第三像素值的第一差值，以及第二像素值和第三像素值的第二差值。
[0071]
s504：根据第一差值构造第一像素矩阵图，并根据第二差值和像素修正值构造第二像素矩阵图。
[0072]
应当理解的是，由于暗图的作用是消除杂光和环境光，因此，应当将原始的第二像素值先减去暗图的像素值，以使其消除本底，然后再利用修正值对其进行修正，即，先对目标亮图的整幅图进行像素值的本底扣除处理，然后再根据亮暗图的亮图像面积和暗图像面积对扣除本底后的像素值进行修正。
[0073]
具体地，以亮暗图为亮暗条纹图为例，假设目标暗图对应的第三像素矩阵图可为b，像素值为b
ij
∈b，因此，构造后的第一像素矩阵图可为(s
ij-b
ij
)，第二像素矩阵图可为
[0074]
综上所述，根据本技术能够通过采集目标物体表面的目标亮暗条纹图和目标亮图，来确定目标物体是否处于离焦状态，以便于根据目标物体的状态进行控制，能够有效提
高定焦镜头的图像采集效率。
[0075]
为了实现上述实施例，本发明还提出一种扫描设备的控制方法。
[0076]
图8为本发明实施例的扫描设备的控制方法的流程图。如图8所示，本发明实施例的扫描设备的控制方法，包括以下步骤：
[0077]
s601：按照预设频率控制扫描设备的光源开启。
[0078]
s602：采用前述景深的判断方法对扫描设备拍摄到的目标物体的离焦状态进行检测。
[0079]
也就是说，为了节约能源，还可按照预设频率控制扫描设备对目标物体的离焦状态进行检测，即，按照预设频率控制向目标物体进行投影和图像采集，当然，该检测过程可主要应用于检测到的目标物体处于离焦状态时，若检测到目标物体处于景深范围内，则可根据需求对目标物体的扫描拍摄等操作，例如，当扫描设备为口内手持设备时可在目标物体在景深范围内时进行口腔检查、治疗等。
[0080]
同理，在检测到目标物体处于离焦状态之后，还可进一步控制降低投影设备的能耗，即，将对应的目标物体处于离焦状态的投影设备进行降耗控制。
[0081]
应当理解的是，通常状态下，目标物体处于离焦状态采集到的图像为噪声图像，会增加三维建模等后续工作的工作量，同时基于前述分析可知，长时间的光源运行还会造成热量增加，影响设备所处环境，例如，口腔科患者的口内环境，不利于口内治疗作业的实施，因此，可将对应的目标物体处于离焦状态的投影设备进行降耗控制，例如控制扫描设备处于待机状态、控制降低光源的亮度或关闭等操作，有效降低该投影区域的热量和能耗，在节能的同时降低扫描设备所处环境的温度，还可以设置离焦提醒，提醒操作者当前拍摄状态。
[0082]
举例来说，假设定焦镜头为广角镜头，可拍摄较为广泛的区域，为了实现照明可设置多个光源满足照明需求，此时，根据拍摄后的目标图像与光源之间的对应关系，将拍摄到的目标物体不在景深范围内的光源关闭，而将其他拍摄到的目标物体在景深范围内的光源保持开启。或者，为了保证口腔内的照明需求，还可仅降低对应的目标物体不在景深范围内的光源的亮度，其中，可通过控制光源的电流和/或占空比以对光源的亮度进行调节。
[0083]
由此，本技术提出的扫描设备的控制方法，能够通过对目标物体是否处于离焦状态进行检测，以在目标物体处于离焦状态时进行节能控制，有效提高扫描设备的能效，提升用户的体验。
[0084]
为了实现上述实施例，本发明还提出一种景深的判断装置。
[0085]
图9为本发明实施例的景深的判断装置的方框示意图。如图9所示，该景深的判断装置100，包括：获取模块10、投影模块20、采集模块30和识别模块40。
[0086]
其中，获取模块10用于获取用于投影的初始图像，初始图像至少包括亮暗条纹图和亮图；投影模块20用于将初始图像投射至目标物体；采集模块30用于采集初始图像在目标物体表面所呈的目标图像；识别模块用于根据目标图像的像素值，确定目标物体是否处于离焦状态。
[0087]
进一步地，识别模块40还用于根据目标亮暗图获取第一像素矩阵图，并根据目标亮图获取第二像素矩阵图；获取各像素点在第一像素矩阵图和第二像素矩阵图中的像素差值；如果像素差值中小于预设阈值的像素点达到预设比例时，则确定目标物体处于离焦状态。
[0088]
进一步地，识别模块40还用于分别获取目标条纹图和目标亮图；获取目标亮暗图各像素点的第一像素值和目标亮图各像素点的第二像素值；根据第一像素值构造第一像素矩阵图，并根据第二像素值构造第二像素矩阵图。
[0089]
进一步地，识别模块40还用于根据第一像素值构造第一像素矩阵图，包括：获取亮暗图中亮部分的第一面积和暗部分的第二面积；根据第一面积和第二面积，获取像素修正值；利用像素修正值对第二像素值进行修正，获取修正后的第二像素值，并根据修正后的第二像素值构造第二像素矩阵图。
[0090]
进一步地，初始图像还包括暗图，识别模块40还用于获取暗图在目标物体表面所呈的目标暗图；提取目标暗图各像素点的第三像素值；获取第一像素值和第三像素值的第一差值，以及第二像素值和第三像素值的第二差值；根据第一差值构造第一像素矩阵图，并根据第二差值和像素修正值构造第二像素矩阵图。
[0091]
需要说明的是，前述对景深的判断方法实施例的解释说明也适用于该实施例的景深的判断装置，此处不再赘述。
[0092]
为了实现上述实施例，本发明还提出一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现前述的景深的判断方法。
[0093]
为了实现上述实施例，本发明还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述的景深的判断方法。
[0094]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0095]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0096]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
[0097]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传
输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
[0098]
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0099]
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
[0100]
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
[0101]
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。