深度相机的温度补偿方法、装置、设备及存储介质与流程

1.本发明涉及深度相机，具体地，涉及一种深度相机的温度补偿方法、装置、设备及存储介质。


背景技术：

2.常用的投影机技术包括dlp（digital light processing）、线激光配合mems振镜或机械振镜等。
3.其中，随着led光源和dlp技术的成熟，dlp投影机得到了快速发展，成为一种广泛应用的投影方式。dmd器件的出现使dlp数字光处理技术在世界上得以应用，更推动了dlp投影机的崛起。dmd器件是一种二进制脉宽调制的数字光开关，是目前世界上最复杂的光开关器件。成千上万微小的方形镜片，被建造在静态随机存取内存上方的铰链结构上而组成dmd。每一个镜片可以通断一个像素的光。铰链结构允许镜片在两个状态之间倾斜， 10度为“开”，-10度为“关”。由于dlp投影机的的投影原理，将dlp投影机配合适当的光学镜头所组成的投影系统，可以看成是一个“逆向”的针孔相机模型。
4.结构光3d相机对光学元件内部的微小变化非常敏感。温度变化可能导致微小变化的产生，从而使三角测量过程生成的深度信息出现误差。目前解决这些由温度变化引起的深度误差问题的方法，常常应用主动散热控制或者主动加热控制来保持3d相机最初校准的温度，但是此种方式不仅需要消耗更多的能量，而且也会显著的增加3d相机的体积和成本。


技术实现要素：

5.针对现有技术中的缺陷，本发明的目的是提供一种深度相机的温度补偿方法、装置、设备及存储介质。
6.根据本发明提供的深度相机的温度补偿方法，所述深度相机包括相机和投影机，包括如下步骤：步骤s1：获取预设置的温度补偿关系式，所述温度补偿关系式用于表达所述投影机的温度和所述投影机的主点偏移量之间关系；步骤s2：获取所述投影机的温度，根据所述温度补偿关系式和所述温度确定该温度下的目标主点；步骤s3：获取所述相机在所述温度下采集的结构光图像，根据所述目标主点和所述结构光图像进行深度相机的温度补偿并生成深度图像或点云。
7.优选地，所述步骤s1包括如下步骤：步骤s101：在多个环境温度下，获取所述投影机的多个温度，并在每一温度控制所述相机采集多张结构光图像；步骤s102：以一所述环境温度下的投影机为基准，确定多个温度下所述结构光图像的相位差值；步骤s103：根据所述相位差值确定多个温度下所述投影机的主点偏移量，进而建
立能够表达所述温度和所述投影机的主点偏移量之间关系的温度补偿关系式。
8.优选地，所述步骤s2包括如下步骤：步骤s201：获取所述投影机的温度；步骤s202：根据所述温度补偿关系式和所述温度确定该温度下所述投影机的主点偏移量；步骤s203：获取主点标准值，根据所述主点偏移量和所述主点标准值确定主点校准值，即确定所述目标主点。
9.优选地，所述步骤s3包括如下步骤：步骤s301：获取所述相机在所述温度下采集的结构光图像；步骤s302：根据所述结构光图像计算得到在所述相机中光接收传感器上每一像素坐标值对应的绝对相位值；步骤s303：获取预标定生成的标定信息，所述标定信息包括投影机的内参矩阵，根据所述主点校准值对所述内参矩阵进行更新生成目标标定信息；步骤s304：根据所述目标标定信息进行深度信息的计算，进而进行三维重建生成温度补偿后的所述深度图像或点云。
10.优选地，所述步骤s304包括如下步骤：步骤s3041：通过所述绝对相位值计算得到在所述投影机上对应的像素坐标值；步骤s3042：根据所述光接收传感器和所述投影机相匹配的两个像素坐标值和所述目标标定信息，确定所述深度相机中光接收传感器的光心与每一物点坐标沿光接收传感器的光轴方向的距离，即生成每一像素的深度信息；步骤s3043：根据每一所述像素的深度信息进行三维重建生成温度补偿后的所述深度图像或点云。
11.优选地，所述投影机的主点为投影机的图像坐标系原点在像素坐标系中的位置；所述投影机的主点偏移量为所述投影机的主点沿所述像素坐标系的u轴或v轴的偏移量。
12.优选地，所述结构光图像为相移编码图像，所述主点偏移量根据两个不同温度下采集的所述相移编码图像的平均相位差值确定。
13.根据本发明提供的深度相机的温度补偿装置，所述深度相机包括相机和投影机，包括如下模块：关系建立模块，用于存储预设置的温度补偿关系式，所述温度补偿关系式用于表达温度和所述投影机的主点偏移量之间关系；主点计算模块，用于获取所述投影机的温度，根据所述温度补偿关系式和所述温度确定该温度下的目标主点；温度补偿模块，用于获取所述相机在所述温度下采集的结构光图像，根据所述目标主点和所述结构光图像进行深度相机的温度补偿并生成深度图像或点云。
14.根据本发明提供的深度相机的温度补偿设备，包括：处理器；存储器模块，其中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行所述的深度相机的温度
补偿方法的步骤。
15.根据本发明提供的计算机可读存储介质，用于存储程序，所述程序被执行时实现所述的深度相机的温度补偿方法的步骤。
16.与现有技术相比，本发明具有如下的有益效果：本发明中通过将投影机的温度和投影机的主点偏移量建立关系，从而能够根据投影机工作的实际温度计算出校准后的目标主点，进而修改投影机的内参以实现深度相机的温度补偿，降低了深度重建中的误差，拓展了深度相机的工作范围。
附图说明
17.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：图1为本发明实施例中深度相机的温度补偿方法的步骤流程图；图2为本发明实施例中构建温度补偿关系式的步骤流程图；图3为本发明实施例中确定目标主点的步骤流程图；图4为本发明实施例中进行三维重建的步骤流程图；图5为本发明实施例中生成深度图像或点云的步骤流程图；图6为本发明实施例中应用深度相机的温度补偿方法的物品拣选机器人的结构示意图；图7为本发明实施例中深度相机的温度补偿装置的模块示意图；图8为本发明实施例中深度相机的温度补偿设备的结构示意图；以及图9为本发明实施例中的计算机可读存储介质的结构示意图。
具体实施方式
18.下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
19.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
20.下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
21.下面以具体地实施例对本发明的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
22.图1为本发明实施例中深度相机的温度补偿方法的步骤流程图，如图1所示，本发明提供的深度相机的温度补偿方法，所述深度相机包括相机和投影机，包括如下步骤：步骤s1：获取预设置的温度补偿关系式，所述温度补偿关系式用于表达所述投影机的温度和所述投影机的主点偏移量之间关系；图2为本发明实施例中构建温度补偿关系式的步骤流程图，如图2所示，本发明提供的深度相机的温度补偿方法，所述步骤s1包括如下步骤：步骤s101：在多个环境温度下，获取所述投影机的多个温度，并在每一温度控制所述相机采集多张结构光图像；步骤s102：以一所述环境温度下的投影机为基准，确定多个温度下所述结构光图像的相位差值；经试验验证，所述投影机的温度与所述环境温度存在显著相关性。
23.步骤s103：根据所述相位差值确定多个温度下所述投影机的主点偏移量，进而建立能够表达所述温度和所述投影机的主点偏移量之间关系的温度补偿关系式。
24.在本发明实施例中，所述投影机的主点为投影机的图像坐标系原点在像素坐标系中的位置；所述投影机的主点偏移量为所述投影机的主点沿所述像素坐标系的u轴或v轴的偏移量，其中优选为沿所述像素坐标系的u轴偏移量。
25.所述像素坐标系为以图像左上角为原点o
p
，像素的行、列方向分别为u、v坐标轴方向建立二维直角坐标系。
26.所述图像坐标系为以镜头光轴与图像平面的交点为原点o1，平行于像素的行、列方向为x，y坐标轴方向建立二维直角坐标系。
27.所述结构光图像为相移编码图像，具体为竖直条纹状的结构光图像。所述主点偏移量根据两个不同温度下采集的所述相移编码图像的平均相位差值确定。
28.步骤s2：获取所述投影机的温度，根据所述温度补偿关系式和所述温度确定该温度下的目标主点；图3为本发明实施例中确定目标主点的步骤流程图，如图3所示，所述步骤s2包括如下步骤：步骤s201：获取所述投影机的温度；步骤s202：根据所述温度补偿关系式和所述温度确定该温度下所述投影机的主点偏移量；步骤s203：获取主点标准值，根据所述主点偏移量和所述主点标准值确定主点校准值，即确定所述目标主点。
29.在本发明实施例中，所述投影机采用dlp投影机，所述投影机的温度为dlp投影机的系统温度。
30.所述主点偏移量根据所述编码结构光的平均相位差值确定。
31.步骤s3：获取所述相机在所述温度下采集的结构光图像，根据所述目标主点和所
述结构光图像进行深度相机的温度补偿并生成深度图像或点云。
32.图4为本发明实施例中进行三维重建的步骤流程图，如图4所示，所述步骤s3包括如下步骤：步骤s301：获取所述相机在所述温度下采集的结构光图像；步骤s302：根据所述结构光图像计算得到在所述相机中光接收传感器上每一像素坐标值对应的绝对相位值；步骤s303：获取预标定生成的标定信息，所述标定信息包括投影机的内参矩阵，根据所述主点校准值对所述内参矩阵进行更新生成目标标定信息；步骤s304：根据所述目标标定信息进行深度信息的计算，进而进行三维重建生成温度补偿后的所述深度图像或点云。
33.在本发明实施例中，所述投影机的内参矩阵表示为：。
34.其中，fx，fy是为投影机镜头的等效焦距，(u
0,
v0)为投影机的主点坐标。
35.在本发明实施例中，所述温度补偿关系式可以表示为：u
0校准值
=u
0标准值
(dlp
当前温度-dlp
标准温度
)
×
转换系数。所述u
0标准值
、dlp
标准温度
和转换系数均可以通过预先的温度标定计算出，如可以通过步骤s101至步骤s103计算生成。
36.其中，u
0校准值
为校准后的主点坐标中u0的值，u
0标准值
为标准温度下主点坐标中u0的值，dlp
当前温度
为dlp投影机工作时的当前环境温度，dlp
标准温度
为dlp投影机工作时的标准环境温度，所述标准温度可以设置为20℃。
37.图5为本发明实施例中生成深度图像或点云的步骤流程图，如图5所示，所述步骤s304包括如下步骤：步骤s3041：通过所述绝对相位值计算得到在所述投影机上对应的像素坐标值；步骤s3042：根据所述光接收传感器和所述投影机相匹配的两个像素坐标值和所述目标标定信息，确定所述深度相机中光接收传感器的光心与每一物点坐标沿光接收传感器的光轴方向的距离，即生成每一像素的深度信息；步骤s3043：根据每一所述像素的深度信息进行三维重建生成温度补偿后的所述深度图像或点云。
38.在本发明实施例中，在所述标定信息为对深度相机进行标定时计算生成。在进行深度重建时，采用三角测量法。
39.在本发明一实施例中，固定相机悬挂的位置和姿态，并保持被拍摄环境和物体不变。将环境温度为20℃时的深度图作为基准，与环境温度分别为0℃、10℃、30℃、40℃时的深度图作差，计算得到补偿前后的平均深度差值，确定在温度补偿后建立的深度图像误差更小，可将补偿前-2.714～2.623毫米的平均深度误差补偿到-0.827～0.797毫米，补偿后的平均深度误差缩小为补偿前的30%左右。
40.图6为本发明实施例中应用深度相机的温度补偿方法的物品拣选机器人的结构示意图，如图7所示，本发明提供的物品拣选机器人，还包括：第一单元、第二单元，用于储放或/和运输物料；深度相机300，其视觉扫描区域至少涵盖所述物料的储放或运输的第一单元，用于
对所述物料进行视觉扫描，采集所述物料的深度图像，并根据所述深度图像生成物料的位姿信息和存放位置；机器人单元100，与所述深度相机300通信连接，用于接收所述位姿态信息和存放位置，根据所述位姿和所述存放位置判断目标物体的放置状态，并根据所述放置状态对所述目标物体进行拣取。
41.在本发明一实施例中，所述第一单元可以设置为储料单元200；储料单元200，用于储放无序放置的物料，所述物料为所述目标物体，如金属制品、盒体等任意物品；机器人单元100，与所述深度相机300通信连接，用于接收所述位姿态信息和存放位置，根据所述位姿和所述存放位置判断目标物体的放置状态，并根据所述放置状态对所述目标物体进行拣取后移送至第二单位中。
42.所述第二单位可以设置为对拣选后的物料进行运输或存放，如设置为便于物品整齐排列的支撑架，所述第二单位，还可以设置运输单元，使得所述机器人单元100能够将支撑架上的目标物体移动至运输单元上。
43.所述深度相机300，设置在相机支架500上，且因所述相机支架500的横梁的遮挡而未示出。
44.其中，所述机器人单元100包括处理器，处理器配置为经由执行可执行指令来执行深度相机的温度补偿方法的步骤时，通过将投影机的温度和投影机的主点偏移量建立关系，从而能够根据投影机工作的实际温度计算出校准后的目标主点，进而修改投影机的内参以实现深度相机的温度补偿，降低了深度重建中的误差，拓展了深度相机的工作范围。
45.图7为本发明实施例中深度相机的温度补偿装置的模块示意图，如图7所示，本发明提供的深度相机的温度补偿装置400，所述深度相机包括相机和投影机，包括如下模块：关系建立模块401，用于存储预设置的温度补偿关系式，所述温度补偿关系式用于表达温度和所述投影机的主点偏移量之间关系；主点计算模块402，用于获取所述投影机的温度，根据所述温度补偿关系式和所述温度确定该温度下的目标主点；温度补偿模块403，用于获取所述相机在所述温度下采集的结构光图像，根据所述目标主点和所述结构光图像进行深度相机的温度补偿并生成深度图像或点云。
46.本发明实施例中还提供一种深度相机的温度补偿设备，包括处理器和存储器。存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行深度相机的温度补偿方法步骤。
47.如上，该实施例中，通过将投影机的温度和投影机的主点偏移量建立关系，从而能够根据投影机工作的实际温度计算出校准后的目标主点，进而修改投影机的内参以实现深度相机的温度补偿，降低了深度重建中的误差，拓展了深度相机的工作范围。
48.所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式（包括固件、微代码等），或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
49.图8为本发明实施例中深度相机的温度补偿设备的结构示意图。下面参照图9来描述根据本发明中这种实施方式的电子设备600。图9显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
50.如图8所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件（包括存储单元620和处理单元610）的总线630、显示单元640等。
51.其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述深度相机的温度补偿方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。
52.存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元（ram）6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元（rom）6203。
53.存储单元620还可以包括具有一组（至少一个）程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
54.总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
55.电子设备600也可以与一个或多个外部设备700（例如键盘、指向设备、蓝牙设备、相机、深度相机等）通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备（例如路由器、调制解调器等等）通信。这种通信可以通过输入/输出（i/o）接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络（例如局域网（lan），广域网（wan）和/或公共网络，例如因特网）通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图8中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储平台等。
56.本发明实施例中还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的深度相机的温度补偿方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述深度相机的温度补偿方法部分中描述的根据本发明各种示例性实施方式的步骤。
57.如上所示，该实施例的计算机可读存储介质的程序在执行时，通过将投影机的温度和投影机的主点偏移量建立关系，从而能够根据投影机工作的实际温度计算出校准后的目标主点，进而修改投影机的内参以实现深度相机的温度补偿，降低了深度重建中的误差，拓展了深度相机的工作范围。
58.图9为本发明实施例中的计算机可读存储介质的结构示意图。参考图9所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器（cd-rom）并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形
介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
59.程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（ram）、只读存储器（rom）、可擦式可编程只读存储器（eprom或闪存）、光纤、便携式紧凑盘只读存储器（cd-rom）、光存储器件、磁存储器件、或者上述的任意合适的组合。
60.计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
61.可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c 等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网（lan）或广域网（wan），连接到用户计算设备，或者，可以连接到外部计算设备（例如利用因特网服务提供商来通过因特网连接）。
62.本发明实施例中，通过将投影机的温度和投影机的主点偏移量建立关系，从而能够根据投影机工作的实际温度计算出校准后的目标主点，进而修改投影机的内参以实现深度相机的温度补偿，降低了深度重建中的误差，拓展了深度相机的工作范围。
63.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
64.以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。