相机组件的检测方法、检测设备以及计算机可读存储介质与流程

1.本发明涉及自动控制原理技术领域，尤其涉及一种相机组件的检测方法、检测设备以及计算机可读存储介质。


背景技术：

2.在vr(virtual reality)、ar(augmented reality)等相关产品中通常都设置有相机组件，通过相机组件采集用户的面部图像等数据来实现定位追踪、眼球追踪等功能。
3.由于vr、ar等设备是高度集成的电子产品，对于相机组件的安装位置的组装精度要求较高，若在组装过程中相机组件的安装位置不准确，会导致用户在使用vr、ar等设备的时候，设备获取到的用户面部数据和用户实际的面部数据(如目光注视位置、面部表情等)之间出现较大的偏差。
4.因此，如何确保相机组件的组装精度，是当前亟待解决的问题。
5.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

6.本发明的主要目的在于提供一种相机组件的检测方法，旨在解决如何确保相机组件的组装精度的问题。
7.为实现上述目的，本发明提供的一种相机组件的检测方法，所述方法包括：
8.获取待检测的相机组件在不同位置拍摄标定图卡得到的图卡图像；
9.根据所述图卡图像确定所述相机组件与所述标定图卡之间的外参信息；
10.根据所述外参信息确定所述相机组件的光心位置和光轴方向；
11.确定所述光心位置和预设参考位置之间的位置偏差，和/或确定所述光轴方向和预设参考方向之间的角度偏差；
12.根据所述位置偏差和所述角度偏差中的至少一个，确定所述相机组件的检测结果。
13.可选地，所述外参信息包括旋转向量和平移向量，所述根据所述外参信息确定所述相机组件的光心位置和光轴方向的步骤包括：
14.根据所述平移向量确定所述光心位置；
15.根据所述旋转向量和所述光心位置，确定所述光轴方向。
16.可选地，所述根据所述旋转向量和所述光心位置，确定所述光轴方向的步骤包括：
17.基于预设函数，确定所述旋转向量对应的旋转矩阵；
18.计算所述光心位置相对于所述标定图卡的单位向量；
19.根据所述单位向量和所述旋转矩阵，确定所述光轴方向。
20.可选地，所述确定所述光心位置和预设参考位置之间的位置偏差，和/或确定所述光轴方向和预设参考方向之间的角度偏差的步骤之前，还包括：
21.获取参考相机组件在不同位置拍摄所述标定图卡得到的参考图卡图像；
22.根据所述参考图卡图像标定所述参考相机组件，以得到所述参考位置和所述参考方向。
23.可选地，所述确定所述光心位置和预设参考位置之间的位置偏差包括：
24.获取所述光心位置的坐标，以及获取所述参考位置的坐标；
25.根据所述光心位置的坐标和所述参考位置的坐标，确定所述光心位置和所述参考位置之间的相对位置关系；
26.根据所述相对位置关系确定所述位置偏差。
27.可选地，所述确定所述光轴方向和预设参考方向之间的角度偏差包括：
28.基于三维空间中向量夹角的运算关系，确定所述光轴方向和所述参考方向之间的余弦值；
29.将所述余弦值做反三角函数变换，得到所述光轴方向和所述参考方向之间的夹角；
30.根据所述夹角确定所述角度偏差。
31.可选地，所述根据所述位置偏差和所述角度偏差中的至少一个，确定所述相机组件的检测结果的步骤之后，还包括：
32.当存在所述位置偏差，和/或存在所述方向偏差时，判断所述相机组件的所述检测结果为不合格；或者
33.当所述位置偏差大于位置偏差阈值，和/或所述方向偏差大于方向偏差阈值时，判断所述相机组件的所述检测结果为不合格。
34.可选地，所述判断所述相机组件的所述检测结果为不合格的步骤之后，还包括：
35.输出所述检测结果，以发出所述相机组件存在偏移的预警提示。
36.此外，为实现上述目的，本发明还提供一种检测设备，所述检测设备包括：标定图卡、工装夹具、机械臂、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的组件偏移的检测程序，所述标定图卡用于相机标定，所述工装夹具用于夹持所述相机组件，所述机械臂与所述工装夹具连接，并通过所述工装夹具移动所述相机组件，所述组件偏移的检测程序被所述处理器执行时实现如上任一项所述的组件偏移的检测方法的步骤。
37.此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有相机组件的检测程序，所述相机组件的检测程序被处理器执行时实现如上实施例所述的相机组件的检测方法的各个步骤。
38.本发明实施例提供一种相机组件的检测方法、检测设备以及计算机可读存储介质，其中，所述方法包括：获取待检测的相机组件在不同位置拍摄标定图卡得到的图卡图像；根据所述图卡图像确定所述相机组件与所述标定图卡之间的外参信息；根据所述外参信息确定所述相机组件的光心位置和光轴方向；确定所述光心位置和预设参考位置之间的位置偏差，和/或确定所述光轴方向和预设参考方向之间的角度偏差；根据所述位置偏差和所述角度偏差中的至少一个，确定所述相机组件的检测结果。通过将待检测相机组件的光心位置和光轴方向与标准相机组件的参考位置和参考方向比较，确定出二者之间的位置偏差和角度偏差，从而检测相机组件是否存在组装偏差，确保了相机组件的组装精度。
附图说明
39.图1为本发明实施例涉及的检测设备的硬件架构示意图；
40.图2为本发明相机组件的检测方法的第一实施例的流程示意图；
41.图3为本发明相机组件的检测方法的第二实施例的流程示意图。
42.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
43.在vr、ar等产品的设计中，需要使用相机做定位追踪以及眼动追踪等算法，完成这些定位算法，需要使用到相机在产品中的安装位置，因此对相机的组装精度要求很高，所有组装过程中需要对组装精度进行检测。
44.本发明通过相机标定，计算相机光心位置及相机光轴方向，从而推算出相机的位置及方向，然后与标准设计图做对比，计算出相机的组装是否存在偏差。检测方案由相机标定图卡，夹具工装，高精度机械臂组成。标定图卡固定，用于完成相机标定；夹具工装用于夹持待测组件，保证产品的取放夹持精度；高精度机械臂与夹具工装连接，用于移动产品，完成相机标定，且重复精度高。
45.应当理解，本发明的附图中显示了本发明的示例性实施例，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
46.作为一种实现方案，检测设备的硬件架构可以如图1所示。
47.本发明实施例方案涉及的是检测设备的硬件架构，所述检测设备的硬件架构包括：处理器101，例如cpu，存储器102，通信总线103。其中，通信总线103用于实现这些组件之间的连接通信。
48.存储器102可以是高速ram存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。如图1所示，作为一种计算机可读存储介质的存储器102中可以包括相机组件的检测程序；而处理器101可以用于调用存储器102中存储的相机组件的检测程序，并执行以下操作：
49.获取待检测的相机组件在不同位置拍摄标定图卡得到的图卡图像；
50.根据所述图卡图像确定所述相机组件与所述标定图卡之间的外参信息；
51.根据所述外参信息确定所述相机组件的光心位置和光轴方向；
52.确定所述光心位置和预设参考位置之间的位置偏差，和/或确定所述光轴方向和预设参考方向之间的角度偏差；
53.根据所述位置偏差和所述角度偏差中的至少一个，确定所述相机组件的检测结果。
54.在一实施例中，处理器101可以用于调用存储器102中存储的相机组件的检测程序，并执行以下操作：
55.根据所述平移向量确定所述光心位置；
56.根据所述旋转向量和所述光心位置，确定所述光轴方向。
57.在一实施例中，处理器101可以用于调用存储器102中存储的相机组件的检测程序，并执行以下操作：
58.基于预设函数，确定所述旋转向量对应的旋转矩阵；
59.计算所述光心位置相对于所述标定图卡的单位向量；
60.根据所述单位向量和所述旋转矩阵，确定所述光轴方向。
61.在一实施例中，处理器101可以用于调用存储器102中存储的相机组件的检测程序，并执行以下操作：
62.获取参考相机组件在不同位置拍摄所述标定图卡得到的参考图卡图像；
63.根据所述参考图卡图像标定所述参考相机组件，以得到所述参考位置和所述参考方向。
64.在一实施例中，处理器101可以用于调用存储器102中存储的相机组件的检测程序，并执行以下操作：
65.获取所述光心位置的坐标，以及获取所述参考位置的坐标；
66.根据所述光心位置的坐标和所述参考位置的坐标，确定所述光心位置和所述参考位置之间的相对位置关系；
67.根据所述相对位置关系确定所述位置偏差。
68.在一实施例中，处理器101可以用于调用存储器102中存储的相机组件的检测程序，并执行以下操作：
69.基于三维空间中向量夹角的运算关系，确定所述光轴方向和所述参考方向之间的余弦值；
70.将所述余弦值做反三角函数变换，得到所述光轴方向和所述参考方向之间的夹角；
71.根据所述夹角确定所述角度偏差。
72.在一实施例中，处理器101可以用于调用存储器102中存储的相机组件的检测程序，并执行以下操作：
73.当存在所述位置偏差，和/或存在所述方向偏差时，判断所述相机组件的所述检测结果为不合格；或者
74.当所述位置偏差大于位置偏差阈值，和/或所述方向偏差大于方向偏差阈值时，判断所述相机组件的所述检测结果为不合格。
75.在一实施例中，处理器101可以用于调用存储器102中存储的相机组件的检测程序，并执行以下操作：
76.输出所述检测结果，以发出所述相机组件存在偏移的预警提示。
77.基于上述基于自动控制原理技术的检测设备的硬件架构，提出本发明相机组件的检测方法的实施例。
78.参照图2，在第一实施例中，所述相机组件的检测方法包括以下步骤：
79.步骤s10，获取待检测的相机组件在不同位置拍摄标定图卡得到的图卡图像；
80.在本实施例中，将需要检测的相机组件通过检测设备的夹具工装进行夹持，控制检测设备的机械臂带动夹具和相机组件移动，机械臂从设定好的初始位置开始，按照预设程序中编译的轨迹，在标定图卡的前方移动后重新回到该初始位置，在这个移动过程中，控制相机组件按照预设频率拍摄不同位置的位于所述相机组件前方的标定图卡，得到图卡图像，需要说明的是，本实施例中对于初始位置并没有过多限定，只需要处于相机组件能够完
整的拍摄到标定图卡的位置即可。可选地，可以设定每秒拍摄1次标定图卡，在移动过程中拍摄至少10张图卡图像。
81.步骤s20，根据所述图卡图像确定所述相机组件与所述标定图卡之间关联的外参信息；
82.在得到图卡图像之后，根据相机组件拍摄的标定图卡(即图卡图像)以及实际的标定图卡，确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，即相机标定，从而通过机器图像识别判断相机组件是否组装正确。通过使用尺寸已知的标定物(即图卡图像)，通过建立标定物上坐标已知的点与其图像点之间的对应，利用一定的算法获得相机组件的内外参数，这种算法较为现有且成熟，在此不再赘述。
83.通过相机标定，可以得到相机组件内部参数，如内参矩阵k，畸变系数d，以及相机组件的外部参数，如旋转向量rot_vet和平移向量tans_vet。由于在本实施例中，省略了相机镜头的畸变矫正这一过程，因此内部参数不作为重点描述内容，而是将说明重点放在外部参数信息，即建立相机组件和标定图卡之间的映射关系(即外参信息中的旋转向量和平移向量)，并根据该映射关系，检测相机组件是否组装合格。
84.步骤s30，根据所述外参信息确定所述相机组件的光心位置和光轴方向；
85.在通过相机标定确定出外参信息之后，根据外参信息确定出相机组件的光心位置和光轴方向。光心位置是相机组件的透镜主轴上的一个特殊点，凡是通过该点的光，其传播方向不变，这个点便叫做光心位置；光轴方向则是通过所述光心的光的传播方向。在本实施例中，光心位置表征为相机组件的位置，光轴方向表征为相机组件的方向。
86.可选地，可以根据外参信息中的平移向量确定出相机的光心位置，然后根据外参信息中的旋转向量和光心位置，确定出相机的光轴方向。
87.示例性地，光心位置p0＝-tans_vet0，将旋转向量使用罗德里格斯公式(rodriguez formula)，计算得到其对应的旋转矩阵rot_mat。罗德里格斯公式是三维空间中，一个向量绕旋转轴旋转一定角度后得到一个新的向量的计算公式，首先要确定一个作为旋转轴的三维的单位向量k，然后定义一个旋转角度θ，将需要旋转的向量，以该旋转轴为基准旋转θ度，旋转后的向量即为旋转矩阵rot_mat，其标准式为：
88.rot_mat＝i (1-cos(θ))k2 sin(θ)k)
89.其中，i为3*3的单位矩阵。
90.然后，根据旋转矩阵rot_mat计算出相机组件的光心位置p0相对于标定图卡的单位向量vet0：
91.vet0＝rot_mat
0-1
*[0，0，1]
[0092]
vet0即表征为相机的光轴方向。
[0093]
步骤s40，确定所述光心位置和预设参考位置之间的位置偏差，和/或确定所述光轴方向和预设参考方向之间的角度偏差；
[0094]
在这一步骤中，将光心位置和光轴方向，分别与各自的参考位置和参考方向进行比较，参考位置和参考方向是将测量后得到的符合产品设计图中相应规格的标准相机组件，通过检测设备夹持所述标准相机组件执行上述相机标定过程后，得到的作为对照标准的数据。
[0095]
可选地，可以根据待检测相机组件的光心位置和标准相机组件的参考位置之间的
坐标来确定出待检测相机组件是否存在位置偏差。示例性地，假设参考位置为p
ref
＝(x
ref
，y
ref
，z
ref
)，光心位置p0＝(x0，y0，z0)，则相机组件的位置偏差p
error
＝|p
ref-p0|＝|x
ref-x0，y
ref-y0，z
ref-z0|。
[0096]
可选地，可以根据待检测相机组件的光轴方向和待检测相机组件的参考方向之间的夹角来确定待检测相机组件是否存在角度偏差。
[0097]
示例性地，参考方向表示为vet
ref
＝[x
ref
，y
ref
，z
ref
]，光轴方向表示为vet0＝[x0，y0，z0]。由于方向为三维空间中的向量，因此可以基于三维空间中向量夹角的运算关系，确定出光轴方向和参考方向之间的夹角，通过确定光轴方向和参考方向之间的余弦值：
[0098][0099]
将该余弦值做反三角函数变换，即可得到夹角θ：
[0100][0101]
夹角越大，则角度偏差越大。
[0102]
步骤s50，根据所述位置偏差和所述角度偏差中的至少一个，确定所述相机组件的检测结果。
[0103]
在确定出位置偏差和角度偏差之后，根据位置偏差和角度偏差中的至少一个，确定相机组件的检测结果，从而根据检测结果判断相机组件是否存在偏差。由于相机在组装过程中可能存在所述位置偏差，也可能存在所述角度偏差，也可能同时存在两种偏差，因此，在本实施例中至少有三种确定检测结果的实施方式：一、当检测到相机组件的安装位置存在偏差时，输出检测结果；二、当检测到相机组件的安装角度存在偏差时，输出检测结果；三、当检测到相机组件的安装角度和安装位置均存在存在偏差时，输出检测结果。
[0104]
在本实施例提供的技术方案中，通过相机标定的方式，将标定得到的外参信息用于确定出待检测相机组件的光心位置和光轴方向，通过将待检测相机组件的光心位置和光轴方向与标准相机组件的参考位置和参考方向比较，确定出二者之间的位置偏差和角度偏差中的至少一个，从而检测相机组件是否存在组装偏差，确保了相机组件的组装精度，避免了在组装过程中相机组件的安装位置不准确，导致用户在使用vr、ar等设备的时候，设备获取到的用户面部数据和用户实际的面部数据(如目光注视位置、面部表情等)之间出现较大的偏差的情况。
[0105]
参照图3，在第二实施例中，基于第一实施例，所述步骤s50之后，还包括：
[0106]
步骤s60，当存在所述位置偏差，和/或存在所述方向偏差时，判断所述相机组件的所述检测结果为不合格；或者，当所述位置偏差大于位置偏差阈值，和/或所述方向偏差大于方向偏差阈值时，判断所述相机组件的所述检测结果为不合格。
[0107]
可选地，本实施例提供两种判断相机组件的检测结果不合格的方式。第一种对于相机组装的精度的要求较高，当检测结果中存在位置偏差和方向偏差中的至少一种时，则无论偏差值如何，均判断为相机组装的检测结果为不合格，当然，需要说明是，受限于标定算法和检测设备的精度，通过计算得到的偏差通常与实际的偏差之间存在误差，这种误差是客观存在且难以消除的，因此在这一种方式中存在的位置偏差和方向偏差是计算后所得到的偏差值，并不完全等同于待检测设备和标准设备之间实际的偏差，但只要得到的计算
偏差值和实际偏差之间的误差不影响实际的产品检测结果，例如，在后续的根据相机组件实现获取用户的面部数据等功能的时候，得到的面部数据和实际的面部数据之间的误差满足设备的生产要求时，即可判断为相机组件检测合格。
[0108]
第二种方式则对相机组装精度的要求较低，当位置偏差大于设定好的位置偏差阈值，和/或当方向偏差大于设定好的方向偏差阈值时，才判断相机组件的检测结果为不合格。
[0109]
其中，所述步骤s60之后，还包括：
[0110]
步骤s70，输出所述检测结果，以发出所述相机组件存在偏移的预警提示。
[0111]
进一步的，在本实施例中，当判断出相机组件的检测结果为不合格之后，将检测结果输出，以发出相机组件存在偏移的预警提示。
[0112]
示例性地，当检测设备检测出相机组件的检测结果不合格时，将检测结果发送至与检测设备之间通讯连接的控制终端，控制终端在接收到检测结果时，确定该检测结果对应的相机组件的编号，将编号输入至预警程序中，生成“不合格相机组件编号：xx；检测问题：组装偏移；问题明细：组装位置存在偏移，组装方向存在偏移，位置偏移坐标xx，方向偏移角度xx”的提示，以便于检测人员能够快速的确定出存在问题的相机组件以及具体的问题内容。
[0113]
在本实施例提供的技术方案中，提供了两种判断相机组件的检测结果不合格的方式，一种对组装精度要求较高，即存在偏差则判断为不合格，另一种对组装精度要求较低，即偏差大于设定阈值则判断为不合格。检测人员可以根据实际需要设置两种不同精度的检测结果的判断方式，灵活地设定产品组件的品控要求。
[0114]
此外，本发明还提供一种检测设备，所述检测设备包括：标定图卡、工装夹具、机械臂、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的组件偏移的检测程序，所述标定图卡用于相机标定，所述工装夹具用于夹持所述相机组件，所述机械臂与所述工装夹具连接，并通过所述工装夹具移动所述相机组件，所述组件偏移的检测程序被所述处理器执行时实现如上任一项所述的组件偏移的检测方法的步骤。
[0115]
此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有相机组件的检测程序，所述相机组件的检测程序被处理器执行时实现如上实施例所述的相机组件的检测方法的各个步骤。
[0116]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0117]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个计算机可读存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
[0118]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。