PCB的2D和3D图像的采集和处理方法及相关装置与流程

pcb的2d和3d图像的采集和处理方法及相关装置
技术领域
1.本发明涉及光学测量中的一般图像数据处理领域，尤其涉及一种pcb的2d和3d图像的采集和处理方法及相关装置。


背景技术：

2.在自动光学检测（automated optical inspection，aoi）行业中，“工业4.0”的提出将进一步推动aoi行业从效率、节能、信息化、安全化等各方面进行综合性的产业升级。在互联网时代的大背景下，5g信息技术的应用将使得企业的生产模式、制造流程，乃至供应链管理都发生大的变革，整个aoi工业将更趋2d 3d智能化测量。如何全自动、微米精度、高速度、大覆盖率的前提下，在自动光学检测系统下实现pcb测量板量测功能和缺陷检测功能的集合，是本领域亟待解决的重要问题之一。


技术实现要素：

3.针对上述问题，本技术实例提供了一种pcb的2d和3d图像的采集和处理方法及相关装置，有效地解决了单相机高精度测量时，视场范围小的问题，能够达到高精度测量大幅面视场成像效果。能准确实现2d与3d的位置信息一一对应，提高了pcb图像的检测效率和精准度。
4.为实现上述目的，第一方面，本技术实施例提供了pcb的2d和3d图像的采集和处理方法，应用于pcb光学检测系统的图像处理器gpu，pcb光学检测系统还包括多个扫描相机，包括以下步骤：获取多个扫描相机采集的线激光照射的目标pcb板的多个线激光图像，对多个线激光图像中的每个线激光图像进行亚像素线激光中心特征提取，得到每个线激光图像的线激光中心像素坐标；根据线激光中心像素坐标分别得到多个相机位置姿态参数，并通过位置姿态参数将多个扫描相机统一到机台坐标系下；获取多个扫描相机扫描自然光照射的目标pcb板得到的多个原始2d灰度图，获取多个扫描相机扫描线激光照射的目标pcb板得到的多个原始3d高度图，根据原始图像的线激光条纹得到多个原始3d高度图；对多个原始2d灰度图和多个原始3d高度图进行数据融合得到融合后的2d灰度图和3d高度图；对2d灰度图和3d高度图进行联合标定，得到2d灰度图和3d高度图的仿射矩阵。
5.可以看出在本技术实施例中，通过多个扫描相机对目标pcb板进行拍摄，分别多个扫描相机的原始图像进行调整，以是多个扫描相机的原始图像处于同一水平面上，以合成得到完整的2d灰度图和3d高度图。有效地解决了单相机高精度测量时，视场范围小的问题，提高了高精度测量大幅面视场成像效果。
6.结合第一方面，在一种可能的实施例中，获取多个扫描相机采集的线激光照射的目标pcb板的多个线激光图像，对多个线激光图像中的每个线激光图像进行亚像素线激光中心特征提取，得到每个线激光图像的线激光中心像素坐标，包括：对每个线激光图像进行均值滤波处理，得到均值滤波处理后的图像；获取均值滤波处理后的图像在图像列方向灰
度值最大值所在的位置，将灰度值最大值所在的位置确定为线激光图像的整像素中心；沿线激光的整像素中心处的线条法线方向做泰勒展开，计算得到线激光中心像素坐标，线激光中心像素坐标代表对应的扫描相机在机台坐标系的高度。
7.可以看出，在本技术实施例中，用线激光作为光源，线激光投射至物体表面，根据线激光的光强大致为高斯分布的特性，通过高斯分布模型可以提取到亚像素精度的线激光中心，提高了检测系统的测量精度。增加了在对pcb板的图像进行检测时展示的信息量，进而增加了pcb板图像的检测的效率的精准度。
8.结合第一方面，在一种可能的实施例中，姿态参数包括绕x轴旋转俯仰角，y轴旋转滚转角，绕z轴旋转偏航角，x轴偏移量，y轴偏移量和z轴偏移量；根据线激光中心像素坐标分别得到多个相机位置姿态参数，并通过位置姿态参数将多个扫描相机统一到机台坐标系下，包括：根据多个扫描相机的线激光中心像素坐标和多个扫描相机扫描标定板得到多个原始高度图像，将多个原始高度图像进行同一参考平面的组合，获得第一高度图像；求解每个原始灰度图像在第一高度图像中的高度平面系数，以及每个原始灰度图像对应的绕x轴旋转俯仰角，y轴旋转滚转角和绕z轴旋转偏航角；根据多个扫描相机分别对应的绕x轴旋转俯仰角，y轴旋转滚转角和绕z轴旋转偏航角对第一高度图像进行修正，得到第二高度图像；根据第二高度图像确定每个扫描相机的z轴偏移量，z轴偏移量为每个扫描相机的高度相对于多个扫描相机高度均值的偏移量；获取多个原始灰度图像的圆心图案，并根据多个原始灰度图像的圆心图案确定多个扫描相机对应多个预测标定板圆心坐标；获取多个实际标定板圆心坐标，根据多个预测标定板圆心坐标和多个实际标定板圆心坐标，确定多个扫描相机中每个扫描相机的平面偏移量，平面偏移量包括x轴偏移量和y轴偏移量；根据每个扫描相机的z轴偏移量、平面偏移量、绕x轴旋转俯仰角，y轴旋转滚转角和绕z轴旋转偏航角将多个扫描相机统一到机台坐标系下。
9.可以看出在本技术实施例中，在同一机台坐标中，同时标定多个相机位置姿态参数，并将多个相机获取的高度数据统一到机台坐标系中；有效地解决了单相机高精度测量时，视场范围小的问题，提高了高精度测量大幅面视场成像效果。
10.结合第一方面，在一种可能的实施例中，多个扫描相机中的每个扫描相机包括光源组件和相机组件，光源组件包括线激光光源和自然光光源；线激光光源和自然光光源的照射区域之间的距离大于第一预设阈值，获取多个扫描相机扫描自然光照射的目标pcb板得到的多个原始2d灰度图，获取多个扫描相机扫描线激光照射的目标pcb板得到的多个原始3d高度图，包括：多个扫描相机沿y轴方向移动扫描，使线激光光源和自然光光源均遍历目标pcb板；根据激光照射的目标pcb板的原始图像中的自然光照射区域，得到目标pcb板的2d灰度图；根据激光照射的目标pcb板的图像中线激光条纹，得到目标pcb板的多个原始3d高度图。
11.结合第一方面，在一种可能的实施例中，获取多个扫描相机扫描线激光照射的目标pcb板原始图像，根据原始图像的自然光照射区域得到的多个原始2d灰度图，根据原始图像的线激光条纹得到多个原始3d高度图，包括：根据多个扫描相机对应的姿态参数得到多个扫描相机的转换公式；获取相邻的扫描相机对应的两个原始灰度图之间的重合区域数据；根据转换公式得到两个相邻的扫描相机的原始2d灰度图和和原始3d高度图重合区域数据的两个结果；对重合区域的两个结果进行加权数据融合，得到重合区域数据的融合值；根
据重合区域数据的融合值生成对应的完整的2d灰度图和完整的3d高度图。
12.可以看出在本技术实施例中，根据多个扫描相机对应的姿态参数将多个原始2d灰度图和3d高度图校准融合为完整的2d灰度图和3d高度图，进而解决了单相机高精度测量时，视场范围小的问题，得到高精度的大幅面2d灰度图和3d高度图。
13.结合第一方面，在一种可能的实施例中，对2d灰度图和3d高度图进行联合标定，得到2d灰度图和3d高度图的仿射矩阵，包括：根据相机位置姿态参数，获取2d实际圆心坐标与3d实际圆心坐标；计算2d实际圆心坐标与3d实际圆心坐标的仿射变换矩阵，得到2d/3d位置转换模型参数初值；对2d/3d位置转换模型参数初值剔除随机误差后，得到2d/3d位置转换模型参数仿射；计算得到所有实际圆心坐标的2d/3d位置转换模型参数仿射集合后，集合数据回归分析，得到2d灰度图和3d高度图的仿射矩阵。
14.可以看出在本技术实施例中，根据2d实际圆心坐标与3d实际圆心坐标计算得到2d灰度图和3d高度图的仿射矩阵，进而将2d灰度图和3d高度图的位置信息一一对应，得到联合标定的2d灰度图和3d高度图，进而提高了高精度测量大幅面视场成像效果。
15.结合第一方面，在一种可能的实施例中，若gpu为多个gpu，多个扫描相机与多个gpu通过pcie总线连接和进行信息交互，并根据异步分配法为gpu的众核逻辑计算单元alu分配计算任务。
16.可以看出在本技术实施例中，通过pcie总线连接多个gpu和多个扫描相机，避免了传统相机采集处理系统中，相机采集到数据在显卡中做gpu并行处理，需要经过cpu系统的调度与分配。把的指令流并行发送到众核上，采用不同的输入数据执行，从而完成图形处理中的海量操作；相比于单一显卡能够按倍数提高并行计算能力。
17.第二方面，本技术实施例提供了一种pcb的2d和3d图像的采集和处理装置，应用于pcb光学检测系统的图像处理器gpu，pcb光学检测系统还包括多个扫描相机，该装置包括：获取单元：用于获取多个扫描相机采集的线激光照射的目标pcb板的多个线激光图像，对多个线激光图像中的每个线激光图像进行亚像素线激光中心特征提取，得到每个线激光图像的线激光中心像素坐标；计算单元：用于根据线激光中心像素坐标分别得到多个相机位置姿态参数，并通过位置姿态参数将多个扫描相机统一到机台坐标系下；获取单元还用于：获取多个扫描相机扫描自然光照射的目标pcb板得到的多个原始2d灰度图，获取多个扫描相机扫描线激光照射的目标pcb板得到的多个原始3d高度图；计算单元还用于：对多个原始2d灰度图和多个原始3d高度图进行数据融合得到融合后的2d灰度图和3d高度图；标定单元:用于对2d灰度图和3d高度图进行联合标定，得到2d灰度图和3d高度图的仿射矩阵。
18.第三方面，本技术实施例提供了一种电子设备，包括处理器、存储器、通信接口，以及一个或多个程序，一个或多个程序被存储在存储器中，并且被配置由处理器执行，一条或多条指令适于由处理器加载并执行如第一方面的方法的部分或者全部。
19.第四方面，本技术实施例提供了一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，计算机程序使得计算机执行如第一方面的方法的部分或者全部。
附图说明
20.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
21.图1为本技术实施例提供的一种pcb的2d和3d图像的采集和处理系统的结构示意图；图2为本技术实施例提供的一种pcb的2d和3d图像的采集和处理方法的流程示意图；图3为本技术实施例提供的一种扫描相机组的结构示意图；图4为本技术实施例提供的一种扫描相机的统一过程示意图；图5a为本技术实施例提供的一种单个扫描相机的结构示意图；图5b为本技术实施例提供的一种扫描相机的光源示意图；图6a为本技术实施例提供的一种图像融合前的示意图；图6b为本技术实施例提供的一种图像融合后的示意图；图7为本技术实施例提供的一种pcb的2d和3d图像的采集和处理装置的结构示意图；图8为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
22.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
23.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
24.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
25.下面结合附图对本技术的实施例进行描述。
26.如何全自动、微米精度、高速度、大覆盖率的前提下，实现pcb测量板量测功能和缺陷检测功能的集合，是本领域亟待解决的重要问题之一。
27.针对上述问题，本技术提出pcb的2d和3d图像的采集和处理方法及装置，有效地解决了单相机高精度测量时，视场范围小的问题，提高了高精度测量大幅面视场成像效果。下面结合附图进行说明。
28.请参见图1，图1为本技术实施例提供的一种pcb的2d和3d图像的采集和处理系统的结构示意图,如图1所示该系统100包括扫描相机101，其中扫描相机101还包括光源组件1011和相机组件1012，光源组件1011用于产生自然光条纹和线激光条纹照射被检测的pcb板；相机组件用于扫描拍摄被检测的目标pcb板；图形处理器102用于获取扫描相机拍摄得到的原始灰度图和原始高度图等图像，计算扫描相机的姿态参数，合成pcb板的2d灰度图，3d高度图，计算得到2d灰度图与3d高度图的仿射矩阵等。扫描相机101和图形处理器102都直接连接在pcie总线上，可以直接进行数据传输和交互。
29.请参见图2，图2为本技术实施例提供的一种pcb的2d和3d图像的采集和处理方法的流程示意图，如图2所示，包括步骤s201-s205。
30.s201:获取多个扫描相机采集的线激光照射的目标pcb板的多个线激光图像，对多个线激光图像中的每个线激光图像进行亚像素线激光中心特征提取，得到每个线激光图像的线激光中心像素坐标。
31.具体地，根据结构光三角法原理，将线激光作为光源，线激光投射至物体表面，其光强大致符合高斯分布的特征，因此本技术实施例通过高斯分布模型可以提取到多个线激光图像亚像素精度的线激光中心，根据该线激光中心像素坐标可以将对应的扫描相机标定到本pcb图像的采集和处理系统的机台坐标系下，进而得到处于同一高度角度下的扫描相机拍摄得到的图像。
32.在一种可能的实施例中，获取多个扫描相机采集的线激光照射的目标pcb板的多个线激光图像，对多个线激光图像中的每个线激光图像进行亚像素线激光中心特征提取，得到每个线激光图像的线激光中心像素坐标，包括：对每个线激光图像进行均值滤波处理，得到均值滤波处理后的图像；获取均值滤波处理后的图像在图像列方向灰度值最大值所在的位置，将灰度值最大值所在的位置确定为线激光图像的整像素中心；沿线激光的整像素中心处的线条法线方向做泰勒展开，计算得到线激光中心像素坐标，线激光中心像素坐标代表对应的扫描相机在机台坐标系的高度。
33.具体地，请参见图3，图3为本技术实施例提供的一种扫描相机的结构示意图，由图可知，在具体的扫描系统中需要多个扫描相机联合扫描一块pcb板，在实际的扫描测量过程中虽然每个独立的扫描相机可以通过固定架调整具体的高度角度，多个扫描相机在x轴方向依次安装，并随着光源在y轴上平移进行拍摄，每移动预设距离后进行一次拍摄。因此多个扫描相机可能会因为在平移过程中出现抖动、偏移等状况，进而导致拍摄时出现细微的高度、距离、镜头角度等偏移，在经过合成放大等处理后，误差被放大进而影响最终的成像效果。因此在将多个扫描相机拍摄的原始图像进行融合前，需要得到每个扫描相机的线激光中心像素坐标，得到各个扫描相机相对机台坐标系的位置，将多个扫描相机统一到机台坐标系下以尽可能消除误差带来的影响。
34.示例性地，可以根据亚像素线激光中心特征提取得到所述线激光图像的线激光中心像素坐标。获取任意一个扫描相机的线激光图像进行均值滤波处理，均值滤波模板可以为7*5模板，该图像像素坐标系x轴为图像列方向，图像像素坐标系y轴为图像行方向。将该线激光图像均值滤波处理后的图像进行线激光整像素提取，将图像做转置处理，采用行指针的方法提取列图像灰度值最大值所在的位置，即可得到线激光的整像素中心。由于线激光的光强分布为类高斯函数分布，因此只需在线激光的整像素中心处，做沿着线条法线方
向做泰勒展开，本技术实施例中以二阶泰勒展开式做说明：首先确定线激光的整像素中心，整像素中心即为列方向上灰度最大值所在的位置，记为(x0,y0)；以该位置沿法线方向做二阶泰勒展开有：其中g
x
、gy、g
xx
、g
yy
、g
xy
分别是一阶x偏导、一阶y偏导、二阶x偏导等高斯核和图像卷积的结果。各阶高斯核如下:对于二维图像，线条边缘中心点处的一阶导数为0，且二阶方向导数取极小值的点就是线条中心点。
35.令，可得：最后通过hessian（黑塞矩阵）矩阵法可以求得边缘法线方向（n
x
，ny）和在该方向的二阶导数。hessian矩阵是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。
36.通过判别准则可以提取中心点。若，则说明一阶导数为零的点位于当前像素内，再加上该方向上二阶导数的极小值小于一定阈值，则通过两层判断，最终得到满足光强中心特性亚像素中心像素坐标。
37.可以看出，在本技术实施例中，用线激光作为光源，线激光投射至物体表面，根据线激光的光强大致为高斯分布的特性，通过高斯分布模型可以提取到亚像素精度的线激光中心，提高了检测系统的测量精度。
38.s202:根据线激光中心像素坐标分别得到多个扫描相机位置姿态参数，并通过位置姿态参数将多个扫描相机统一到机台坐标系下。
39.具体地，根据激光中心像素坐标，扫描用于校准扫描相机的标定板可以分别得到对应的扫描相机的位置姿态参数，根据扫描相机的位置姿态参数得到多台相机相对于机台坐标系的偏移程度，根据每个扫描相机的偏移程度对该扫描相机拍摄得到的初始图像进行调整。
40.在一种可能的实施例中，姿态参数包括绕x轴旋转俯仰角，y轴旋转滚转角，绕z轴旋转偏航角，x轴偏移量，y轴偏移量和z轴偏移量；根据线激光中心像素坐标分别得到多个相机位置姿态参数，并通过位置姿态参数将多个扫描相机统一到机台坐标系下，包括：根据多个扫描相机的线激光中心像素坐标和多个扫描相机扫描标定板得到多个原始高度图像，将多个原始高度图像进行同一参考平面的组合，获得第一高度图像；求解每个原始灰度图像在第一高度图像中的高度平面系数，以及每个原始灰度图像对应的绕x轴旋转俯仰角，y轴旋转滚转角和绕z轴旋转偏航角；根据多个扫描相机分别对应的绕x轴旋转俯仰角，y轴旋转滚转角和绕z轴旋转偏航角对第一高度图像进行修正，得到第二高度图像；根据第二高度图像确定每个扫描相机的z轴偏移量，z轴偏移量为每个扫描相机的高度相对于多个扫描相机高度均值的偏移量；获取多个原始灰度图像的圆心图案，并根据多个原始灰度图像的圆心图案确定多个扫描相机对应多个预测标定板圆心坐标；获取多个实际标定板圆心坐标，根据多个预测标定板圆心坐标和多个实际标定板圆心坐标，确定多个扫描相机中每个扫描相机的平面偏移量，平面偏移量包括x轴偏移量和y轴偏移量；根据每个扫描相机的z轴偏移量、平面偏移量、绕x轴旋转俯仰角，y轴旋转滚转角和绕z轴旋转偏航角将多个扫描相机统一到机台坐标系下。
41.具体地，请参见图4，图4为本技术实施例提供的一种扫描相机的统一过程示意图，如图所示目标相机为多个扫描相机的第一个扫描相机，目标相机需要存在于同一高度同一直线内，但实际的安装过程中相机的实际位置会存在细微的偏差，因此在对该扫描相机拍摄的图片进行处理前，需要根据目标相机的实际位置和在机台坐标系中理论位置的误差对该扫描相机拍摄的图片进行处理。即首先通过该扫描相机的激光中心像素坐标获取姿态参数，如图4所示，图4中标注的是相机的实际位置和该相机应该处于的理论位置，需要根据相机1的实际位置获取该扫描相机相对于理论位置的x轴偏移量，y轴偏移量和z轴偏移量，如该扫描相机的拍摄角度还存在倾斜则还需要获取绕x轴旋转俯仰角，y轴旋转滚转角，绕z轴旋转偏航角。
42.将标定板放置在pcb图像采集和处理系统的测量视野内，规定θ是绕x轴旋转俯仰角、γ是绕y轴旋转滚转角、ψ是绕z轴旋转偏航角；
△
x、
△
y、
△
z依次为xyz方向的偏移量；使
用线激光条纹扫描标定板的一段参考平面区域，得到原始高度图，多个原始高度图像进行同一参考平面的组合，获得第一高度图像。依次求解第一高度图像中每台扫描相机所属分块内的高度平面系数，高度平面系数通过采用最小二乘的平面拟合得到，然后获得每台扫描相机相对机台坐标系的俯仰角θ、滚转角γ和偏航角ψ参数。最小二乘的平面拟合方法如下：空间平面的数学表达式可写成：，对于一系列的n个点,只需要使最小，其中为系数，求使s最小时，系数的值；对s求偏导，即，最终结果的矩形表达形式为：求解上述矩阵方程，即可得到系数，然后得到对应平面的单位法向量，单位法向量与轴向量的夹角，即可得到θ、γ、ψ参数。再利用求得的俯仰角θ、滚转角γ和偏航角ψ参数，对第一高度图像进行修正，得到一幅第二高度图像，修正公式如下：其中x
w1
、y
w1
、z
w1
是根据该扫描相机的中心像素坐标得到的原始位置坐标，xc、yc、zc是根据该扫描相机修正后的坐标根据标定板模型，标定板平整度很高，平面波动很小，利用第二高度图像,可以计算出各个相机的高度均值集合{s1,s2,
…
sn}，求集合均值s
ave
，即可计算出每台扫描相机相对s
ave
的
△
z偏移量。
43.根据标定板的自然光照射区域可以得到多个扫描相机对应的多个原始灰度图，利用特征提取算法，提取原始灰度图中每台相机所属分块内的圆心图案进行分割，采集基于最大方差原理的自适应阈值分割，最大类间方法原理如下：计算灰度级k的累加均值m和图像全局均值mg：，其中pi为当前灰度级出现的概率值，本实施例最终的类间方差公式为：，其中公式最大化的灰度级k就是计算
的分割阈值。根据与该分割阈值，将目标孔与背景分割出来，最后通过灰度重心公式，计算对应孔的中心位置，得到2d实际圆心坐标与3d实际圆心坐标。利用计算出原始灰度图中每台相机所属分块内的2d/3d圆心图案坐标，并与标定板上的实际圆心坐标进行对应求解，计算出每台扫描相机相对机台坐标系的
△
x、
△
y偏移量。
44.可以看出在本技术实施例中，在同一机台坐标中，同时标定多个相机位置姿态参数，并将多个相机获取的高度数据统一到机台坐标系中；有效地解决了单相机高精度测量时，视场范围小的问题，提高了高精度测量大幅面视场成像效果。
45.s203:获取多个扫描相机扫描自然光照射的目标pcb板得到的多个原始2d灰度图，获取多个扫描相机扫描线激光照射的目标pcb板得到的多个原始3d高度图。
46.具体地，线激光照射待检测的目标pcb板后扫描相机对目标pcb板进行扫描拍摄，可以得到包括线激光条纹的目标pcb板的原始图像。根据目标pcb板的原始图像中的自然光照射部分可以得到目标pcb板的原始2d灰度图；根据目标pcb板的原始图像中的线激光条纹可以得到目标pcb板的原始3d高度图。
47.在一种可能的实施例中，多个扫描相机中的每个扫描相机包括光源组件和相机组件，光源组件包括线激光光源和自然光光源；线激光光源和自然光光源的照射区域之间的距离大于第一预设阈值，获取多个扫描相机扫描自然光照射的目标pcb板得到的多个原始2d灰度图，获取多个扫描相机扫描线激光照射的目标pcb板得到的多个原始3d高度图，包括：多个扫描相机沿y轴方向移动扫描，使线激光光源和自然光光源均遍历目标pcb板；根据激光照射的目标pcb板的原始图像中的自然光照射区域，得到目标pcb板的2d灰度图；根据激光照射的目标pcb板的图像中线激光条纹，得到目标pcb板的多个原始3d高度图。
48.具体地，通过扫描拍摄自然光光源和激光光源照射的待检目标pcb板，可以分别得到原始2d灰度图和原始3d高度图，自然光照射区域对应原始2d灰度图，线激光条纹对应原始3d高度图。这里的原始2d灰度图中除了包括横轴坐标信息和纵轴坐标信息外还包括灰度信息，原始3d高度图除了包括横轴坐标信息和纵轴坐标信息外还包括高度信息。请参见图5a，图5a为本技术实施例提供的一种单个扫描相机的结构示意图，如图所示一个扫描相机中的光源组件包括线激光光源和自然光光源，分别产生线激光和自然光照射目标pcb板，线激光光源和自然光光源的发射组件以及相机组件都固定在固定架上，根据实际的需求上述各组件可以分别独立在固定架上改变方向和角度，扫描相机可以在一次扫描中同时根据两种光源得到目标pcb板的原始2d灰度图和原始3d高度图。请参见图5b，图5b为本技术实施例提供的一种扫描相机的光源示意图，扫描相机的光源包括线激光光源和自然光光源，分别照射在pcb板上得到线激光条纹和自然光照射区域，线激光条纹和自然光照射区域之间有一部分区域无光源照射以区分线激光条纹和自然光照射区域。根据图5a的结构，扫描相机的光源在y轴方向的平移，线激光和自然光就可以历经整个待检测的目标pcb板，同时扫描相机可以拍摄得到目标pcb板的线激光图像和自然光图像，进而得到目标pcb板的原始2d灰度图和3d高度图。
49.s204:对多个原始2d灰度图和多个原始3d高度图进行数据融合得到融合后的2d灰
度图和3d高度图。
50.具体地，每张原始2d灰度图和每张原始3d高度图都只包括一张目标pcb板的部分图像，且相邻扫描相机拍摄的原始2d灰度图或原始3d高度图会存在重合区域，将两张相邻扫描相机拍摄的原始2d灰度图或原始3d高度图的重合区域进行数据融合后，即可根据融合后的数据将两张相邻的2d灰度图或原始3d高度图合成为一张2d灰度图或者3d高度图。
51.示例性地，请参见图6a，图6a为本技术实施例提供的一种图像融合前的示意图；其中包括两个相邻的扫描相机扫描pcb板得到的两幅原始2d灰度图，可以看出相邻的扫描相机扫描对应的两幅原始2d灰度图存在重合区域，既图中虚线区域，可以看到重合区域拍摄的图像是大致一致的，将重合区域融合后可以得到融合后的重合区域，请参见图6b，图6b为本技术实施例提供的一种图像融合后的示意图；融合后的重合区域是两张原始灰度图的重合区域通过计算得到的，根据融合后的重合区域可以将相邻扫描相机扫描pcb板得到的两幅原始2d灰度图融合为一张2d灰度图。
52.在一种可能的实施例中，根据位置姿态参数对多个原始2d灰度图和多个原始3d高度图进行数据融合得到融合后的2d灰度图和3d高度图，包括：根据多个扫描相机对应的姿态参数得到多个扫描相机的转换公式；获取相邻的扫描相机对应的两个原始灰度图之间的重合区域数据；根据转换公式得到两个相邻的扫描相机的原始2d灰度图和和原始3d高度图重合区域数据的两个结果；对重合区域的两个结果进行加权数据融合，得到重合区域数据的融合值；根据重合区域数据的融合值生成对应的完整的2d灰度图和完整的3d高度图。
53.示例性地，根据各个相机所求解的绕x轴旋转俯仰角、绕y轴旋转滚转角、绕z轴旋转偏航角以及xyz方向的偏移量，将pcb板的图像采集和处理系统中的所有相机测量基准统一起来，从结构件光学图可知，激光器和相机的夹角与自然光光源发射器和相机的夹角不同，2d坐标系和3d坐标系的6个参数不完全相同，公式如下：根据上述公式本发明内的所有相机的2d/3d坐标能够各自成为一个整体，每个相邻相机间存在着重合区域，重合区域的数据通过转换公式后，机台数据的存在同一位置的两个结果，需要进行加权数据融合，加权数据融合是对多源冗余信息进行加权平均，结果作为融合值。
54.s205:对2d灰度图和3d高度图进行联合标定，得到2d灰度图和3d高度图的仿射矩阵。
55.具体地，将得到2d灰度图和3d灰度图进行联合标定，得到2d灰度图和3d高度图的仿射矩阵，将2d灰度图和3d灰度图的图像位置信息一一对应。
56.在一种可能的实施例中，对2d灰度图和3d高度图进行联合标定，得到2d灰度图和3d高度图的仿射矩阵，包括：根据相机位置姿态参数，获取2d实际圆心坐标与3d实际圆心坐标；计算2d实际圆心坐标与3d实际圆心坐标的仿射变换矩阵，得到2d/3d位置转换模型参数初值；对2d/3d位置转换模型参数初值剔除随机误差后，得到2d/3d位置转换模型参数仿射；
计算得到所有实际圆心坐标的2d/3d位置转换模型参数仿射集合后，集合数据回归分析，得到2d灰度图和3d高度图的仿射矩阵。
57.示例性地，根据相机位置姿态参数，获取2d实际圆心坐标与3d实际圆心坐标后，根据2d实际圆心坐标与3d实际圆心坐标计算它们的仿射变换矩阵，得到2d/3d位置转换模型参数初值。仿射变换的参数可以用最小二乘法进行估算，计算过程如下：仿射变换的表达式为:是像素的平面位置，p是2*2的旋转矩阵，是2*1的平移向量，p、即为仿射变换参数，即：即为仿射变换参数，即：因此，可归纳为坐标转换系数a,b,c,d,e,f的求解。为了防止出现空像素，一般采用反向映射，由最小二乘法得：用反向映射，由最小二乘法得：其中;;x，y，u，v，i分别是x，y，x',y',1构成的向量。
58.得到2d灰度图和3d高度图的仿射矩阵后，计算每个2d灰度图和3d高度图的对应点的仿射变换误差，通过对每个点的仿射投影误差做统计学分析，并设置仿射模型的随机干扰项参数，剔除相应误差点后，得到剔除随机误差的2d灰度图和3d高度图的仿射矩阵；即2d/3d位置转换模型参数的affine（仿射），重复以上步骤多次得到affine集合，进行affine集合数据回归分析，最后得到2d灰度图和3d高度图的仿射矩阵。
59.可以看出在本技术实施例中，根据多个扫描相机对应的姿态参数将多个原始2d灰度图和3d高度图校准融合为完整的2d灰度图和3d高度图，进而解决了单相机高精度测量时，视场范围小的问题，得到高精度的大幅面2d灰度图和3d高度图。
60.在一种可能的实施例中，在对2d灰度图和3d高度图进行联合标定，得到2d灰度图和3d高度图的仿射矩阵之后，该方法还包括：根据2d灰度图和3d高度图的仿射矩阵，生成2d灰度图和3d高度图的联合显示图。
61.具体地，根据目标pcb板的2d灰度图和3d高度图的仿射矩阵可以得到pcb板的2d灰度图和3d高度图上显示的图像的对应关系，在的查看和检测时可以根据2d灰度图上任意一个图像位置快速查找到3d高度图的同一图像位置；也可以根据3d高度图的任一图像位置查找到2d灰度图上同一图像位。
62.在一种可能的实施例中，根据2d灰度图和3d高度图的仿射矩阵，生成2d灰度图和3d高度图的联合显示图，包括：将2d灰度图显示在第一显示区域，将3d高度图显示在第二显示区域；若显示区域的显示中心和缩放比例发生变化，则获取第一显示区域的显示中心和缩放比例；根据第一显示区域的显示中心和缩放比例获取3d高度图的对应显示图像；将3d高度图的对应显示图像显示在第二显示区域；和/或第二显示区域的显示中心和缩放比例，
则获取第二显示区域的显示中心和缩放比例；根据第二显示区域的显示中心和缩放比例获取2d灰度图的对应显示图像；将2d灰度图的对应显示图像显示在第一显示区域。
63.具体地，第一显示区域和第二显示区域可以是一个显示器的上的两个显示窗口或者一个显示窗口的两个独立的显示区，也可以是两个独立的显示器分别显示2d灰度图和3d高度图。当查看任意一个显示区域的图像时，另一个显示区域的图像将根据对应显示区域图像的显示位置和缩放比例等参数自动调整缩放为同一位置。
64.可以看出在本技术实施例中，通过在不同的显示区域同时显示目标pcb板的2d灰度图和3d高度图，并根据任意一个显示区域的显示参数调整另一个显示区域的显示画面，最大程度展示了目标pcb板的图像提高了本pcb板图像大幅面视场的成像效果，增加了在对pcb板的图像进行检测时展示的信息量，进而增加了pcb板图像的检测的效率和精准度。
65.在一种可能的实施例中，若gpu为多个gpu，多个扫描相机与多个gpu通过pcie总线连接和进行信息交互，并根据异步分配法为gpu的众核逻辑计算单元alu分配计算任务。
66.具体地，所有扫描相机通过pcie（peripheral component interconnect express)总线直接与显卡连接，pcie即高速串行计算机扩展总线标准是一种高速串行计算机扩展总线标准。相机采集到的数据能直接传输到显卡显存。处理后的数据及2d灰度图和3d高度图极其仿射矩阵需要实时显示到人机交互界面，但是目前的显示屏只有一个数据传输线接口，显卡1进行了数据显示，显卡2就无法显示，本实施例中多显卡之间通过pcie总线进行数据的实时交互，实现了多gpu实时显示到人工交互界面。本实施例中所有图像方法及原理都是在gpu下实现，gpu众核逻辑计算单元（arithmetic and logic unit，alu）是gpu上的执行单元。采用异步分配方法，为每个计算任务分配一定数量的alu，来处理计算任务，同时gpu上其他的alu可以同时处理其他计算任务，alu是能实现多组算术运算和逻辑运算的组合逻辑电路。实现了多相机、多显卡告诉无干扰处理。根据本发明实施例中的结构，扫描相机拍摄到目标pcb板的图像后可以通过pcie总线直接发送到计算机的gpu中，而不需要通过中央处理器进行二次转发，从而节约了数据传输的时间。gpu接收到扫描相机拍摄的原始图像后就可以根据前述实施例中的方法得到目标pcb板的2d灰度图和3d高度图以及2d灰度图和3d高度图的仿射矩阵。
67.可以看出在本技术实施例中，通过pcie总线连接多个gpu和多个扫描相机，避免了传统相机采集处理系统中，相机采集到数据在显卡中做gpu并行处理，需要经过cpu系统的调度与分配。gpu直接接收扫描相机传送的原始图像生成2d灰度图和3d高度图以及2d灰度图和3d高度图的仿射矩阵，不需要通过中央处理器进行二次转发，提高了图形处理的处理效率，把的指令流并行发送到众核上，采用不同的输入数据执行，从而完成图形处理中的海量操作；相比于单一显卡能够按倍数提高并行计算能力。
68.通过实施本技术实施例的方法对多个线激光图像中的每个线激光图像进行亚像素线激光中心特征提取得到线激光中心像素坐标，从而得到多个扫描相机的位置姿态参数，通过位置姿态参数将多个扫描相机统一到机台坐标系下，进而将多个扫描相机拍摄自然光得到的多个原始2d灰度图和拍摄线激光得到多个原始3d高度图进行数据融合得到2d灰度图和3d高度图并将2d灰度图和3d高度图进行联合标定，得到位置信息一一对应的将2d灰度图和3d高度图，有效地解决了单相机高精度测量时，视场范围小的问题，提高了高精度测量大幅面视场成像效果。增加了在对pcb板的图像进行检测时展示的信息量，进而增加了
pcb板图像的检测的效率的精准度。
69.基于上述配置方法实施例的描述，本技术还提供一种pcb的2d和3d图像的采集和处理装置700，该pcb的2d和3d图像的采集和处理装置700可以是运行于终端中的一个计算机程序（包括程序代码）。该pcb的2d和3d图像的采集和处理装置700可以执行图1、图2所示的方法。请参见图7，图7为本技术实施例提供的一种pcb的2d和3d图像的采集和处理装置的结构示意图，该装置包括：获取单元701：用于获取多个扫描相机采集的线激光照射的目标pcb板的多个线激光图像，对多个线激光图像中的每个线激光图像进行亚像素线激光中心特征提取，得到每个线激光图像的线激光中心像素坐标；计算单元702：用于根据线激光中心像素坐标分别得到多个相机位置姿态参数，并通过位置姿态参数将多个扫描相机统一到机台坐标系下；该获取单元701还用于：获取多个扫描相机扫描自然光照射的目标pcb板得到的多个原始2d灰度图，获取多个扫描相机扫描线激光照射的目标pcb板得到的多个原始3d高度图；该计算单元702还用于：对多个原始2d灰度图和多个原始3d高度图进行数据融合得到融合后的2d灰度图和3d高度图；标定单元703:用于对2d灰度图和3d高度图进行联合标定，得到2d灰度图和3d高度图的仿射矩阵。
70.需要说明的是，上述各单元（获取单元701、计算单元702和标定单元703）用于执行上述方法的相关步骤。比如获取单元701用于执行步骤s201的相关内容，计算单元702用于执行s202的相关内容。
71.在一种可能的实施例中，在获取多个扫描相机采集的线激光照射的目标pcb板的多个线激光图像，对多个线激光图像中的每个线激光图像进行亚像素线激光中心特征提取，得到每个线激光图像的线激光中心像素坐标方面，计算单元702还具体用于：对每个线激光图像进行均值滤波处理，得到均值滤波处理后的图像；获取均值滤波处理后的图像在图像列方向灰度值最大值所在的位置，将灰度值最大值所在的位置确定为线激光图像的整像素中心；沿线激光的整像素中心处的线条法线方向做泰勒展开，计算得到线激光中心像素坐标，线激光中心像素坐标代表对应的扫描相机在机台坐标系的高度。
72.在一种可能的实施例中，姿态参数包括绕x轴旋转俯仰角，y轴旋转滚转角，绕z轴旋转偏航角，x轴偏移量，y轴偏移量和z轴偏移量；在根据线激光中心像素坐标分别得到多个相机位置姿态参数，并通过位置姿态参数将多个扫描相机统一到机台坐标系下方面，计算单元702还具体用于：根据多个扫描相机的线激光中心像素坐标和多个扫描相机扫描标定板得到多个原始高度图像，将多个原始高度图像进行同一参考平面的组合，获得第一高度图像；求解每个原始灰度图像在第一高度图像中的高度平面系数，以及每个原始灰度图像对应的绕x轴旋转俯仰角，y轴旋转滚转角和绕z轴旋转偏航角；根据多个扫描相机分别对应的绕x轴旋转俯仰角，y轴旋转滚转角和绕z轴旋转偏航角对第一高度图像进行修正，得到第二高度图像；根据第二高度图像确定每个扫描相机的z轴偏移量，z轴偏移量为每个扫描相机的高度相对于多个扫描相机高度均值的偏移量；获取多个原始灰度图像的圆心图案，并根据多个原始灰度图像的圆心图案确定多个扫描相机对应多个预测标定板圆心坐标；获
取多个实际标定板圆心坐标，根据多个预测标定板圆心坐标和多个实际标定板圆心坐标，确定多个扫描相机中每个扫描相机的平面偏移量，平面偏移量包括x轴偏移量和y轴偏移量；根据每个扫描相机的z轴偏移量、平面偏移量、绕x轴旋转俯仰角，y轴旋转滚转角和绕z轴旋转偏航角将多个扫描相机统一到机台坐标系下。
73.在一种可能的实施例中，多个扫描相机中的每个扫描相机包括光源组件和相机组件，光源组件包括线激光光源和自然光光源；线激光光源和自然光光源的照射区域之间的距离大于第一预设阈值，获取多个扫描相机扫描自然光照射的目标pcb板得到的多个原始2d灰度图，获取多个扫描相机扫描线激光照射的目标pcb板得到的多个原始3d高度图方面，获取单元701还具体用于：多个扫描相机沿y轴方向移动扫描，使线激光光源和自然光光源均遍历目标pcb板；根据激光照射的目标pcb板的原始图像中的自然光照射区域，得到目标pcb板的2d灰度图；根据激光照射的目标pcb板的图像中线激光条纹，得到目标pcb板的多个原始3d高度图。
74.在一种可能的实施例中，在根据位置姿态参数对多个原始2d灰度图和多个原始3d高度图进行数据融合得到融合后的2d灰度图和3d高度图方面，计算单元702还具体用于：根据多个扫描相机对应的姿态参数得到多个扫描相机的转换公式；获取相邻的扫描相机对应的两个原始灰度图之间的重合区域数据；根据转换公式得到两个相邻的扫描相机的原始2d灰度图和和原始3d高度图重合区域数据的两个结果；对重合区域的两个结果进行加权数据融合，得到重合区域数据的融合值；根据重合区域数据的融合值生成对应的完整的2d灰度图和完整的3d高度图。
75.在一种可能的实施例中，在对2d灰度图和3d高度图进行联合标定，得到2d灰度图和3d高度图的仿射矩阵方面，标定单元703还具体用于：根据相机位置姿态参数，获取2d实际圆心坐标与3d实际圆心坐标；计算2d实际圆心坐标与3d实际圆心坐标的仿射变换矩阵，得到2d/3d位置转换模型参数初值；对2d/3d位置转换模型参数初值剔除随机误差后，得到2d/3d位置转换模型参数仿射；计算得到所有实际圆心坐标的2d/3d位置转换模型参数仿射集合后，集合数据回归分析，得到2d灰度图和3d高度图的仿射矩阵。
76.在一种可能的实施例中，若gpu为多个gpu，多个扫描相机与多个gpu通过pcie总线连接和进行信息交互，并根据异步分配法为gpu的众核逻辑计算单元alu分配计算任务。
77.基于上述方法实施例和装置实施例的描述，请参见图8，图8为本技术实施例提供的一种电子设备的结构示意图，本实施例中所描述的电子设备800，如图8所示，该电子设备800包括处理器801、存储器802、通信接口803以及一个或多个程序，处理器801可以是通用中央处理器（cpu），微处理器，特定应用集成电路（application-specific integrated circuit，asic)，或一个或多个用于控制以上方案程序执行的集成电路。存储器802可以是只读存储器（read-only memory，rom)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器（random access memory，ram) 或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器（electrically erasable programmable read-only memory，eeprom）、只读光盘（compact disc read-only memory，cd-rom）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器802可以是
独立存在，通过总线与处理器801相连接。存储器802也可以和处理器801集成在一起。通信接口803，用于与其他设备或通信网络通信，如以太网，无线接入网（ran），无线局域网(wireless local area networks，wlan)等。上述一个或多个程序通过程序代码的形式被存储在上述存储器中，并且被配置由上述处理器执行，本技术实施例中，上述程序包括用于执行以下步骤的指令：获取多个扫描相机采集的线激光照射的目标pcb板的多个线激光图像，对多个线激光图像中的每个线激光图像进行亚像素线激光中心特征提取，得到每个线激光图像的线激光中心像素坐标；根据线激光中心像素坐标分别得到多个相机位置姿态参数，并通过位置姿态参数将多个扫描相机统一到机台坐标系下；获取多个扫描相机扫描自然光照射的目标pcb板得到的多个原始2d灰度图，获取多个扫描相机扫描线激光照射的目标pcb板得到的多个原始3d高度图；对多个原始2d灰度图和多个原始3d高度图进行数据融合得到融合后的2d灰度图和3d高度图；对2d灰度图和3d高度图进行联合标定，得到2d灰度图和3d高度图的仿射矩阵。
78.在一种可能的实施例中，获取多个扫描相机采集的线激光照射的目标pcb板的多个线激光图像，对多个线激光图像中的每个线激光图像进行亚像素线激光中心特征提取，得到每个线激光图像的线激光中心像素坐标，包括：对每个线激光图像进行均值滤波处理，得到均值滤波处理后的图像；获取均值滤波处理后的图像在图像列方向灰度值最大值所在的位置，将灰度值最大值所在的位置确定为线激光图像的整像素中心；沿线激光的整像素中心处的线条法线方向做泰勒展开，计算得到线激光中心像素坐标，线激光中心像素坐标代表对应的扫描相机在机台坐标系的高度。
79.在一种可能的实施例中，姿态参数包括绕x轴旋转俯仰角，y轴旋转滚转角，绕z轴旋转偏航角，x轴偏移量，y轴偏移量和z轴偏移量；根据线激光中心像素坐标分别得到多个相机位置姿态参数，并通过位置姿态参数将多个扫描相机统一到机台坐标系下，包括：根据多个扫描相机的线激光中心像素坐标和多个扫描相机扫描标定板得到多个原始高度图像，将多个原始高度图像进行同一参考平面的组合，获得第一高度图像；求解每个原始灰度图像在第一高度图像中的高度平面系数，以及每个原始灰度图像对应的绕x轴旋转俯仰角，y轴旋转滚转角和绕z轴旋转偏航角；根据多个扫描相机分别对应的绕x轴旋转俯仰角，y轴旋转滚转角和绕z轴旋转偏航角对第一高度图像进行修正，得到第二高度图像；根据第二高度图像确定每个扫描相机的z轴偏移量，z轴偏移量为每个扫描相机的高度相对于多个扫描相机高度均值的偏移量；获取多个原始灰度图像的圆心图案，并根据多个原始灰度图像的圆心图案确定多个扫描相机对应多个预测标定板圆心坐标；获取多个实际标定板圆心坐标，根据多个预测标定板圆心坐标和多个实际标定板圆心坐标，确定多个扫描相机中每个扫描相机的平面偏移量，平面偏移量包括x轴偏移量和y轴偏移量；根据每个扫描相机的z轴偏移量、平面偏移量、绕x轴旋转俯仰角，y轴旋转滚转角，将多个扫描相机统一到机台坐标系下。
80.在一种可能的实施例中，多个扫描相机中的每个扫描相机包括光源组件和相机组件，光源组件包括线激光光源和自然光光源；线激光光源和自然光光源的照射区域之间的距离大于第一预设阈值，获取多个扫描相机扫描自然光照射的目标pcb板得到的多个原始2d灰度图，获取多个扫描相机扫描线激光照射的目标pcb板得到的多个原始3d高度图，包括：多个扫描相机沿y轴方向移动扫描，使线激光光源和自然光光源均遍历目标pcb板；根据
激光照射的目标pcb板的原始图像中的自然光照射区域，得到目标pcb板的2d灰度图；根据激光照射的目标pcb板的图像中线激光条纹，得到目标pcb板的多个原始3d高度图。
81.在一种可能的实施例中，根据位置姿态参数对多个原始2d灰度图和多个原始3d高度图进行数据融合得到融合后的2d灰度图和3d高度图，包括：根据多个扫描相机对应的姿态参数得到多个扫描相机的转换公式；获取相邻的扫描相机对应的两个原始灰度图之间的重合区域数据；根据转换公式得到两个相邻的扫描相机的原始2d灰度图和和原始3d高度图重合区域数据的两个结果；对重合区域的两个结果进行加权数据融合，得到重合区域数据的融合值；根据重合区域数据的融合值生成对应的完整的2d灰度图和完整的3d高度图。
82.在一种可能的实施例中，对2d灰度图和3d高度图进行联合标定，得到2d灰度图和3d高度图的仿射矩阵，包括：根据相机位置姿态参数，获取2d实际圆心坐标与3d实际圆心坐标；计算2d实际圆心坐标与3d实际圆心坐标的仿射变换矩阵，得到2d/3d位置转换模型参数初值；对2d/3d位置转换模型参数初值剔除随机误差后，得到2d/3d位置转换模型参数仿射；计算得到所有实际圆心坐标的2d/3d位置转换模型参数仿射集合后，集合数据回归分析，得到2d灰度图和3d高度图的仿射矩阵。
83.在一种可能的实施例中，若gpu为多个gpu，多个扫描相机与多个gpu通过pcie总线连接和进行信息交互，并根据异步分配法为gpu的众核逻辑计算单元alu分配计算任务。
84.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
85.在本技术所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
86.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
87.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
88.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储器包括：u盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
89.本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可
以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器（英文：read-only memory ，简称：rom）、随机存取器（英文：random access memory，简称：ram）、磁盘或光盘等。
90.以上所述，以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。