一种微型多光谱-3D多模式相机系统及成像方法与流程

一种微型多光谱-3d多模式相机系统及成像方法
技术领域
1.本发明涉及多光谱成像技术领域，特别涉及一种微型多光谱-3d多模式相机系统及成像方法。


背景技术：

2.在现代化工业、采矿、冶金和农业等各行业中，智能视觉传感和检测技术被大规模应用。视觉传感包括多种成像模式，比如常见的彩色和黑白2d可见光成像，热成像、基于三角法的双目和结构光3d成像，基于飞行时间的tof 3d成像，和多光谱成像等。彩色2d成像通常为红绿蓝(rgb)三个通道，而多光谱成像一般指高于三个通道的成像(包括从最基本的四个通道到几百个通道的高光谱成像)。
3.目前，一个相机系统只能实现一种成像模式，如果需要同时实现两种或两种以上模式的成像，就需要把多个不同的相机进行组合，导致成像系统庞大复杂，同时其成本也会极为高昂。


技术实现要素：

4.基于此，本发明的目的是提供微型多光谱-3d多模式相机系统及成像方法，以解决现有技术中实现多种成像模式需要多个不同相机进行组合，导致成像系统庞大以及成本高昂的问题。
5.一种微型多光谱-3d多模式相机系统，包括：
6.摄像头模组，包括pcb板，以及设置于所述pcb板上的多个图像传感器；
7.衍射光学组件，包括光学基板，以及设置于所述光学基板上的多个衍射光学元件；
8.带通滤波镀膜，设置于所述光学基板的一侧，且与所述衍射光学元件位置相对；
9.支撑结构，用于支撑所述衍射光学组件，以使所述衍射光学组件位于所述摄像头模组的正上方；
10.计算机系统，与所述pcb板电性连接，用于对所述图像传感器采集到的光谱信息进行处理以获取到图像；
11.其中，所述光学基板通过光学隔离板划分为多个光学区域，所述光学隔离板的一侧侧壁延伸至与所述pcb板贴合接触，多个所述光学区域呈矩形阵列有序排布，位于不同所述光学区域的光学基板的厚度不同，各个所述光学区域均配置一所述衍射光学元件和一所述带通滤波镀膜，各个所述衍射光学元件的正下方均设置有一所述图像传感器。
12.本发明的有益效果是：通过在同一块光学基板上通过光学隔离板划分为多个光学区域，在每个光学区域上设置有相应的衍射光学元件和带通滤波镀膜，并在每个光学区域匹配相应的图像传感器，来获取成像目标的多个波段的光谱信息，通过图像传感器采集到的的光谱信息传递至计算机系统，生成相关的多光谱图像，同时在本相机系统中，将多个光学区域呈矩形阵列排布，使得成像通道排布有序，能通过计算机系统采用其他计算公式来进行双目立体匹配以获取到3d图像，本发明解决了现有技术中需要通过不同相机来实现多
个成像模式，造成成本费用高昂以及成像系统庞大的问题，实现了在一个相机系统中存有多个成像模式，简化了多模式成像操作。
13.优选的，所述微型多光谱-3d多模式相机系统还包括互不干涉的距离传感器和宽光谱光源，所述宽光谱光源用于补光，所述距离传感器和所述宽光谱光源位于所述光学基板的一侧侧壁上，且位于相邻两个所述光学区域的对称轴上。
14.优选的，所述支撑结构位于所述光学基板和所述pcb板两者之间，所述支撑结构的一端通过固化胶与所述光学基板固定，另一端与所述pcb板固定。
15.优选的，相邻两个所述带通滤波镀膜之间设置有吸光带，所述吸光带用于减少不同所述光学区域之间的杂散光相互干扰，所述吸光带由黑色物质制成。
16.本发明还提供了一种微型多光谱-3d多模式相机系统成像方法，采用上述中的微型多光谱-3d多模式相机系统，包括如下步骤：
17.从目标物体出射多个光谱的光；
18.通过多个成像通道对光进行投射，并一一射入相应的图像传感器，各个所述成像通道匹配一所述图像传感器；
19.基于多个所述图像传感器采集到的光谱信息，利用计算机系统生成多光谱图像。
20.优选的，所述成像通道包括带通滤波镀膜、光学基板以及衍射光学元件，各个所述成像通道中的光学基板厚度不同，多个所述成像通道呈矩形阵列有序排布；
21.同一相机系统中所述成像通道数量的计算方式如下：
22.n＝p*q
23.其中，n代表所述成像通道的总数，p代表矩形阵列中的列数，q代表矩形阵列中的行数。
24.优选的，所述光学区域的光学基板厚度通过如下计算公式得到：
25.t-td＝f(λi) g(λi)bi t
bp
(λi)
26.其中，t代表所述带通滤波镀膜的上表面到所述图像传感器的距离，td代表所述衍射光学元件的厚度，bi代表所述光学区域的光学基板厚度，f(λi)代表所述成像通道的焦距，g(λi)代表折射率，t
bp
(λi)代表带通滤波镀膜的厚度，λi代表波长。
27.优选的，所述通过多个成像通道对光进行投射，并一一射入相应的图像传感器之后，所述方法还包括：
28.基于多个所述成像通道构成至少两个双目组合的图像对，其中对称的两个所述成像通道所获取的图像构成一个所述图像对；
29.对各个所述图像对进行跨成像通道双目立体匹配计算，得到深度图；
30.利用所述深度图进行虚拟视点的合成，得到初始3d图像；
31.将至少两个所述初始3d图像进行融合，以获取到最终3d图像。
32.优选的，所述方法还包括：
33.基于所述图像传感器获取到的图像进行相机标定、图像矫正，并进行匹配策略和代价函数计算，得到用于输入双目立体匹配计算的图像；
34.所述代价函数的计算公式如下：
35.c＝median(c1，c2，...，cq)
36.其中，c代表q行中相同位置处q个双目组合的代价函数的均值或中值，c1、c2、cq分
别代表q行中相同位置处第1个、第2个以及第q个双目组合的代价函数。
37.优选的，所述进行跨成像通道双目立体匹配计算的计算公式如下：
[0038][0039]
其中，z代表深度值，b代表c＝cq的第q行的双目组合的基线，f
l
、fr分别代表c＝cq的第q行双目组合的左侧成像通道的焦距和右侧成像通道的焦距，d代表视差值。
[0040]
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
[0041]
图1为本发明第一实施例提供的微型多光谱-3d多模式相机系统的架构示意图；
[0042]
图2为本发明第一实施例提供的微型多光谱-3d多模式相机系统的俯视图；
[0043]
图3为本发明第一实施例提供的外表面对齐下的衍射光学组件的示意图；
[0044]
图4为本发明第一实施例提供的内表面对齐下的衍射光学组件的示意图；
[0045]
图5为本发明第二实施例提供的微型多光谱-3d多模式相机系统的成像方法的流程图；
[0046]
图6为本发明第二实施例提供的多个成像通道的空间排布示意图。
[0047]
主要元件符号说明：
[0048]
带通滤波镀膜10光学隔离板40pcb板20距离传感器50图像传感器21宽光谱光源60光学基板30支撑条70衍射光学元件31吸光带80
[0049]
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
[0050]
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
[0051]
需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
[0052]
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
[0053]
请参阅图1和图2，为本发明第一实施例中的微型多光谱-3d多模式相机系统，包括摄像头模组、衍射光学组件、带通滤波镀膜10、支撑结构以及计算机系统。
[0054]
其中：衍射光学组件通过支撑结构安装于摄像头模组的正上方，衍射光学组件相当于传统相机的镜头，在本实施例中，摄像头模组包括pcb板20以及设置于pcb板20上的多个图像传感器21，衍射光学组件包括光学基板30和设置于光学基板30上多个衍射光学元件31，光学基板30通过光学隔离板40划分为多个光学区域，多个光学区域呈矩形阵列有序排布，且位于不同光学区域的光学基板30的厚度是不同的，各个光学区域的中心都会配置一个衍射光学元件31和一个带通滤波镀膜10，并在各个光学区域的正下方均会设置一个相应的图像传感器21，以使在同一个相机系统中形成多个成像通道。
[0055]
可以理解的，每个成像通道获取到不同波段的光，通过多个成像通道获取到不同的光谱信息，再利用每个成像通道的图像传感器21将采集到的光谱信息传递至计算机系统，计算机系统对光谱信息进行处理以获取到多光谱图像，以实现多个光谱下的多模式成像，需要说明的是，pcb板20通过串口与计算机系统电性连接。
[0056]
需要说明的是，在本实施例中展示了6个成像通道的相机系统，而在其他实施例中，可以根据实际情况来设计相机系统中成像通道的数量，成像通道的数量可以为n个，且n个成像通道也为矩形阵列有序排布。
[0057]
在本实施例中，微型多光谱-3d多模式相机系统还包括互不干涉的距离传感器50和宽光谱光源60，宽光谱光源60用于补光，距离传感器50和宽光谱光源60位于光学基板30的一侧侧壁上，且位于相邻两个光学基板30的对称轴上，需要说明的是，光学隔离板40的一侧侧壁延伸至pcb板20的表面贴合接触，光学隔离板40和距离传感器50位于光学基板30的同一侧，且距离传感器50和宽光谱光源60分别嵌设于不同的光学隔离板40上，距离传感器50与宽光谱光源60均通过导线与计算机系统连接。
[0058]
在本实施例中，支撑结构位于光学基板30与pcb板20两者之间，支撑结构由多根支撑条70组成，多根支撑条70分别位于光学基板30的边缘，相邻两根支撑条70之间的距离相同，支撑结构用于支撑光学基板30在pcb板20的正上方，可以理解的，支撑条70的一端通过固化胶与光学基板30垂直固定，另一端与pcb板20垂直固定。
[0059]
在本实施例中，带通滤波镀膜10为窄带光学滤波镀膜，且相邻两个带通滤波镀膜10之间还设置有吸光带80，该吸光带80由黑色物质制成，用于减少不同光学区域之间的杂散光相互干扰。且各个成像通道中的带通滤波镀膜10的厚度均为一致以及各个成像通道中的衍射光学元件31的厚度均相同。
[0060]
在本实施例中，带通滤波镀膜10直接加工到对应的衍射光学区域的光学基板30上，即在光学基板30划分好各个光学区域，并在光学基板30的同一侧加工各个衍射光学元件31，然后在光学基板30的另一侧按照各个光学区域进行光学镀膜，可以理解的，在其他实施例中，也可以采用现有的主流方式，即先单独制备好带通滤波镀膜10，再将带通滤波镀膜10组装至各个衍射光学区域的光学基板30上。
[0061]
需要说明的是，本实施例所采用的方法更优，在本实施例中，直接在各个光学区域的光学基板30上进行光学镀膜，能够节省组装这一生产步骤，不仅节省了一定的人力成本，还能提高生产效率，且更有利于进行批量生产。
[0062]
在本实施例中，衍射光学组件中的光学基板30为平板型，该衍射光学组件取代了传统的镜头，可以使用从紫外到近红外(350mm-1000mm)，且具有良好的透光率和热稳定性的材料来制备，同时可以采用单一加工流程实现衍射光学组件的低成本批量生产，如光刻
和微纳压印等。需要说明的是，单一加工流程指的是所有的光学区域的光学基板30采用同样的加工工艺，以此降低生产的复杂性。
[0063]
在本实施例中，衍射光学组件的设计过程为：选定各个成像通道的中心波长、光谱窗口以及光学基板30；根据透光率要求设置每个成像通道的窄带光学滤波镀膜；根据成像要求设计系统参数和衍射结构；计算各个光学区域的光学基板30厚度。
[0064]
需要说明的是，衍射光学组件的的加工可以采用两种不同的加工流程，具体为单一基板加工方法和键合基板加工方法，且单一基板加工方法又分为外表面对齐和内表面对齐两种方式，可以理解的，如图3所示，外表面对齐方式下的各个光学区域的衍射光学元件31不在同一平面内，各个光学区域的带通滤波镀膜10位于同一平面内，这种方式下不适合使用微纳压印加工衍射光学组件，但可以使用光刻和离子束直写等方式加工；如图4所示，内表面对齐方式下的各个光学区域的衍射光学元件31在同一平面内，各个光学区域的带通滤波镀膜10均不在同一平面内，且可以使用微纳压印的加工方法。
[0065]
键合基板加工方法则是将光学基板30分解为两层，分别是底层基板和光学区域基板，其中，底层基板为单一厚度，每个光学区域基板的厚度不同，即各个光学区域的底层基板均相同，通过调整光学区域基板的厚度来补偿不同成像通道下焦距的不同，这种方式下，各个光学区域的带通滤波镀膜10位于同一平面内，而各个光学区域的衍射光学元件31不在同一平面内，可以理解的，具体加工步骤为：选定一块底层基板以及多块不同厚度的光学区域基板；在不同厚度的光学区域基板上加工相应的衍射光学元件31并进行切割，得到多个不同光学区域微结构；在底层基板上通过光学隔离板40划分为多个光学区域，并在各个光学区域上安装一块适配的带通滤波镀膜10；用粘合材料把多个不同光学区域微结构有序键合到底层基板上。其中，键合材料通常为光学和机械特性与光学基板30兼容的光敏胶，在其他实施例中，也可以采用特定波长你的紫外光进行固化。需要说明的是，在相邻光学区域的带通滤波镀膜10中间可以增加吸光带80，以减少不同光学区域之间的杂散光互相干扰。
[0066]
在具体实施时，在同一块光学基板30上通过光学隔离板40划分为多个光学区域，在每个光学区域上设置有相应的衍射光学元件31和带通滤波镀膜10，并在每个光学区域匹配相应的图像传感器21，来获取成像目标的多个波段的光谱信息，通过图像传感器21采集到的的光谱信息传递至计算机系统，生成相关的多光谱图像，同时在本相机系统中，将多个光学区域呈矩形阵列排布，使得成像通道排布有序，能通过计算机系统采用其他计算公式来进行双目立体匹配以获取到3d图像。本发明解决了现有技术中需要通过不同相机来实现多个成像模式，造成成本费用高昂以及成像系统庞大的问题，实现了在一个相机系统中存有多个成像模式，简化了多模式成像操作。
[0067]
需要说明的是，上述的实施过程只是为了说明本技术的可实施性，但这并不代表本技术的微型多光谱-3d多模式相机系统只有上述唯一一种实施流程，相反的，只要能够将本技术的微型多光谱-3d多模式相机系统实施起来，都可以被纳入本技术的可行实施方案。
[0068]
请参阅5，为本发明第二实施例中的微型多光谱-3d多模式相机系统的成像方法采用了第一实施例中的微型多光谱-3d多模式相机系统，包括如下步骤：
[0069]
步骤s101，从目标物体出射多个光谱的光；
[0070]
步骤s102，通过多个成像通道对光进行投射，并一一射入相应的图像传感器21，各个所述成像通道匹配一所述图像传感器21；
[0071]
步骤s103，基于多个所述图像传感器21采集到的光谱信息，利用计算机系统生成多光谱图像。
[0072]
在本实施例中，所述成像通道包括带通滤波镀膜10、光学基板30以及衍射光学元件31，各个所述成像通道中的光学基板30厚度不同，多个所述成像通道呈矩形阵列有序排布；
[0073]
同一相机系统中所述成像通道数量的计算方式如下：
[0074]
n＝p*q
[0075]
其中，n代表所述成像通道的总数，p代表矩形阵列中的列数，q代表矩形阵列中的行数。
[0076]
其中，对于n＝p*q个成像通道，空间排列为p列q行。当p为偶数时，不同成像通道可按图6所示的方式分布。且无论p为偶数或者奇数，对于每一行的p个成像通道，都可以构成[p/2]个对称的双目组合。这种对不同成像通道的空间排列保证对称位置上构成双目组合的两个通道的波段最接近，从而使得这组双目的图像具有比较接近的对比度和局部特征。
[0077]
在本实施例中，带通滤波镀膜10安装于光学基板30的一侧，且与衍射光学元件31位置相对，可以理解的，带通滤波镀膜10用于筛选特定波段的光，且为了补偿不同波长引起焦距的不同，将不同光学区域的光学基板30的厚度进行调整。具体计算不同光学区域的光学基板30厚度的计算公式如下：
[0078]
t-td＝f(λi) g(λi)bi t
bp
(λi)
[0079]
其中，t代表所述带通滤波镀膜10的上表面到所述图像传感器21的距离，td代表所述衍射光学元件的厚度，bi代表所述光学区域的光学基板30厚度，f(λi)代表所述成像通道的焦距，g(λi)代表折射率，t
bp
(λi)代表带通滤波镀膜10的厚度，λi代表波长。
[0080]
在本实施例中，所述通过多个成像通道对光进行投射，并一一射入相应的图像传感器21之后，所述方法还包括：
[0081]
基于多个所述成像通道构成至少两个双目组合的图像对，其中对称的两个所述成像通道所获取的图像构成一个所述图像对；
[0082]
对各个所述图像对进行跨成像通道双目立体匹配计算，得到深度图；
[0083]
利用所述深度图进行虚拟视点的合成，得到初始3d图像；
[0084]
将至少两个所述初始3d图像进行融合，以获取到最终3d图像。
[0085]
在本实施例中，所述方法还包括：
[0086]
基于所述图像传感器21获取到的图像进行相机标定、图像矫正，并进行匹配策略和代价函数计算，得到用于输入双目立体匹配计算的图像；
[0087]
所述代价函数的计算公式如下：
[0088]
c＝median(c1，c2，...，cq)
[0089]
其中，，c代表q行中相同位置处q个双目组合的代价函数的均值或中值，c1、c2、cq分别代表q行中相同位置处第1个、第2个以及第q个双目组合的代价函数。
[0090]
可以理解的，对于排列在不同行的成像通道构成的双目组合，对于给定的像素位置和视差值，可以进一步利用不同波段的代价函数进行统计计算提高双目匹配的稳定性和减少遮挡的影响。
[0091]
需要说明的是，对图像传感器21获取到的图像进行相机标定、图像矫正，并进行匹
配策略和代价函数计算都是在计算机系统中完成中，且进行上述中的操作均是为了减少不同成像通道得到的多光谱图像的对比度等差异对双目匹配的影响，在实施例中，相机标定指的是对相机系统各个成像通道的内参和各个通道的外can进行光学标定，这一标定可以采用常见的相机标定方法，匹配策略指的是对图像进行相位一致性变换，具体的，可以通过以下计算公式进行相位一致变换值：
[0092][0093]
其中，wi(x，y)是权重函数，fp(u)＝(u＞0)u，a
l
(x，y)是6abor函数幅值，是gabor函数局部相位偏差，ti是噪声阈值，fp(u)＝(u＞0)u。
[0094]
可以理解的，相位一致性变换后的图像对输入图像的对比度不敏感。
[0095]
在本实施例中，所述进行跨成像通道双目立体匹配计算的计算公式如下：
[0096][0097]
其中，z代表深度值，b代表c＝cq的第q行的双目组合的基线，f
l
、fr分别代表c＝cq的第q行双目组合的左侧成像通道的焦距和右侧成像通道的焦距，d代表视差值。
[0098]
可以理解的，由于不同行的双目组的焦距存在少量差异(来源于设计和加工组织)，基线也可能存在微小差异(来源于加工组装)，根据视差计算深度时相机的参数需要选择对应通道的焦距和基线。
[0099]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0100]
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。