高光谱图像采集识别装置及方法与流程

1.本公开涉及光学成像技术领域，尤其涉及一种高光谱图像采集识别装置及方法。


背景技术：

2.近年来，随着计算机视觉、机器学习以及深度学习的热度逐渐升高，光谱成像技术由于可以同时获得空间与谱的信息，在多个领域得到了广泛的关注与应用。特别是针对复杂的医学图像的识别，单一特征包含信息较少，若以适当方法将多种特征进行融合，可以得到更加丰富的信息，对目标的检测分析或分类有着积极作用。不过，现有的图像识别中图像纹理特征只考虑了样品空间图像特征，尤其是颜色、亮度分布，对于目标体成分检测及不同信息融合，特征提取与变换缺乏有效的手段。利用高光谱成像装置可以获取目标样本的成分信息、颜色信息，识别方法则从图像空间图像及光谱信息中提取有效特征，进行信息变换与融合，为成分检测提供依据。但目前采用的光谱成像装置及方法存在检测信息单一，算法不够稳健等缺点，无法满足实际分析及检测需要。


技术实现要素：

3.(一)要解决的技术问题
4.基于上述问题，本公开提供了一种高光谱图像采集识别装置及方法，以缓解现有技术中光谱成像及识别时存在检测区域小，信息单一不够稳健等缺点等技术问题。
5.(二)技术方案
6.本公开提供一种高光谱图像采集识别装置，包括：光源：用于发出宽谱段光；起偏片，用于对所述宽谱段光进行起偏后照射于待测样品上，生成第一信号光和第二信号光；多光谱相机，设置有图像传感器，所述图像传感器上包括不同滤镜通道，用于根据所述第二信号光实现不同波长光谱图像采集；检偏片，设置于所述多光谱相机前，用于减少所述第一信号光；以及图像处理单元，用于对所采集的不同波长光谱图像进行识别处理得到待测样品特征信息。
7.根据本公开实施例，所述第一信号光为宽谱段光照射于待测样品表面后生成的镜面反射光。
8.根据本公开实施例，所述第二信号光为所述宽谱段光照射于待测样品后，经所述待测样品内部吸收和反射作用后，从待测样品出射的扩散光谱信号光。
9.根据本公开实施例，对不同波长的滤镜通道设置曝光与增益参数获得6个通道下的响应图像，再以相同参数获得20％标准反射板响应图像以及暗场图像。
10.根据本公开实施例，所述用于对所采集的不同波长光谱图像进行识别处理，包括：进行不同波段图像纹理特征提取；进行光谱特征提取；以及进行特征融合与待测目标组织识别。
11.根据本公开实施例，所述进行不同波段图像纹理特征提取包括采用灰度共生矩阵及其统计特征作为纹理特征；所述灰度共生矩阵为获取的步长为1的0
°
、45
°
、90
°
、135
°
四个
角度的灰度矩阵。
12.根据本公开实施例，所述统计特征包括对每个灰度矩阵获取同质性、对比度、能量和相关度四个统计特征。
13.根据本公开实施例，进行光谱特征提取时，需要进行cielab空间变换，包括l，a，b三个维度，l是亮度的衡量，a是洋红色至深绿色的颜色范围，而b表示从焦黄色至袅蓝色的颜色范围。
14.根据本公开实施例，所述进行特征融合的方法是特征拼接，并在拼接之后进行归一化，使得两种信息所占权重相近。
15.本公开的另一方面，提供一种高光谱图像采集识别方法，通过以上任一项所述的高光谱图像采集识别装置对待测目标进行识别，所述高光谱图像采集识别方法，包括：发出宽谱段光；对所述宽谱段光进行起偏后照射于待测样品上，生成第一信号光和第二信号光；通过设置于多光谱相机的图像传感器上的不同滤镜通道，根据所述第二信号光实现不同波长光谱图像采集；通过在多光谱相机前设置检偏片减少所述第一信号光；以及对所采集的不同波长光谱图像进行识别处理得到待测样品特征信息。
16.(三)有益效果
17.从上述技术方案可以看出，本公开高光谱图像采集识别装置及方法至少具有以下有益效果其中之一或其中一部分：
18.(1)使用了多种融合策略进行特征融合，对于待测目标的分类识别效果要明显优于单一特征；
19.(2)将多光谱特征与纹理特征进行了融合，包含了更加丰富的信息，对分类任务有积极作用；
20.(3)通过光谱信息变换，将rgb信息变换为cielab特征，但转换之后的特征是可以对多光谱特征起到补充作用的，对分类是有利的；
21.(4)光谱波段的增加、光谱分辨率的提升可以使得光谱信息更加丰富，用于特征融合的效果更佳；
22.(5)基于机器学习原理的svm分类方法，可以有效提取不同特征信息，提高分类准确度。
附图说明
23.图1为本公开实施例的高光谱图像采集识别装置的结构和原理示意图。
24.图2为本公开实施例的高光谱图像采集识别方法的原理示意图。
25.图3为本公开实施例的高光谱图像采集识别方法的流程示意图。
具体实施方式
26.本公开提供了一种高光谱图像采集识别装置及方法，能够同时获得空间与光谱两种信息的特性，适合进行特征融合，可以得到更加丰富的信息，对目标的检测分析或分类有着积极作用。
27.高光谱图像(hyperspectral image)在电磁波谱的紫外、可见光、近红外和中红外区域，以数十至数百个连续且细分的光谱波段对目标区域同时成像。在获得地表图像信息
的同时，也获得其光谱信息，第一次真正做到了光谱与图像的结合。高光谱图像集样本的图像信息与光谱信息于一身。图像信息可以反映样本的大小、形状、缺陷等外部品质特征，由于不同成分对光谱吸收也不同，在某个特定波长下图像对某个缺陷会有较显著的反映，而光谱信息能充分反映样品内部的物理结构、化学成分的差异。
28.为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
29.在本公开实施例中，提供一种高光谱图像采集识别装置，对待测物的组织进行检测识别，结合图1、图2所示，所述高光谱图像采集识别装置，包括：
30.光源：用于发出宽谱段光；
31.起偏片，用于对所述宽谱段光进行起偏后照射于待测样品上，生成第一信号光和第二信号光；
32.多光谱相机，设置有图像传感器，所述图像传感器上包括不同滤镜通道，用于根据所述第二信号光实现不同波长光谱图像采集；
33.检偏片，设置于所述多光谱相机前，用于减少所述第一信号光；以及
34.图像处理单元，用于对所采集的不同波长光谱图像进行识别处理得到待测样品特征信息。
35.本公开还提供一种高光谱图像采集识别方法，通过以上所述的高光谱图像采集识别装置对待测目标进行图像采集和识别，如图3所示，所述高光谱图像采集识别方法，包括：
36.发出宽谱段光；
37.对所述宽谱段光进行起偏后照射于待测样品上，生成第一信号光和第二信号光；
38.通过设置于多光谱相机的图像传感器上的不同滤镜通道，根据所述第二信号光实现不同波长光谱图像采集；
39.通过在多光谱相机前设置检偏片减少所述第一信号光；以及
40.对所采集的不同波长光谱图像进行识别处理得到待测样品特征信息。
41.所述第一信号光为宽谱段光照射于待测样品表面后生成的镜面反射光，此为无用信号，需要在采集前尽量消除。所述第二信号光为所述宽谱段光照射于待测样品后，经所述待测样品内部吸收和反射作用后，从待测样品出射的扩散光谱信号光。
42.基于上述装置可以进行高光谱图像采集及检测，例如对不同波长的滤镜通道设置曝光与增益参数获得6个通道下的响应图像，使用尺寸为3x3的窗口进行中值滤波将其去除。以相同参数获得20％标准反射板响应图像以及暗场图像，对多光谱图像进行逐像素校正，同时进一步去除环境光影响，得到窄波段反射率并在感兴趣区域内取平均。
43.在本公开实施例中，用于对所采集的不同波长光谱图像进行识别处理时，包括：对不同波段图像纹理特征提取：
44.本实验采用灰度共生矩阵(gclm)及其统计特征作为纹理特征，获取了步长为1的0
°
、45
°
、90
°
、135
°
四个角度的灰度矩阵，对每个灰度矩阵获取了同质性(homogeneity)、对比度(contrast)、能量(energy)和相关度(correlation)四个统计特征作为纹理特征。同质性体现的是灰度值与对角线灰度的接近程度；对比度反映图像的清晰度以及纹理的深浅；能量反映图像灰度分布均匀程度以及纹理粗细度；相关度反映图像在行或列上的相似性。
45.进行光谱特征提取：
46.利用多光谱成像系统获得不同通道波长光谱图像，进行cielab空间变换，包括l，a，b三个维度，l是亮度的衡量，a是洋红色至深绿色的颜色范围，而b表示从焦黄色至袅蓝色的颜色范围。之前的研究发现，其坐标值体现着组织中肌红蛋白含量、肌肉组成以及物理状态等特征的信息。
47.进行特征融合与病变组织识别：
48.本公开采用的特征融合的方法是特征拼接，并在拼接之后进行归一化，使得两种信息所占权重相近，充分发挥特征融合的优势。分类与判别方法选择svm支持向量机方法，通过不同的策略svm可以实现多分类。
49.根据本公开实施例，一种高光谱图像采集识别装置，该系统可以同时检测相干光入射到组织后，经过组织散射后，从组织表面出射产生的扩散散斑信号，以及宽谱白光led光源入射到组织(例如可以为人体组织)后，经过组织吸收及散射作用后，从组织表面出射产生的扩散光谱信号。该装置可以包括下列部分：多光谱相机：图像传感器上具有不同滤光片通道，可以实现不同波长图像采集白光光源：照射到样品上，提供宽谱段照明，偏振片：减少样品反射影响。数据采集与处理系统：采集、存储处理不同波长光谱图像。
50.对多光谱图像处理：
51.在每一个被选取的面上选择了互不重叠的五个感兴趣区域，每个感兴趣区域大小为100x100像素，对应空间尺度为5x5mm。对不同波长的滤镜通道设置曝光与增益参数获得6个通道下的响应图像，再以相同参数获得20％标准反射板响应图像以及暗场图像。使用尺寸为3x3的窗口进行中值滤波将其去除。使用下式对多光谱图像进行逐像素校正，同时进一步去除环境光影响，得到窄波段反射率并在感兴趣区域内取平均。：
[0052][0053]
其中i
raw
为样品图像响应值，i
dark
为暗场响应值，i
ref
是标准反射板响应值。光谱范围为495.6～814.4nm，使用窗口大小为5的s-g平滑进行预处理，去除反射谱中的噪声，使其平滑。
[0054]
对不同波段图像纹理特征提取：
[0055]
本实验采用灰度共生矩阵(gclm)及其统计特征作为纹理特征。简而言之，glcm测量特定灰度级的像素在与其相邻像素的指定方向和距离处出现的概率。获取了步长为1的0
°
、45
°
、90
°
、135
°
四个角度的灰度矩阵，对每个灰度矩阵获取了同质性(homogeneity)、对比度(contrast)、能量(energy)和相关度(correlation)四个统计特征作为纹理特征。同质性体现的是灰度值与对角线灰度的接近程度；对比度反映图像的清晰度以及纹理的深浅；能量反映图像灰度分布均匀程度以及纹理粗细度；相关度反映图像在行或列上的相似性。四种统计特征值的计算如下：
[0056][0057][0058]
[0059][0060]
其中g(i，j)是被选中子区域样本的单通道的灰度共生矩阵，n是灰度共生矩阵的尺寸大小，而μ
x
＝∑i∑ji
·
g(i，j)，μy＝∑i∑jj
·
g(i，j)，为减少计算量以及分类模型的负担，每种统计特征都取其四个角度下的平均值作为最终的纹理特征。
[0061]
进行光谱特征提取：
[0062]
cielab空间是一个色彩空间，包括l，a，b三个维度，l是亮度的衡量，a是洋红色至深绿色的颜色范围，而b表示从焦黄色至袅蓝色的颜色范围。之前的研究发现，其坐标值体现着组织中肌红蛋白含量、肌肉组成以及物理状态等特征的信息。而对于不同病变程度的组织，这些特征会存在一定的差异。cielab空间可以由rgb色彩空间转化得到，取感兴趣区域的平均强度值组成rgb空间，再将其转换至cielab空间。首先需要通过下式：
[0063][0064]
将rgb转换至ciexyz空间，再通过下式：
[0065][0066][0067][0068]
转换至cielab空间。其中：
[0069][0070][0071]
由cielab的计算过程可以看到，本实验中得到的cielab特征值实际上是将多光谱的部分波段强度值通过了线性与非线性变换得到的，是不同于反射谱的另一种信息表现形式。
[0072]
进行特征融合与病变组织识别：
[0073]
单一的特征由于其相对单一的信息，可能无法满足分类的要求。样本区域内的光谱特征是整个区域内反射光谱的平均值，这种取平均的做法未能将区域内各个点之间的联系考虑在内。而纹理特征考虑的是区域内灰度值的分布情况，体现的正是像素点之间的联系。所以，两种特征的融合具有将两种特征的优点相结合。本公开中采用的特征融合的方法是特征拼接，并在拼接之后进行归一化，使得两种信息所占权重相近，充分发挥特征融合的
优势。另外，由于cielab特征是由光谱中rgb波长下的强度值转换而成，有可能与光谱信息存在冗余，所以在光谱特征的基础上再融合cielab特征的研究较少，但cielab特征蕴含了样本颜色、成分及ph等信息，可能会使得分类器更轻松地辨别不同组织之间的差异，所以本实验将其与其他两种特征进行了融合，分析其作用。
[0074]
分类与判别方法选择svm支持向量机方法，为了最大化决策面的泛化能力，需要最大化分类间隔来确定最优的决策面，通过不同的策略svsm可以实现多分类，并且引出核函数的概念之后可以进行非线性的分类。
[0075]
至此，已经结合附图对本公开实施例进行了详细描述。需要说明的是，在附图或说明书正文中，未绘示或描述的实现方式，均为所属技术领域中普通技术人员所知的形式，并未进行详细说明。此外，上述对各元件和方法的定义并不仅限于实施例中提到的各种具体结构、形状或方式，本领域普通技术人员可对其进行简单地更改或替换。
[0076]
依据以上描述，本领域技术人员应当对本公开高光谱图像采集识别装置及方法了清楚的认识。
[0077]
综上所述，本公开提供了一种高光谱图像采集识别装置及方法，能够获得空间与光谱两种信息的特性，适合进行特征融合，可以得到更加丰富的信息，对目标的检测分析或分类有着积极作用。
[0078]
还需要说明的是，实施例中提到的方向用语，例如“上”、“下”、“前”、“后”、“左”、“右”等，仅是参考附图的方向，并非用来限制本公开的保护范围。贯穿附图，相同的元素由相同或相近的附图标记来表示。在可能导致对本公开的理解造成混淆时，将省略常规结构或构造。并且图中各部件的形状和尺寸不反映真实大小和比例，而仅示意本公开实施例的内容。
[0079]
说明书与权利要求中所使用的序数例如“第一”、“第二”、“第三”等的用词，以修饰相应的元件，其本身并不意味着该元件有任何的序数，也不代表某一元件与另一元件的顺序、或是制造方法上的顺序，该些序数的使用仅用来使具有某命名的一元件得以和另一具有相同命名的元件能做出清楚区分。
[0080]
此外，除非特别描述或必须依序发生的步骤，上述步骤的顺序并无限制于以上所列，且可根据所需设计而变化或重新安排。并且上述实施例可基于设计及可靠度的考虑，彼此混合搭配使用或与其他实施例混合搭配使用，即不同实施例中的技术特征可以自由组合形成更多的实施例。
[0081]
以上所述的具体实施例，对本公开的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本公开的具体实施例而已，并不用于限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。