融合可见光和近红外信息的典型目标材质属性提取方法及装置与流程

1.本发明涉及一种材质属性提取方法及装置，尤其涉及一种融合可见光和近红外信息的典型目标材质属性提取方法和装置，属于视频监控领域。


背景技术：

2.随着社会安全需求的不断升级，视频监控技术在城市建设中的应用越来越普遍，与人们的日常生活息息相关，在社会公共安全、交通管控等领域发挥着越来越重要的作用。近年来，由于计算机视觉技术的快速发展，视频内容分析技术的算法准确率和环境适应性得到不断提高。但是在户外监控场景中，由于复杂多变的环境和非目标物体的干扰，监控系统往往难以获取到清晰、完整的目标图像信息。而现有成像系统获取的场景信息以表观感知为主，采用的目标分析技术大多是基于底层的表观特征(例如纹理、颜色等信息)。在恶劣天候下或复杂场景中，目标特征会产生很大的变化，导致算法准确率受到极大影响。因此，基于物体表观特征的目标分析算法对于上述干扰因素不能很好地解决。
3.材质的认知在我们和世界的了解交互中起着至关重要的作用，一个物体的材质属性是我们理解场景的重要信息。通过对目标的简单观察，人类通常能够通过其材质成分来判定目标的类别，因此要实现监控系统的智能化，材质属性非常重要。提取物体材质属性是计算机视觉中一个非常有价值的研究方向，通过此工作可以帮助计算机更好地理解场景，对于视频监控技术的应用具有重要意义。
4.材质属性作为一种物体中高层稳定属性，可以有效克服外界成像环境的干扰。同时，材质属性提取是一项具有挑战性的研究课题，现实世界中的材质属性提取十分困难，因为物体的外观取决于对象形状和照明的混杂效果。许多物体的种类材质，例如织物或木材，在视觉上都十分丰富，并涵盖了各种外观。此外由于光线和形状的影响，一些材质的外观会进一步变化，如塑料和草皮。
5.视频监控场景环境复杂，且由于视频监控应用对于设备成本和算法实时性能的需求，现有的材质属性提取方法无法直接应用于视频监控领域，主要存在以下问题：
6.1)户外场景下基于表观信息的材质属性提取方法准确性较差：目前基于表观信息的材质属性提取方法大多简单地依赖于可见光范围内的rgb信息，然后通过统计学习模型实现材质的分类。但是户外监控场景环境复杂，干扰物众多，而物体表观信息易受外部成像环境的影响，同一种材质的物体在不同环境下的表观信息存在明显差异，仅依靠物体表观信息的材质属性提取方法易受外界环境的干扰，在户外场景中存在较多误检，准确性较差。
7.2)运行效率较低：材质属性提取任务需要对图像中的每个像素点判断材质类别，计算任务复杂，目前的频域
‑
空域研究方法在引入空间上下文信息的同时，也极大地增加了算法的复杂度，现有的材质提取研究较少考虑算法运行效率，难以达到实时处理效果。视频监控系统需要对视频图像实时处理分析，因此现有的材质属性提取方法无法应用于视频监控系统。


技术实现要素：

8.本发明提出了一种融合可见光和近红外信息的典型目标材质属性提取方法和装置，其包括：基于原始的可见光和近红外数据，提取出具有高区分性的材质特征，并利用图像空间上下文信息，设计融合空间上下文信息的轻量级材质识别网络，最后在具有可见光和近红外数据采集能力的开发板平台上设计并搭建材质属性提取装置。具体包括：
9.针对基于表观信息的材质属性提取方法准确性较差的问题，本发明在材质提取任务中引入了近红外信息，与可见光信息相比，近红外信息对于环境具有更强的鲁棒性，且材质属性在近红外区域中具有更好的稳定性，本发明基于原始的可见光和近红外信息，对数据进行分析转换，设计了具有高区分性的材质特征。
10.针对目前材质属性提取方法运行效率较低的问题，本发明设计了轻量级的材质识别网络，在利用空间上下文信息的同时，实现算法并行加速，达到了实时处理效果。
11.针对现有材质属性提取方法在视频监控领域中应用较少的问题，本发明提出了一种材质属性提取装置，基于具有可见光和近红外数据采集能力的开发平台，实时拍摄获取并处理数据，判断图像中每一像素的材质类型，并将结果实时显示。
12.根据本发明的一个方面，提供了一种融合可见光和近红外信息的典型目标材质属性提取方法，其特征在于包括如下步骤：
13.a)在原有的可见光图像基础上，在材质属性提取任务中引入近红外信息，通过具有可见光和近红外采集能力的摄像头进行数据的采集；
14.b)根据数据在拜耳阵列中的分布规则，利用gpu的并行计算特性，实现不同数据通道的分离；
15.c)对原始的可见光和近红外信息进行分析转换，得到具有高区分性的材质特征；
16.d)通过设计的材质识别网络对图像材质类别进行识别；
17.e)对材质提取结果进行图像腐蚀、膨胀的形态学处理操作，去除部分图像噪声的干扰，使结果更加准确，并根据图像像素点过曝情况对结果进行修正，
18.其中：
19.所述步骤c)包括：
20.c1)保留原始的近红外数据信息。近红外图像对于环境变化具有更强的鲁棒性，将近红外信息应用于材质提取任务，可以提升算法的鲁棒性。此外，基于rgb图像的材质属性提取方法对于表观特征相似的不同材质物体难以实现区分，而近红外信息与物体材质属性具有更强的关联性，相同材质的物体在近红外区域的稳定性更强，不同材质的物体在近红外区域也具有较大的区分性。利用近红外图像信息，可以弥补基于rgb图像的材质属性提取方法所存在的缺陷；
21.c2)提取数据的波段间关系特征。不同材质的物体在不同波段上具有不同的反射特性，它们在不同波段之间形成了特定的关系，通过利用这种波段间关系，可以实现特定材质的识别，如ndvi指数利用植被材质在近红外波段和红光波段之间的相对关系，实现了植被材质的识别。本发明在特征设计部分中利用了可见光和近红外数据中相邻波段间的差值信息；
22.c3)将原始可见光数据通过颜色空间转换，转换为yuv色彩空间信息；
23.c4)将前三步中得到的数据特征在特征维度进行拼接，得到图像材质特征，
24.步骤d)包括：
25.d1)在训练阶段，将原图像分为一个个图像块，每个图像块的大小是相同的，选择其中具有材质属性标签的图像块分别输入到材质识别网络中，网络的输出为图像块中心像素的材质类别，通过模型进行学习；
26.d2)在测试阶段，输入为整张图像，此时将材质识别网络转换为滑动窗口，滑动的步长为一，对输入图像中的每个像素点进行滑动预测，最终得到整张图像的材质属性识别结果。
27.根据本发明的另一个方面，提供了一种材质属性提取装置，其特征在于包括：
28.数据采集模块，数据采集模块部署于开发板中，当系统加载相机驱动后，设置采集的图像尺寸；当接收到开始采集数据的控制指令后，相机开始采集数据；
29.数据传输模块，主要负责控制指令和图像数据的传输，控制指令通过udp方式进行传输，可以加快指令传输的效率；图像数据通过tcp方式进行传输，可以保证数据的完整性。控制指令包括建立连接、断开连接、采集数据、图像增益控制和相机曝光时间控制；
30.特征提取模块，特征提取模块负责从接收的原始图像数据中提取出图像特征；
31.材质识别模块，调用材质识别网络，输入为从图像中提取到的材质特征，输出为经过识别模型处理后得到的整张图像的材质识别结果；
32.数据存储模块，电脑端每接收到一帧完整图像数据，就将其保存到本地，保存格式为原始的raw文件。
附图说明
33.图1是材质和成像之间的关系图。
34.图2是图像在rgb和yuv空间中的显示差异图。
35.图3是空间上下文信息对于材质提取的作用示意图。
36.图4是根据本发明的一个实施例的材质识别网络的结构图。
37.图5是材质识别网络训练流程图。
38.图6是材质识别网络测试流程图。
具体实施方式
39.根据本发明提供的一个融合可见光和近红外信息的典型目标材质属性提取方法，其主要包括如下几个步骤：
40.a)在原有的可见光图像基础上，在材质属性提取任务中引入近红外信息，通过具有可见光和近红外采集能力的摄像头进行数据的采集；
41.b)根据数据排布规则，利用gpu设备对数据通道进行分离；
42.c)对原始的可见光和近红外信息进行分析转换，得到具有高区分性的融合可见光和近红外信息的材质特征；
43.d)通过设计的融合空间上下文信息的材质识别网络对图像材质类别进行识别；
44.e)通过膨胀、腐蚀图像、去除过曝像素点后处理操作对识别结果进行优化处理。
45.b)数据通道分离
46.本发明所使用的相机通过修改拜耳阵列，将其中的一个绿色滤波器改为近红外滤
波器，因此可以同时采集可见光和近红外四个波段的图像数据。
47.设图像的长为w，高位h，当前像素位置为(x，y)，r、g、b、nir分别表示可见光
‑
近红外图像中的红色、绿色、蓝色、近红外分量，则根据数据的排列分布，可见光
‑
近红外数据在原始图像上的位置分别为：
48.r＝x*2 (y*2 1)*w 1
ꢀꢀꢀ
(1)
49.g＝x*2 y*w*2 1
ꢀꢀꢀ
(2)
50.b＝x*2 y*w*2
ꢀꢀꢀ
(3)
51.nir＝x*2 (y*2 1)*w
ꢀꢀꢀ
(4)
52.c)融合可见光和近红外信息的材质特征
53.图1所示为理想状态下的成像示意图，其中：图1(a)表示阳光照射下的两块区域c1和c2；图1(b)表示两块区域的材质相同并且区域c2处于阴影中，此时两块区域的亮度值不同，但是光谱曲线走势几乎相同；图1(c)图表示当两块区域的颜色不同但材质相同时，此时两个区域在非可见光范围内的光谱曲线几乎完全重合，但是在可见光范围内的却完全不同；图1(d)表示两个区域的颜色和材质都不同，此时它们的光谱曲线在可见光和非可见光范围内都不同。由此可知，近红外图像具有更强的鲁棒性，将近红外信息应用于材质提取任务，可以提升算法的鲁棒性。
54.此外，近红外信息与物体材质属性具有更强的关联性，相同材质的物体在近红外区域的稳定性更强，不同材质的物体在近红外区域也具有较大的区分性。利用近红外图像信息，可以弥补基于rgb图像的材质属性提取方法所存在的缺陷。因此，本发明在材质特征设计中引入了近红外信息。
55.与可见光相比，近红外光的波长更长，因此在传播过程中不易被散射，对于灰尘、雾霾颗粒等障碍物具有更强的穿透能力，在恶劣环境下的成像质量更高。将近红外信息应用于材质提取任务，可以弥补可见光信息的缺点，提高算法在恶劣场景下的处理效果。
56.不同材质的物体在不同波段上具有不同的反射特性，它们在不同波段之间形成了特定的关系，通过利用这种波段间关系，可以实现特定材质的识别，如ndvi(归一化植被指数)利用植被材质在近红外波段和红光波段之间的相对关系，实现了植被材质的识别。
57.在可见光
‑
近红外图像中，蓝、绿、红、近红外四个波段之间的差值可以体现不同类型材质在波段间的响应差异，它代表了数据信息在波段上的变化趋势，差值越小，表示材质在两波段上的响应越相近，这可以反映物体的材质特性，利用此信息能够实现不同材质类型的区分。同时，将波段之间以差值计算也可以减少外界成像环境中不同光照强弱的影响，起到数据归一化的作用。因此本发明将可见光
‑
近红外图像中相邻波段之间的差值作为特征设计中的一部分。
58.图2所示为图像在rgb和yuv空间中的显示差异，其中第一行图像为rgb空间，第二行为yuv空间。由于rgb图像中的每一个分量图像都是颜色和亮度信息分量的混合，不同颜色通道之间的区分性相差很小，造成图像的细节信息缺失，不利于材质属性提取任务。而通过将图像转换到yuv颜色空间中，并显示每一通道的数据，可以发现不同通道之间的区分性相差较大，能够看到不同的细节信息，因此需要对原始的rgb图像进行颜色空间变换以使原始图像信息更具有区分性，rgb颜色空间转为yuv颜色空间的计算方式：
59.y＝0.299r 0.587g 0.114b
ꢀꢀꢀ
(5)
60.u＝
‑
0.147r
‑
0.289g 0.436b
ꢀꢀꢀ
(6)
61.v＝0.615r
‑
0.515g
‑
0.100b
ꢀꢀꢀ
(7)
62.d)融合空间上下文信息的材质识别网络
63.与图像的全局属性不同，目标的材质属性是一种图像局部属性，它在图像的空间分布上具有聚集分布的特性，空间域中相邻的像素基本都属于同一种材质类型，因此可以从图像局部信息中提取出材质属性。此外，通过利用图像的局部信息，还可以扩充材质识别网络可利用的数据信息并排除图像噪声的干扰。
64.融合空间上下文信息的材质识别网络的工作原理如图3所示，中心红色像素点可能由于成像噪声等原因，使它的数据特性表现地与材质类别1十分相似，若仅利用单个像素信息，则模型可能将其误识别为材质类别1。但是通过利用空间上下文信息，由于中心像素周围的邻域像素都表现为材质类别2的数据特性，那么中心像素就更可能为材质类别2，从而正确识别其材质类别。因此，本发明利用空间域中邻域像素的这种局部同质特性，即在图像中局部相邻的像素基本都属于同一种材质类型，将目标像素点临近区域的数据作为辅助信息帮助模型进行材质识别。
65.本发明设计的材质识别网络基于全卷积网络。全卷积网络是指没有全连接层的卷积神经网络，相较于普通卷积网络，由于不包含全连接层，因此可以支持不同尺寸大小的输入，支持全图端到端的训练。此外，相较于传统的神经网络结构，全卷积网络由于没有全连接层进行全局图像特征的融合，因此可以更好地学习图像局部信息。在全卷积网络中，卷积操作之间是相互独立的，因此可以通过gpu设备实现并行计算加速，显著提高了算法的处理效率。
66.因此，基于全卷积网络的以上特性，同时为了提取图像的空间上下文信息，本发明设计了轻量级的全卷积网络用于材质属性提取，其模型结构如图4所示，其中全卷积网络由连续的卷积层
‑
批归一化层
‑
激活层结构组成，图中网络层结构上的数字(16、32、32、16、8)表示不同网络层次的通道数量，网络损失函数为mse loss学习率为0.0001，模型训练时批次大小为32，总共训练300个迭代次数。由于在对整张图像进行滑动卷积时，相邻图像块的高层特征之间会有交织，若网络层的边界填充(padding)不为0，那么在训练时会自动补入0，但是在测试时填充的是相邻图像块的高层特征，训练和测试时的数据分布不一致，导致算法预测效果极差，因此，需要设置网络层的padding为0，排除相邻图像块的干扰。
67.激活函数可以为神经网络引入非线性，本发明所设计的材质识别网络中使用的激活函数为relu。relu是神经网络中常用的激活函数，当激活函数中的输入y为负数或等于零时，输出直接置为零；当输入为正数时，输出值等于输入值，数学表达式如下所示：
[0068][0069]
根据本发明的一个实施例的材质属性提取方法的流程如图5、图6所示。在训练阶段，将原图像分为一个个图像块，每个图像块的大小是相同的，本发明使用的图像块尺寸大小为11
×
11，然后选择其中具有材质属性标签的图像块分别输入到材质识别网络，网络的输出为图像块中心像素的材质类别，通过模型进行学习；在预测阶段，输入为整张图像，此时将材质识别网络转换为滑动窗口，滑动的步长为一，对输入图像中的每个像素点进行滑动预测，即对整张图像上的每个像素点分别进行材质属性识别，最终得到整张图像的材质
属性识别结果，即实现整张图像中所有像素的材质属性提取。
[0070]
根据本发明的另一个方面，提供了一种材质属性提取装置，其主要包括以下几个步骤：
[0071]
(1)电脑端连接开发板后，进行相机模块的初始化工作，接着通过数据传输模块将控制指令发送至开发板，进行采集参数设置，数据采集模块启动相机后开始采集数据；
[0072]
(2)相机通过数据采集模块获取到可见光和近红外数据后，通过数据传输模块将原始图像数据通过socket网络发送至电脑主机；
[0073]
(3)电脑主机接收到数据后，首先通过gpu加速技术在材质特征提取模块将原始多光谱图像数据转换为本文设计的图像材质特征，再将整张图像的材质特征输入到材质识别模块中，通过调用材质识别网络进行图像的材质识别，算法执行完成后将识别结果进行渲染，然后将结果显示到前端界面；
[0074]
(4)为了便于数据分析，数据存储模块可以将原始的raw图像文件保存至本地；
[0075]
在数据采集模块中，当系统加载相机驱动后，设置采集的图像尺寸；当接收到开始采集数据的控制指令后，相机开始采集数据。数据采集功能基于linux内核的v4l2(video for linux2)视频驱动框架进行开发。首先对摄像头设备进行初始化，系统默认的摄像头设备的文件地址为/dev/video0，在进行视频采集前首先需要通过open()系统调用打开此设备，然后通过ioctl()系统调用对视频采集设备进行检查，若可用则对设备进行初始化，主要设置参数包括采集图像的长宽、图像格式、帧率、传输顺序等。
[0076]
在数据传输模块中，控制指令通过udp方式进行传输，可以加快指令传输的效率；图像数据通过tcp方式进行传输，可以保证数据的完整性。控制指令包括建立连接、断开连接、采集数据、图像增益控制和相机曝光时间控制。