一种基于光度立体的面料材质识别系统及方法与流程

1.本发明属于数据处理技术领域，涉及人工智能深度学习数据处理方法，特别涉及一种基于光度立体的面料材质识别系统及方法。


背景技术：

2.面料材质的识别与分类技术在生产和生活中具有广泛的应用场景，包括机器人设计及工业检测领域。该技术可以提供一种分析面料材质属性的手段，为面料材质的识别与分类提供帮助，提升决策效率。
3.因为面料图片会受到形状、反射特性、光照以及观察角度等多种因素的影响，从图片中识别面料材质是一件充满挑战性的任务。现有的对面料材质进行识别的方法需要使用多摄像头获取多角度图像，这使得设备较为复杂，使用过程繁琐，由不同摄像头采集的图像还涉及到对应问题，难以实现对多张面料的快速识别。同时，因为面料的材质不止表现在其颜色上，更多表现在其表面的凹凸形状上，面料表面的微观几何形状也包含了对面料识别与分类有用的信息，而目前的识别方法缺乏对这类信息的获取与使用。


技术实现要素：

4.针对现有技术的不足，本发明提出了一种基于光度立体的面料材质识别系统及方法，使用采集模块拍摄多张不同光源下的面料图像，使用识别模块对面料表面的微观几何形状信息进行分析，识别面料材质。
5.一种基于光度立体的面料材质识别系统，包括采集模块、图像处理模块、特征提取模块以及识别模块。
6.所述采集模块包括不透光的密封箱、摄像机和发光阵列。密封箱的底部开有拍摄口，摄像机和发光阵列固定在密封箱内部。摄像机的拍摄方向对准拍摄口。发光阵列用于提供不同方向的光线。将采集模块紧盖在待识别的面料表面，针对一种面料拍摄多张不同角度光线下的图片，并标注光线方向后，传输给图像处理模块。
7.作为优选，发光阵列固定在摄像机的摄像头与拍摄口之间，包括多个朝向不同的发光二极管。
8.作为优选，所述采集模块还包括固定在密封箱内部的微处理器，微处理用于控制发光阵列与摄像机，并将得到的图片与对应的光线方向无线传输到图像处理模块。
9.所述图像处理模块通过光度立体法，根据同一面料的多张图像与对应的光线方向信息，计算图像内每个像素点的反射率与法线方向，将法线方向汇总后，得到三维形状的反射率图和法线贴图。
10.所述特征提取模块将图像处理模块得到的反射率图和法线贴图输入卷积神经网络，提取能够反映面料表面三维微观结构的特征向量。识别模块对特征提取模块得到的特征向量进行识别，完成面料的材质分类。
11.作为优选，所述卷积神经网络为使用公开的预训练参数初始化后的vgg
‑
m模型，
vgg
‑
m模型的输入为反射率图和法线贴图，输出为特征向量。
12.作为优选，所述识别模块包括k个支持向量机，使用一对多的支持向量机方法实现面料的材质分类。其中k为待识别面料的材质种类。
13.一种基于光度立体的面料材质识别方法，该方法包括以下步骤：
14.步骤一、图像采集
15.采集大量的面料图像，将同一面料在同一角度、不同光线方向下的多张图像作为一个样本。根据面料的材质标注样本的标签作为训练集。
16.作为优选，对同一面料至少采集3张不同光线方向下的图像。
17.步骤二、图像处理
18.使用光度立体法，根据训练集中样本的光线方向信息，计算图像内每个像素点的反射率与法线方向，将法线方向汇总后，得到样本三维形状的反射率图和法线贴图。
19.步骤三、特征提取
20.将步骤二得到的反射率图和法线贴图输入到vgg
‑
m模型中，vgg
‑
m模型输出对应样本的特征向量。
21.步骤四、分类训练
22.针对k种不同标签的样本，使用k个支持向量机进行分类训练。定义1个支持向量机的正类为一种标签，其余标签均为该支持向量机的负类，且k个支持向量机的正类标签不重复。将步骤三得到的特征向量分别输入到k个支持向量机中，将其中分类值最大的支持向量机对应的类别作为样本的分类结果。
23.步骤五、面料识别
24.采集无标签、待识别的面料图像，根据步骤二进行处理后输入到vgg
‑
m模型中进行特征提取，再输入到步骤四训练好的k个支持向量机中，得到该面料对应的标签，完成识别。
25.本发明具有以下有益效果：
26.本方法中的采集模块，自带光源的密封箱，配合单目摄像头进行拍摄，可以简单快速地获取到待识别面料的多光源图像，为后续的处理模块进行面料材质的识别提供原始图像。相比现有的同类装置，该模块具有造价低、小巧轻便且易于使用的优点，通过简单地将装置抬起并移动，就可以实现装置在待识别面料间的切换；同时密封箱使用不透光的材料，在使用不受外部光源的影响，对使用环境要求也较低，避免了复杂的输入图片要求带来的复杂的装置结构。
附图说明
27.图1为实施例中采集模块的结构示意图；
28.图2为实施例中采集模块的拍摄口示意图；
29.图3为面料材质识别方法流程图。
具体实施方式
30.以下结合附图对本发明作进一步的解释说明；
31.一种基于光度立体的面料材质识别系统，包括采集模块、图像处理模块、特征提取模块以及识别模块。
32.如图1所示，所述采集模块包括密封箱、摄像机2、微处理器电路板3和发光阵列5。密封箱由顶端封闭且不透光的方块形外壳1和矩阵底座4组成。方块形外壳1固定在矩形底座4上。摄像机2、微处理3和发光阵列5固定在方块形外壳1内部。如图2所述，矩形底座4的中央设置有拍摄口。摄像机2的拍摄方向正对矩形底座4中央的拍摄窗口。发光阵列5位于摄像机2与拍摄窗口之间。发光阵列5包括四组朝向不同的发光二极管。通过微处理器电路板3控制发光二极管切换亮灭状态，可以为采集模块提供不同方向的光线。将面料平铺在桌面上，将矩形底座4平稳得放置在面料表面，微处理器电路板3控制摄像机3在不同发光二极管亮起时拍摄同一种面料的图片，标注光线方向后，再通过通用总线串行接口将图片传输到计算中，进行后续的图像处理与识别。
33.光度立体法是计算机视觉领域的一种方法，它使用来自同一视角下的三张或更多张光源不同的图片，来估算图像内每个像素点的反射率与法线方向。所述图像处理模块通过光度立体法，根据采集模块采集的图片与光线信息，计算面料的反射率与法线方向，将法线方向汇总后，得到三维形状的反射率图和法线贴图，反射率图和法线贴图可以反映出面料表面具有的微观集合形状。
34.所述特征提取模块将图像处理模块得到的反射率图和法线贴图输入卷积神经网络，对面料的三维微观结构进行分析。所述卷积神经网络为vgg
‑
m模型，包括5个卷积层与3个全连接层，模型内部的初始化参数使用公开的vgg
‑
m的预训练参数。模型输出可以表示三维微观结构的特征向量。
35.识别模块使用一对多的支持向量机方法实现面料的材质分类，包括k个支持向量机，其中k为待识别面料的材质种类。一对多的支持向量机方法在对k个类别进行分类时，会训练k个支持向量机，对于每个支持向量机，正例只有一个类别，其余的k
‑
1个类别均作为负类。k个支持向量机的正类与k个类别一一对应，在使用支持向量机进行预测时，将待预测样本分别输入k个支持向量机，并使用其中分类值最大的支持向量机对应的类别作为样本的分类结果。识别模块对特征提取模块得到的特征向量进行识别，完成面料的材质分类。
36.如图3所示，一种基于光度立体的面料材质识别方法包括以下步骤：
37.步骤一、图像采集
38.采集不同材质面料的图像，将同一面料在同一角度、不同光线方向下的4张图像作为一个样本。根据面料成分标签上的材质标注样本的标签，包括“棉布”、“尼龙”、“羊毛”、“丝绸”和“聚酯纤维”5种。使用不放回的随机抽样法，按3:1的比例将采集的图像分为训练集和测试集。
39.步骤二、图像处理
40.使用光度立体法，根据训练集中样本的光线方向信息，计图像内每个像素点的反射率与法线方向，将法线方向汇总后，得到样本三维形状的反射率图和法线贴图。
41.步骤三、特征提取
42.将步骤二得到的反射率图和法线贴图输入到vgg
‑
m模型中，vgg
‑
m模型输出对应样本的特征向量。
43.步骤四、分类训练
44.针对训练集中5种不同标签的样本，使用5个支持向量机进行分类训练。定义1个支持向量机的正类为一种标签，其余4种标签均为该支持向量机的负类，且5个支持向量机的
正类标签不重复。将步骤三得到的特征向量分别输入到5个支持向量机中，将其中分类值最大的支持向量机对应的类别作为样本的分类结果。
45.步骤五、面料识别
46.将测试集中的样本，根据步骤二进行处理后输入到vgg
‑
m模型中进行特征提取，再输入到步骤四训练好的k个支持向量机中，得到该面料对应的标签，测试支持向量机的分类性能。