一种基于复合特征的文物图像识别系统及方法

技术特征：
1.一种基于复合特征的文物图像识别系统，其特征是，它包括：图像及信息采集模块、数据库模块、图像预处理模块、图像特征提取模块、特征降维模块、特征分类模块和信息显示模块，所述图像及信息采集模块与数据库模块信号连接，所述数据库模块分别与图像预处理模块和信息显示模块信号连接，所述图像预处理模块与图像特征提取模块信号连接，所述图像特征提取模块与特征降维模块信号连接，所述特征降维模块与特征分类模块信号连接，所述特征分类模块与信息显示模块信号连接。2.一种基于复合特征的文物图像识别方法，其特征是，它包括的步骤有：1)采用图像及信息采集模块的图像采集设备分别对文物图像从不同角度和不同方向进行拍照，以获取文物图像；将获取的文物图像进行裁剪，使图像中保留诸多的文物特征；然后通过图像缩放和旋转操作，以保证图像识别过程中图像的大小相同和图像的旋转不变性；对大小变更和旋转后的图像进行标签制作，标注出每个文物的名称和来历；2)采用数据库模块，经过步骤1)缩放和旋转的文物图像，结合图像标签信息、文物信息和文物历史故事通过数据库模块存储到数据库中；对存储数据库的每个文物单独建立文件夹进行分类，每个文件夹中又进一步分为标签图像文件夹、文物信息文件夹和文物历史故事文件夹，所述每个文件夹分别存储标注后的图像文件、文物历史信息、文物历史故事；3)采用图像预处理模块通过直方图均衡化对图像进行对比度增强，以突出细节特征；通过加权均值滤波对图像进行平滑处理，以降低噪声的影响；4)采用图像特征提取模块对文物特征提取，文物特征提取包括图像的几何特征、纹理特征、颜色特征、明度特征都能够反应出文物的出处、文物的价值及文物的历史信息，需要对文物图像进行多方面，全方位的特征分析，才能准确的给出具有可靠性参考意义的鉴别结果；5)采用特征降维模块，设计并搭建欠完备自编码器对采用图像特征提取模块提取的组合特征进行维度降低，同时降低后的维度又能够还原出新的描述特征，并且保证还原的新特征与原始输入特征尽可能的相同，使输出特征与输入特征能够对图像具有同等的描述能力；6)采用特征分类模块，设计并搭建特征分类器，通过对分类器的训练生成一个从低维特征到对应类别的映射，得到最终的分类结果；7)采用信息显示模块，将接收特征分类模块识别的文物标签，根据标签信息在数据库模块的数据库中进行搜索，找到对应的文物信息通过显示界面进行直观显示。3.根据权利要求2所述的一种基于复合特征的文物图像识别方法，其特征是，所述步骤1)中，i.获取文物图像为rgb彩色图像，使用图像采集设备，即手机和/或相机对文物图像进行拍照，像素为phonepix像素，图像尺寸为phonew
×
phoneh，即图像宽度为phonew像素，高度为phoneh像素；相机像素为camerapix像素，图像尺寸为cameraw
×
camerah，即图像宽度为cameraw像素，高度为camerah像素；从正东、正西、正南、正北、东南、西南、东北、西北八个方位对文物进行图像拍摄，手机图像的尺寸为phonew
×
phoneh，相机图像的尺寸为cameraw
×
camerah；ii.所述获取的文物图像进行裁剪，是将每个文物拍摄图像进行裁剪，使图像中保留更多的文物特征，对文物图像进行裁剪的过程为：确定一个裁剪比例pw:ph，即裁剪图像的宽
和高比例；按照pw:ph的比例对文物图像进行裁剪，使图像中的文物全部置于pw:ph的覆盖范围中，并使剪裁后的图像中的文物尽量大，将裁剪前的图像抛弃，裁剪后的图像保存到指定的训练文件夹；iii.对保存到指定的训练文件夹的图像进行缩放，对文物图像进行缩放的过程如下:
①
接收到w
×
h，宽高比例为pw:ph的图像；
②
确定缩放的尺寸为w
×
h；将图像的宽按照w/w的比例进行缩放，缩放后的图像宽由w变为w；将图像的高按照h/h的比例进行缩放，缩放后的图像宽由h变为h，生成了一幅w
×
h的彩色图像；
③
对文物图像以多个不同的角度进行旋转，将缩放后的文物图像按照0
°
、30
°
、60
°
、90
°
、120
°
、150
°
共六个角度进行旋转；由于旋转后的图像尺寸变化，将旋转后的图像进行缩小，使文物图像不超出w
×
h的区域，并将旋转后的图像保存到指定的训练文件夹；不同设备拍摄的图像，图像的命名方式不同，在机器学习中，不同的标签往往代表着不同的类别，同样，同一种文物的不同命名方式，在机器学习中会被认为是不同的文物，对所有的图像进行重命名操作，将同一种文物设置统一的标签，进行统一的命名。4.根据权利要求2所述的一种基于复合特征的文物图像识别方法，其特征是，所述步骤3)中，所述采用图像预处理模块，将从数据库中提取的一张rgb彩色图像，图像的尺寸为w
×
h，按照颜色通道进行拆分，即将rgb彩色图像按照r通道、g通道、b通道进行拆分，得到三张单一通道的灰度图像；对每个通道的灰度图像按照0～255的颜色范围统计灰度直方图，得到0～255之间每个像素在灰度图像中出现的次数，灰度取值范围用k表示，则某个灰度值对应的出现次数为n
k
；对每个像素计算该像素在图像中出现的频率，频率用p(k)表示，频率的计算方式为：p(k)＝n
k
/(w
×
h)，w
×
h表示图像中的像素数；将计算的频率按照像素值从小到大的顺序进行累加，实现对图像均衡化后的图像归一化操作，得到灰度频率的累积分布频率s
k
，计算方式为：k从0～255的所有归一化值都可带入公式求得；将计算后的归一化之s
k
转换成0～255的正常图像灰度范围，使得图像均衡化后的图像与均衡化前的图像处于同一灰度级，转换方式为s
k
×
255；提取数据库中存储的所有rgb彩色文物图像，对每张文物图像进行对比度增强操作；将对比度增强后的图形输入到后续阶段进行图像平滑处理操作，图像平滑过程为：a.根据图像中像素点距离越远关系越小的特点，设定一个不同权值的加权均值滤波器核，距离该点越远，则设定的权值越小，反之越大；根据文物的纹理特点设置了一个大小为3
×
3的加权均值滤波器核，其核的权值为[[1,2,1][2,4,2][1,2,1]]；b.使用加权均值滤波核对r、g、b三个通道上的灰度图像分别进行加权均值滤波处理，对灰度图像中的每个像素值与其对应的权值相乘，并用核覆盖的所有乘积的和取平均值来确定滤波后的新像素值；c.将滤波后的图像传递到图像特征提取模块进行特征提取与处理。5.根据权利要求2所述的一种基于复合特征的文物图像识别方法，其特征是，所述步骤4)中，所述采用图像特征提取模块，将接收图像预处理模块平滑后的rgb图像，r、g、b三个通道的三幅灰度图像，从左上到右下的顺序，按照加权求和的方式计算像素值，计算后的像素值形成一幅灰度图像，即转换后的灰度图像gray，其转化方式为gray＝r
×
0.299 g
×
0.587
b
×
0.114；对文物图像设定一个灰度值范围(a,b)，该范围为图像中文物的所包含的大致灰度值范围；其中，a表示灰度图像中文物灰度值的最小值，b表示灰度图像中文物灰度值的最大值，将小于a的灰度值设置为0；将大于b的灰度值也设置为0；将a与b之间的像素值设置为1，则实现了灰度图像的二值化操作；采用3
×
3的操作核对二值化图像中像素值为1的边缘进行扩充，以将本身处于连接状态，但二值化处理时被分隔的区域进行闭合，使其形成更大的连通区域，对闭操作后的连通区域进行遍历，查找面积最大的连通区域，即是文物图像的外轮廓；将外轮廓中的某个点与外轮廓中的所有点计算傅立叶描述子，设该轮廓有m个点，则会生成m个傅立叶描述子，计算傅里叶描述子的伪代码如下：点，则会生成m个傅立叶描述子，计算傅里叶描述子的伪代码如下：得到的数组f[m]中的值即是所求的傅里叶描述子，而对于傅里叶描述子，少数的描述子即可描述边界轮廓的大致特征，而同一个文物不同的角度拍摄无法获取精确的几何特征，因此只需要保留少量的描述轮廓的特征即可，通常保留前18个特征；对灰度图像中每个点处的像素值与该点的8领域进行比较，如果邻域的值大于或等于该点像素值，则该位置标记为1；如果邻域的值小于该点像素值，则该位置标记为0，将8邻域依次比较，则得到了8个标记值；将该像素点的8邻域标记，从左上开始，按照顺时针方向设置8个权值，分别为1、2、4、8、16、32、64、128；将每个位置的标记值与权值相乘，然后计算其累加和，即可求出该点处的lbp特征，将灰度图像中的所有像素点都进行lbp特征计算，最终得到一个w
×
h维的lbp特征向量；颜色特征在文物鉴赏中存在与纹理特征同样重要的位置，不同的文物其颜色特征也不同，同一种文物的不同区域的颜色也不尽相同，因此颜色特征也对文物的鉴别具有重要的意义，由于文物鉴赏通常不会根据文物的局部颜色进行判定，而是通过文物的整个周身的颜色进行推测其年代和出处，因此这里采用一种全局的颜色特征提取方法来提取文物图像的颜色特征，颜色特征提取过程如下：古代文物颜色种类较少，少量的rgb颜色组合即可满足图像颜色的涵盖要求，因此提取颜色特征前对文图图像中的颜色进行量化处理，分别将r、g、b三个通道的颜色都量化到8种颜色，8种颜色分别为16、48、80、112、144、176、208、240，即将颜色值为0～31的颜色设为16，颜色值为32～63的颜色设为48，颜色值为64～95的颜色设为80，颜色值为96～127的颜色设为112，颜色值为128～159的颜色设为144，颜色值为160～191的颜色设为176，颜色值为192
～223的颜色设为208，颜色值为224～255的颜色设为240；对r、g、b颜色通道分别量化后的彩色图像进行彩色直方图统计，计算出每种颜色值在量化后的文物图像中出现的次数，共得到8
×8×
8维的特征向量；不同的环境中获取的图像，其图像中文物的明暗程度会有很大差异，如在灯光照射和阳光照射下，其光照强度不同；手机拍摄和相机拍摄，其光圈设置和光圈版本不同；俯视拍摄和仰视拍摄，其角度不同，都会使拍摄的文物图像中文物一部分较暗，一部分较亮，这严重影响了系统对文物的识别准确性，通过获取文物图像的明度特征能够很好地反应图像的明暗程度，使得文物图像的识别准确率更高，明度特征提取过程如下：rgb图像是由红、绿、蓝三个分量对图像中的点像素值设置，然后在通道之间进行叠加来表示图像，而hsv图像则更直观的显示图像中颜色的色调、饱和度和明度特征，要想采用hsv图像中的明度特征表示图像明度，需要将rgb图像转换成hsv图像，转化方式如下：max＝max(r,g,b)min＝min(r,g,b)v＝maxs＝(max-min)/max其中h为转换后的色调，s为转换后的饱和度，v为转换后的明度；将转换后的hsv图像中的明度特征v进行提取，v表示r、g、b通道中像素值最大的值，并以此作为明度信息，提取hsv特征中的明度特征多为文物图像的明度信息，其特征维度为w
×
h；将提取的18维的几何特征、提取的w
×
h维的纹理特征、提取的512维的颜色特征、提取的w
×
h维的明度特征按照提取顺序进行拼接组合，共得到一个维度为530 2
×
w
×
h的特征向量，使用该组合特征向量对文物图像中的文物进行表征和描述。6.根据权利要求2所述的一种基于复合特征的文物图像识别方法，其特征是，所述步骤5)中，所述采用特征降维模块，设计并搭建欠完备自编码器对采用图像特征提取模块提取的组合特征进行维度降低的过程为：所述搭建欠完备自编码器是一个三层的欠完备自编码器，欠完备自编码器的输入层和输出层结点数相同，均为组合特征的维度数，中间层结点数设置为100，即将组合特征的维度降低成100维的特征向量；对数据库中所有的图像进行特征提取后，将提取的组合特征从搭建的欠完备自编码器的输入层输入，经过自编码器的编码和解码操作后，将产生的输出特征与输入特征进行比较，计算均方误差，然后根据均方误差的值对欠完备自编码器进行反向传播以修改结点的参数，经过多次反复的训练，当均方误差大小处在一个波动范围或者不变时，停止自编码器的训练，同时表示自编码器训练完成；把所有自编码器输入层输入的特征重新输入到训练好的欠完备自编码器中，将中间层的输出特征进行保存，该保存的特征即为组合特征降维后的特征，特征的维度为100，将降维后的特征输入到特征分类模块进行文物的类别确定。
7.根据权利要求2所述的一种基于复合特征的文物图像识别方法，其特征是，所述步骤6)中，所述采用特征分类模块，设计并搭建特征分类器的特征分类的过程为：根据输入特征设定分类器的输入层结点数，输入特征为100维的低维特征，则设置分类器的输入层结点数为100；此时得到了一个50维的分类结果，其中只有一个维度处显示的值为1，其余均为0，该值为1的类别既是分类器计算的类别，然后根据值1所对应的标签最终确定文物的信息，将分类后的结果信息输入到信息显示模块。

技术总结
本发明是一种基于复合特征的文物图像识别系统及方法，其特点是，所述系统包括：图像及信息采集模块、数据库模块、图像预处理模块、图像特征提取模块、特征降维模块、特征分类模块和信息显示模块。所述方法包括，获取文物的图像，对获取的图像进行裁剪、缩放和标签制作；存储文物图像、文物图像标签以及图像中文物的历史等信息；对图像进行对比度增强和图像平滑等预处理操作；降低已提取的图像特征的维度；对降维后特征进行分类；将分类结果和数据库中该分类对应的文物信息进行展示，实现了文物图像的自动化识别和分类，其科学合理，指导性强，准确率高，效果佳，能为非专业人士提供文物识别和文物简介的功能。和文物简介的功能。和文物简介的功能。


技术研发人员：李斌 孙福强
受保护的技术使用者：东北电力大学
技术研发日：2022.10.20
技术公布日：2023/1/31