一种基于复合特征的文物图像识别系统及方法

1.本发明涉及图像识别领域，是一种基于复合特征的文物图像识别系统及方法。


背景技术：

2.目前的文物识别系统，其主要通过简单的纹理特征、颜色特征或几个简单特征的组合进行文物识别，在其特征上涵盖不全，检测错误率较高，影响识别结果的准确性。


技术实现要素：

3.本发明针对文物特征提取不全，检测准确率低的问题，提供一种科学合理，指导性强，准确率高，效果佳的基于复合特征的文物图像识别系统及方法。
4.本发明采用的技术方案之一是：一种基于复合特征的文物图像识别系统，其特征是，它包括：图像及信息采集模块、数据库模块、图像预处理模块、图像特征提取模块、特征降维模块、特征分类模块和信息显示模块，所述图像及信息采集模块与数据库模块信号连接，所述数据库模块分别与图像预处理模块和信息显示模块信号连接，所述图像预处理模块与图像特征提取模块信号连接，所述图像特征提取模块与特征降维模块信号连接，所述特征降维模块与特征分类模块信号连接，所述特征分类模块与信息显示模块信号连接。
5.本发明采用的技术方案之二是：一种基于复合特征的文物图像识别方法，其特征是，它包括的步骤有：
6.1)采用图像及信息采集模块的图像采集设备分别对文物图像从不同角度和不同方向进行拍照，以获取文物图像；将获取的文物图像进行裁剪，使图像中保留诸多的文物特征；然后通过图像缩放和旋转操作，以保证图像识别过程中图像的大小相同和图像的旋转不变性；对大小变更和旋转后的图像进行标签制作，标注出每个文物的名称和来历；
7.2)采用数据库模块，经过步骤1)缩放和旋转的文物图像，结合图像标签信息、文物信息和文物历史故事通过数据库模块存储到数据库中；对存储数据库的每个文物单独建立文件夹进行分类，每个文件夹中又进一步分为标签图像文件夹、文物信息文件夹和文物历史故事文件夹，所述每个文件夹分别存储标注后的图像文件、文物历史信息、文物历史故事；
8.3)采用图像预处理模块通过直方图均衡化对图像进行对比度增强，以突出细节特征；通过加权均值滤波对图像进行平滑处理，以降低噪声的影响；
9.4)采用图像特征提取模块对文物特征提取，文物特征提取包括图像的几何特征、纹理特征、颜色特征、明度特征都能够反应出文物的出处、文物的价值及文物的历史信息，需要对文物图像进行多方面，全方位的特征分析，才能准确的给出具有可靠性参考意义的鉴别结果；
10.5)采用特征降维模块，设计并搭建欠完备自编码器对采用图像特征提取模块提取的组合特征进行维度降低，同时降低后的维度又能够还原出新的描述特征，并且保证还原的新特征与原始输入特征尽可能的相同，使输出特征与输入特征能够对图像具有同等的描
述能力；
11.6)采用特征分类模块，设计并搭建特征分类器，通过对分类器的训练生成一个从低维特征到对应类别的映射，得到最终的分类结果；
12.7)采用信息显示模块，将接收特征分类模块识别的文物标签，根据标签信息在数据库模块的数据库中进行搜索，找到对应的文物信息通过显示界面进行直观显示。
13.进一步，所述步骤1)中，
14.i.获取文物图像为rgb彩色图像，使用图像采集设备，即手机和/或相机对文物图像进行拍照，像素为phonepix像素，图像尺寸为phonew
×
phoneh，即图像宽度为phonew像素，高度为phoneh像素；相机像素为camerapix像素，图像尺寸为cameraw
×
camerah，即图像宽度为cameraw像素，高度为camerah像素；从正东、正西、正南、正北、东南、西南、东北、西北八个方位对文物进行图像拍摄，手机图像的尺寸为phonew
×
phoneh，相机图像的尺寸为cameraw
×
camerah；
15.ii.所述获取的文物图像进行裁剪，是将每个文物拍摄图像进行裁剪，使图像中保留更多的文物特征，对文物图像进行裁剪的过程为：确定一个裁剪比例pw:ph，即裁剪图像的宽和高比例；按照pw:ph的比例对文物图像进行裁剪，使图像中的文物全部置于pw:ph的覆盖范围中，并使剪裁后的图像中的文物尽量大，将裁剪前的图像抛弃，裁剪后的图像保存到指定的训练文件夹；
16.iii.对保存到指定的训练文件夹的图像进行缩放，对文物图像进行缩放的过程如下:
17.①
接收到w
×
h，宽高比例为pw:ph的图像；
18.②
确定缩放的尺寸为w
×
h；将图像的宽按照w/w的比例进行缩放，缩放后的图像宽由w变为w；将图像的高按照h/h的比例进行缩放，缩放后的图像宽由h变为h，生成了一幅w
×
h的彩色图像；
19.③
对文物图像以多个不同的角度进行旋转，将缩放后的文物图像按照0
°
、30
°
、60
°
、90
°
、120
°
、150
°
共六个角度进行旋转；由于旋转后的图像尺寸变化，将旋转后的图像进行缩小，使文物图像不超出w
×
h的区域，并将旋转后的图像保存到指定的训练文件夹；不同设备拍摄的图像，图像的命名方式不同，在机器学习中，不同的标签往往代表着不同的类别，同样，同一种文物的不同命名方式，在机器学习中会被认为是不同的文物，对所有的图像进行重命名操作，将同一种文物设置统一的标签，进行统一的命名。
20.进一步，所述步骤3)中，所述采用图像预处理模块，将从数据库中提取的一张rgb彩色图像，图像的尺寸为w
×
h，按照颜色通道进行拆分，即将rgb彩色图像按照r通道、g通道、b通道进行拆分，得到三张单一通道的灰度图像；对每个通道的灰度图像按照0～255的颜色范围统计灰度直方图，得到0～255之间每个像素在灰度图像中出现的次数，灰度取值范围用k表示，则某个灰度值对应的出现次数为nk；对每个像素计算该像素在图像中出现的频率，频率用p(k)表示，频率的计算方式为：p(k)＝nk/(w
×
h)，w
×
h表示图像中的像素数；将计算的频率按照像素值从小到大的顺序进行累加，实现对图像均衡化后的图像归一化操作，得到灰度频率的累积分布频率sk，计算方式为：k从0～255的所有归一化值都可带入公式求得；将计算后的归一化之sk转换成0～255的正常图像灰度范围，使得
图像均衡化后的图像与均衡化前的图像处于同一灰度级，转换方式为sk×
255；提取数据库中存储的所有rgb彩色文物图像，对每张文物图像进行对比度增强操作；将对比度增强后的图形输入到后续阶段进行图像平滑处理操作，图像平滑过程为：
21.a.根据图像中像素点距离越远关系越小的特点，设定一个不同权值的加权均值滤波器核，距离该点越远，则设定的权值越小，反之越大；根据文物的纹理特点设置了一个大小为3
×
3的加权均值滤波器核，其核的权值为[[1,2,1][2,4,2][1,2,1]]；
[0022]
b.使用加权均值滤波核对r、g、b三个通道上的灰度图像分别进行加权均值滤波处理，对灰度图像中的每个像素值与其对应的权值相乘，并用核覆盖的所有乘积的和取平均值来确定滤波后的新像素值；
[0023]
c.将滤波后的图像传递到图像特征提取模块进行特征提取与处理。
[0024]
进一步，所述步骤4)中，所述采用图像特征提取模块，将接收图像预处理模块平滑后的rgb图像，r、g、b三个通道的三幅灰度图像，从左上到右下的顺序，按照加权求和的方式计算像素值，计算后的像素值形成一幅灰度图像，即转换后的灰度图像gray，其转化方式为gray＝r
×
0.299 g
×
0.587 b
×
0.114；对文物图像设定一个灰度值范围(a,b)，该范围为图像中文物的所包含的大致灰度值范围；其中，a表示灰度图像中文物灰度值的最小值，b表示灰度图像中文物灰度值的最大值，将小于a的灰度值设置为0；将大于b的灰度值也设置为0；将a与b之间的像素值设置为1，则实现了灰度图像的二值化操作；采用3
×
3的操作核对二值化图像中像素值为1的边缘进行扩充，以将本身处于连接状态，但二值化处理时被分隔的区域进行闭合，使其形成更大的连通区域，对闭操作后的连通区域进行遍历，查找面积最大的连通区域，即是文物图像的外轮廓；将外轮廓中的某个点与外轮廓中的所有点计算傅立叶描述子，设该轮廓有m个点，则会生成m个傅立叶描述子，计算傅里叶描述子的伪代码如下：
[0025][0026]
得到的数组f[m]中的值即是所求的傅里叶描述子，而对于傅里叶描述子，少数的描述子即可描述边界轮廓的大致特征，而同一个文物不同的角度拍摄无法获取精确的几何特征，因此只需要保留少量的描述轮廓的特征即可，通常保留前18个特征；
[0027]
对灰度图像中每个点处的像素值与该点的8领域进行比较，如果邻域的值大于或等于该点像素值，则该位置标记为1；如果邻域的值小于该点像素值，则该位置标记为0，将8邻域依次比较，则得到了8个标记值；将该像素点的8邻域标记，从左上开始，按照顺时针方
向设置8个权值，分别为1、2、4、8、16、32、64、128；将每个位置的标记值与权值相乘，然后计算其累加和，即可求出该点处的lbp特征，将灰度图像中的所有像素点都进行lbp特征计算，最终得到一个w
×
h维的lbp特征向量；
[0028]
颜色特征在文物鉴赏中存在与纹理特征同样重要的位置，不同的文物其颜色特征也不同，同一种文物的不同区域的颜色也不尽相同，因此颜色特征也对文物的鉴别具有重要的意义，由于文物鉴赏通常不会根据文物的局部颜色进行判定，而是通过文物的整个周身的颜色进行推测其年代和出处，因此这里采用一种全局的颜色特征提取方法来提取文物图像的颜色特征，颜色特征提取过程如下：
[0029]
古代文物颜色种类较少，少量的rgb颜色组合即可满足图像颜色的涵盖要求，因此提取颜色特征前对文图图像中的颜色进行量化处理，分别将r、g、b三个通道的颜色都量化到8种颜色，8种颜色分别为16、48、80、112、144、176、208、240，即将颜色值为0～31的颜色设为16，颜色值为32～63的颜色设为48，颜色值为64～95的颜色设为80，颜色值为96～127的颜色设为112，颜色值为128～159的颜色设为144，颜色值为160～191的颜色设为176，颜色值为192～223的颜色设为208，颜色值为224～255的颜色设为240；
[0030]
对r、g、b颜色通道分别量化后的彩色图像进行彩色直方图统计，计算出每种颜色值在量化后的文物图像中出现的次数，共得到8
×8×
8维的特征向量；
[0031]
不同的环境中获取的图像，其图像中文物的明暗程度会有很大差异，如在灯光照射和阳光照射下，其光照强度不同；手机拍摄和相机拍摄，其光圈设置和光圈版本不同；俯视拍摄和仰视拍摄，其角度不同，都会使拍摄的文物图像中文物一部分较暗，一部分较亮，这严重影响了系统对文物的识别准确性，通过获取文物图像的明度特征能够很好地反应图像的明暗程度，使得文物图像的识别准确率更高，明度特征提取过程如下：
[0032]
rgb图像是由红、绿、蓝三个分量对图像中的点像素值设置，然后在通道之间进行叠加来表示图像，而hsv图像则更直观的显示图像中颜色的色调、饱和度和明度特征，要想采用hsv图像中的明度特征表示图像明度，需要将rgb图像转换成hsv图像，转化方式如下：
[0033]
max＝max(r,g,b)
[0034]
min＝min(r,g,b)
[0035]
v＝max
[0036]
s＝(max-min)/max
[0037][0038]
其中h为转换后的色调，s为转换后的饱和度，v为转换后的明度；
[0039]
将转换后的hsv图像中的明度特征v进行提取，v表示r、g、b通道中像素值最大的值，并以此作为明度信息，提取hsv特征中的明度特征多为文物图像的明度信息，其特征维度为w
×
h；
[0040]
将提取的18维的几何特征、提取的w
×
h维的纹理特征、提取的512维的颜色特征、提取的w
×
h维的明度特征按照提取顺序进行拼接组合，共得到一个维度为530 2
×w×
h的特征向量，使用该组合特征向量对文物图像中的文物进行表征和描述。
[0041]
进一步，所述步骤5)中，所述采用特征降维模块，设计并搭建欠完备自编码器对采用图像特征提取模块提取的组合特征进行维度降低的过程为：
[0042]
所述搭建欠完备自编码器是一个三层的欠完备自编码器，欠完备自编码器的输入层和输出层结点数相同，均为组合特征的维度数，中间层结点数设置为100，即将组合特征的维度降低成100维的特征向量；对数据库中所有的图像进行特征提取后，将提取的组合特征从搭建的欠完备自编码器的输入层输入，经过自编码器的编码和解码操作后，将产生的输出特征与输入特征进行比较，计算均方误差，然后根据均方误差的值对欠完备自编码器进行反向传播以修改结点的参数，经过多次反复的训练，当均方误差大小处在一个波动范围或者不变时，停止自编码器的训练，同时表示自编码器训练完成；把所有自编码器输入层输入的特征重新输入到训练好的欠完备自编码器中，将中间层的输出特征进行保存，该保存的特征即为组合特征降维后的特征，特征的维度为100，将降维后的特征输入到特征分类模块进行文物的类别确定。
[0043]
进一步，所述步骤6)中，所述采用特征分类模块，设计并搭建特征分类器的特征分类的过程为：根据输入特征设定分类器的输入层结点数，输入特征为100维的低维特征，则设置分类器的输入层结点数为100；此时得到了一个50维的分类结果，其中只有一个维度处显示的值为1，其余均为0，该值为1的类别既是分类器计算的类别，然后根据值1所对应的标签最终确定文物的信息，将分类后的结果信息输入到信息显示模块。
[0044]
本发明的一种基于复合特征的文物图像识别系统结构合理，能够满足文物图像识别方法对于系统的要求。
[0045]
本发明的一种基于复合特征的文物图像识别方法的有益效果体现在：
[0046]
1.一种基于复合特征的文物图像识别方法的应用，在非专业文物鉴定师对文物进行学习和收藏时，能够快速的对文物进行识别，解决了年轻人对文物知识的空白，降低了非专业人员收藏文物时导致的经济损失；
[0047]
2.一种基于复合特征的文物图像识别方法的应用，能够在专业鉴定师进行文物鉴定时起到辅助鉴别的作用，解决了鉴定师由于错看漏看文物细节导致的鉴定错误的问题，避免了文物收藏者被误导，同时避免鉴定师和文物收藏者的经济损失。
[0048]
3.科学合理，指导性强，准确率高，效果佳。
附图说明
[0049]
图1是一种基于复合特征的文物图像识别系统方框图；
[0050]
图2是一种基于复合特征的文物图像识别方法流程图。
具体实施方式
[0051]
以下结合附图和具体实施方式对本发明作进一步详细说明，此处所描述的具体实施方式仅用以解释本发明，并不用于限定本发明。
[0052]
参照图1，本发明的一种基于复合特征的文物图像识别系统，包括功能模块有：图像及信息采集模块、数据库模块、图像预处理模块、图像特征提取模块、特征降维模块、特征分类模块和信息显示模块。所述图像及信息采集模块与数据库模块信号连接，所述数据库模块分别与图像预处理模块和信息显示模块信号连接，所述图像预处理模块与图像特征提
取模块信号连接，所述图像特征提取模块与特征降维模块信号连接，所述特征降维模块与特征分类模块信号连接，所述特征分类模块与信息显示模块信号连接。
[0053]
参照图2，本发明的一种基于复合特征的文物图像识别方法，包括以下步骤：
[0054]
(1)参数初始化的过程：
[0055]
(1.1)通过采用图像及信息采集模块的图像采集设备分别对文物图像从不同角度和不同方向进行拍照，以获取文物图像。获取的文物图像为rgb彩色图像，图像获取过程如下：
[0056]
(1.1.1)使用手机和相机两种不同类型的图像采集设备对文物图像进行拍照，手机像素为phonepix像素，图像尺寸为phonew
×
phoneh，即图像宽度为phonew像素，高度为phoneh像素；相机像素为camerapix像素，图像尺寸为cameraw
×
camerah，即图像宽度为cameraw像素，高度为camerah像素；
[0057]
(1.1.2)使用两种设备从八个方位对文物进行图像拍摄，每个文物可获取8张phonew
×
phoneh尺寸的手机图像和8张cameraw
×
camerah尺寸的相机图像，共16张图像。其中，八个方位表示文物摆放位置的正东、正西、正南、正北、东南、西南、东北、西北；将每个文物拍摄的16张图像输出到图像标注模块，对图像进一步处理。
[0058]
(1.2)将采用图像及信息采集模块输出的文物图像进行裁剪，使图像中保留较多的文物特征；然后通过缩放和旋转操作，以保证图像识别过程中图像的大小相同和图像的旋转不变性；对大小变更和旋转后的图像进行标签制作，标注出每个文物的名称和来历，即该图像中的文物是什么文物、出自什么朝代以及它的用途等。图像标注模块详细处理过程如下：
[0059]
(1.2.1)由于拍摄的图像大小不一、形状各异，图像中文物的大小也就不同。对于尺寸相同的图像，则存在很多冗余的边缘背景信息，影响模型的训练，可能出现检测效率和检测准确度低的问题。因此，需要对文物图像进行裁剪，以减少图像处理过程中背景对文物分类的影响。对文物图像进行裁剪的过程如下：
[0060]
(1.2.1.1)确定一个裁剪比例pw:ph，即裁剪图像的宽高比例；
[0061]
(1.2.1.2)按照pw:ph的比例对文物图像进行裁剪，使图像中的文物全部置于pw:ph的覆盖范围中，并使剪裁后的图像中的文物尽可能的大。将裁剪前的图像抛弃，裁剪后的图像保存到指定的训练文件夹。
[0062]
(1.2.2)虽然裁剪的图像宽高比例相同，但其图像大小不同，为保证图像处理过程中图像大小的一致性，需要对图像进行缩放操作。通过对图像进行缩放，使较小的图像放大，使得同一种文物图像拍摄出不同尺度的文物图像中的文物变得有大有小，这可以进一步表示拍摄距离的远近。将这些图像共同进行模型训练，训练后的模型对文物的识别具有距离无关性，即在距离文物一米处和二米处都能够成功的识别出文物。对文物图像进行缩放的过程如下:
[0063]
(1.2.2.1)接收到w
×
h，宽高比例为pw:ph的图像；
[0064]
(1.2.2.2)确定缩放的尺寸为w
×
h；
[0065]
(1.2.2.3)将图像的宽按照w/w的比例进行缩放，缩放后的图像宽由w变为w；将图像的高按照h/h的比例进行缩放，缩放后的图像宽由h变为h，生成了一幅w
×
h的彩色图像。
[0066]
(1.2.3)为保证文物图像的旋转不变性，即以不同的角度对文物图像进行拍摄都
不影响文物图像的识别准确性，需要对文物图像以多个不同的角度进行旋转，对文物图像进行旋转的过程如下:
[0067]
(1.2.3.1)将缩放后的文物图像按照0
°
、30
°
、60
°
、90
°
、120
°
、150
°
共六个角度进行旋转。
[0068]
(1.2.3.2)由于旋转后的图像尺寸变化，将旋转后的图像进行缩小，使文物图像不超出w
×
h的区域，并将旋转后的图像保存到指定的训练文件夹。
[0069]
(1.2.4)不同设备拍摄的图像，图像的命名方式不同，在机器学习中，不同的标签往往代表着不同的类别。同样，同一种文物的不同命名方式，在机器学习中会被认为是不同的文物。这里对所有的图像进行重命名操作，将同一种文物设置统一的标签，进行统一的命名。如统一文物的多个标签：圆明园马首铜像、马首铜像、马首等，将被设定统一标签，并为图像命名为圆明园马首铜像。
[0070]
(1.3)采用数据库模块，把采用图像及信息采集模块经过缩放和旋转的rgb彩色图像，结合图像标签信息、文物信息和文物历史故事共同存储到数据库中。数据库对每个文物单独建立一个文件夹进行分类，每个文件夹中又进一步分为标签图像文件夹、文物信息文件夹和文物历史故事文件夹，这些文件夹分别存储标注后的图像文件、文物历史信息、文物历史故事。(1.4)文物鉴定专家对文物的鉴别过程中，尤其关注文物的细节特征，如文物的线条纹理特征。而在对文物进行图像获取过程中，由于环境的不稳定性，不可避免的导致拍摄的图像中某些细节不明显，或图像中存在大量的噪声，严重影响文物鉴别的准确性。采用图像预处理模块，通过直方图均衡化对图像进行对比度增强，以突出细节特征；通过加权均值滤波对图像进行平滑处理，以降低噪声的影响。
[0071]
(1.4.1)采用图像特征提取模块，图像获取过程中，由于文物上光照不均匀，导致文物图像中文物的明暗分布不均，比如光源在文物的左上方，则文物的左边较亮，右边则较暗，使得细节特征无法清晰的保存，影响文物鉴别准确性。为获取文物更详细的细节特征，采用图像对比度增强方法对图像纹理特征进行细化，使文物图像的纹理特征变化更加清晰。图像对比度增强过程如下：
[0072]
(1.4.1.1)从数据库中提取一张rgb彩色图像，图像的尺寸为w
×
h；
[0073]
(1.4.1.2)将图像按照颜色通道进行拆分，即将rgb彩色图像按照r通道、g通道、b通道进行拆分，得到三张单一通道的灰度图像；
[0074]
(1.4.1.3)对每个通道的灰度图像按照0～255的颜色范围统计灰度直方图，得到0～255之间每个像素在灰度图像中出现的次数。灰度取值范围用k表示，则某个灰度值对应的出现次数为nk；
[0075]
(1.4.1.4)对每个像素计算该像素在图像中出现的频率，频率用p(k)表示。频率的计算方式为：p(k)＝nk/(w
×
h)，w
×
h表示图像中的像素数。
[0076]
(1.4.1.5)将计算的频率按照像素值从小到大的顺序进行累加，实现对图像均衡化后的图像归一化操作，得到灰度频率的累积分布频率sk，计算方式为：k从0～255的所有归一化值都可带入公式求得。
[0077]
(1.4.1.6)将计算后的归一化之sk转换成0～255的正常图像灰度范围，使得图像均衡化后的图像与均衡化前的图像处于同一灰度级，转换方式为sk×
255；
[0078]
(1.4.1.7)提取数据库中存储的所有rgb彩色文物图像，对每张文物图像进行上述的对比度增强操作；对比度增强后的图形输入到后续阶段进行图像平滑处理操作。
[0079]
(1.4.2)图像获取设备获取文物图像时，图像中难免存在噪声点。同时，在对比度增强后，图像中原有可忽略的噪声点被放大，为避免噪声对鉴别准确性的影响，采用加权均值滤波技术对图像中的噪声进行平滑操作，以平滑掉尽量多的噪声点，为特征提取模块创造良好的特征图像。图像平滑过程如下：
[0080]
(1.4.2.1)根据图像中像素点距离越远关系越小的特点，设定一个不同权值的加权均值滤波器核，距离该点越远，则设定的权值越小，反之越大。根据文物的纹理特点设置了一个大小为3
×
3的加权均值滤波器核，其核的权值为[[1,2,1][2,4,2][1,2,1]]。
[0081]
(1.4.2.2)使用加权均值滤波核对r、g、b三个通道上的灰度图像分别进行加权均值滤波处理。对灰度图像中的每个像素值与其对应的权值相乘，并用核覆盖的所有乘积的和取平均值来确定滤波后的新像素值。
[0082]
(1.4.2.3)将滤波后的图像传递到图像特征提取模块进行特征提取与处理。
[0083]
(1.5)文物鉴别过程中，图像的几何特征、纹理特征、颜色特征、明度特征都能够反应出文物的出处、文物的价值及文物的历史信息，而单一的特征虽然能够提现上述信息，但由于文物的保存过程中出现残缺，使得纹理特征、颜色特征等部分特征无法起到完全的表征作用。甚至鉴别人员对某方面的知识欠缺，同样无法通过单一的特征实现文物的准确鉴别。因此，需要对文物图像进行多方面，全方位的特征分析，才能准确的给出具有可靠些参考意义的鉴别结果。特征提取过程如下：
[0084]
(1.5.1)对于不同时代不同类型的文物，其形状各异，如瓶子型、椭圆型、扁平型等；针对不同的文物图像，其外形特征能够起到划分类别的作用，在人力文物鉴别和机器辅助鉴别上都起到了至关重要的作用。傅立叶描述符可以提取并描述文物图像中文物的边缘特征，即几何特征。提取文物几何特征时需要对图像进行灰度化和二值化，然后采用形态学闭操作连接未闭合的区域，通过查找闭合区域的最大外轮廓来确定要描述的几何外形，对提取的这个轮廓进行傅立叶描述符特征的计算。采用傅立叶描述符提取几何特征的过程如下：
[0085]
(1.5.1.1)接收图像预处理模块平滑后的rgb图像，将r、g、b三个通道的三幅灰度图像，从左上到右下的顺序，按照加权求和的方式计算像素值。计算后的像素值形成一幅灰度图像，即转换后的灰度图像gray，其转化方式为gray＝r
×
0.299 g
×
0.587 b
×
0.114。
[0086]
(1.5.1.2)对文物图像设定一个灰度值范围(a,b)，该范围为图像中文物的所包含的大致灰度值范围。其中，a表示灰度图像中文物灰度值的最小值，b表示灰度图像中文物灰度值的最大值。将小于a的灰度值设置为0；将大于b的灰度值也设置为0；将a与b之间的像素值设置为1，则实现了灰度图像的二值化操作。
[0087]
(1.5.1.2)采用3
×
3的操作核对二值化图像中像素值为1的边缘进行扩充，以将本身处于连接状态，但二值化处理时被分隔的区域进行闭合，使其形成更大的连通区域。对闭操作后的连通区域进行遍历，查找面积最大的连通区域，即是文物图像的外轮廓。
[0088]
(1.5.1.3)将外轮廓中的某个点与外轮廓中的所有点计算傅立叶描述子，假设该轮廓有m个点，则会生成m个傅立叶描述子。计算傅里叶描述子的伪代码如下：
[0089][0090]
得到的数组f[m]中的值即是所求的傅里叶描述子。而对于傅里叶描述子，少数的描述子即可描述边界轮廓的大致特征，而同一个文物不同的角度拍摄无法获取精确的几何特征，因此只需要保留少量的描述轮廓的特征即可，通常保留前18个特征。
[0091]
(1.5.1.4)此时提取的特征会根据图像的平移、旋转等形态学变化而产生较大的差异。因此这里对其进行归一化处理，处理后的特征描述子具有平移旋转和尺度不变性，在更换拍摄角度、更换拍摄位置及更换拍摄距离的条件下，都对文物具有较好的描述能力。
[0092]
(1.5.2)纹理是文物本身具有的特征，不同时期不同类型的文物其纹理有很大的区别，同一时期的不同文物的纹理也各不相同。文物鉴定专家对文物的鉴定也多从文物的纹理下手，来确定其所属的时期，进一步判断其具有的历史价值。通过lbp算法，可以在提取纹理特征的同时具有光照不变性。lbp是通过对比当前像素点与周围像素点之间的差异而产生的特征，但其本身不具备旋转不变性，这里通过图像标注模块中的旋转操作，以同一文物的多个角度获取图像，然后进行lbp特征描述子的提取，可以解决lbp不具备的旋转不变性的问题。纹理特征提取过程如下：
[0093]
(1.5.2.1)按照(1.5.1.1)对rgb图像进行灰度化处理，得到文物的灰度图像。
[0094]
(1.5.2.2)对灰度图像中每个点处的像素值与该点的8领域进行比较，如果邻域的值大于或等于该点像素值，则该位置标记为1；如果邻域的值小于该点像素值，则该位置标记为0。将8邻域依次比较，则得到了8个标记值。
[0095]
(1.5.2.3)将该像素点的8邻域标记，从左上开始，按照顺时针方向设置8个权值，分别为1、2、4、8、16、32、64、128。将每个位置的标记值与权值相乘，然后计算其累加和，即可求出该点处的lbp特征。将灰度图像中的所有像素点都进行lbp特征计算，最终得到一个w
×
h维的lbp特征向量。
[0096]
(1.5.3)颜色特征在文物鉴赏中存在与纹理特征同样重要的位置，不同的文物其颜色特征也不同，同一种文物的不同区域的颜色也不尽相同。因此，颜色特征也对文物的鉴别具有重要的意义。由于文物鉴赏通常不会根据文物的局部颜色进行判定，而是通过文物的整个周身的颜色进行推测其年代和出处，因此这里采用一种全局的颜色特征提取方法来提取文物图像的颜色特征。颜色特征提取过程如下：
[0097]
(1.5.3.1)古代文物颜色种类较少，少量的rgb颜色组合即可满足图像颜色的涵盖
要求。因此提取颜色特征前对文图图像中的颜色进行量化处理，分别将r、g、b三个通道的颜色都量化到8种颜色。8种颜色分别为16、48、80、112、144、176、208、240，即将颜色值为0～31的颜色设为16，颜色值为32～63的颜色设为48，颜色值为64～95的颜色设为80，颜色值为96～127的颜色设为112，颜色值为128～159的颜色设为144，颜色值为160～191的颜色设为176，颜色值为192～223的颜色设为208，颜色值为224～255的颜色设为240。
[0098]
(1.5.3.2)对r、g、b颜色通道分别量化后的彩色图像进行彩色直方图统计，计算出每种颜色值在量化后的文物图像中出现的次数，共得到8
×8×
8维的特征向量。
[0099]
(1.5.4)不同的环境中获取的图像，其图像中文物的明暗程度会有很大差异，如在灯光照射和阳光照射下，其光照强度不同；手机拍摄和相机拍摄，其光圈设置和光圈版本不同；俯视拍摄和仰视拍摄，其角度不同。都会使拍摄的文物图像中文物一部分较暗，一部分较亮，这严重影响了系统对文物的识别准确性。通过获取文物图像的明度特征能够很好地反应图像的明暗程度，使得文物图像的识别准确率更高。明度特征提取过程如下：
[0100]
(1.5.4.1)rgb图像是由红、绿、蓝三个分量对图像中的点像素值设置，然后在通道之间进行叠加来表示图像，而hsv图像则更直观的显示图像中颜色的色调、饱和度和明度特征。要想采用hsv图像中的明度特征表示图像明度，需要将rgb图像转换成hsv图像，转化方式如下：
[0101]
max＝max(r,g,b)
[0102]
min＝min(r,g,b)
[0103]
v＝max
[0104]
s＝(max-min)/max
[0105][0106]
其中h为转换后的色调，s为转换后的饱和度，v为转换后的明度。
[0107]
(1.5.4.2)将转换后的hsv图像中的明度特征v进行提取，v表示r、g、b通道中像素值最大的值，并以此作为明度信息。提取hsv特征中的明度特征多为文物图像的明度信息，其特征维度为w
×
h。
[0108]
(1.5.5)将(1.5.1)提取的18维的几何特征、(1.5.2)提取的w
×
h维的纹理特征、(1.5.3)提取的512维的颜色特征、(1.5.4)提取的w
×
h维的明度特征按照提取顺序进行拼接组合，共得到一个维度为530 2
×w×
h的特征向量。使用该组合特征向量对文物图像中的文物进行表征和描述。
[0109]
(1.6)由于(1.5.5)生成的组合特征维度较大，如果直接使用该组合特征进行分类，会使得分类过程产生很大的计算量，消耗大量的内存，导致文物图像分类速度慢，分类效率低。同时，组合特征中的所有特征并不都能够对文物图像起到描述作用，其中具有大量的冗余特征不利于文物图像的分类。因此，采用特征降维模块，设计并搭建了一个欠完备的自编码器，来对提取的组合特征进行维度降低。欠完备编码器能够在将组合特征的维度降低，同时降低后的维度又能够还原出新的描述特征，并且保证还原的新特征与原始输入特征尽可能的相同，使输出特征与输入特征能够对图像具有同等的描述能力。组合特征维度
降低的过程如下：
[0110]
(1.6.1)由于我们搭建自编码器的目的是实现组合特征的降维操作，因此设计一个三层的欠完备自编码器。欠完备自编码器的输入层和输出层结点数相同，均为组合特征的维度数。中间层结点数设置为100，即将组合特征的维度降低成100维的特征向量。
[0111]
(1.6.2)对数据库中所有的图像进行特征提取后，将提取的组合特征从搭建的欠完备自编码器的输入层输入，经过自编码器的编码和解码操作后，将产生的输出特征与输入特征进行比较，计算均方误差，然后根据均方误差的值对欠完备自编码器进行反向传播以修改结点的参数。经过多次反复的训练，当均方误差大小处在一个波动范围或者不变时，停止自编码器的训练，同时表示自编码器训练完成。
[0112]
(1.6.3)采用特征分类模块，把所有自编码器输入层输入的特征重新输入到训练好的欠完备自编码器中，将中间层的输出特征进行保存，该保存的特征即为组合特征降维后的特征，特征的维度为100。将降维后的特征输入到特征分类模块进行文物的类别确定。
[0113]
(1.7)通过欠完备自编码器提取出的特征，能够很好的描述特征对应的文物图像。但要实现对文物图像中文物特征的分类还需要设计并搭建一个特征分类器，通过对分类器的训练生成一个从低维特征到对应类别的映射。特征分类的过程如下：
[0114]
(1.7.1)根据输入特征设定分类器的输入层结点数。输入特征为100维的低维特征，则设置分类器的输入层结点数为100；根据文物种类的多少设置分类器的输出结点数，例如共有50种文物，则设置输出结点数为50；然后通过模型训练，得到一个从输入特征到输出类别的一个映射模型。
[0115]
(1.7.2)将100维的输入特征输入到分类器中，此时得到了一个50维的分类结果，其中只有一个维度处显示的值为1，其余均为0，该值为1的类别既是分类器计算的类别。然后将计算的类别与真实的类别进行均方误差和反向传播操作，以得到一个准确率高的文物图像特征分类器。经过整个训练过程，得到了一个高准确率的特征分类映射模型。
[0116]
(2)文物图像识别过程：
[0117]
(2.1)通过图像采集设备(手机或相机)分别对文物图像进行拍照，以获取rgb彩色文物图像。
[0118]
(2.2)文物鉴定专家对文物的鉴别过程中，尤其关注文物的细节特征，如文物的线条纹理特征。而在对文物进行图像获取过程中，由于环境的不稳定性，不可避免的导致拍摄的图像中某些细节不明显，或图像中存在大量的噪声，严重影响文物鉴别的准确性。这里通过直方图均衡化对图像进行对比度增强，以突出细节特征；通过加权均值滤波对图像进行平滑处理，以降低噪声的影响，然后将图像缩放到w
×
h的尺寸以供特征提取模块进行特征提取。
[0119]
(2.2.1)图像获取过程中，由于文物上光照不均匀，导致文物图像中文物的明暗分布不均，比如光源在文物的左上方，则文物的左边较亮，右边则较暗，使得细节特征无法清晰的保存，影响文物鉴别准确性。为获取文物更详细的细节特征，采用图像对比度增强方法对图像纹理特征进行细化，使文物图像的纹理特征变化更加清晰。图像对比度增强过程如下：
[0120]
(2.2.1.1)接收拍摄的rgb彩色文物图像，图像的尺寸为w
×
h；
[0121]
(2.2.1.2)将图像按照颜色通道进行拆分，即将rgb彩色图像按照r通道、g通道、b
通道进行拆分，得到三张单一通道的灰度图像；
[0122]
(2.2.1.3)对每个通道的灰度图像按照0～255的颜色范围统计灰度直方图，得到0～255之间每个像素在灰度图像中出现的次数。灰度取值范围用k表示，则某个灰度值对应的出现次数为nk；
[0123]
(2.2.1.4)对每个像素计算该像素在图像中出现的频率，频率用p(k)表示。频率的计算方式为：p(k)＝nk/(w
×
h)，w
×
h表示图像中的像素数。
[0124]
(2.2.1.5)将计算的频率按照像素值从小到大的顺序进行累加，实现对图像均衡化后的图像归一化操作，得到灰度频率的累积分布频率sk，计算方式为：k从0～255的所有归一化值都可带入公式求得。
[0125]
(2.2.1.6)将计算后的归一化之sk转换成0～255的正常图像灰度范围，使得图像均衡化后的图像与均衡化前的图像处于同一灰度级，转换方式为sk×
255；
[0126]
(2.2.1.7)提取数据库中存储的所有rgb彩色文物图像，对每张文物图像进行上述的对比度增强操作；对比度增强后的图形输入到后续阶段进行图像平滑处理操作。
[0127]
(2.2.2)图像获取设备获取文物图像时，图像中难免存在噪声点。同时，在对比度增强后，图像中原有可忽略的噪声点被放大，为避免噪声对鉴别准确性的影响，采用加权均值滤波技术对图像中的噪声进行平滑操作，以平滑掉尽量多的噪声点，为特征提取模块创造良好的特征图像。图像平滑过程如下：
[0128]
(2.2.2.1)根据图像中像素点距离越远关系越小的特点，设定一个不同权值的加权均值滤波器核，距离该点越远，则设定的权值越小，反之越大。根据文物的纹理特点设置了一个大小为3
×
3的加权均值滤波器核，其核的权值为[[1,2,1][2,4,2][1,2,1]]。
[0129]
(2.2.2.2)使用加权均值滤波核对r、g、b三个通道上的灰度图像分别进行加权均值滤波处理。对灰度图像中的每个像素值与其对应的权值相乘，并用核覆盖的所有乘积的和取平均值来确定滤波后的新像素值。
[0130]
(2.2.3)为保证图像处理过程中图像大小的一致性，需要对图像进行缩放操作。对文物图像进行缩放的过程如下:
[0131]
(2.2.3.1)接收到w
×
h的图像；
[0132]
(2.2.3.2)确定缩放的尺寸为w
×
h；
[0133]
(2.2.3.3)将图像的宽按照w/w的比例进行缩放，缩放后的图像宽由w变为w；将图像的高按照h/h的比例进行缩放，缩放后的图像宽由h变为h，生成了一幅w
×
h的彩色图像。
[0134]
(2.3)文物鉴别过程中，图像的几何特征、纹理特征、颜色特征、明度特征都能够反应出文物的出处、文物的价值及文物的历史信息，而单一的特征虽然能够提现上述信息，但由于文物的保存过程中出现残缺，使得纹理特征、颜色特征等部分特征无法起到完全的表征作用。甚至鉴别人员对某方面的知识欠缺，同样无法通过单一的特征实现文物的准确鉴别。因此，需要对文物图像进行多方面，全方位的特征分析，才能准确的给出具有可靠些参考意义的鉴别结果。特征提取过程如下：
[0135]
(2.3.1)对于不同时代不同类型的文物，其形状各异，如瓶子型、椭圆型、扁平型等；针对不同的文物图像，其外形特征能够起到划分类别的作用，在人力文物鉴别和机器辅助鉴别上都起到了至关重要的作用。傅立叶描述符可以提取并描述文物图像中文物的边缘
特征，即几何特征。提取文物几何特征时需要对图像进行灰度化和二值化，然后采用形态学闭操作连接未闭合的区域，通过查找闭合区域的最大外轮廓来确定要描述的几何外形，对提取的这个轮廓进行傅立叶描述符特征的计算。采用傅立叶描述符提取几何特征的过程如下：
[0136]
(2.3.1.1)接收图像预处理模块平滑后的rgb图像，将r、g、b三个通道的三幅灰度图像，从左上到右下的顺序，按照加权求和的方式计算像素值。计算后的像素值形成一幅灰度图像，即转换后的灰度图像gray，其转化方式为gray＝r
×
0.299 g
×
0.587 b
×
0.114。
[0137]
(2.3.1.2)对文物图像设定一个灰度值范围(a,b)，该范围为图像中文物的所包含的大致灰度值范围。其中，a表示灰度图像中文物灰度值的最小值，b表示灰度图像中文物灰度值的最大值。将小于a的灰度值设置为0；将大于b的灰度值也设置为0；将a与b之间的像素值设置为1，则实现了灰度图像的二值化操作。
[0138]
(2.3.1.2)采用3
×
3的操作核对二值化图像中像素值为1的边缘进行扩充，以将本身处于连接状态，但二值化处理时被分隔的区域进行闭合，使其形成更大的连通区域。对闭操作后的连通区域进行遍历，查找面积最大的连通区域，即是文物图像的外轮廓。
[0139]
(2.3.1.3)将外轮廓中的某个点与外轮廓中的所有点计算傅立叶描述子，假设该轮廓有m个点，则会生成m个傅立叶描述子。计算傅里叶描述子的伪代码如下：
[0140][0141]
得到的数组f[m]中的值即是所求的傅里叶描述子。而对于傅里叶描述子，少数的描述子即可描述边界轮廓的大致特征，而同一个文物不同的角度拍摄无法获取精确的几何特征，因此只需要保留少量的描述轮廓的特征即可，通常保留前18个特征。
[0142]
(2.3.1.4)此时提取的特征会根据图像的平移、旋转等形态学变化而产生较大的差异。因此这里对其进行归一化处理，处理后的特征描述子具有平移旋转和尺度不变性，在更换拍摄角度、更换拍摄位置及更换拍摄距离的条件下，都对文物具有较好的描述能力。
[0143]
(2.3.2)纹理是文物本身具有的特征，不同时期不同类型的文物其纹理有很大的区别，同一时期的不同文物的纹理也各不相同。文物鉴定专家对文物的鉴定也多从文物的纹理下手，来确定其所属的时期，进一步判断其具有的历史价值。通过lbp算法，可以在提取纹理特征的同时具有光照不变性。lbp是通过对比当前像素点与周围像素点之间的差异而产生的特征，但其本身不具备旋转不变性，这里通过图像标注模块中的旋转操作，以同一文
物的多个角度获取图像，然后进行lbp特征描述子的提取，可以解决lbp不具备的旋转不变性的问题。纹理特征提取过程如下：
[0144]
(2.3.2.1)按照(2.3.1.1)对rgb图像进行灰度化处理，得到文物的灰度图像。
[0145]
(2.3.2.2)对灰度图像中每个点处的像素值与该点的8领域进行比较，如果邻域的值大于或等于该点像素值，则该位置标记为1；如果邻域的值小于该点像素值，则该位置标记为0。将8邻域依次比较，则得到了8个标记值。
[0146]
(2.3.2.3)将该像素点的8邻域标记，从左上开始，按照顺时针方向设置8个权值，分别为1、2、4、8、16、32、64、128。将每个位置的标记值与权值相乘，然后计算其累加和，即可求出该点处的lbp特征。将灰度图像中的所有像素点都进行lbp特征计算，最终得到一个w
×
h维的lbp特征向量。
[0147]
(2.3.3)颜色特征在文物鉴赏中存在与纹理特征同样重要的位置，不同的文物其颜色特征也不同，同一种文物的不同区域的颜色也不尽相同。因此，颜色特征也对文物的鉴别具有重要的意义。由于文物鉴赏通常不会根据文物的局部颜色进行判定，而是通过文物的整个周身的颜色进行推测其年代和出处，因此这里采用一种全局的颜色特征提取方法来提取文物图像的颜色特征。颜色特征提取过程如下：
[0148]
(2.3.3.1)古代文物颜色种类较少，少量的rgb颜色组合即可满足图像颜色的涵盖要求。因此提取颜色特征前对文图图像中的颜色进行量化处理，分别将r、g、b三个通道的颜色都量化到8种颜色。8种颜色分别为16、48、80、112、144、176、208、240，即将颜色值为0～31的颜色设为16，颜色值为32～63的颜色设为48，颜色值为64～95的颜色设为80，颜色值为96～127的颜色设为112，颜色值为128～159的颜色设为144，颜色值为160～191的颜色设为176，颜色值为192～223的颜色设为208，颜色值为224～255的颜色设为240。
[0149]
(2.3.3.2)对r、g、b颜色通道分别量化后的彩色图像进行彩色直方图统计，计算出每种颜色值在量化后的文物图像中出现的次数，共得到8
×8×
8维的特征向量。
[0150]
(2.3.4)不同的环境中获取的图像，其图像中文物的明暗程度会有很大差异，如在灯光照射和阳光照射下，其光照强度不同；手机拍摄和相机拍摄，其光圈设置和光圈版本不同；俯视拍摄和仰视拍摄，其角度不同。都会使拍摄的文物图像中文物一部分较暗，一部分较亮，这严重影响了系统对文物的识别准确性。通过获取文物图像的明度特征能够很好地反应图像的明暗程度，使得文物图像的识别准确率更高。明度特征提取过程如下：
[0151]
(2.3.4.1)rgb图像是由红、绿、蓝三个分量对图像中的点像素值设置，然后在通道之间进行叠加来表示图像，而hsv图像则更直观的显示图像中颜色的色调、饱和度和明度特征。要想采用hsv图像中的明度特征表示图像明度，需要将rgb图像转换成hsv图像，转化方式如下：
[0152]
max＝max(r,g,b)
[0153]
min＝min(r,g,b)
[0154]
v＝max
[0155]
s＝(max-min)/max
[0156][0157]
其中h为转换后的色调，s为转换后的饱和度，v为转换后的明度。
[0158]
(2.3.4.2)将转换后的hsv图像中的明度特征v进行提取，v表示r、g、b通道中像素值最大的值，并以此作为明度信息。提取hsv特征中的明度特征多为文物图像的明度信息，其特征维度为w
×
h。
[0159]
(2.3.5)将(2.3.1)提取的18维的几何特征、(2.3.2)提取的w
×
h维的纹理特征、(2.3.3)提取的512维的颜色特征、(2.3.4)提取的w
×
h维的明度特征按照提取顺序进行拼接组合，共得到一个维度为530 2
×w×
h的特征向量。使用该组合特征向量对文物图像中的文物进行表征和描述。
[0160]
(2.4)由于(2.3.5)生成的组合特征维度较大，如果直接使用该组合特征进行分类，会使得分类过程产生很大的计算量，消耗大量的内存，导致文物图像分类速度慢，分类效率低。同时，组合特征中的所有特征并不都能够对文物图像起到描述作用，其中具有大量的冗余特征不利于文物图像的分类。因此，需要将组合特征输入到自编码器，来对特征进行维度降低。欠完备编码器能够在将组合特征的维度降低，同时降低后的维度又能够还原出新的描述特征，并且保证还原的新特征与原始输入特征尽可能的相同，使输出特征与输入特征能够对图像具有同等的描述能力。组合特征维度降低的过程如下：
[0161]
(2.4.1)将组合特征输入到训练好的欠完备自编码器中，将中间层的输出特征进行保存，该保存的特征即为组合特征降维后的特征，特征的维度为100。
[0162]
(2.4.2)将降维后的特征输入到特征分类模块进行文物的类别确定。
[0163]
(2.5)通过欠完备自编码器提取出的特征，能够很好的描述特征对应的文物图像。但要实现对文物图像中文物特征的分类还需要通过一个特征分类器，通过分类器生成的低维特征到对应类别的映射，得到最终的分类结果。特征分类的过程如下：
[0164]
(2.5.1)将100维的低维特征输入到分类器中，此时得到了一个50维的分类结果，其中只有一个维度处显示的值为1，其余均为0，该值为1的类别既是分类器计算的类别。然后根据值1所对应的标签最终确定文物的信息。
[0165]
(2.5.2)将分类后的结果信息输入到信息显示模块。
[0166]
(2.6)接收特征分类模块识别的文物标签，根据标签信息在数据库中进行搜索，找到对应的文物信息，如文物历史故事等，采用信息显示模块显示到显示界面。
[0167]
以上所述仅是本发明的优选方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应该视为本发明的保护范围。