基于人工智能的古代及近现代艺术品鉴定方法和系统与流程

1.本发明属于古代及近现代艺术品鉴定领域，特别涉及一种运用人工智能对古代及近现代艺术品进行鉴定的方法和系统。


背景技术：

2.随着古代及近现代艺术品交易的发展，对于被交易艺术品的真伪判别一直是该领域探讨的核心问题。为了保证鉴定结论的准确性，越来越多的人工智能技术研究成果被应用到该领域。
3.cn107341461a公开智能识别与分析技术鉴别艺术品真伪的方法及其系统，将艺术品进行分类，分为过世艺术品和在世艺术品；艺术品进行数据库建立，存储艺术品全部信息，并对艺术家的图片系统进行智能分析与存储；录入艺术品的信息、系统进行自学习演进，对需要鉴别的艺术品；针对需要鉴别的艺术品进行目标源匹配，如果存在，则进行真伪对比；如果不存在则根据自学习来推演出来的艺术品应该的风格进行对比，得出真伪鉴别的最终结果；本解决了目前艺术品鉴别领域无法系统化，标准化的现状；通过智能识别与分析技术，以及基于艺术品图像信息建立起来的数据库为基础发展起来的自学习演进系统。
4.cn109191145a公开了一种用于对艺术品进行年代判别的数据库建立方法及艺术品年代判别方法，用于对艺术品进行年代判别的数据库建立方法它包括如下步骤：(1)选取同年代、同类型、同款式的至少两个艺术品标本；(2)提取总视场图像；(3)建立数据库；艺术品年代判别方法它包括如下步骤：i.使用上述所建立的数据库；ii.提取待确定艺术品上的图像；iii.将提取的待确定艺术品上的图像与数据库中保存的图像使用图像识别技术进行分析；iv.判断。
5.cn111339974a公开了一种现代陶瓷与古陶瓷的鉴别方法，通过构建古陶瓷对应的正样本和仿古瓷对应的负样本，将rgb图像转换至hsv颜色空间，得到hsv图像，获取hsv图像的特征描述子，将特征描述子输入支持向量机中进行训练，获得支持向量机的训练参数，将rgb图像输入深度卷积神经网络架构进行训练得到卷积神经网络的网络参数，根据支持向量机的训练参数和卷积神经网络的网络参数确定深度学习模型，将正样本的灰度图和负样本的灰度图分别输入深度学习模型进行训练，得到鉴别模型，获取待鉴别瓷器的待鉴别图片，将待鉴别图片输入所述鉴别模型，依据鉴别模型的输出结果确定待鉴别瓷器为现代陶瓷或者古陶瓷，以提高相应陶瓷鉴别的效率。
6.可以看出，鉴定古近现代艺术品的技术手段经历了从数据库到模型训练的发展。然而为了提高鉴定的准确性，并降低鉴定方法的复杂度，需要更简单更精确的模型训练方法。


技术实现要素：

7.本发明的目的在于提供一种运用人工智能对古代及近现代艺术品进行鉴定的方法和系统。
8.本发明的一个方面提供一种古代及近现代艺术品鉴定方法，包括：输入真迹图像信息；和输入拟被鉴定的艺术品的图像信息；将所述拟被鉴定的艺术品图像信息和所述真迹图像信息通过检测器检测出分布中样本和分布外样本；将所述分布中样本进行分类；将分类后的所述分布中样本和与拟被鉴定的艺术品相近似的类图像信息进行细粒度分类；输出分类后的分布中样本或细粒度分类后的样本，获得所述拟被鉴定的艺术品的图像信息与所述真迹图像信息相比的置信度作为鉴定结论。
9.本发明的另一个方面的鉴定方法，其中将所述拟被鉴定的艺术品图像信息和所述真迹图像信息通过检测器检测出分布中样本和分布外样本的步骤还包括：利用预训练模型(pre-trained model)输出的最大归一化指数概率进行统计分析；统计发现ood样本和id样本归一化指数概率的分布情况；将二者的分布差距加大；选取合适的阈值来判断一个样本属于分布外样本还是分布中样本。
10.本发明的再一个方面的鉴定方法，其中将所述拟被鉴定的艺术品图像信息和所述真迹图像信息通过检测器检测出分布中样本和分布外样本的步骤还包括：利用模型学习一个对输入样本的不确定性属性；判断测试数据，如果模型输入为分布中样本，则不确定性低，相反，如果模型输入为分布外样本，则不确定性高。
11.本发明的再一个方面的鉴定方法，其中将所述拟被鉴定的艺术品图像信息和所述真迹图像信息通过检测器检测出分布中样本和分布外样本的步骤还包括：利用变分自动编码器(variational autoencoder)的重构误差(reconstruction error)或者其他度量方式来判断一个样本是否属于分布中或分布外样本；所述编码器的隐含空间(latent space)能够学习出分布中数据的明显特征(silent vector)，而对于分布外样本则不行，因此分布外样本会产生较高的重构误差。
12.本发明的再一个方面的鉴定方法，其中将所述拟被鉴定的艺术品图像信息和所述真迹图像信息通过检测器检测出分布中样本和分布外样本的步骤还包括：使用分类器对提取的特征进行分类来判断是否为分布外样本；有的修改网络结构为一个n 1类分类器，n为原本分类任务的类别数，第n 1类则是分布外类；有的直接取提取特征来进行分类，不需要修改网络的结构。
13.本发明的再一个方面的鉴定方法，其中将分类后的所述分布中样本和与拟被鉴定的艺术品相近似的类图像信息进行细粒度分类的步骤，还包括：寻找拟被测类图像数据的特征区域；将所述特征区域输入卷积神经网络；经过所述卷积神经网络的所述特征区域的一部分信息进入全连接层和归一化指数逻辑回归层进行分类；经过所述卷积神经网络的所述特征区域的另一部分信息经过注意力建议子网络(apn)，得到候选区域；重复上述分类步骤和apn步骤，使得通过apn选取的特征区域为最具有判别性的区域；引入损失函数，获得更高地识别所述类图像信息的准确性。
14.本发明的再一个方面的鉴定方法，其中将分类后的所述分布中样本和与拟被鉴定的艺术品相近似的类图像信息进行细粒度分类的步骤，还包括：将被鉴定的类图像信息(311)中选取的局部图像(312)和(313)输入两个卷积神经网络(314，a)和(315，b)；卷积神经网络流(a)和(b)的输出在图像的每个位置使用外积相乘(318)并合并以获得双线性向量(316)；通过分类层(317)获得预测结果。
15.本发明的再一个方面的鉴定方法，其中所述分类层(317)为逻辑回归或者支持向
量机分类器。
16.本发明的再一个方面的鉴定方法，其中将分类后的所述分布中样本和与拟被鉴定的艺术品相近似的类图像信息进行细粒度分类的步骤，还包括：将被鉴定的类图像信息在不同尺度特征图上生成多个候选框，每个候选框的坐标与预先设计好的锚相对应；给每个候选区域的“信息量”打分，信息量大的区域分数高；对所述特征图依次实施特征提取步骤，全连接层(fc)以及归一化指数步骤；判断输入区域属于目标标签的概率；将各个局部区域和全图提取出来的未归一化的概率合并到一起生成一个长向量，输出对应200个类别的未归一化的概率。
17.本发明还提供一种古代及近现代艺术品鉴定系统，包括：输入模块，输入真迹图像信息；和输入拟被鉴定的艺术品的图像信息；检测模块，将所述拟被鉴定的艺术品图像信息和所述真迹图像信息通过检测器检测出分布中样本和分布外样本；样本分类模块，将所述分布中样本进行分类；细粒度分类模块，将分类后的所述分布中样本和与拟被鉴定的艺术品相近似的类图像信息进行细粒度分类；输出模块，输出分类后的分布中样本或细粒度分类后的样本，获得所述拟被鉴定的艺术品的图像信息与所述真迹图像信息相比的置信度作为鉴定结论。
18.采用上述的运用人工智能对古代及近现代艺术品进行鉴定的方法和系统，因为采取了对数据进行多层分类的方法，鉴定的精确度得到了提高，并且降低了模型训练过程中的运算量。
附图说明
19.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实例，对于本领域普通技术人员来讲，在不付出创新性劳动的前提下，还可以根据这些附图获得其他的附图。
20.图1为本发明的古代及近现代艺术品鉴定方法的流程图。
21.图2(a)-(d)为本发明的古代及近现代艺术品鉴定方法步骤中检测分布中(in distribution)和分布外(out of distribution，ood)样本步骤的流程图。
22.图2(a)为基于归一化指数的实施方式的流程图。
23.图2(b)为不确定性的实施方式的流程图。
24.图2(c)为概率生成模型的实施方式的流程图。
25.图2(d)为分类模型的实施方式的流程图。
26.图3(a)为本发明的古代及近现代艺术品鉴定方法步骤中细粒度分类步骤采用注意力卷积神经网络实施方式的流程图。
27.图3(b)为本发明的鉴定方法中细粒度分类步骤一个实施方式循环注意力卷积神经网络(“ra-cnn”)的框架示意图。
28.图3(c)为本发明的鉴定方法中细粒度分类步骤另一个实施方式的双线性向量网络结构示意图。
29.图3(d)为本发明的古代及近现代艺术品鉴定方法步骤中细粒度分类步骤采用双线性向量网络实施方式的流程图。
30.图3(e)为本发明的古代及近现代艺术品鉴定方法步骤中细粒度分类步骤采用导
model)、分类模型(classifier)方法来检测分布中和分布外样本方法。
42.其中，在利用基于归一化指数方法的实施方式中，在步骤201，利用预训练模型(pre-trained model)输出的最大归一化指数概率进行统计分析，在步骤202，统计发现ood样本和id样本归一化指数概率的分布情况，在步骤203，将二者的分布差距加大，在步骤204，选取合适的阈值来判断一个样本属于分布外样本还是分布中样本。这类方法简单且有效，不用修改分类模型的结构，也不需要训练一个分布外样本分类器。
43.在利用不确定性方法的实施方式中，由于模型的概率输出并不能直接表示模型的置信度(confidence)。在步骤211，利用模型学习一个对输入样本的不确定性属性。在步骤212，判断测试数据，如果模型输入为分布中样本，则不确定性低，相反，如果模型输入为分布外样本，则不确定性高。这类方法需要修改模型的网络结构来学习不确定性属性。
44.在利用概率生成模型方法的实施方式中，在步骤221，利用变分自动编码器(variational autoencoder)的重构误差(reconstruction error)或者其他度量方式来判断一个样本是否属于分布中或分布外样本；在步骤222，所述编码器的隐含空间(1atent space)能够学习出分布中数据的明显特征(silent vector)，而对于分布外样本则不行，因此分布外样本会产生较高的重构误差。这种方法只关注分布外检测性能，不关注分布中数据本来的任务。
45.在利用分类模型方法的实施方式中，在步骤231，使用分类器对提取的特征进行分类来判断是否为分布外样本；在步骤232，有的修改网络结构为一个n 1类分类器，n为原本分类任务的类别数，第n 1类则是分布外类；在步骤233，有的直接取提取特征来进行分类，不需要修改网络的结构。
46.图3(a)为本发明的古代及近现代艺术品鉴定方法步骤中细粒度分类步骤采用注意力卷积神经网络实施方式的流程图。在步骤321，寻找拟被测类图像数据的特征区域，在步骤322，将所述特征区域输入卷积神经网络；在步骤323，经过所述卷积神经网络的所述特征区域的一部分信息进入全连接层和归一化指数逻辑回归层进行分类；在步骤324，经过所述卷积神经网络的所述特征区域的另一部分信息经过注意力建议子网络(apn)，得到候选区域；在步骤325，重复所述步骤323和所述步骤324，使得通过apn选取的特征区域为最具有判别性的区域；在步骤326，引入损失函数，获得更高地识别所述类图像信息的准确性。
[0047]“细粒度”分类步骤是在普通的分类之下，更加精细的划分，就需要显式地找到图片中最具有“判别性(discriminative)”的特征。对古代及近现代艺术品来说，需要找到细节上的特征，例如花瓣的上翘程度，花纹的细微差别等。
[0048]
图3(b)为本发明的鉴定方法中细粒度分类步骤一个实施方式循环注意力卷积神经网络(“ra-cnn”)的框架示意图。其中符号代表在被鉴定的类图像信息的特征区域上剪切一部分并将其放大。每一行301，302，303分别代表一个普通的cnn网络。如图3(b)所示，输入从粗糙的全尺寸图像到更精细的区域注意力(从上到下)。其中第一行301的图片(a1)为最粗糙的，第三行的图片(a3)更精细。图像信息a1进入b1(几个卷积层)之后分成两路，一路走到c1接进入全连接层(fully connected layers，fc)和softmax逻辑回归层进行简单的分类，另外一路进入d1即注意力建议子网络(“attention proposal network”，apn)，得到一个候选区域。在原图上利用d1提出的候选区域，在原图上剪切(crop)出一个更有判别性的小区域，插值之后得到a2，同样的道理得到a3。
[0049]
特征区域经过两次apn之后不断放大和细化，为了使得apn选取的特征区域是图像中最具有判别性的区域，引入损失函数(ranking loss)：即强迫区域a1、a2、a3的分类信心程度(confidence score)越来越高(即图片最后一列的对应p
t
概率越来越大)，也就是说识别类图像信息的准确性越来越高。这样一来，结合普通的分类损失，使网络不断细化判别注意力区域(discriminative attention region)。
[0050]
图3(c)为本发明的鉴定方法中细粒度分类步骤另一个实施方式的双线性向量网络结构示意图。
[0051]
将被鉴定的类图像信息311中选取的局部图像312和313输入两个卷积神经网络314(a)和315(b)。卷积神经网络流a和b的输出在图像的每个位置使用外积相乘318并合并以获得双线性向量316，再通过分类层317获得预测结果。双线性模型m由一个四元组组成：m＝(fa，fb；p；c)。其中，fa，fb代表特征提取函数，即图3(c)中的卷积网络a和卷积网络b，p是一个池化函数(pooling function)，c则是分类函数。
[0052]
特征提取函数f(
·
)(即卷积神经网络流cnn stream)由卷积层，池化层和激活函数组成。这一部分网络结构可以看作函数映射：
[0053]
f：l
×i→
rk
×dꢀꢀ
(1)
[0054]
将输入的鉴定的类图像信息与位置区域映射为一个维的特征，其中k为卷积网络输出特征图的通道数，d为每个通道中的二维特征图展开成的一维特征向量的大小。而两个特征提取函数输出的卷积特征，通过双线性操作进行汇聚，得到双线性特征316：bilinear(l；t；fa，fb)＝fa(l；t)
t
fb(l；t)
t
。而池化函数p的作用则是将所有位置的双线性特征汇聚成一个特征。所采用的池化函数是将所有位置的双线性特征累加起来，得到图像的全局特征表示φ
′
(i)：
[0055]
φ`(i)＝∑
l∈l bilinear(l；t，fa；fb)＝∑
l∈l fa(l；i)
t fb(l；i)
ꢀꢀ
(2)
[0056]
在两个特征函数fa，fb提取的特征维度分别是k
×
m与k
×
n的情况下，池化函数p的输出为m
×
n的矩阵，在对其进行分类之前先把特征矩阵拉伸成一列mn大小的特征向量。最后，利用分类函数对提取的特征进行分类，所述分类层317采用逻辑回归或者支持向量机(support vector machine，svm)分类器实现。
[0057]
cnn网络能实现对细粒度图像进行高层语义特征获取，通过迭代训练网络模型中的卷积参数，过滤图像中不相关的背景信息。另一方面，卷积神经网络流a和卷积神经网络流b在图像识别任务中扮演着互补的角色，即网络a能够对图像中的物体进行定位，网络b则是完成对网络a定位到的物体位置进行特征提取。通过这种方式，两个网络能够配合完成对输入细粒度图像的类检测和目标特征去的过程，较好地完成细粒度图像识别任务。
[0058]
图3(d)为本发明的古代及近现代艺术品鉴定方法步骤中细粒度分类步骤采用双线性向量网络实施方式的流程图。在步骤331，将被鉴定的类图像信息311中选取的局部图像312和313输入两个卷积神经网络314(a)和315(b)；在步骤332，卷积神经网络流a和b的输出在图像的每个位置使用外积相乘318并合并以获得双线性向量316，在步骤333，通过分类层317获得预测结果。
[0059]
图3(e)为本发明的古代及近现代艺术品鉴定方法步骤中细粒度分类步骤采用导航-教学-审查网络(nts-net)分类的实施方式的流程图。在步骤341，将被鉴定的类图像信息在不同尺度特征图(feature maps)上生成多个候选框，每个候选框的坐标与预先设计好
的锚(anchors)相对应；在步骤342，给每个候选区域的“信息量”打分，信息量大的区域分数高；在步骤343，对所述特征图依次实施特征提取步骤(feature extractor)，全连接层(fc)以及归一化指数(softmax)步骤；在步骤344，判断输入区域属于目标标签(target label)的概率；在步骤345，将各个局部区域和全图提取出来的未归一化的概率(logits)合并(concat)到一起生成一个长向量，输出对应200个类别的未归一化的概率(logits)。
[0060]
本发明的鉴定方法中细粒度分类步骤还可采用，将网络主体分成导航(navigator)，教学(teacher)，审查(scrutinizer)三个组件的导航-教学-审查网络(nts-net)分类方法，其中导航步骤，在不同尺度特征图(feature maps)上生成多个候选框，每个候选框的坐标与预先设计好的锚(anchors)相对应。导航(navigator)给每一个候选区域的“信息量”打分，信息量大的区域分数高。教学步骤是常用的特征提取步骤(feature extractor)，全连接层(fc)以及归一化指数(softmax)步骤，判断输入区域属于目标标签(target label)的概率；审查步骤就是一个全连接层，输入是把各个局部区域和全图提取出来的未归一化的概率(logits)合并(concat)到一起生成一个长向量，输出对应200个类别的未归一化的概率(logits)。
[0061]
采用这种nts方法的具体步骤为：1)尺寸(448，448，3)的原图进入网络，进过resnet-50提取特征以后，变成一个(14，14，2048)的特征图，一个经过全局池化层之后2048维的特征向量和一个经过全局池化层以及全连接层之后的200维的未归一化的概率。2)预设的生成候选区域的网络(rpn)在(14，14)(7，7)(4，4)这三种尺度上根据不同的尺寸(size)，纵横比(aspect ration)生成对应的锚(anchors)一共1614个。3)用步骤1中的特征图，到导航中打分，用非极大值抑制(non-maximum suppression，nms)根据打分结果只保留n个信息量最多的局部候选框。4)把那n个局部区域双线性插值到(224，224)，输入教学(teacher)网络，得到这些局部区域的特征向量和未归一化的概率(logits)。5)把步骤1和4中的全图特征向量feature vector和局部特征向量合并(concat)在一起，之后接fc层，得到联合分类logits用于最终决策。
[0062]
图4为本发明的古代及近现代艺术品鉴定系统的结构图。例如古代及近现代艺术品鉴定系统的服务器401。该古代及近现代艺术品鉴定系统的服务器包括处理器410，此处的处理器可以为通用或专用芯片(asic/easic)或fpga或npu等，和以存储器420形式的计算机程序产品或者计算机可读介质。存储器420可以是诸如闪存、eeprom(电可擦除可编程只读存储器)、eprom、硬盘或者rom之类的电子存储器。存储器420具有用于执行上述方法中的任何方法步骤的程序代码的存储空间430。例如，用于程序代码的存储空间430可以包括分别用于实现上面的方法中的各种步骤的各个程序代码431。这些程序代码可以被读出或者写入到所述处理器410中。这些计算机程序产品包括诸如硬盘，紧致盘(cd)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为如参考图5所述的便携式或者固定存储单元。图5为本发明的古代及近现代艺术品鉴定系统的便携式或者固定存储单元的计算机产品图。该存储单元可以具有与图4的服务器中的存储器420类似布置的存储段、存储空间等。程序代码可以例如以适当形式进行压缩。通常，存储单元包括计算机可读代码431’，即可以由例如诸如410之类的处理器读取的代码，这些代码当由服务器运行时，导致该服务器执行上面所描述的方法中的各个步骤。这些代码当由服务器运行时，导致该服务器执行上面所描述的方法中的各个步骤。
[0063]
图6(1)为本发明的古代及近现代艺术品鉴定方法的一个实施方式中涉及的真迹图像信息示例。图6(2)为用来训练模型的真迹图像信息示例。图6(3)为拟被鉴定的艺术品的图像信息示例。图6(4)为分类示例。其中，图6(1)展示了一个艺术品真迹的某一图像信息示例，以图6(2)中给出的艺术品真迹从360度获得的多张图像信息为标准，将图6(3)中的拟被鉴定的艺术品图像信息，即包含不同特征区域的类图像信息，进行艺术品模型识别，获得0至1的置信度，评估待识别艺术品与真迹之间的相似度，越接近1，越相似，当结果为1时，二者一致。图6(4)给出了基于不同拟被鉴定的艺术品图像信息，得出的不同置信度数值的分类示例，图6(4)给出示例均为接近二者一致的数值1。
[0064]
本文中所称的“一个实施例”、“实施例”或者“一个或者多个实施例”意味着，结合实施例描述的特定特征、结构或者特性包括在本发明的至少一个实施例中。此外，请注意，这里“在一个实施例中”的词语例子不一定全指同一个实施例。
[0065]
以上所述仅用于说明本发明的技术方案，任何本领域普通技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围应视权利要求范围为准。本发明已结合例子在上面进行了阐述。然而，在本发明公开范围以内的上述实施例以外的其它实施例也同样可行。本发明的不同的特点和步骤可以以不同于所描述的其它方法进行组合。本发明的范围仅受限于所附的权利要求书。更一般地，本领域普通技术人员可以轻易地理解此处描述的所有的参数，尺寸，材料和配置是为示范目的而实际的参数，尺寸，材料和/或配置将取决于特定应用或本发明教导所用于的应用。