一种基于多源信息融合的细粒度图像分类方法与流程

技术特征：
1.一种基于多源信息融合的细粒度图像分类方法，含有以下步骤：步骤一：选取细粒度图像里的公开数据集caltech ucsd bird 200
‑
2011进行下载；步骤二：基于上述数据集构建类
‑
属性特征关联的知识图谱；步骤三：训练基于计算机视觉算法的细粒度图像分类神经网络，并保存最优模型：选择resnet50网络，使用batch normalization代替dropout，并利用步骤一数据集对网络进行训练和测试，调整学习率，直至测试精度达到一个稳定的最高值；步骤四：分析步骤三分类模型给出的预测概率结果p(c|x)，选取合适的阈值，以便将计算机识别有误的情况最大化筛选出来：预测概率在阈值内的需借助多源信息另作辅助预测，而阈值以外的则以计算机视觉算法预测结果为准；步骤五：对于需做进一步判断的细粒度图像，依据步骤三模型给出的可能类概率信息，在步骤二构建好的知识图谱上进行相关特征信息查询，选取最具信息性的特征节点属性作为问题向人类用户进行询问：对特征节点的检索，这里采用计算相关特征节点的信息增益方式进行，最终选择信息增益值最大的特征属性作为问题的形式提出，计算公式如下：ig(a
i
)＝h(c|x)
‑
h(c|x,a
i
)这里，a
i
表示从知识图谱检索到的相关特征属性节点，x表示输入的细粒度图像，c表示细粒度图像所属类别，p(c|x,a
i
)则表示在已知图像和某一局部特征a
i
情况下该细粒度图像所属类别的概率，h(c|x,a
i
)即为p(c|x,a
i
)的熵，也就是在已知a
i
这一特征属性条件下，能够让x属于某c类的信息量多少；步骤六：人类用户介入系统所提出的问题，根据自己的视觉感知信息给予回答：一般设定系统提出的都是关于特征属性的二进制问题，人类通过观察图像给予“是”或“否”的回答。这里基于人类视觉的信息传输用u来表示，且u＝{maxig(a
i
)，p(a
i
,r
i
|c)}，其中r
i
表示用户回答的置信度，设定“猜测，可能，确定”这三个参数作为人类决策过程的置信判断；步骤七：计算机结合嵌入的多源信息(知识图谱、人类的视觉信息)，重新做概率预测，并输出最终分类结果。2.如权利要求1所述的一种基于cub鸟类数据集的细粒度图像分类的方法，其特征在于：所述的细粒度类别图像对应的特征包括：鸟的喙、腹、喉咙、冠、尾、背、前额、颈、眼睛、羽毛等15个关键部位所对应的颜色、形状、图案等312个属性值。

技术总结
一种基于多源信息融合的细粒度图像分类方法，含有：步骤1：选取细粒度图像里的公开数据集Caltech UCSD Bird 200


技术研发人员：赵云波 花婷婷 宋涛 王岭人
受保护的技术使用者：浙江工业大学
技术研发日：2021.04.13
技术公布日：2021/10/18