船只目标识别方法、计算机系统及程序产品、存储介质与流程

1.本发明涉及船只目标识别技术，特别是一种船只目标识别方法、计算机系统及程序产品、存储介质。


背景技术：

2.船只目标识别技术在海上救援具有重要的地位，能够从成像中快速准确识别出船只，是了解被困船只的位置和动态，救援成功的基础。由于船只目标识别时容易受到海浪、云层等杂波的干扰，真实民用船只样本获取难度大，以及船只目标红外成像特性受气候、温度等因素影响较大，使得船只目标自动识别的准确率较低。在船只目标特性识别问题中，我们一般只有少量的真实感知域数据，虽然可以通过物理仿真来生成大量仿真域数据，但难以确保其数据分布与感知域高度一致，也无法确保涵盖了所有可能的实际场景。因此需要研究迁移识别方法，以确保我们的模型在实际应用中也有意义。
3.目前目标识别主要集中在针对图像的目标识别，其方法是通过已学习到的图像知识信息与当前面临未知图像数据进行比较，从而推导出未知图像的类型。目标识别的基础是对于图像或场景中各个目标的相关特征、目标之间的关系的描述，最终得到的是目标特征以及它们之间的关系的抽象表达。近些年来，深度学习被广泛用于图像中的船只识别，如sls
‑
cnn，一种船只检测框架，利用陆海分割获得船舶的候选位置，然后利用卷积神经网络对船舶进行识别
1.；fbr
‑
net(特征平衡和细化网络)，通过采用直接学习编码包围盒的一般无锚策略来消除锚的影响，然后使用提出的注意力引导的平衡金字塔来平衡不同层次的多个语义的特征，最后使用特征细化模块来细化对象特征
2.；由于深度学习模型需要大量数据训练，同时对于不同的目标识别任务需要重新训练模型，训练时间长。所以近几年来，基于迁移学习的目标识别模型被广泛用于船只目标识别，比如使用ssd
‑
512作为迁移学习的基模型，可以提高检测准确率和整体性能，识别速度快
3.；使用单个resnet(残差网络)模型作为迁移学习的基模型来识别船只的列表，使用前四层卷积层的参数作为迁移模型的参数，提取特征快，识别精度也高
4.；使用vgg19对于源域中有限数据集通过数据增强的技术，可以解决迁移学习模型细粒度船型的分类，同时节省从头学习的时间
5.；利用不同成像角度和不同分辨率的标记船舶，在固定角度识别未标记船舶，提出了一种不同于域自适应方法的映射子空间对齐方法
6.。但是基于迁移学习模型的目标识别只考虑了简单的工况或者没有考虑工况和模型之间的关系，无法成为实际情况中通用的模型。同时单个迁移学习模型只能学习部分的特征，识别精度有限，无法在现实生活中有实际的应用。
4.模型推荐要求在给定数据集、任务和评价方法的前提下，优先选择性能最佳的模型，即在模型推荐的过程中充分考虑模型本身特征、数据集的特征以及模型与数据集之间的相互关系
7.。对于机器学习的模型推荐方案，称为automl，主要基于贝叶斯优化、进化算法、深度强化学习和基于预测评估四类理论。通过automl方法，研究人员可以获得顶级的模型性能，实现专家级别算法选择。shapira等人提出了一种高效且高精度的元学习算法选择方式，即autogrd框架。作者基于随机森林和图距离相关系数理论，提出了一种固定大小的
数据集表征方法，并将该数据集表征与模型表征一同构成元特征，用于autogrd中的以xgboost为主体的排序元模型学习特征
8.。除了监督学习，shapira等人针对非监督学习，提出了一种高效的元学习聚类算法选择方案marco
‑
ge，作者使用deepwalk随机游走获得作为数据集的特征嵌入表征形式，并结合图卷积神经网络和元学习构建算法排序模型
9.。区别机器学习，深度学习模型更为复杂且主要用以解决图像、音频和文本等非统计类数据。在面向多模型时，选择或组合成合适的深度学习模型，对优化计算复杂度更为关键。taylor等人基于机器学习knn方法提出了一种dnn深度学习模型选择方案，拟解决在算力不足的嵌入式设备高效执行图像识别和机器翻译任务的问题，但采用knn的方法导致优先选择排名第一位的模型
[10
‑
11]
。目前关于深度学习的模型推荐几乎没有涉及船只迁移学习目标识别。
[0005]
总结而言，现有技术存在以下技术问题：(1)常规目标识别的迁移模型只从单一维度考虑源域与目标域，而忽略了不同维度下数据域对模型的影响及模型对于特定特征的敏感性。
[0006]
(2)在一个复杂的现实环境中，目前没有评价体系可以对迁移学习模型做出客观和合理的评价，即无法从多个维度衡量模型性能。
[0007]
(3)在给定的工况下，无法利用先验知识能做出正确的指导，选择最优的模型。
[0008]
(4)单个目标识别的模型学习的特征有限且不完备，目标识别的准确率难以大幅提高。


技术实现要素：

[0009]
本发明所要解决的技术问题是，针对现有技术不足，提供一种船只目标识别方法、计算机系统及程序产品、存储介质，提高目标识别的准确率。
[0010]
为解决上述技术问题，本发明所采用的技术方案是：一种船只目标识别方法，包括以下步骤：s1、依据船只工况将数据域划分为不同工况维度的源域d
s
和目标域d
t
；所述数据域包括船只在白天工况、夜间工况、雨天工况、远距工况、近距工况、以及角度工况下的图像数据；s2、从所述源域d
s
选择部分数据作为训练集，在训练集上训练多个基模型，得到各个基模型泛化权重参数，加入部分目标域数据微调基模型泛化权重参数，得到多个迁移基模型；s3、构建每个工况下的能力矩阵，其中第k种工况下，能力矩阵第i行第j列的元素对应第j个迁移基模型在第i种指标下的性能表现值；i=1，2，
……
，n；j=1，2，
……
，m；k=1，2，
……
，p；n为指标种类数；m为迁移基模型个数；p为工况个数；s4、将各能力矩阵对应的工况划分为多个工况区间，提取图像数据的离散工况值，并将所述离散工况值映射到指定工况区间；获取迁移基模型工况知识矩阵k
m
；所述知识矩阵包括所有迁移基模型对不同工况区间的识别概率值；知识矩阵的第k
s
行第j列的元素对应第j个迁移基模型在第k
s
种工况区间下的识别概率值；k
s
=1，2，
……
，p
s
；p
s
为工况区间的个数；s5、定位目标域d
t
实际待识别的数据所处的工况区间，根据迁移基模型的知识矩阵k
m
提取该工况区间下的子矩阵，获得所述子矩阵对应的二部图子图，使用二部图模型推
荐算法，在候选基模型中推荐最优模型，该最优模型即最优推荐模型；其中，所述子矩阵的行和列分别对应工况区间和候选基模型。
[0011]
区别于传统目标识别仅考虑数据本身，本发明综合考虑了船只数据及其所处的工况环境，考虑的工况因素众多，更具全面性。本发明提出将工况与模型结合建立知识矩阵，并引入二部图推荐算法实现多模型优选策略，可以实现对单张图片的细粒度模型推荐，填补了船只目标识别领域中迁移学习模型推荐方法的空白，极大地提高了目标识别的准确率。
[0012]
步骤s2中，所述指标包括accuracy、precision和f1‑
score。本发明中采用的这三个指标均为常见的目标识别评价指标，可靠性高。accuracy和precision是精度单一指标，f1‑
score是综合指标，利用这些指标可以从不同维度更加全面的评价模型的目标识别性能。
[0013]
步骤s4中，构建迁移基模型知识矩阵的具体实现过程包括：根据奖惩机制计算每一个候选基模型对输入的船只数据的更新概率，当候选基模型对船只分类正确时，更新概率为score*a1；当候选基模型对船只分类错误时，更新概率为
‑
(0.5
‑
score)*a2；其中score为每个候选基模型的船只识别置信度，a1和a2分别是奖励因子和惩罚因子，将更新概率保存至知识矩阵中离散工况值对应的工况区间位置，待所有工况数据输入完毕，归一化所有更新后的概率值，获得基模型的知识矩阵k
m
；所述候选基模型为多个基模型中的任意一个。相比于仅考虑识别正确情况，本发明使用奖惩机制，考虑更加全面，有利于进一步放大识别正确模型与识别错误模型在工况区间下的性能差异。本发明的归一化操作，有利于解决数据分布不平衡问题，提升知识矩阵的准确性。
[0014]
步骤s5中，使用二部图模型推荐算法，在候选基模型中推荐最优模型的具体实现过程包括：使用步骤s3能力矩阵的性能表现值初始化候选基模型的模型资源，模型资源表征候选基模型的性能；经过一次模型至工况区间的资源分配，一次工况区间至模型的资源回流，资源积累最多的候选基模型即为最优推荐模型。本发明将能力矩阵的性能表现值与模型推荐的模型资源结合，解决二部图模型推荐的冷启动问题，有利于提升模型推荐精度。二部图模型推荐算法是经典的推荐算法，其推理速度快，时间复杂度低，满足实际应用中低延时性的要求。
[0015]
进一步地，本发明的方法还包括将船只工况将数据域输入所述最优推荐模型，识别目标船只。
[0016]
作为一个发明构思，本发明还提供了一种计算机系统，包括存储器、处理器及存储在存储器上的计算机程序；所述处理器执行所述计算机程序，以实现本发明方法的步骤。
[0017]
作为一个发明构思，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序/指令；所述计算机程序/指令被处理器执行时实现本发明方法的步骤。
[0018]
作为一个发明构思，本发明还提供了一种计算机程序产品，包括计算机程序/指令；该计算机程序/指令被处理器执行时实现本发明方法的步骤。
[0019]
与现有技术相比，本发明所具有的有益效果为：本发明采用人工智能中的迁移学习方法，结合图像目标识别技术，发明了一种基于迁移学习的船只目标识别范式方法，以实现具体应用场景的船只目标识别迁移学习方法的自动评估和优选范式，通过能力矩阵中的性能表现值评估迁移学习方法的优劣并指导优选，形成迁移学习的诊断和选优能力并提升
模型识别精度。迁移模型质量评价能力矩阵呈现了不同迁移模型与船只样本工况域之间的关联关系，通过三种维度：迁移学习方法、船只工况、性能指标，构建迁移方法能力评估矩阵，对不同工况下使用何种模型效果最佳做出初步指导，为模型选择和模型差异比较提供参考依据；经过实验证明，选取的基模型有vgg16、resnet18、alexnet、squeezenet1.0，在距离、天顶角、方位角和温度跨域数据中采用本发明的模型推荐方法，实验证明不同工况域中最佳模型推荐准确率为85.65%，相比所有域仅使用单个最优基模型，本发明识别准确率提升了5.71%。
附图说明
[0020]
图1为本发明实施例方法流程图；图2为本发明实施例能力矩阵结构图。
具体实施方式
[0021]
针对单个目标识别迁移模型只考虑了图像中特征，而忽略的不同的工况维度对目标识别迁移模型产生的影响，本发明提出了基于迁移学习的船只目标识别范式方法，研究了不同工况下的迁移学习基模型，找寻工况和模型之间的潜在关系，结合具体应用场景研究各迁移学习方法的能力特性以及最优组合策略，形成面向实际应用场景的迁移学习应用范式。针对于模型在复杂工况下的评估问题，本发明提出一种评估迁移学习模型的能力矩阵，使用不同评级指标，以不同维度评价迁移学习模型性能，将这些工况与迁移学习方法的结构超参数建立了关联表，为下一步进行迁移学习性能指标与工况变量关联分析奠定基础。针对于在给定的工况下，最优模型的选择问题，本发明使用二部图推荐算法，根据船只数据的特征、工况等，在给定的评价指标体系下，自适应地为不同船只工况智能推荐最优的模型。
[0022]
基于迁移学习的船只目标识别范式包括两个步骤：构建目标迁移识别模型质量评价能力矩阵、目标迁移识别模型自动推荐。
[0023]
构建目标迁移识别模型质量评价能力矩阵是针对不同的海上船只工况，即船只在白天工况、夜间工况、雨天工况、远距工况、近距工况、以及角度工况下的数据，如：风速、气温、海水温度、天气、天顶角、方位角、距离和视场角等，建立各种迁移学习方法在训练复杂度、识别精度和速度，以及针对不同数据域的泛化能力的衡量指标体系，通过系统测试各种迁移方法在指标体系中的能力，构建能力矩阵。目标迁移识别模型自动推荐是指采用基于二部图的模型推荐方法，根据船只数据的特征、工况等，在一定的评价指标体系下，自适应地为不同船只工况智能推荐最优的模型，优化整体目标识别效果，主要包括两个模块：知识构建和自适应推荐。
[0024]
基于迁移学习的船只目标识别范式具体步骤如下：第一步：可迁移域划分，将船只目标数据输入到迁移域划分模块中，依据船只工况将数据域划分为不同工况维度的源域d
s
和目标域d
t
。
[0025]
第二步：训练迁移学习基模型，基模型采用经典目标识别模型vgg16、resnet18、alexnet、squeezenet1.0。使用第一步已划分的不同工况维度的源域d
s
，使用80%源域数据作为训练集、20%源域作为验证集训练对应基模型，输出各模型泛化权重参数w
gen
。使用第一
步已划分的不同工况维度的目标域d
t
，使用5%目标域数据微调模型泛化权重参数w
gen
，输出各模型迁移权重参数w
tr
。
[0026]
第三步：构建模型质量评价能力矩阵，能力矩阵matrix包括三个维度，其中以模型（model）为第一维度、工况（situation）为第二维度、指标（performance）为第三维度。各个基模型加载第二步所得各模型迁移权重参数w
tr
，分别采用工况i下目标域数据d
i
测量各个基模型在指标如accuracy、precision和f1‑
score
[12]
下的性能表现值，并将性能表现值填充到能力矩阵中对应的工况、模型与指标位置（如图2，模型1在工况2上的precision指标值为0.995），输出填充后的能力矩阵matrix。
[0027]
第四步：模型推荐模块
‑
知识构建：知识构建的目标是建立模型与工况的先验知识，为后续模型奠定基础。该模块主要步骤为：
①
工况定位。结合第三步三维度能力矩阵matrix中的工况信息，将工况区间化，如将温度每5度独立划分为一个区间。根据图像数据的标签，采用正则表达式文本提取手段提取图像数据的离散工况值，并将其映射到指定工况区间。
②
知识矩阵。采用第二步不同工况维度下多个迁移学习基模型迁移权重参数w
tr
，使用部分目标域d
t
数据构建基模型知识矩阵：针对每一个输入数据，根据奖惩机制计算候选基模型的更新概率：当候选基模型识别正确时，更新概率为score*a1；当识别错误时，更新概率为
‑
(0.5
‑
score)*a2；其中score为候选基模型的识别置信度，a1和a2分别是奖励因子和惩罚因子，取值范围为(0,1)。将更新概率保存至知识矩阵中由
①
工况定位所得区间位置。待整个数据输入完毕，使用中值归一化方法更新所有概率值，则获得基模型的知识矩阵k
m
，可表征候选模型与工况区间之间的关系，输入到第五步自适应推荐。
[0028]
第五步：模型推荐模块
‑
自适应推荐：输入为与第四步
②
中不同部分的目标域d
t
数据，输出为每个目标域d
t
数据推荐最优的模型。关键步骤包括：
①
提取二部图子图：采用第四步
①
方法，定位目标域实际待识别的数据所处的工况区间信息，从第四步构建的基模型知识矩阵k
m
，提取该工况区间下的子矩阵。该子矩阵横行为工况区间，列为候选基模型列表（见下表1），使用图表示法获得此子矩阵对应的二部图子图，二部图子图中节点表示工况与模型，二部图子图中边表示子矩阵中的概率值。
②
二部图模型推荐：根据第五步
①
方法获得的二部图子图，使用二部图模型推荐算法
[13]
针对该二部图子图为该工况下舰船数据在候选基模型中推荐最优模型。二部图模型推荐算法使用第三步三维度能力矩阵matrix中的模型性能表现值初始化算法的模型资源，经过一次模型至工况区间的资源分配，一次工况区间至模型的资源回流，资源积累最多的为最优推荐模型，输出最优推荐模型r
model[13]
。
[0029]
表1 候选基模型列表 模型1模型2模型3模型4工况区间110.80.70.3工况区间20.810.50.9工况区间30.70.510.2工况区间40.30.90.21本发明采用人工智能中的迁移学习方法，结合图像目标识别技术，发明了一种基于迁移学习的船只目标识别范式方法，以实现具体应用场景的船只目标识别迁移学习方法的自动评估和筛选范式，形成迁移学习的诊断和选优能力并提升模型识别精度。迁移模型质量评价能力矩阵呈现了不同迁移模型与船只样本工况域之间的关联关系，通过三种维
regularization framework
‑
based transfer learning for ship classification in sar images [j]. ieee geoscience and remote sensing letters, 2019, 16(11): 1786
‑
90.[5] milicevic m, zubrinic k, obradovic i, et al. data augmentation and transfer learning for limited dataset ship classification [j]. wseas trans syst control, 2018, 13(460
‑
5.[6] li h, guo b, chen h, et al. a transfer learning method for ship target recognition in remote sensing image; proceedings of the communications, signal processing, and systems, singapore, f 2020//, 2020 [c]. springer singapore.[7] emani m k, o'boyle m. celebrating diversity: a mixture of experts approach for runtime mapping in dynamic environments[c].proceedings of the 36th acm sigplan conference on programming language design and implementation,2015: 499
–
508.[8] cohen
‑
shapira n, rokach l, shapira b, et al. autogrd: model recommendation through graphical dataset representation[c].proceedings of the 28th acm international conference on information and knowledge management,2019: 821
‑
830.[9]shapira, noy cohen, and liorrokach. "automatic selection of clustering algorithms using supervised graph embedding." information sciences 577 (2021): 824
‑
851.[10] taylor b, marco v s, wolff w, et al. adaptive deep learning model selection on embedded systems[c].proceedings of the 19th acm sigplan/sigbed international conference on languages, compilers, and tools for embedded systems,2018: 31
‑
43.[11] marco v s, taylor b, wang z, et al.optimizing deep learning inference on embedded systems through adaptive model selection[j].acm transactions on embedded computing systems,2020, 19 (1): 1
‑
28.[12] y. sasaki,
ꢀ“
the truth of the f
‑
measure,
”ꢀ
teach tutor mater,pp. 1
–
5, 2007.[13] he x, gao m, kan m
‑
y, et al.birank: towards ranking on bipartite graphs[j].ieee transactions on knowledge and data engineering,2017, 29 (1): 57
‑
71.[14]zhang m m, choi j, daniilidis k, et al. vais: a dataset for recognizing maritime imagery in the visible and infrared spectrums[c].2015 ieee conference on computer vision and pattern recognition workshops (cvprw),2015.