一种基于多模型融合的目标检测方法、装置、设备及介质与流程

1.本技术涉及图像处理技术领域，特别涉及一种基于多模型融合的目标检测方法、装置、设备及介质。


背景技术：

2.目前，随着大数据和人工智能的蓬勃发展，基于深度学习的计算机视觉也在各个领域得到了广泛的应用，如自主车辆的视觉导航、医学图像分析和人脸识别等领域。目标检测是计算机视觉的一个重要分支，也是视觉感知的第一步。目标检测不仅要确定出图像中有什么，还需确定出目标在图像中的什么位置。
3.当前，关于目标检测的网络模型和算法层出不穷。通常情况下，仅使用一种算法无法获取到更精确的结果，因此需要将多种学习算法组合起来得到一个较为准确的结果。在目标检测领域中，通常采用的模型集成算法有：多模型直接平均法、单模型多个快照集成(即snapshots ensemble)平均融合及aabbfi算法（axis
‑
aligned bounding box fuzzy integral，轴对齐包围盒模糊积分）。在上述三种模型集成算法中，多模型直接平均法是直接对多个模型的输出结果做平均，并未考虑不同模型之间的差异，使得检测精度有限；单模型多个快照集成平均融合是对单个网络模型的集成，由于也未考虑不同模型之间的差异，使得模型多样性不足；aabbfi算法由于仅在单模型中针对检测结果中的检测框（即bounding box）位置做融合，并未考虑模型中的其他因素及其他模型，因此，导致此融合算法精度提升有限。
4.综上所述，如何提高目标检测的精度是本领域有待解决的问题。


技术实现要素：

5.有鉴于此，本技术的目的在于提供一种基于多模型融合的目标检测方法、装置、设备及介质，能够提高目标检测的精度。其具体方案如下：第一方面，本技术公开了一种基于多模型融合的目标检测方法，包括：获取已训练好的多个目标检测模型，并获取对待检测原始图像进行图像增强处理后得到的待检测图像集；分别利用每个所述目标检测模型对所述待检测图像集中的待检测图像进行检测，以得到与多个所述目标检测模型对应的多组初始目标检测结果；分别对每组所述初始目标检测结果中的所有初始目标检测结果进行加权，以得到每个所述目标检测模型各自对应的初次加权目标检测结果；基于预先利用验证集确定的每个所述目标检测模型的权重，对多个所述目标检测模型对应的多个所述初次加权目标检测结果进行加权，得到与所述待检测原始图像对应的最终目标检测结果。
6.可选的，所述获取已训练好的多个目标检测模型之前，还包括：利用基于模型结构差异构建的筛选条件，筛选出多个待训练目标检测模型；其中，
不同所述待训练目标检测模型之间的模型结构差异均满足预设差异条件；利用对历史原始图像集进行图像增强后得到的训练集，对多个所述待训练目标检测模型进行训练，以得到已训练好的多个所述目标检测模型。
7.可选的，所述获取对待检测原始图像进行图像增强处理后得到的待检测图像集，包括：根据每个所述目标检测模型的模型类别，确定每个所述目标检测模型对应的图像增强算法；利用每个所述目标检测模型对应的图像增强算法，对所述待检测原始图像进行相应的图像增强处理，以得到与每个所述目标检测模型对应的待检测图像集。
8.可选的，对任一组所述初始目标检测结果中的所有初始目标检测结果进行加权，包括：对任一组所述初始目标检测结果中的所有初始目标检测结果进行聚类，以得到与该组所述初始目标检测结果对应的第一聚类结果；根据所述第一聚类结果，并基于轴对齐包围盒模糊积分算法和非极大值抑制算法，确定各个所述初始目标检测结果的权重；基于各个所述初始目标检测结果的权重，对该组所述初始目标检测结果中的所有所述初始目标检测结果进行加权，以得到相应所述目标检测模型对应的初次加权目标检测结果。
9.可选的，所述的基于多模型融合的目标检测方法，还包括：基于验证集确定出已训练好的每个所述目标检测模型对应的均值平均精度评价指标；对所有所述目标检测模型对应的均值平均精度评价指标进行求和，以得到相应的评价指标总和；基于每个所述目标检测模型对应的均值平均精度评价指标以及所述评价指标总和，确定出每个所述目标检测模型的权重。
10.可选的，基于所述验证集确定出已训练好的任一所述目标检测模型对应的均值平均精度评价指标，包括：利用已训练好的所述目标检测模型对验证集中的每张图像进行预测，以得到所述目标检测模型输出的与所述验证集中每张图像对应的预测结果；基于所述预测结果与所述验证集中对应的真实标注结果之间的差异，确定出所述目标检测模型的均值平均精度评价指标。
11.可选的，所述利用已训练好的所述目标检测模型对验证集中的每张图像进行预测，包括：分别对验证集中的每张图像进行图像增强，得到所述验证集中每张图像对应的多个增强后图像；利用已训练好的所述目标检测模型对所述验证集中每张图像对应的多个增强后图像进行预测，以得到与所述验证集中每张图像对应的多个初始预测结果；分别对所述验证集中每张图像对应的多个初始预测结果进行加权处理，以得到与所述验证集中每张图像对应的预测结果。
12.第二方面，本技术公开了一种基于多模型融合的目标检测装置，包括：获取模块，用于获取已训练好的多个目标检测模型，并获取对待检测原始图像进行图像增强处理后得到的待检测图像集；图像检测模块，用于分别利用每个所述目标检测模型对所述待检测图像集中的待检测图像进行检测，以得到与多个所述目标检测模型对应的多组初始目标检测结果；单模型加权模块，用于分别对每组所述初始目标检测结果中的所有初始目标检测结果进行加权，以得到每个所述目标检测模型各自对应的初次加权目标检测结果；多模型加权模块，用于基于预先利用验证集确定的每个所述目标检测模型的权重，对多个所述目标检测模型对应的多个所述初次加权目标检测结果进行加权，得到与所述待检测原始图像对应的最终目标检测结果。
13.第三方面，本技术公开了一种电子设备，包括处理器和存储器；其中，所述处理器执行所述存储器中保存的计算机程序时实现前述的基于多模型融合的目标检测方法。
14.第四方面，本技术公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述的基于多模型融合的目标检测方法。
15.可见，本技术先从获取已训练好的多个目标检测模型，并获取对待检测原始图像进行图像增强处理后得到的待检测图像集，然后分别利用每个所述目标检测模型对所述待检测图像集中的待检测图像进行检测，以得到与多个所述目标检测模型对应的多组初始目标检测结果，再分别对每组所述初始目标检测结果中的所有初始目标检测结果进行加权，以得到每个所述目标检测模型各自对应的初次加权目标检测结果，最后基于预先利用验证集确定的每个所述目标检测模型的权重，对多个所述目标检测模型对应的多个所述初次加权目标检测结果进行加权，得到与所述待检测原始图像对应的最终目标检测结果。可见，本技术通过对每组初始目标检测结果中的所有初始目标检测结果进行加权处理，降低了由于对原始图像进行图像增强处理而导致的单模型检测结果差异，提升了模型的鲁棒性，通过基于训练集将不同模型赋予不同的权重，能够充分发挥模型的多样性，提高目标检测的精确度。
附图说明
16.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
17.图1为本技术公开的一种基于多模型融合的目标检测方法流程图；图2为本技术公开的一种具体的基于多模型权重计算方法流程图；图3为本技术公开的一种单模型单张图像进行目标检测结构示意图；图4为本技术公开的一种具体的基于多模型融合的目标检测方法流程图；图5为本技术公开的一种基于多模型融合的目标检测装置结构示意图；图6为本技术公开的一种电子设备结构图。
具体实施方式
18.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
19.本技术实施例公开了一种基于多模型融合的目标检测方法，参见图1所示，该方法包括：步骤s11：获取已训练好的多个目标检测模型，并获取对待检测原始图像进行图像增强处理后得到的待检测图像集。
20.本实施例中，首先需要获取预先对多个待训练目标检测模型进行训练后确定出的多个目标检测模型，然后利用与已训练好的上述多个目标检测模型对应的图像增强算法对待检测原始图像进行图像增强处理，得到待检测图像集。其中，所述目标检测模型包括但不限于单步（one
‑
stage）、两步（two
‑
stage）及无锚（anchor
‑
free）3类模型；所述one
‑
stage类模型包括但不限于retinanet 、yolov2/v3（yolo，即you only look once）等；two
‑
stage类模型包括但不限于faster r
‑
cnn等；anchor
‑
free类模型包括但不限于cornernet、extremenet、centernet、fcos（即fully convolutional one
‑
stage object detection，一阶全卷积目标检测）等。
21.本实施例中，在所述获取已训练好的多个目标检测模型之前，具体还可以包括：利用基于模型结构差异构建的筛选条件，筛选出多个待训练目标检测模型；其中，不同所述待训练目标检测模型之间的模型结构差异均满足预设差异条件；利用对历史原始图像集进行图像增强后得到的训练集，对多个所述待训练目标检测模型进行训练，以得到已训练好的多个所述目标检测模型。可以理解的是，为了提升多个目标检测模型融合之后的检测结果，保证模型的多样性，在对多个目标检测模型进行训练之前，可以基于模型结构差异的大小满足预设差异条件的规则对多个初始目标检测模型进行筛选，得到多个待训练目标检测模型。例如，从上述one
‑
stage、two
‑
stage及anchor
‑
free这3类模型中挑选出模型之间结构差异较大的yolov3、retinanet、faster r
‑
cnn、centernet和fcos这5个目标检测模型。
22.进一步的，在筛选出多个上述待训练目标检测模型之后，为了提升模型的泛化能力以及样本的多样性，可以对历史原始图像进行图像增强处理得到训练集，并利用上述训练集对筛选出的上述多个待训练目标检测模型进行训练，得到已训练好的多个所述目标检测模型。
23.本实施例中，所述获取对待检测原始图像进行图像增强处理后得到的待检测图像集，具体可以包括：根据每个所述目标检测模型的模型类别，确定每个所述目标检测模型对应的图像增强算法；利用每个所述目标检测模型对应的图像增强算法，对所述待检测原始图像进行相应的图像增强处理，以得到与每个所述目标检测模型对应的待检测图像集。上述图像增强算法包括但不限于基于几何变换和颜色变换对应的图像增强算法；其中，基于几何变换的图像增强算法包括但不限于随机剪切(即random cropping)、随机扩展(即random expansion)、随机水平翻转 (即random horizontal flip)、随机缩放 (即random resize)等；基于颜色变换的图像增强算法包括但不限于颜色抖动、fancy pca（pca，即principal component analysis，主成分分析）等。在对上述多个待训练目标检测模型进行
训练之前，还需要从上述图像增强算法中筛选出目标图像增强算法，并将筛选出的上述目标图像增强算法添加至上述多个待训练目标检测模型中，作为数据的预处理阶段。
24.需要指出的是，在将所述目标图像增强算法添加至上述多个待训练目标检测模型的过程中，应根据所述待训练目标检测模型的功能进行选择性添加，将具有重复功能的图像增强算法进行剔除。例如在two
‑
stage类模型中剔除筛选出的图像增强算法random cropping，因为two
‑
stage中的rpn（即region proposal network，区域生成网络）网络与random cropping具有相似的功能。可以理解的是，由于目标检测模型在进行训练之前，已将筛选出的目标图像增强算法添加到了对应的目标检测模型中，因此，根据每个目标检测模型的模型类别，便可以确定出与每个所述目标检测模型对应的图像增强算法，并利用每个目标检测模型对应的图像增强算法，对待检测原始图像进行相应的图像增强处理，得到与每个所述目标检测模型对应的待检测图像集。
25.步骤s12：分别利用每个所述目标检测模型对所述待检测图像集中的待检测图像进行检测，以得到与多个所述目标检测模型对应的多组初始目标检测结果。
26.本实施例中，在获取到已训练好的多个目标检测模型，并获取对待检测原始图像进行图像增强处理后得到的待检测图像集之后，分别利用每个所述目标检测模型对上述待检测图像集中的所有待检测图像进行检测，得到每个所述目标检测模型输出的与多个所述目标检测模型对应的多组初始目标检测结果。其中，每组初始目标检测结果的数目与经过图像增强处理后的所述待检测图像集中包含的图像数目相同。
27.步骤s13：分别对每组所述初始目标检测结果中的所有初始目标检测结果进行加权，以得到每个所述目标检测模型各自对应的初次加权目标检测结果。
28.本实施例中，在分别利用每个所述目标检测模型对所述待检测图像集中的待检测图像进行检测，得到与所述多个目标检测模型对应的多组初始目标检测结果之后，需要将每个所述目标检测模型对应的所有初始目标检测结果进行加权处理，即进行单模型内部检测结果的加权，得到每个所述目标检测模型各自对应的初次加权目标检测结果。
29.步骤s14：基于预先利用验证集确定的每个目标检测模型的权重，对多个所述目标检测模型对应的多个所述初次加权目标检测结果进行加权，得到与所述待检测原始图像对应的最终目标检测结果。
30.本实施例中，在分别对每组所述初始目标检测结果中的所有初始目标检测结果进行加权，得到每个所述目标检测模型各自对应的初次加权目标检测结果之后，获取预先利用验证集对每个所述目标检测模型进行训练之后确定的与每个所述目标检测模型对应的权重，并利用上述权重对多个上述目标检测模型对应的多个所述初次加权目标检测结果进行加权处理，即为多个目标检测模型对应的检测结果赋予不同的权重值，进而得到与所述待检测原始图像对应的最终目标检测结果。
31.可见，本技术实施例先从获取已训练好的多个目标检测模型，并获取对待检测原始图像进行图像增强处理后得到的待检测图像集，然后分别利用每个所述目标检测模型对所述待检测图像集中的待检测图像进行检测，以得到与多个所述目标检测模型对应的多组初始目标检测结果，再分别对每组所述初始目标检测结果中的所有初始目标检测结果进行加权，以得到每个所述目标检测模型各自对应的初次加权目标检测结果，最后基于预先利用验证集确定的每个所述目标检测模型的权重，对多个所述目标检测模型对应的多个所述
初次加权目标检测结果进行加权，得到与所述待检测原始图像对应的最终目标检测结果。可见，本技术实施例通过对每组初始目标检测结果中的所有初始目标检测结果进行加权处理，降低了由于对原始图像进行图像增强处理而导致的单模型检测结果差异，提升了模型的鲁棒性，通过基于训练集将不同模型赋予不同的权重，能够充分发挥模型的多样性，提高目标检测的精确度。
32.本技术实施例公开了一种具体的基于多模型融合的目标检测方法，参见图2所示，该方法包括：步骤s21：获取已训练好的多个目标检测模型，并获取对待检测原始图像进行图像增强处理后得到的待检测图像集。
33.步骤s22：分别利用每个所述目标检测模型对所述待检测图像集中的待检测图像进行检测，以得到与多个所述目标检测模型对应的多组初始目标检测结果。
34.步骤s23：对任一组所述初始目标检测结果中的所有初始目标检测结果进行聚类，以得到与该组所述初始目标检测结果对应的第一聚类结果。
35.本实施例中，在分别利用每个所述目标检测模型对所述待检测图像集中的待检测图像进行检测，得到与多个所述目标检测模型对应的多组初始目标检测结果之后，进一步的基于预设聚类算法对多个上述目标检测模型对应的多组初始目标检测结果中的任意一组所述初始目标检测结果中的所有初始目标检测结果进行聚类处理，得到与该组所述初始目标检测结果对应的第一聚类结果。其中，上述预设聚类算法包括但不限于k
‑
means算法（即k
‑
means clustering algorithm，k均值聚类算法）等。
36.步骤s24：根据所述第一聚类结果，并基于轴对齐包围盒模糊积分算法和非极大值抑制算法，确定各个所述初始目标检测结果的权重。
37.本实施例中，在对任一组所述初始目标检测结果中的所有初始目标检测结果进行聚类，得到与该组所述初始目标检测结果对应的第一聚类结果之后，基于非极大值抑制(即nms，non maximum suppression)算法对上述第一聚类结果中的非极大值进行抑制，得到第一聚类抑制结果，并基于轴对齐包围盒模糊积分算法对上述第一聚类抑制结果进行运算，得到各个所述初始目标检测结果对应的权重。其中，上述基于非极大值抑制算法对上述第一聚类结果中的非极大值进行抑制的具体处理过程如下：获取所述第一聚类结果中最大值对应的索引，并将与上述最大值对应的索引的聚类结果从所述第一聚类结果中剔除，得到目标聚类结果，并分别计算上述目标聚类结果中所有检测框与上述最大值对应的索引的聚类结果中检测框的交并比，并根据所述交并比确定各个初始目标检测结果对应的权重。
38.步骤s25：基于各个所述初始目标检测结果的权重，对该组所述初始目标检测结果中的所有所述初始目标检测结果进行加权，以得到相应所述目标检测模型对应的初次加权目标检测结果。
39.本实施例中，根据所述第一聚类结果，并基于轴对齐包围盒模糊积分算法和非极大值抑制算法，确定出各个所述初始目标检测结果的权重之后，可以利用各个上述初始目标检测结果的权重值，对该组所述初始目标检测结果中的所有上述初始目标检测结果进行相应的加权处理，得到相应的与所述目标检测模型对应的初次加权目标检测结果。具体的，上述获取与所述目标检测模型对应的初次加权目标检测结果的过程主要基于aabbfi算法实现的，其中aabbfi算法的具体实现过程参见图3所示，首先将输入的单张待检测原始图像
进行数据增强处理，得到待检测图像集，然后利用已训练好的单个目标检测模型并基于aabb（axis
‑
aligned bounding box，轴对齐包围盒）算法对上述待检测图像集中的图像进行推理，得到多个推理结果，并基于fi（即fuzzy integral，模糊积分）算法对上述推理结果进行模糊运算，得到目标检测结果。
40.步骤s26：基于预先利用验证集确定的每个目标检测模型的权重，对多个所述目标检测模型对应的多个所述初次加权目标检测结果进行加权，得到与所述待检测原始图像对应的最终目标检测结果。
41.本实施例中，在基于各个所述初始目标检测结果的权重，对该组所述初始目标检测结果中的所有所述初始目标检测结果进行加权，得到相应所述目标检测模型对应的初次加权目标检测结果之后，获取基于预先利用验证集确定出的每个所述目标检测模型对应的权重值，并利用上述目标检测模型对应的权重值对多个上述目标检测模型对应的多个所述初次加权目标检测结果进行加权处理，得到与上述待检测原始图像对应的最终目标检测结果。
42.本实施例中，参见图4所示，所述基于多模型融合的目标检测方法，具体还可以包括：步骤s31：基于验证集确定出已训练好的每个所述目标检测模型对应的均值平均精度评价指标；步骤s32：对所有所述目标检测模型对应的均值平均精度评价指标进行求和，以得到相应的评价指标总和；步骤s33：基于每个所述目标检测模型对应的均值平均精度评价指标以及所述评价指标总和，确定出每个所述目标检测模型的权重。
43.本实施例中，在对获取已训练好的多个目标检测模型之前，可以利用验证集确定出每个上述目标检测模型对应的用于衡量目标检测识别精度的指标，即均值平均精度评价指标（map，mean average precision）。进一步的，计算所有上述目标检测模型对应的均值平均精度评价指标的总和，得到相应的评价指标总和。然后基于每个所述目标检测模型对应的均值平均精度评价指标与上述评价指标总和的比值，便可以确定出每个所述目标检测模型对应的权重。
44.本实施例中，基于所述验证集确定出已训练好的任一所述目标检测模型对应的均值平均精度评价指标，具体可以包括：利用已训练好的所述目标检测模型对验证集中的每张图像进行预测，以得到所述目标检测模型输出的与所述验证集中每张图像对应的预测结果；基于所述预测结果与所述验证集中对应的真实标注结果之间的差异，确定出所述目标检测模型的均值平均精度评价指标。本实施例中，利用已训练好的所述目标检测模型对验证集中的每张图像进行预测，可以得到上述目标检测模型输出的与上述验证集中每张图像对应的预测结果，进一步的，基于上述预测结果与所述验证集中对应的真实标注结果（即ground truth）之间的差异程度，可以确定出与上述目标检测模型对应的均值平均精度评价指标。
45.具体的，所述利用已训练好的所述目标检测模型对验证集中的每张图像进行预测，可以包括：分别对验证集中的每张图像进行图像增强，得到所述验证集中每张图像对应的多个增强后图像；利用已训练好的所述目标检测模型对所述验证集中每张图像对应的多
个增强后图像进行预测，以得到与所述验证集中每张图像对应的多个初始预测结果；分别对所述验证集中每张图像对应的多个初始预测结果进行加权处理，以得到与所述验证集中每张图像对应的预测结果。本实施例中，在利用已训练好的所述目标检测模型对验证集中的每张图像进行预测的过程中，可以先分别对验证集中的每张图像进行图像增强处理，得到与上述验证集中每张图像对应的多个增强后图像，然后利用已训练好的上述目标检测模型对上述验证集中每张图像对应的多个增强后图像进行预测，进而得到与上述验证集中每张图像对应的多个初始预测结果，再基于轴对齐包围盒模糊积分算法和非极大值抑制算法分别对上述验证集中的每张图像对应的多个初始预测结果进行加权处理，得到与上述验证集中每张图像对应的预测结果。
46.其中，关于上述步骤s21、s22更加具体的处理过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
47.可见，本技术实施例通过对任一组初始目标检测结果中的所有初始目标检测结果进行聚类，得到与该组所述初始目标检测结果对应的第一聚类结果，然后根据所述第一聚类结果中不同聚类中心对应的检测框重叠程度，确定每个聚类中心对应的各个所述初始目标检测结果的权重，并基于各个所述初始目标检测结果的权重，对该组所述初始目标检测结果中的所有所述初始目标检测结果进行加权，得到相应所述目标检测模型对应的初次加权目标检测结果。通过对每一组初始目标检测结果中的所有初始目标检测结果进行聚类及加权处理，能够降低由于对原始图像进行图像增强而导致的检测结果的差异，提升单个目标检测模型的鲁棒性。
48.相应的，本技术实施例还公开了一种基于多模型融合的目标检测装置，参见图5所示，该装置包括：获取模块11，用于获取已训练好的多个目标检测模型，并获取对待检测原始图像进行图像增强处理后得到的待检测图像集；图像检测模块12，用于分别利用每个所述目标检测模型对所述待检测图像集中的待检测图像进行检测，以得到与多个所述目标检测模型对应的多组初始目标检测结果；单模型加权模块13，用于分别对每组所述初始目标检测结果中的所有初始目标检测结果进行加权，以得到每个所述目标检测模型各自对应的初次加权目标检测结果；多模型加权模块14，用于基于预先利用验证集确定的每个所述目标检测模型的权重，对多个所述目标检测模型对应的多个所述初次加权目标检测结果进行加权，得到与所述待检测原始图像对应的最终目标检测结果。
49.其中，关于上述各个模块的具体工作流程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
50.可见，本技术实施例中，先从获取已训练好的多个目标检测模型，并获取对待检测原始图像进行图像增强处理后得到的待检测图像集，然后分别利用每个所述目标检测模型对所述待检测图像集中的待检测图像进行检测，以得到与多个所述目标检测模型对应的多组初始目标检测结果，再分别对每组所述初始目标检测结果中的所有初始目标检测结果进行加权，以得到每个所述目标检测模型各自对应的初次加权目标检测结果，最后基于预先利用验证集确定的每个所述目标检测模型的权重，对多个所述目标检测模型对应的多个所述初次加权目标检测结果进行加权，得到与所述待检测原始图像对应的最终目标检测结
果。可见，本技术实施例通过对每组初始目标检测结果中的所有初始目标检测结果进行加权处理，降低了由于对原始图像进行图像增强处理而导致的单模型检测结果差异，提升了模型的鲁棒性，通过基于训练集将不同模型赋予不同的权重，能够充分发挥模型的多样性，提高目标检测的精确度。
51.在一些具体实施例中，所述获取模块11之前，还可以包括：模型筛选单元，用于利用基于模型结构差异构建的筛选条件，筛选出多个待训练目标检测模型；其中，不同所述待训练目标检测模型之间的模型结构差异均满足预设差异条件；第一训练单元，用于利用对历史原始图像集进行图像增强后得到的训练集，对多个所述待训练目标检测模型进行训练，以得到已训练好的多个所述目标检测模型。
52.在一些具体实施例中，所述获取模块11，具体可以包括：算法确定单元，用于根据每个所述目标检测模型的模型类别，确定每个所述目标检测模型对应的图像增强算法；第一图像增强单元，用于利用每个所述目标检测模型对应的图像增强算法，对所述待检测原始图像进行相应的图像增强处理，以得到与每个所述目标检测模型对应的待检测图像集。
53.在一些具体实施例中，所述对任一组所述初始目标检测结果中的所有初始目标检测结果进行加权，具体可以包括：第一聚类单元，用于对任一组所述初始目标检测结果中的所有初始目标检测结果进行聚类，以得到与该组所述初始目标检测结果对应的第一聚类结果；第一权重确定单元，用于根据所述第一聚类结果，并基于轴对齐包围盒模糊积分算法和非极大值抑制算法，确定各个所述初始目标检测结果的权重；第一加权单元，用于基于各个所述初始目标检测结果的权重，对该组所述初始目标检测结果中的所有所述初始目标检测结果进行加权，以得到相应所述目标检测模型对应的初次加权目标检测结果。
54.在一些具体实施例中，所述基于多模型融合的目标检测装置，还可以包括：第一评价指标确定单元，用于基于验证集确定出已训练好的每个所述目标检测模型对应的均值平均精度评价指标；求和单元，用于对所有所述目标检测模型对应的均值平均精度评价指标进行求和，以得到相应的评价指标总和；第二权重确定单元，用于基于每个所述目标检测模型对应的均值平均精度评价指标以及所述评价指标总和，确定出每个所述目标检测模型的权重。
55.在一些具体实施例中，所述第一评价指标确定单元，具体可以包括：第一预测单元，用于利用已训练好的所述目标检测模型对验证集中的每张图像进行预测，以得到所述目标检测模型输出的与所述验证集中每张图像对应的预测结果；第二评价指标确定单元，用于基于所述预测结果与所述验证集中对应的真实标注结果之间的差异，确定出所述目标检测模型的均值平均精度评价指标。
56.在一些具体实施例中，所述第一预测单元，具体可以包括：第二图像增强单元，用于分别对验证集中的每张图像进行图像增强，得到所述验
证集中每张图像对应的多个增强后图像；第二预测单元，用于利用已训练好的所述目标检测模型对所述验证集中每张图像对应的多个增强后图像进行预测，以得到与所述验证集中每张图像对应的多个初始预测结果；第二加权单元，用于分别对所述验证集中每张图像对应的多个初始预测结果进行加权处理，以得到与所述验证集中每张图像对应的预测结果。
57.进一步的，本技术实施例还公开了一种电子设备，图6是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本技术的使用范围的任何限制。
58.图6为本技术实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的基于多模型融合的目标检测方法中的相关步骤。另外，本实施例中的电子设备20具体可以为电子计算机。
59.本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本技术技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
60.另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222等，存储方式可以是短暂存储或者永久存储。
61.其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，其可以是windows server、netware、unix、linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的基于多模型融合的目标检测方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
62.进一步的，本技术还公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的基于多模型融合的目标检测方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
63.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
64.专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
65.结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执
行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（ram）、内存、只读存储器（rom）、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd
‑
rom、或技术领域内所公知的任意其它形式的存储介质中。
66.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
67.以上对本技术所提供的一种基于多模型融合的目标检测方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。