一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种目标检测方法及装置与流程

2022-02-20 12:34:03 来源:中国专利 TAG:


1.本发明涉及目标检测技术领域,具体而言,涉及一种目标检测方法及装置。


背景技术:

2.目前,训练目标检测模型的训练数据一般是尽可能清楚地定义图像中目标的真实边界,但仍然存在部分训练数据中的样本图像中目标的边界存在模糊不清以及不明确等不确定性的情况,例如:图像中的目标被部分遮挡或者图像中的目标的部分区域由于光线原因导致轮廓不分明等情况,导致训练数据中的该类样本图像对应的标定信息中的边界框位置信息不能明确的表征图像中目标的真实边界。
3.而目前的目标检测模型的特征回归层的框回归方式一般是采用单数值回归方式,即认为图像中目标的边框满足狄拉克分布,即认为训练数据中的样本图像对应的标定信息中的边界框位置信息均为样本图像中目标的真实边界,相应的,在利用上述训练数据训练目标检测模型过程中,目标检测模型未学习到目标的边界的不确定性。后续的,利用该目标检测模型,对图像中被部分遮挡或者由于光线原因导致部分轮廓不分明的目标的检测结果会存在较大误差,即对图像中出现上述情况的目标的检测框确定的位置不够准确。


技术实现要素:

4.本发明提供了一种目标检测方法及装置,以实现对图像中目标的边界的更准确检测。具体的技术方案如下:
5.第一方面,本发明实施例提供了一种目标检测方法,所述方法包括:
6.获得待检测图像;
7.利用预先建立的目标检测模型的特征提取层对所述待检测图像进行特征提取,确定所述待检测图像对应的待检测图像特征;
8.利用所述预先建立的目标检测模型的特征回归层以及所述待检测图像特征,确定所述待检测图像中所检测出的各检测目标对应的每一初始框边界位置信息对应的概率值;并针对各检测目标,基于该检测目标对应的每一初始框边界位置信息对应的概率值,确定该检测目标对应的目标检测框位置信息,其中,所述预先建立的目标检测模型为:基于样本图像及其对应的标定信息训练所得的模型,所述标定信息包括:所对应样本图像中样本目标对应的标定框位置信息。
9.可选的,所述针对各检测目标,基于该检测目标对应的每一初始框边界位置信息对应的概率值,确定该检测目标对应的目标检测框位置信息的步骤,包括:
10.针对各检测目标,基于该检测目标在各方位上对应的每一初始框边界位置信息对应的概率值,确定该检测目标在各方位上对应的目标检测框边界位置信息,以确定出该检测目标对应的目标检测框位置信息,其中,所述方位包括所述待检测图像的上、下、左和右方位。
11.可选的,所述针对各检测目标,基于该检测目标在各方位上对应的每一初始框边
界位置信息对应的概率值,确定该检测目标在各方位上对应的目标检测框边界位置信息的步骤,包括:
12.针对各检测目标,基于该检测目标在各方位上对应的每一初始框边界位置信息对应的概率值以及预设积分公式,确定该检测目标在各方位上对应的目标检测框边界位置信息。
13.可选的,所述预设积分公式的表达式为:
[0014][0015]
其中,所述p表示该检测目标在目标方位上对应的目标检测框边界位置信息所表征位置,与所述预先建立的目标检测模型所预测的该检测目标对应的激活点所在位置之间的目标平移值,ai表示该检测目标在目标方位上对应的第i个初始框边界位置信息对应的预设平移值,p(ai)表示该检测目标在目标方位上的第i个初始框边界位置信息对应的预设平移值所对应的概率值,n 1表示该检测目标在目标方位上的对应的初始框边界位置信息对应的预设平移值的总个数,所述目标方位为所述方位中的任一方位。
[0016]
可选的,在所述利用所述预先建立的目标检测模型的特征回归层以及所述待检测图像特征,确定所述待检测图像中所检测出的各检测目标对应的每一初始框边界位置信息对应的概率值;并针对各检测目标,基于该检测目标对应的每一初始框边界位置信息对应的概率值,确定该检测目标对应的目标检测框位置信息的步骤之前,所述方法还包括:
[0017]
训练得到预先建立的目标检测模型的过程,其中,所述过程包括:
[0018]
获得多个样本图像以及每一样本图像对应的标定信息;
[0019]
获得初始目标检测模型;
[0020]
针对每一样本图像,将该样本图像输入所述初始目标检测模型的特征提取层,提取得到该样本图像对应的样本图像特征;
[0021]
针对每一样本图像,将该样本图像对应的样本图像特征输入所述初始目标检测模型的特征回归层,确定该样本图像中样本目标在各方位上对应的每一预测框边界位置信息对应的概率值;并针对该样本图像中各样本目标,基于该样本目标对应的各方位对应的每一预测框边界位置信息对应的概率值以及预设积分公式,确定该样本目标对应的当前框位置信息;
[0022]
针对每一样本图像,利用预设损失函数、该样本图像中各样本目标对应的当前位置信息以及该样本图像所对应标定信息中各样本目标对应的标定框位置信息,确定当前损失值;
[0023]
判断所述当前损失值是否超过预设损失阈值;
[0024]
若判断所述当前损失值超过预设损失阈值,则调整所述初始目标检测模型的特征提取层和特征回归层的模型参数,并返回执行所述针对每一样本图像,将该样本图像输入所述初始目标检测模型的特征提取层,提取得到该样本图像对应的样本图像特征的步骤;
[0025]
若判断所述当前损失值未超过预设损失阈值,则确定所述初始目标检测模型达到收敛状态,确定出包含特征提取层以及特征回归层的预先建立的目标检测模型。
[0026]
可选的,在所述利用所述预先建立的目标检测模型的特征回归层以及所述待检测图像特征,确定所述待检测图像中所检测出的各检测目标对应的每一初始框边界位置信息
对应的概率值;并针对各检测目标,基于该检测目标对应的每一初始框边界位置信息对应的概率值,确定该检测目标对应的目标检测框位置信息的步骤之后,所述方法还包括:
[0027]
输出所检测出的各检测目标对应的每一初始框边界位置信息对应的概率值,和/或各检测目标对应的目标检测框位置信息。
[0028]
第二方面,本发明实施例提供了一种目标检测装置,所述装置包括:
[0029]
获得模块,被配置为获得待检测图像;
[0030]
第一确定模块,被配置为利用预先建立的目标检测模型的特征提取层对所述待检测图像进行特征提取,确定所述待检测图像对应的待检测图像特征;
[0031]
第二确定模块,被配置为利用所述预先建立的目标检测模型的特征回归层以及所述待检测图像特征,确定所述待检测图像中所检测出的各检测目标对应的每一初始框边界位置信息对应的概率值;并针对各检测目标,基于该检测目标对应的每一初始框边界位置信息对应的概率值,确定该检测目标对应的目标检测框位置信息,其中,所述预先建立的目标检测模型为:基于样本图像及其对应的标定信息训练所得的模型,所述标定信息包括:所对应样本图像中样本目标对应的标定框位置信息。
[0032]
可选的,所述第二确定模块,被具体配置为
[0033]
针对各检测目标,基于该检测目标在各方位上对应的每一初始框边界位置信息对应的概率值,确定该检测目标在各方位上对应的目标检测框边界位置信息,以确定出该检测目标对应的目标检测框位置信息,其中,所述方位包括所述待检测图像的上、下、左和右方位。
[0034]
可选的,所述第二确定模块,被具体配置为
[0035]
针对各检测目标,基于该检测目标在各方位上对应的每一初始框边界位置信息对应的概率值以及预设积分公式,确定该检测目标在各方位上对应的目标检测框边界位置信息。
[0036]
可选的,所述预设积分公式的表达式为:
[0037][0038]
其中,所述p表示该检测目标在目标方位上对应的目标检测框边界位置信息所表征位置,与所述预先建立的目标检测模型所预测的该检测目标对应的激活点所在位置之间的目标平移值,ai表示该检测目标在目标方位上对应的第i个初始框边界位置信息对应的预设平移值,p(ai)表示该检测目标在目标方位上的第i个初始框边界位置信息对应的预设平移值所对应的概率值,n 1表示该检测目标在目标方位上的对应的初始框边界位置信息对应的预设平移值的总个数,所述目标方位为所述方位中的任一方位。
[0039]
可选的,所述装置还包括:
[0040]
模型训练模块,被配置为在所述利用所述预先建立的目标检测模型的特征回归层以及所述待检测图像特征,确定所述待检测图像中所检测出的各检测目标对应的每一初始框边界位置信息对应的概率值;并针对各检测目标,基于该检测目标对应的每一初始框边界位置信息对应的概率值,确定该检测目标对应的目标检测框位置信息之前,训练得到预先建立的目标检测模型,其中,模型训练模块,被具体配置为获得多个样本图像以及每一样本图像对应的标定信息;
[0041]
获得初始目标检测模型;
[0042]
针对每一样本图像,将该样本图像输入所述初始目标检测模型的特征提取层,提取得到该样本图像对应的样本图像特征;
[0043]
针对每一样本图像,将该样本图像对应的样本图像特征输入所述初始目标检测模型的特征回归层,确定该样本图像中样本目标在各方位上对应的每一预测框边界位置信息对应的概率值;并针对该样本图像中各样本目标,基于该样本目标对应的各方位对应的每一预测框边界位置信息对应的概率值以及预设积分公式,确定该样本目标对应的当前框位置信息;
[0044]
针对每一样本图像,利用预设损失函数、该样本图像中各样本目标对应的当前位置信息以及该样本图像所对应标定信息中各样本目标对应的标定框位置信息,确定当前损失值;
[0045]
判断所述当前损失值是否超过预设损失阈值;
[0046]
若判断所述当前损失值超过预设损失阈值,则调整所述初始目标检测模型的特征提取层和特征回归层的模型参数,并返回执行所述针对每一样本图像,将该样本图像输入所述初始目标检测模型的特征提取层,提取得到该样本图像对应的样本图像特征;
[0047]
若判断所述当前损失值未超过预设损失阈值,则确定所述初始目标检测模型达到收敛状态,确定出包含特征提取层以及特征回归层的预先建立的目标检测模型。
[0048]
可选的,所述装置还包括:
[0049]
输出模块,被配置为在所述利用所述预先建立的目标检测模型的特征回归层以及所述待检测图像特征,确定所述待检测图像中所检测出的各检测目标对应的每一初始框边界位置信息对应的概率值;并针对各检测目标,基于该检测目标对应的每一初始框边界位置信息对应的概率值,确定该检测目标对应的目标检测框位置信息之后,输出所检测出的各检测目标对应的每一初始框边界位置信息对应的概率值,和/或各检测目标对应的目标检测框位置信息。
[0050]
由上述内容可知,本发明实施例提供的一种目标检测方法及装置,获得待检测图像;利用预先建立的目标检测模型的特征提取层对所述待检测图像进行特征提取,确定待检测图像对应的待检测图像特征;利用预先建立的目标检测模型的特征回归层以及待检测图像特征,确定待检测图像中所检测出的各检测目标对应的每一初始框边界位置信息对应的概率值;并针对各检测目标,基于该检测目标对应的每一初始框边界位置信息对应的概率值,确定该检测目标对应的目标检测框位置信息,其中,预先建立的目标检测模型为:基于样本图像及其对应的标定信息训练所得的模型,标定信息包括:所对应样本图像中样本目标对应的标定框位置信息。
[0051]
应用本发明实施例,基于预先建立的目标检测模型的回归层可回归出各检测目标对应的每一初始框边界位置信息对应的概率值,即回归出各检测目标对应的各方位上的框边界的概率分布即框边界的不确定性,进而基于针对各检测目标,基于该检测目标对应的每一初始框边界位置信息对应的概率值,确定各方位上的框边界的位置信息,以确定该检测目标对应的目标检测框位置信息,以实现对图像中目标的框边界的更准确检测。当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
[0052]
本发明实施例的创新点包括:
[0053]
1、基于预先建立的目标检测模型的回归层可回归出各检测目标对应的每一初始框边界位置信息对应的概率值,即回归出各检测目标对应的各框边界的概率分布即框边界的不确定性,进而基于针对各检测目标,基于该检测目标对应的每一初始框边界位置信息对应的概率值,确定各框边界的位置信息,以确定该检测目标对应的目标检测框位置信息,以实现对图像中目标的框边界的更准确检测。
[0054]
2、针对各检测目标,基于该检测目标在检测图像的上、下、左和右四个方位上对应的每一初始框边界位置信息对应的概率值,即检测目标各方位上的框边界的概率分布即不确定性,确定该检测目标在各方位上对应的目标检测框边界位置信息,以确定出该检测目标对应的目标检测框位置信息,得到各方位上的位置更准确的框边界,以确定出位置更准确的检测目标的位置信息。
[0055]
3、针对各检测目标,基于该检测目标在各方位上对应的每一初始框边界位置信息对应的概率值以及预设积分公式,积分得到该检测目标在各方位上对应的目标检测框边界位置信息,以确定出位置更准确的检测目标的位置信息。
[0056]
4、训练得到预先建立的目标检测模型的过程中,通过初始目标检测模型的特征回归层回归出样本图像中样本目标在各方位上对应的每一预测框边界位置信息对应的概率值,即回归出各方位上不同的预测框边界位置信息对应的概率值,即确定出样本目标在各方位上框边界的概率分布即不确定性,进而结合预设积分公式以及该样本目标对应的各方位对应的每一预测框边界位置信息对应的概率值,确定该样本目标对应的当前框位置信息;针对每一样本图像,利用预设损失函数、该样本图像中各样本目标对应的当前位置信息以及该样本图像所对应标定信息中各样本目标对应的标定框位置信息,确定当前损失值,以确定是否调整初始目标检测模型的特征提取层和特征回归层的模型参数,即是否训练初始目标检测模型,以训练得到学习到预测图像中目标的各方位上的框边界的概率分布即不确定性的能力的预先建立的目标检测模型,且使得预先建立的目标检测模型学习到更加鲁棒和稳健的图像特征的表示,为后续的目标的框边界位置信息的准确确定提供基础,并为后续的任务的进行提供参照。
附图说明
[0057]
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0058]
图1为本发明实施例提供的目标检测方法的一种流程示意图;
[0059]
图2为预先建立的目标检测模型的训练过程的一种流程示意图;
[0060]
图3为检测目标在各方位上对应的每一初始框边界位置信息对应的概率值的一种可视化示意图;
[0061]
图4为本发明实施例提供的目标检测装置的一种结构示意图。
具体实施方式
[0062]
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完
整的描述。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0063]
需要说明的是,本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
[0064]
本发明提供了一种目标检测方法及装置,以实现对图像中目标的边界的更准确检测。下面对本发明实施例进行详细说明。
[0065]
图1为本发明实施例提供的目标检测方法的一种流程示意图。该方法可以包括如下步骤:。
[0066]
s101:获得待检测图像。
[0067]
本发明实施例所提供的目标检测方法,可以应用于任一具有计算能力的电子设备,该电子设备可以为终端或者服务器。在一种实现方式中,该电子设备可以为车载设备,设置于车辆上,该车辆还可以设置有图像采集设备,图像采集设备可以针对车辆所处环境采集图像,电子设备与图像采集设备连接,可以获得图像采集设备所采集的图像,作为待检测图像。另一种实现方式中,该电子设备可以为非车载设备,电子设备可以与针对目标场景进行拍摄的图像采集设备连接,获得图像采集设备针对目标场景采集的图像,作为待检测图像,一种情况中,该目标场景可以为公路场景或广场场景或室内场景,这都是可以的。
[0068]
该待检测图像可以为rgb(red green blue,红绿蓝)图像,也可以为红外图像,这都是可以的。本发明实施例并不对待检测图像的类型进行限定。
[0069]
s102:利用预先建立的目标检测模型的特征提取层对待检测图像进行特征提取,确定待检测图像对应的待检测图像特征。
[0070]
本步骤中,电子设备利用预先建立的目标检测模型的特征提取层对待检测图像进行卷积操作以及池化操作等操作,以提取该待检测图像对应的图像特征,作为待检测图像特征。其中,特征提取层对待检测图像进行特征提取的过程可以采用相关技术中任一种可以实现对图像的图像特征提取的方式,本发明实施例并不做限定。
[0071]
s103:利用预先建立的目标检测模型的特征回归层以及待检测图像特征,确定待检测图像中所检测出的各检测目标对应的每一初始框边界位置信息对应的概率值;并针对各检测目标,基于该检测目标对应的每一初始框边界位置信息对应的概率值,确定该检测目标对应的目标检测框位置信息。
[0072]
其中,预先建立的目标检测模型为:基于样本图像及其对应的标定信息训练所得的模型,标定信息包括:所对应样本图像中样本目标对应的标定框位置信息。该预先建立的目标检测模型的特征回归层针对各方位对应有预定数量个回归输出,每一方位对应的每一回归输出对应一个预设平移值。
[0073]
电子设备得到待检测图像特征之后,利用特征回归层以及待检测图像特征,回归得到待检测图像中所检测出的各检测目标对应的每一初始框边界位置信息对应的概率值,其中,每一检测目标对应的每一初始框边界位置信息对应的概率值包括:该检测目标在各方位上对应的每一初始框边界位置信息对应的概率值,即在待检测图像的上下左右四个方
位上对应的每一初始框边界位置信息对应的概率值。该检测目标在各方位上对应的每一初始框边界位置信息对应的概率值可以表征出该检测目标在各方位上对应的框边界的离散化的广义概率密度函数,即该检测目标在各方位上对应的框边界的概率分布,也即可以表征出该检测目标在各方位上对应的框边界所在位置的不确定性。
[0074]
后续的,电子设备针对各检测目标,基于该检测目标在各方位上对应的每一初始框边界位置信息对应的概率值,即该检测目标在各方位上对应的框边界的概率分布,确定该检测目标在各方位上对应的目标检测框边界位置信息,以确定出该检测目标对应的目标检测框位置信息。
[0075]
其中,上述利用特征回归层以及待检测图像特征,回归得到待检测图像中所检测出的各检测目标对应的每一初始框边界位置信息对应的概率值的过程可以是:将待检测图像特征输入预先建立的目标检测模型的特征回归层,特征回归层对待检测图像特征进行回归处理,回归得到各检测目标在每一方位上对应的预设数量个回归数值;针对各检测目标在每一方位上的回归数值,利用预设激励函数即softmax函数以及该检测目标在该方位上对应的预设数量个回归数值,确定得到预设数量个概率值,即得到各检测目标对应的每一初始框边界位置信息对应的概率值。检测目标在每一方位上对应的预设数量个回归数值中每一回归数值对应一后续提到的预设平移值,该检测目标从其对应的激活点平移该预设平移值后,可得到该检测目标对应的一初始框边界位置信息。检测目标对应的激活点所在位置为预先建立的目标检测模型预测回归出的位置,该预先建立的目标检测模型预测回归检测目标对应的激活点所在位置的方式,可以参照相关技术中目标检测模型预测回归图像中目标对应的激活点所在位置的方式,在此不再赘述。
[0076]
其中,该预设平移值为基于训练得到该预先建立的目标检测模型所需的样本图像对应的标定信息中各标定框位置信息所表征标定框的各个框边界,与该标定框的中心点之间的标定距离确定出的,即基于各标定框位置信息所表征标定框的上下左右四个方位的框边界与该标定框的中心点之间的标定距离确定出的。其中,该预设平移值中的最小值可以为0,该预设平移值中的最大值为上述标定距离中数值最大的标定距离。该预设平移值中各平移值之间的数值可以从最小值至最大值依次均匀递增,也可以是依次不均匀递增,这都是可以的。
[0077]
应用本发明实施例,基于预先建立的目标检测模型的回归层可回归出各检测目标对应的每一初始框边界位置信息对应的概率值,即回归出各检测目标对应的各框边界的概率分布即框边界的不确定性,进而基于针对各检测目标,基于该检测目标对应的每一初始框边界位置信息对应的概率值,确定各框边界的位置信息,以确定该检测目标对应的目标检测框位置信息,以实现对图像中目标的框边界的更准确检测。
[0078]
在本发明的另一实施例中,所述针对各检测目标,基于该检测目标在各方位上对应的每一初始框边界位置信息对应的概率值,确定该检测目标在各方位上对应的目标检测框边界位置信息的步骤,可以包括:
[0079]
针对各检测目标,基于该检测目标在各方位上对应的每一初始框边界位置信息对应的概率值以及预设积分公式,确定该检测目标在各方位上对应的目标检测框边界位置信息。
[0080]
本实现方式中,电子设备利用预先建立的目标检测模型的特征回归层确定出各检
测目标在每一方位上对应的每一初始框边界位置信息对应的概率值,即确定出各检测目标在每一方位上的框边界对应的概率分布即不确定性,进而,通过积分的方式,基于该检测目标在各方位上对应的每一初始框边界位置信息对应的概率值以及预设积分公式,确定该检测目标在各方位上对应的目标检测框边界位置信息。
[0081]
在本发明的另一实施例中,在训练得到预先建立的目标检测模型的过程中,可以使得预先建立的目标检测模型学习到图像中目标的各方位上对应的框边界所在位置对应的概率密度函数p(x),并且为了简化目标检测模型的特征回归层的回归复杂度,对特征回归层的回归范围进行了相应的限定,将特征回归层的回归范围限定在a0和an之间,该a0为上述提到的预设平移值中的最小值,该an为上述提到的预设平移值中的最大值;并进行了离散化,相应的,该预设积分公式的表达式可以为:
[0082][0083]
其中,该p表示该检测目标在目标方位上对应的目标检测框边界位置信息所表征位置,与预先建立的目标检测模型所预测的该检测目标对应的激活点所在位置之间的目标平移值,ai表示该检测目标在目标方位上对应的第i个初始框边界位置信息对应的预设平移值,p(ai)表示该检测目标在目标方位上的第i个初始框边界位置信息对应的预设平移值所对应的概率值,即该检测目标在目标方位上的第i个初始框边界位置信息对应的概率值,n 1表示该检测目标在目标方位上的对应的初始框边界位置信息对应的预设平移值的总个数,目标方位为方位中的任一方位。
[0084]
其中,该n为正整数,n 1为上述提到的预设数量。
[0085]
在本发明的另一实施例中,在所述利用预先建立的目标检测模型的特征回归层以及待检测图像特征,确定待检测图像中所检测出的各检测目标对应的每一初始框边界位置信息对应的概率值;并针对各检测目标,基于该检测目标对应的每一初始框边界位置信息对应的概率值,确定该检测目标对应的目标检测框位置信息的步骤之前,所述方法还可以包括:
[0086]
训练得到预先建立的目标检测模型的过程,其中,如图2所示,所述过程可以包括如下步骤:
[0087]
s201:获得多个样本图像以及每一样本图像对应的标定信息;
[0088]
s202:获得初始目标检测模型;
[0089]
s203:针对每一样本图像,将该样本图像输入初始目标检测模型的特征提取层,提取得到该样本图像对应的样本图像特征;
[0090]
s204:针对每一样本图像,将该样本图像对应的样本图像特征输入初始目标检测模型的特征回归层,确定该样本图像中样本目标在各方位上对应的每一预测框边界位置信息对应的概率值;并针对该样本图像中各样本目标,基于该样本目标对应的各方位对应的每一预测框边界位置信息对应的概率值以及预设积分公式,确定该样本目标对应的当前框位置信息;
[0091]
s205:针对每一样本图像,利用预设损失函数、该样本图像中各样本目标对应的当前位置信息以及该样本图像所对应标定信息中各样本目标对应的标定框位置信息,确定当前损失值;
[0092]
s206:判断当前损失值是否超过预设损失阈值;
[0093]
s207:若判断当前损失值超过预设损失阈值,则调整初始目标检测模型的特征提取层和特征回归层的模型参数,并返回执行s203;
[0094]
s208:若判断当前损失值未超过预设损失阈值,则确定初始目标检测模型达到收敛状态,确定出包含特征提取层以及特征回归层的预先建立的目标检测模型。
[0095]
本实现方式中,电子设备在确定待检测图像对应的目标检测结果之前,还可以包括训练得到预先建立的目标检测模型的过程。相应的,电子设备获得多个样本图像以及每一样本图像对应的包括所对应样本图像中样本目标对应的标定框位置信息的标定信息。获得初始目标检测模型,该初始目标检测模型的特征回归层针对图像的上下左右四个方位分别对应预定数量个回归输出;针对每一样本图像,将该样本图像输入初始目标检测模型的特征提取层,提取得到该样本图像对应的样本图像特征;将该样本图像对应的样本图像特征输入初始目标检测模型的特征回归层,征回归层对样本图像特征进行回归处理,回归得到各样本目标在每一方位上对应的预设数量个回归数值;针对各样本目标在每一方位上的回归数值,利用预设激励函数即softmax函数以及该样本目标在该方位上对应的预设数量个回归数值,确定得到预设数量个概率值,即确定出该样本图像中样本目标在各方位上对应的每一预测框边界位置信息对应的概率值;针对该样本图像中各样本目标,基于该样本目标对应的各方位对应的每一预测框边界位置信息对应的概率值以及预设积分公式,积分得到该样本目标对应的当前框位置信息。
[0096]
针对每一样本图像,利用预设损失函数、该样本图像中各样本目标对应的当前位置信息以及该样本图像所对应标定信息中各样本目标对应的标定框位置信息,确定当前损失值;判断当前损失值是否超过预设损失阈值;若判断当前损失值超过预设损失阈值,则确定初始目标检测模型未达到收敛状态,利用预设优化算法,调整初始目标检测模型的特征提取层和特征回归层的模型参数,并返回执行s203;若判断当前损失值未超过预设损失阈值,则确定初始目标检测模型达到收敛状态,确定出包含特征提取层以及特征回归层的预先建立的目标检测模型。其中,该预先建立的目标检测模型通过上述训练过程学习得到图像中目标的框边界所在位置的概率密度函数,可以预测图像中目标的框边界所在位置的概率分布,其可以显示地建模出图像中目标的框边界的不确定性,且预先建立的目标检测模型学习到更加鲁棒和稳健的图像特征的表示。为后续的图像中目标的位置信息的准确确定提供基础。
[0097]
其中,该预设损失函数可以为相关技术中神经网络模型可以采用的任一类型的损失函数,本发明实施例并不做限定。该预设优化算法可以包括但不限于梯度下降法。
[0098]
在本发明的另一实施例中,在所述s103之后,所述方法还可以包括如下步骤:
[0099]
输出所检测出的各检测目标对应的每一初始框边界位置信息对应的概率值,和/或各检测目标对应的目标检测框位置信息。
[0100]
本实现方式中,一种情况,电子设备可以直接以数值的形式输出所检测出的各检测目标对应的每一初始框边界位置信息对应的概率值,和/或直接以数值的形式各检测目标对应的目标检测框位置信息。另一种情况,电子设备可以以图形的形式输出所检测出的各检测目标对应的每一初始框边界位置信息对应的概率值,和/或直接以图形的形式各检测目标对应的目标检测框位置信息。
[0101]
其中,电子设备在输出各检测目标对应的目标检测框位置信息的情况下,可以在待检测图像的相应位置绘制出各检测目标对应的目标检测框位置信息所表征的检测框,以实现输出各检测目标对应的目标检测框位置信息,使得用户可以直观的观测出检测目标所在位置。
[0102]
其中,在输出所检测出的各检测目标对应的每一初始框边界位置信息对应的概率值的情况下,可以对各检测目标对应的每一初始框边界位置信息对应的概率值进行可视化,即针对各检测目标在各方位上对应的初始框边界位置信息对应的概率值,利用该检测目标在该方位上对应的每一初始框边界位置信息对应的概率值,绘制直方图,其中,直方图的纵坐标可以表示概率值,直方图的横坐标可以表示预设平移值。如图3所示,图3中的左侧图像为待检测图像,右侧的四个直方图分别表示图3中左侧图像中目标a对应的左方位“left”、上方位“top”、右方位“right”以及下方位“bottom”上预设平移值对应的概率值,即左侧图像中目标a对应的左方位、上方位、右方位以及下方位上的框边界位置信息对应的概率值,即概率分布情况。
[0103]
通过图形的形式可以直观的观测出检测目标的各方位上的框边界的概率分布情况及其不确定性,其中,若目标某一方位对应的直方图表征其对应的初始框边界位置信息对应的概率值呈现较为扁平的概率分布,则可以确定该目标在该方位上的框边界所在位置具有较高的不确定性;若目标某一方位对应的直方图表征其对应的初始框边界位置信息对应的概率值呈现较为尖锐的分布,则可以确定该目标在该方位上的框边界所在位置具有较高的确定性,该可以表明预先建立的目标检测模型对该框边界所在位置的预测较为清晰且判断精准。如图3所示,左侧图像中目标a的上方位上的框边界所在位置、左方位上的框边界所在位置以及右方位上的框边界所在位置较为清晰,相应的,利用本发明实施例所提供的目标检测流程所确定的目标a的上方位对应的直方图表征其对应的初始框边界位置信息对应的概率值呈现较为尖锐的分布,即目标a的上方位对应的框边界对应的概率分布呈现较为尖锐的分布情况;且目标a的左方位对应的直方图表征其对应的初始框边界位置信息对应的概率值呈现较为尖锐的分布,即目标a的左方位对应的框边界对应的概率分布呈现较为尖锐的分布情况;且目标a的右方位对应的直方图表征其对应的初始框边界位置信息对应的概率值呈现较为尖锐的分布,即目标a的右方位对应的框边界对应的概率分布呈现较为尖锐的分布情况。而由于光线因素,图3中左侧图像中目标a的下方位上的框边界所在位置较为模糊,相应的利用本发明实施例所提供的目标检测流程所确定的目标a的下方位对应的直方图表征其对应的初始框边界位置信息对应的概率值呈现较为扁平的分布,即目标a的上方位对应的框边界对应的概率分布呈现较为扁平的分布情况。
[0104]
相应于上述方法实施例,本发明实施例提供了一种目标检测装置,如图4所示,所述装置可以包括:
[0105]
获得模块410,被配置为获得待检测图像;
[0106]
第一确定模块420,被配置为利用预先建立的目标检测模型的特征提取层对所述待检测图像进行特征提取,确定所述待检测图像对应的待检测图像特征;
[0107]
第二确定模块430,被配置为利用所述预先建立的目标检测模型的特征回归层以及所述待检测图像特征,确定所述待检测图像中所检测出的各检测目标对应的每一初始框边界位置信息对应的概率值;并针对各检测目标,基于该检测目标对应的每一初始框边界
位置信息对应的概率值,确定该检测目标对应的目标检测框位置信息,其中,所述预先建立的目标检测模型为:基于样本图像及其对应的标定信息训练所得的模型,所述标定信息包括:所对应样本图像中样本目标对应的标定框位置信息。
[0108]
应用本发明实施例,基于预先建立的目标检测模型的回归层可回归出各检测目标对应的每一初始框边界位置信息对应的概率值,即回归出各检测目标对应的各框边界的概率分布即框边界的不确定性,进而基于针对各检测目标,基于该检测目标对应的每一初始框边界位置信息对应的概率值,确定各框边界的位置信息,以确定该检测目标对应的目标检测框位置信息,以实现对图像中目标的框边界的更准确检测。
[0109]
在本发明的另一实施例中,所述第二确定模块430,被具体配置为
[0110]
针对各检测目标,基于该检测目标在各方位上对应的每一初始框边界位置信息对应的概率值,确定该检测目标在各方位上对应的目标检测框边界位置信息,以确定出该检测目标对应的目标检测框位置信息,其中,所述方位包括所述待检测图像的上、下、左和右方位。
[0111]
在本发明的另一实施例中,所述第二确定模块430,被具体配置为
[0112]
针对各检测目标,基于该检测目标在各方位上对应的每一初始框边界位置信息对应的概率值以及预设积分公式,确定该检测目标在各方位上对应的目标检测框边界位置信息。
[0113]
在本发明的另一实施例中,所述预设积分公式的表达式为:
[0114][0115]
其中,所述p表示该检测目标在目标方位上对应的目标检测框边界位置信息所表征位置,与所述预先建立的目标检测模型所预测的该检测目标对应的激活点所在位置之间的目标平移值,ai表示该检测目标在目标方位上对应的第i个初始框边界位置信息对应的预设平移值,p(ai)表示该检测目标在目标方位上的第i个初始框边界位置信息对应的预设平移值所对应的概率值,n 1表示该检测目标在目标方位上的对应的初始框边界位置信息对应的预设平移值的总个数,所述目标方位为所述方位中的任一方位。
[0116]
在本发明的另一实施例中,所述装置还包括:
[0117]
模型训练模块(图中未示出),被配置为在所述利用所述预先建立的目标检测模型的特征回归层以及所述待检测图像特征,确定所述待检测图像中所检测出的各检测目标对应的每一初始框边界位置信息对应的概率值;并针对各检测目标,基于该检测目标对应的每一初始框边界位置信息对应的概率值,确定该检测目标对应的目标检测框位置信息之前,训练得到预先建立的目标检测模型,其中,模型训练模块,被具体配置为获得多个样本图像以及每一样本图像对应的标定信息;
[0118]
获得初始目标检测模型;
[0119]
针对每一样本图像,将该样本图像输入所述初始目标检测模型的特征提取层,提取得到该样本图像对应的样本图像特征;
[0120]
针对每一样本图像,将该样本图像对应的样本图像特征输入所述初始目标检测模型的特征回归层,确定该样本图像中样本目标在各方位上对应的每一预测框边界位置信息对应的概率值;并针对该样本图像中各样本目标,基于该样本目标对应的各方位对应的每
一预测框边界位置信息对应的概率值以及预设积分公式,确定该样本目标对应的当前框位置信息;
[0121]
针对每一样本图像,利用预设损失函数、该样本图像中各样本目标对应的当前位置信息以及该样本图像所对应标定信息中各样本目标对应的标定框位置信息,确定当前损失值;
[0122]
判断所述当前损失值是否超过预设损失阈值;
[0123]
若判断所述当前损失值超过预设损失阈值,则调整所述初始目标检测模型的特征提取层和特征回归层的模型参数,并返回执行所述针对每一样本图像,将该样本图像输入所述初始目标检测模型的特征提取层,提取得到该样本图像对应的样本图像特征;
[0124]
若判断所述当前损失值未超过预设损失阈值,则确定所述初始目标检测模型达到收敛状态,确定出包含特征提取层以及特征回归层的预先建立的目标检测模型。
[0125]
在本发明的另一实施例中,所述装置还包括:
[0126]
输出模块(图中未示出),被配置为在所述利用所述预先建立的目标检测模型的特征回归层以及所述待检测图像特征,确定所述待检测图像中所检测出的各检测目标对应的每一初始框边界位置信息对应的概率值;并针对各检测目标,基于该检测目标对应的每一初始框边界位置信息对应的概率值,确定该检测目标对应的目标检测框位置信息之后,输出所检测出的各检测目标对应的每一初始框边界位置信息对应的概率值,和/或各检测目标对应的目标检测框位置信息。
[0127]
上述系统、装置实施例与系统实施例相对应,与该方法实施例具有同样的技术效果,具体说明参见方法实施例。装置实施例是基于方法实施例得到的,具体的说明可以参见方法实施例部分,此处不再赘述。本领域普通技术人员可以理解:附图只是一个实施例的示意图,附图中的模块或流程并不一定是实施本发明所必须的。
[0128]
本领域普通技术人员可以理解:实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中,也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
[0129]
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献