基于视频卫星数据的目标检测方法、装置及设备与流程

1.本技术涉及图像处理领域，尤其涉及一种基于视频卫星数据的目标检测方法、装置及设备。


背景技术：

2.随着我国空间技术的不断发展，在视频卫星技术领域取得了长足的进步，卫星获取的对地凝视数据可对工业、农业、交通等领域提供很多的基础应用，但是卫星视频数据存在着分辨率较低、画面抖动、图像周边畸变较为严重、目标小等问题，这些问题在大场景中目标的快速检测中会产生较大的影响，整体检测识别速度较慢。
3.ssd（single shot multibox detector，ssd）是wei liu等人在eccv 2016上提出的一种目标检测算法，是一种基于回归的深度卷积神经网络，ssd可以直接在整幅图像上进行目标检测识别，大大降低了网络的复杂度和计算时间消耗，并且检测流程较为简单，对于输入图像可以同时预测目标的位置和类别，相比于r-cnn等算法具有明显的速度优势，是目前主要的检测框架之一。但是现有的ssd对视频卫星数据中的小目标检测精确度较低。


技术实现要素：

4.本技术的主要目的在于提供一种基于视频卫星数据的目标检测方法、装置及设备，旨在解决现有ssd算法对卫星视频图像的目标检测精确度较低的技术问题。
5.为实现上述目的，本技术提供一种基于视频卫星数据的目标检测方法，包括：获取待检测视频卫星数据；其中，所述视频卫星数据中包含多个待检测帧；基于预设的内容判别网络，将所述待检测帧与预设的关键帧进行一致性检测；其中，所述关键帧包括已标注的待测目标；若所述待检测帧与所述关键帧内容不一致，则将所述待检测帧输入预训练的目标检测模型进行目标识别，得到所述待检测帧的目标检测结果；其中，所述目标检测模型基于改进ssd检测网络训练获得，所述改进ssd检测网络包括超参特征卷积层和反卷积层；若所述待检测帧与所述关键帧内容一致，则利用所述关键帧进行局部目标查找，得到所述待检测帧的目标检测结果。
6.可选地，所述基于预设的内容判别网络，将所述待检测帧与预设的关键帧进行一致性检测的步骤之前，还包括：获取带标签的卫星视频图像；利用所述带标签的卫星视频图像，构造所述内容判别网络；其中，所述内容判别网络包含参数共享的卷积网络和全连接层。
7.可选地，所述若所述待检测帧与所述关键帧内容不一致，则将所述待检测帧输入预训练的目标检测模型进行目标识别，得到所述待检测帧的目标检测结果的步骤之后，还包括：将所述待检测帧作为新的关键帧。
8.可选地，所述目标检测模型包括已训练的超参特征卷积层、反卷积层以及卷积层；所述将所述待检测帧输入预训练的目标检测模型进行目标识别，得到所述待检测帧的目标检测结果的步骤，包括：输入所述待检测帧；通过所述已训练的超参特征卷积层、所述卷积层和所述反卷积层，对所述待检测帧进行卷积和反卷积操作，获得所述待检测帧的特征；根据所述特征，获得所述待检测帧的目标检测结果。
9.可选地，所述将所述待检测帧输入预训练的目标检测模型进行目标识别，得到所述待检测帧的目标检测结果的步骤之前，还包括：获取标准的所述ssd检测网络；将所述ssd检测网络的卷积层conv1、卷积层conv2和卷积层conv3进行尺度变换，将所述卷积层conv1、卷积层conv2和卷积层conv3的特征统一到超参特征卷积层conv4中；将卷积层conv5和卷积层conv6进行特征池化追加，分别得到卷积层conv7和卷积层conv8；将所述卷积层conv8进行池化操作，得到卷积层conv9；将所述卷积层conv9和所述卷积层conv8进行反卷积操作，分别得到反卷积层deconv8和反卷积层deconv9；得到所述改进ssd检测网络。
10.可选地，所述得到所述改进ssd检测网络的步骤之后，还包括：获取带标签的视频卫星数据；对所述带标签的视频卫星数据进行数据处理，获得数据集；利用所述数据集对所述改进ssd检测网络进行训练，获得所述目标检测模型。
11.可选地，所述利用所述数据集对所述改进ssd检测网络进行训练，获得所述目标检测模型的步骤，包括：通过如下损失函数，对所述改进ssd检测网络进行优化：其中，x为目标判别变量，c为置信度，l为预测框，g为真框，n为默认框数量，为置信损失函数，为定位损失函数，为定位损失函数的权重，为反卷积层deconv8和反卷积层deconv9的质量控制损失函数，为的权重。
12.可选地，所述质量控制损失函数的表达式为：其中，m1表示层特征通道的数量，m2表示层特征通道的数量，为卷积层conv7的归一化结果，为卷积层conv8的归一化结果，为反
卷积层deconv9的归一化结果，为反卷积层deconv8的归一化结果。
13.此外，为实现上述目的，本技术还提供一种基于视频卫星数据的目标检测装置，包括：待检测视频卫星数据获取模块，用于获取待检测视频卫星数据；其中，所述视频卫星数据中包含多个待检测帧；一致性检测模块，用于基于预设的内容判别网络，将所述待检测帧与预设的关键帧进行一致性检测；其中，所述关键帧包括已标注的待测目标；目标检测模型模块，用于若所述待检测帧与所述关键帧内容不一致，则将所述待检测帧输入预训练的目标检测模型进行目标识别，得到所述待检测帧的目标检测结果；其中，所述目标检测模型基于改进ssd检测网络训练获得，所述改进ssd检测网络包括超参特征卷积层和反卷积层；局部目标查找模块，用于若所述待检测帧与所述关键帧内容一致，则利用所述关键帧进行局部目标查找，得到所述待检测帧的目标检测结果。
14.此外，为实现上述目的，本技术还提供一种计算机设备，该计算机设备包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序，实现上述的方法。
15.本技术所能实现的有益效果。本技术实施例提出的一种基于视频卫星数据的目标检测方法、装置及设备，通过获取待检测视频卫星数据；其中，所述视频卫星数据中包含多个待检测帧；基于预设的内容判别网络，将所述待检测帧与预设的关键帧进行一致性检测；其中，所述关键帧包括已标注的待测目标；若所述待检测帧与所述关键帧内容不一致，则将所述待检测帧输入预训练的目标检测模型进行目标识别，得到所述待检测帧的目标检测结果；其中，所述目标检测模型基于改进ssd检测网络训练获得，所述改进ssd检测网络包括超参特征卷积层和反卷积层；若所述待检测帧与所述关键帧内容一致，则利用所述关键帧进行局部目标查找，得到所述待检测帧的目标检测结果。即根据视频卫星数据量大、数据尺寸大、信息量多的特点，首先通过内容判别网络对关键帧和待检测帧进行一致性判断，目标一致直接进行目标查找，不一致则再通过检测网络进行目标识别，利用跳帧检测策略较好地提高了目标检测速度；同时，在检测时，利用基于现有的ssd检测网络进行改进而训练得到目标检测模型，较好地适应了多目标的多尺度问题，实现在不同尺度上对目标进行检测；其中，改进的ssd检测网络结构中的超参特征卷积层能够将底层特征丰富到高层，以便于目标识别；目标检测模型中的反卷积层可以在执行目标检测时引入额外的上一级尺度的上下文信息，提高物体检测的准确性，即利用超参数特征卷积层和反卷积层更加关注对小目标的检测，提升整体目标检测的准确性。
附图说明
16.图1为本技术实施例涉及的硬件运行环境的计算机设备结构示意图；图2为本技术实施例提供的一种基于视频卫星数据的目标检测方法的流程示意图；图3为本技术实施例提供的一种基于视频卫星数据的目标检测装置的功能模块示
意图；图4为本技术实施例提供的一种基于视频卫星数据的内容判别网络的训练样本关键帧的示意图；图5为本技术实施例提供的一种基于视频卫星数据的内容判别网络的训练样本待测帧a的构造示意图；图6为本技术实施例提供的一种基于视频卫星数据的内容判别网络的训练样本待测帧b的构造示意图；图7为本技术实施例提供的一种基于视频卫星数据的内容判别网络的训练样本待测帧c的构造示意图；图8为本技术实施例提供的一种基于视频卫星数据的内容判别网络结构示意图；图9为本技术实施例提供的一种基于视频卫星数据的改进ssd检测网络结构示意图；图10为本技术实施例提供的一种基于视频卫星数据的改进ssd检测网络的反卷积模块构建流程示意图；图11为本技术实施例提供的一种基于视频卫星数据的目标检测模型的检测效果示意图；图12为本技术实施例提供的一种基于视频卫星数据的目标检测模型的飞机检测的准确率示意图；图13为本技术实施例提供的一种基于视频卫星数据的目标检测模型的飞机检测的召回率示意图；图14为本技术实施例提供的一种基于视频卫星数据的ssd检测网络的检测效果示意图；图15为本技术实施例提供的一种基于视频卫星数据的ssd检测网络的飞机检测的准确率示意图；图16为本技术实施例提供的一种基于视频卫星数据的ssd检测网络的飞机检测的召回率示意图。
17.本技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
18.应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
19.本技术实施例的主要解决方案是：提出的一种基于视频卫星数据的目标检测方法、装置及设备，通过获取待检测视频卫星数据；其中，所述视频卫星数据中包含多个待检测帧；基于预设的内容判别网络，将所述待检测帧与预设的关键帧进行一致性检测；其中，所述关键帧包括已标注的待测目标；若所述待检测帧与所述关键帧内容不一致，则将所述待检测帧输入预训练的目标检测模型进行目标识别，得到所述待检测帧的目标检测结果；其中，所述目标检测模型基于改进ssd检测网络训练获得，所述改进ssd检测网络包括超参特征卷积层和反卷积层；若所述待检测帧与所述关键帧内容一致，则利用所述关键帧进行局部目标查找，得到所述待检测帧的目标检测结果。
20.现有技术中，随着我国空间技术的不断发展，在视频卫星技术领域取得了长足的
进步，卫星获取的对地凝视数据可对工业、农业、交通等领域提供很多的基础应用，但是卫星视频数据存在着分辨率较低、画面抖动、图像周边畸变较为严重、目标小等问题，这些问题在大场景中目标的快速检测中会产生较大的影响，整体检测识别速度较慢。
21.ssd（single shot multibox detector，ssd）是wei liu等人在eccv 2016上提出的一种目标检测算法，是一种基于回归的深度卷积神经网络，ssd可以直接在整幅图像上进行目标检测识别，大大降低了网络的复杂度和计算时间消耗，并且检测流程较为简单，对于输入图像可以同时预测目标的位置和类别，相比于r-cnn等算法具有明显的速度优势，是目前主要的检测框架之一。但是现有的ssd对视频卫星数据中的小目标检测精确度较低，同时，视频卫星数据的尺寸大、信息量多，检测速度也相对较慢。
22.为此，本技术提供一种解决方案，根据视频卫星数据量大、数据尺寸大、信息量多的特点，首先通过内容判别网络对关键帧和待检测帧进行一致性判断，目标一致直接进行目标查找，不一致则再通过检测网络进行目标识别，利用跳帧检测策略较好地提高了目标检测速度；同时，在检测时，利用基于现有的ssd检测网络进行改进而训练得到目标检测模型，较好地适应了多目标的多尺度问题，实现在不同尺度上对目标进行检测；其中，改进的ssd检测网络结构中的超参特征卷积层能够将底层特征丰富到高层，以便于目标识别；目标检测模型中的反卷积层可以在执行目标检测时引入额外的上一级尺度的上下文信息，提高物体检测的准确性，即利用超参数特征卷积层和反卷积层更加关注对小目标的检测，提升整体目标检测的准确性；进一步的，利用反卷积的重构误差作为损失函数的一部分，在检测目标的同时能更好地监督反卷积的质量，以保证目标检测的精度。
23.参照图1，图1为本技术实施例方案涉及的硬件运行环境的计算机设备结构示意图。
24.如图1所示，该计算机设备可以包括：处理器1001，例如中央处理器（central processing unit，cpu），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（display）、输入单元比如键盘（keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（wireless-fidelity，wi-fi）接口）。存储器1005可以是高速的随机存取存储器（random access memory，ram）存储器，也可以是稳定的非易失性存储器（non-volatile memory，nvm），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
25.本领域技术人员可以理解，图1中示出的结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
26.如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及电子程序。
27.在图1所示的计算机设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明计算机设备中的处理器1001、存储器1005可以设置在计算机设备中，所述计算机设备通过处理器1001调用存储器1005中存储的基于视频卫星数据的目标检测装置，并执行本技术实施例提供的基于视频卫星数据的目标检测方法。
28.参照图2，基于前述实施例的硬件设备，本技术的实施例提供一种基于视频卫星数
据的目标检测方法，包括：s10：获取待检测视频卫星数据；其中，所述视频卫星数据中包含多个待检测帧；在具体实施过程中，视频卫星是一种新型对地观测卫星，与传统的对地观测卫星相比，其最大的特点是可以对某一区域进行“凝视”观测，以“视频录像”的方式获得比传统卫星更多的动态信息，特别适于观测动态目标，分析其瞬时特性，常用的视频卫星有吉林一号系列卫星等。在进行目标检测时，需要对每一帧数据都进行检测。但在视频卫星的影像数据中，地面目标通常都相对很小，目标识别检测的准确性通常较低。
29.s20：基于预设的内容判别网络，将所述待检测帧与预设的关键帧进行一致性检测；其中，所述关键帧包括已标注的待测目标；在具体实施过程中，关键帧是指含有目标的视频帧图像，初始的关键帧可以人工指定，或者随机指定。关键帧对待测目标进行了标注，当前待测帧中的每个目标都与关键帧中每个对应的目标有位置的重合，则判定这两帧数据的目标内容是一致的，否则不一致。图4-图7为内容判别网络的训练样本构造示意图，如图4的关键帧图像内容所示，本实施例共有4个待测目标，分别用4个色块进行表示，图5-图7分别表示不同的待测帧图像内容，实心色块表示待测目标在当前待测帧的位置，不同的虚线框表示图4中待测目标相应的位置。其中，待测帧a与关键帧中的各个目标的位置均有重合，一致性检测结果为一致；待测帧b与关键帧、待测帧c与关键帧中的4个目标没有全部有位置上的重合，一致性检测结果为不一致。
30.作为一种可选的实施方式，所述基于预设的内容判别网络，将所述待检测帧与预设的关键帧进行一致性检测的步骤之前，还包括：获取带标签的卫星视频图像；利用所述带标签的卫星视频图像，构造所述内容判别网络；其中，所述内容判别网络包含参数共享的卷积网络和全连接层。
31.在具体实施过程中，在进行一致性检测之前，获取多张带标签的卫星视频图像，利用这些已标注的卫星视频图像构造出如图8所示的内容判别网络。该内容判别网络中的卷积网络是共用参数，将两帧图像输入到网络中，得到相同维度的全连接层输出的特征，根据标签信息去学习特征之间的相似性度量，进行分类判别。
32.s30：若所述待检测帧与所述关键帧内容不一致，则将所述待检测帧输入预训练的目标检测模型进行目标识别，得到所述待检测帧的目标检测结果；其中，所述目标检测模型基于改进ssd检测网络训练获得，所述改进ssd检测网络包括超参特征卷积层和反卷积层；在具体实施过程中，目标是指地面上的飞机、汽车等，通过视频卫星获得数据通常尺寸大、信息量多，飞机、汽车等地面物体相对于视频卫星数据来说目标较小，通过改进ssd检测网络中的超参特征卷积层和反卷积层提升小目标检测识别的准确度。当待检测帧与关键帧的内容不一致时，说明该待测目标的特征在待检测帧中出现了剧烈的变化，是因为当前待检测帧中出现了新的目标，例如视野内飞入一架新的飞机，或是因为当前待检测帧中的目标减少了，例如有一架飞机飞出了视野，再或是因为目标的形态发生了比较大的变化，例如目标飞机的飞行角度立体偏转，飞行姿态有了变化。判定不一致后，将待检测帧输入上述预训练的目标检测模型中，进行目标识别。
33.作为一种可选的实施方式，所述将所述待检测帧输入预训练的目标检测模型进行目标识别，得到所述待检测帧的目标检测结果的步骤之前，还包括：获取标准的所述ssd检测网络；将所述ssd检测网络的卷积层conv1、卷积层conv2和卷积层conv3进行尺度变换，将
所述卷积层conv1、卷积层conv2和卷积层conv3的特征统一到超参特征卷积层conv4中；将卷积层conv5和卷积层conv6进行特征池化追加，分别得到卷积层conv7和卷积层conv8；将所述卷积层conv8进行池化操作，得到卷积层conv9；将所述卷积层conv9和所述卷积层conv8进行反卷积操作，分别得到反卷积层deconv8和反卷积层deconv9；得到所述改进ssd检测网络。
34.在具体实施过程中，现有的基础ssd网络是通过对原图的不断卷积运算，提取高维度特征，以实现目标识别。每做一次卷积都能够得到更高阶的特征，但也将图像的分辨率进行了不断压缩，对于视频卫星数据来说，图像中的目标都比较小，在几次卷积过后真正关注的目标的特征信息会有比较严重的损失，以至于无法识别，导致目标检测的准确性不高。为此，基于ssd检测网络的基本框架进行改进，得到改进ssd检测网络，以提升网络对小目标的检测准确性，该改进ssd检测网络可命名为qdssd（quality deconvolution single shot multibox detector）检测网络。
35.图9为本技术的实施例提供的一种改进ssd检测网络结构示意图，图中符号c代表卷积层（convolution layer），dc代表反卷积层（deconvolution layer），pool代表池化层（pooling layer）。图中c4即卷积层conv4，是c1（卷积层conv1）、c2（卷积层conv2）、c3（卷积层conv3）的特征通过尺度变换方法将对应层的特征统一后堆叠在一起的超卷积特征层，该层特征提取了前几层的卷积特征，在这个前提下继续后续的特征学习。
36.将c5（卷积层conv5）特征池化之后追加在c7（卷积层conv7）中，将c6（卷积层conv6）特征池化之后追加在c8（卷积层conv8）中，丰富了c7（卷积层conv7）和c8（卷积层conv8）的底层信息，提高了信息量，该步骤无需引入额外的参数，既达到了丰富目标卷积特征的目的，同时也降低了网络整体的参数空间。
37.在实际目标检测过程中，每次卷积的时候，网络会通过非线性变换，把上一次卷积学习到的特征，带到这一次卷积中，将特征不断地丰富到后续的检测层，这样即使做了很多次卷积，小目标的特征仍然能够延续下来，提高了有效信息的流动性，将底层特征丰富到高层特征中，在不同高层中实现信息互补，便于目标识别。
38.图10为本技术实施例提供的一种改进ssd检测网络的反卷积模块构建流程示意图，c8（卷积层conv8）经过池化操作后得到c9（卷积层conv9）卷积特征，并以c9（卷积层conv9）和c8（卷积层conv8）的特征为基础，通过反卷积操作分别得到dc8（反卷积层deconv8）和dc9（反卷积层deconv9）。以卷积层conv8为例，在对卷积层conv8进行检测时，将卷积层conv8的特征通过非线性变换后和反卷积层deconv8同尺度的特征组合在一起，共同进行类别的回归和位置的回归。同时，为了控制特征的质量，对c8（卷积层conv8）和dc8（反卷积层deconv8）分别进行裁剪操作，通过crop layer将高通道的卷积特征变换到同输入的样本数量相同的维度，后续会通过质量控制损失函数（quality loss）进行全局优化。通过对高层语义特征的反卷积，将特征变换到规定的尺度空间，同时参与到物体检测中。
39.改进ssd检测网络的构建是利用经典ssd网络中的vgg卷积网络作为特征提取的主干网络，把不同层的卷积特征用作检测层的输入，较好地适应了多目标的多尺度问题，实现在不同尺度上对目标进行检测。从特征提取的角度看，卷积网络的底层特征更加倾向于表达图像本身的纹理、形状等基础信息，越靠近输入层，网络提取的特征越基础，为目标的基本细节特征；而高层特征由于其感受野越来越大，更趋近于去表达物体的抽象特征，越靠近
输出层，网络提取的特征就更加抽象。超参特征卷积层的构建将底层特征通过非线性变换追加到高层特征空间中，将特征丰富到高层，以便于目标识别；反卷积层的构建，可以在执行目标检测时引入额外的上一级尺度的上下文信息，提高物体检测的准确性。
40.作为一种可选的实施方式，所述得到所述改进ssd检测网络的步骤之后，还包括：获取带标签的视频卫星数据；对所述带标签的视频卫星数据进行数据处理，获得数据集；利用所述数据集对所述改进ssd检测网络进行训练，获得所述目标检测模型。
41.在具体实施过程中，获得改进ssd检测网络后需要对其进行训练。对已打标签的视频卫星数据进行数据处理，形成数据集，数据集中包含训练集和测试集，利用数据集对改进ssd检测网络进行训练，得到目标检测模型。
42.作为一种可选的实施方式，所述利用所述数据集对所述改进ssd检测网络进行训练，获得所述目标检测模型的步骤，包括：通过如下损失函数，对所述改进ssd检测网络进行优化：其中，x为目标判别变量，c为置信度，l为预测框，g为真框，n为默认框数量，为置信损失函数，为定位损失函数，为定位损失函数的权重，为反卷积层deconv8和反卷积层deconv9的质量控制损失函数，为的权重。
43.在具体实施过程中，通过损失函数对改进ssd检测网络进行训练，其中，x用来判断设计的特征抓取盒是否有对应的目标：表示第i个盒是否与第p类物体的第j个目标的边界框相匹配，匹配为1，反之为0，若表示对于第j个目标边界框至少有一个盒与之匹配；为标准的ssd检测网络的损失函数，为置信损失函数（也称类别损失函数），为定位损失函数。为了使改进ssd检测网络的反卷积层的参数得到更好的训练，引入堆栈式自编码器的重构误差作为反卷积质量控制函数，即。
44.作为一种可选的实施方式，所述质量控制损失函数的表达式为：其中，m1表示层特征通道的数量，m2表示层特征通道的数量，为
卷积层conv7的归一化结果，为卷积层conv8的归一化结果，为反卷积层deconv9的归一化结果，为反卷积层deconv8的归一化结果。
45.在具体实施过程中，对于反卷积之后的特征层，引入特征重构误差函数作为质量控制损失函数，即为反卷积层deconv8和反卷积层deconv9的卷积质量控制代价函数。考虑到vgg卷积网中没有对卷积特征做标准化操作，那么反卷积的特征中每个维度的取值在全体实数，这会导致在求代价函数时很容易使得结果发散，很难训练。因此在重构误差之前，将对应的卷积层分别做批量标准化（batch normal，bn）操作，使得每次在计算误差之前将输入归一化到[0, 1]之间。
[0046]
作为一种可选的实施方式，所述若所述待检测帧与所述关键帧内容不一致，则将所述待检测帧输入预训练的目标检测模型进行目标识别，得到所述待检测帧的目标检测结果的步骤之后，还包括：将所述待检测帧作为新的关键帧。
[0047]
在具体实施过程中，当判定待检测帧与关键帧内容不一致后，需要将该待检测帧作为新的关键帧，重新锁定目标进行后续待检测帧的目标识别。
[0048]
作为一种可选的实施方式，所述目标检测模型包括已训练的超参特征卷积层、反卷积层以及卷积层；所述将所述待检测帧输入预训练的目标检测模型进行目标识别，得到所述待检测帧的目标检测结果的步骤，包括：输入所述待检测帧；通过所述已训练的超参特征卷积层、所述卷积层和所述反卷积层，对所述待检测帧进行卷积和反卷积操作，获得所述待检测帧的特征；根据所述特征，获得所述待检测帧的目标检测结果。
[0049]
在具体实施过程中，改进后的目标检测模型中的各个卷积层、超参特征卷积层以及反卷积层对输入的待检测帧进行卷积和反卷积，提取到丰富、准确的特征信息，并进行分类，得到较为准确的目标检测结果。
[0050]
s40：若所述待检测帧与所述关键帧内容一致，则利用所述关键帧进行局部目标查找，得到所述待检测帧的目标检测结果。
[0051]
在具体实施过程中，当待检测帧与关键帧的内容一致时，说明该待测目标的特征未发生太大的变化，例如目标飞机的大致形态不变，只需定位目标运动的具体位置，即进行局部目标查找，即可得到待检测帧的目标检测结果。本实施例是结合了卫星视频的特点引入了内容判别网络，利用跳帧检测策略较快地提高了目标检测速度。
[0052]
为了更清楚地展示本实施例中改进的ssd检测网络可以提高对小目标的检测准确率，本技术还对目标检测模型与标准ssd模型进行了实验对比，具体如下：在该实验对比中，模型的训练和测试系统环境均是linux（ubuntu 16.04）系统，硬件环境是intel(r) xeon(r) cpu e5-2620 v3@2.40ghz，具有12gb显存的nvidia geforce gtx titan x gpu、128gb内存。在ubuntu 16.04的系统环境中，安装gpu版本的caffe深度学习框架（由uc berkeley大学的贾杨清博士等编写），作为基础的实验平台，同时还配置python 3.6.0和opencv 3.0等工具辅助开发。使用的视频卫星数据每段30秒、每秒25帧，拍摄的地点均为指定经纬度的机场，场景中包含动态和静态的飞机，在本实验中，飞机即为检测目标。在实验中获取了相同条件下目标检测模型和标准ssd模型的目标检测数据，得到了图11-图16的相关数据图，其中，iou为检测结果与真实结果之间的重叠率、prob为检测结果
中表示某一类目标的概率值、召回率（recall rate）为对覆盖面的度量，用来评价训练的分类器对正例样本的识别能力，表示正确检测的目标和真值比例，也称查全率、准确率（precision rate）表示正确检测目标样本数量和认为是检测目标的比例，也称查准率。
[0053]
图11为本技术实施例提供的一种目标检测模型的检测效果示意图，其平均准确率（map）为0.90227，图12和图13分别为本技术实施例提供的一种目标检测模型的准确率和召回率示意图，在iou为0.5左右、prob为0.5-0.6时飞机的检测与识别的准确率在0.8以上、召回率在0.8以上。图14为本技术实施例提供的一种标准ssd检测网络的检测效果示意图，其平均准确率（map）为0.876962，图15和图16分别为本技术实施例提供的一种标准ssd检测网络的准确率和召回率示意图，在iou为0.4左右、prob为0.5时飞机的检测与识别的准确率在0.8以上、召回率在0.8以上，并且通过图14可以看出，部分临近的目标并未检测出来，且未检测出来的目标相对附近的目标相比尺度较小。
[0054]
总结上述实验结果，经对比飞机目标检测的准确率和召回率可知，本技术的目标检测模型在iou为0.1-0.5、prob为0.5-0.8的给定区间内，准确率曲面较为平整，在iou为0.0-0.5、prob为0.0-0.8的给定区间内，召回率曲面较为平整，模型在该数据集中的性能较为稳定。而在相同的iou和prob区间内，标准ssd模型的准确率和召回率的曲面有明显的下滑，模型在该数据集中的性能一般。容易得知，相较于基础的ssd检测模型，本技术的目标检测模型的准确率较高，更适用于小尺寸目标。
[0055]
应当理解的是，以上仅为举例说明，对本技术的技术方案并不构成任何限制，本领域的技术人员在实际应用中可以基于需要进行设置，此处不做限制。
[0056]
通过上述描述不难发现，本实施例是根据视频卫星数据尺寸大、信息量多的特点，通过内容判别网络对关键帧和待检测帧进行一致性判断，目标一致直接进行目标查找，不一致则再通过检测网络进行目标识别，利用跳帧检测策略较好地提高了目标检测速度；同时，基于现有的ssd检测网络进行了改进，得到目标检测模型，较好地适应了多目标的多尺度问题，实现在不同尺度上对目标进行检测；目标检测模型中的超参特征卷积层能够将底层特征丰富到高层，以便于目标识别，目标检测模型中的反卷积层可以在执行目标检测时引入额外的上一级尺度的上下文信息，提高物体检测的准确性，即利用超参数特征卷积层和反卷积层更加关注对小目标的检测，提升整体目标检测的准确性；进一步的，利用反卷积的重构误差作为损失函数的一部分，在检测目标的同时能更好地监督反卷积的质量，以保证目标检测的精度。
[0057]
参照图3，基于相同的发明思路，本技术的实施例还提供一种基于视频卫星数据的目标检测装置，包括：待检测视频卫星数据获取模块，用于获取待检测视频卫星数据；其中，所述视频卫星数据中包含多个待检测帧；一致性检测模块，用于基于预设的内容判别网络，将所述待检测帧与预设的关键帧进行一致性检测；其中，所述关键帧包括已标注的待测目标；目标检测模型模块，用于若所述待检测帧与所述关键帧内容不一致，则将所述待检测帧输入预训练的目标检测模型进行目标识别，得到所述待检测帧的目标检测结果；其中，所述目标检测模型基于改进ssd检测网络训练获得，所述改进ssd检测网络包括超参特征卷积层和反卷积层；
局部目标查找模块，用于若所述待检测帧与所述关键帧内容一致，则利用所述关键帧进行局部目标查找，得到所述待检测帧的目标检测结果。
[0058]
需要说明的是，本实施例中基于视频卫星数据的目标检测装置中各模块是与前述实施例中基于视频卫星数据的目标检测方法中的各步骤一一对应，因此，本实施例的具体实施方式可参照前述基于视频卫星数据的目标检测方法的实施方式，这里不再赘述。
[0059]
此外，在一种实施例中，本技术的实施例还提供一种计算机设备，所述设备包括处理器，存储器以及存储在所述存储器中的计算机程序，所述计算机程序被处理器运行时实现前述实施例中方法的步骤。
[0060]
在一些实施例中，计算机可读存储介质可以是fram、rom、prom、eprom、eeprom、闪存、磁表面存储器、光盘、或cd-rom等存储器；也可以是包括上述存储器之一或任意组合的各种设备。计算机可以是包括智能终端和服务器在内的各种计算设备。
[0061]
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言（包括编译或解释语言，或者声明性或过程性语言）来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
[0062]
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言（html，hyper text markup language）文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件（例如，存储一个或多个模块、子程序或代码部分的文件）中。
[0063]
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
[0064]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0065]
上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
[0066]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如只读存储器/随机存取存储器、磁碟、光盘）中，包括若干指令用以使得一台多媒体终端设备（可以是手机，计算机，电视接收机，或者网络设备等）执行本技术各个实施例所述的方法。
[0067]
以上仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。