一种多时态目标检测模型及其构建方法、装置及应用与流程

1.本技术涉及计算机算法、机器学习领域，特别涉及一种多时态目标检测模型及其构建方法、装置及应用。


背景技术：

2.近年来，随着城市建设规模的不断扩大，功能的不断完善和新型社区的逐渐增加，在城市建设向好的一面发展的同时，违章建筑越来越多，特别是一些老小区、乡镇和工厂，为了自身利益从而乱搭乱建，乱搭乱建的现象不仅仅影响市容市貌，还会危害公共安全和自身安全，因此，亟需一种可以及时发现违章建筑的方法，从而更好的保障社会安全和个人安全。
3.随着机器学习技术的不断增长，可以使用机器学习的技术来智能化的对违章建筑进行检测，但是由于违章建筑图片的样本较少，使用模型对违章建筑图片进行学习需要同一地点的多时相图片，所以导致使用模型对违章建筑进行检测的效果不是很好，常规基于多时间的变化检测算法是二进制变化检测（bcd），即传统匹配等算法，在bcd中，变化映射通过使用二进制标签来区分更改的像素和未改变的像素。bcd技术可以认为是个二分类，其弊端即变化范围和变化类型无法确定，缺乏语义信息。如今城市违章建筑物监管智能化程度水平仍较低，仅判别差异远远无法满足。
4.现有技术使用一种基于深度学习的分割网络采用完全监督的方式来对违章建筑的数据集进行训练，但是存在容易过拟合且泛化性差，同时需要大量的训练样本进行标注，在分类的过程中网络的参数巨大，而使用半监督技术虽然可以有效解决样本问题，但是半监督的训练方式也会因label节点过少，导致学习性能下降，如果使用纯语义分割网络来对违章建筑进行分类，虽然可以根据训练样本实现分类，但不能判别样本差异及学习样本差异，在全面的变化识别和理解方面还存在很大的差距。


技术实现要素：

5.本技术方案提供一种多时态目标检测模型及其构建方法、装置及应用，针对目前由于训练样本不足，导致使用模型来进行智能检测的准确率不高，本方案使用半监督学习，并使用双编码器和双解码器的结构对违章建筑进行检测，提高了检测的准确率。
6.第一方面，本技术提供一种多时态目标检测模型的构建方法，包括：获取至少一待检测地点的至少一组时态图片，每组时态图片包括取自不同时间点的第一时态图片和第二时态图片，标记每组所述时态图片中的待测目标得到训练样本；构建多时态目标检测模型，所述多时态目标检测模型由第一编码器、第二编码器、全景解码器、差异解码器组成，其中每组时态图片的第一时态图片送入第一编码器得到深度由低到高的多层级的第一编码信息，第二时态图片送入第二编码器进行编码得到深度由低到高的多层级的第二编码信息，每一层级的第一编码信息和第二编码信息的深度相同；将每一层级的第一编码信息和第二编码信息送入到所述全景解码器中进行解码
得到最终全景解码结果；将每一层级的第一编码信息和第二编码信息送入到所述差异解码器中，最后一层级的第一编码信息和第二编码信息进行拼接-卷积操作得到与上一层级的第一编码信息深度相同的差异解码结果，所述差异解码结果进行差异跳跃连接得到差异解码跳跃信息，差异解码跳跃信息再次降低深度后作为新的差异解码结果，遍历差异跳跃连接操作得到最终差异解码结果，其中差异跳跃连接操作为差异解码结果和相同深度的差异信息进行拼接，其中差异信息为第一编码信息和第二编码信息的差值，将最终差异解码结果输入预测器中得到差异分类结果图；将所述全景分类结果图以及所述差异分类结果图分别输入到预测头部得到待检测目标。
7.第二方面，本方案提供一种多时态目标检测模型，使用第一方面所述的方法进行构建得到。
8.第三方面，本方案提供一种多时态目标检测方法，包括：获取待检测地点的至少一组时态图片，每组时态图片包括取自不同时间点的第一时态图片和第二时态图片；将每组时态图片的第一时态图片和第二时态图片送入多时态目标检测模型中得到待检测目标。
9.第四方面，本技术提供一种违章建筑检测方法，包括：获取待检测地点的一组第一时态图片和第二时态图片；将每组时态图片的第一时态图片和第二时态图片送入违章建筑检测模型中得到全景分类结果图和差异分类结果图，所述违章建筑检测模型通过使用标记有建筑物的时态图片作为训练样本对多时态目标检测模型进行训练得到，其中对应全景解码器的待检测目标为全景分类结果图，对应差异解码器的待检测目标为差异分类结果图，其中第一时态图片的获取时间早于第二时态图片的获取时间；将所述全景分类结果图的分类结果和所述差异分类结果图的分类结果相结合得到变化结果图，根据所属变化结果图判断违章建筑。
10.第五方面，本技术提供一种多时态目标检测模型构建装置，包括：获取模块：获取至少一待检测地点的至少一组时态图片，每组时态图片包括取自不同时间点的第一时态图片和第二时态图片，标记每组所述时态图片中的待测目标得到训练样本；编码模块：构建多时态目标检测模型，所述多时态目标检测模型由第一编码器、第二编码器、全景解码器、差异解码器组成，其中每组时态图片的第一时态图片送入第一编码器得到深度由低到高的多层级的第一编码信息，第二时态图片送入第二编码器进行编码得到深度由低到高的多层级的第二编码信息，每一层级的第一编码信息和第二编码信息的深度相同；第一解码模块：将每一层级的第一编码信息和第二编码信息送入到所述全景解码器中进行解码得到最终全景解码结果；第二解码模块：将每一层级的第一编码信息和第二编码信息送入到所述差异解码器中，最后一层级的第一编码信息和第二编码信息进行拼接-卷积操作得到与上一层级的
第一编码信息深度相同的差异解码结果，所述差异解码结果进行差异跳跃连接得到差异解码跳跃信息，差异解码跳跃信息再次降低深度后作为新的差异解码结果，遍历差异跳跃连接操作得到最终差异解码结果，其中差异跳跃连接操作为差异解码结果和相同深度的差异信息进行拼接，其中差异信息为第一编码信息和第二编码信息的差值，将最终差异解码结果输入预测器中得到差异分类结果图；检测模块：将所述全景分类结果图以及所述差异分类结果图分别输入到预测头部得到待检测目标。
11.第五方面，本技术提供一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行一种多时态目标检测模型的构建方法或一种多时态目标检测方法或一种违章建筑检测方法。
12.第六方面，本技术提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行一种多时态目标检测模型的构建方法或一种多时态目标检测方法或一种违章建筑检测方法。
13.相较现有技术，本技术方案具有以下特点和有益效果：本方案使用半监督学习，解决了目前领域由于训练样本不足导致准确率差的问题，且在半监督学习的基础上，使用扰动处理和跳跃连接来保证特征图之间的正常融合，在模型的反向传播过程中，本方案不仅仅依据标记样本更新网络权重，也会依据不同时态图片的差异信息来更新权重，且使用扰动处理在保证不同的空间角度下，学习到与标记样本对应的边缘信息；本方案通过多任务学习，将违章建筑检测问题分为两个子问题，分别为全景建筑分类问题和差异检测分类问题，通过共享参数的形式，将两个解码器的结果组合输出变化结果图，并分类；本方案中的差异解码器的损失由二分类损失和相似性损失构成，输入差异分类结果图的同时可以实现图像的分类；本方案的两个编码器均采用可变行卷积，且在可变行卷积中加入了像素偏移信息，相对于通常卷积可以学到像素点偏移量，利于网络学习变化；本方案的解码器采用全卷积形式，防止高分辨率图像产生伪影。
14.本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他特征、目的和优点更加简明易懂。
附图说明
15.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：图1是根据本技术实施例的一种多时态目标检测模型的构建方法流程图；图2是根据本技术实施例的一种多时态目标检测模型中当使用全景解码器进行解码时的编码流程图；图3是根据本技术实施例的一种多时态目标检测模型中全景解码器的解码流程图；图4是根据本技术实施例的一种多时态目标检测模型中当使用差异解码器进行解码时的编码流程图；图5是根据本技术实施例的一种多时态目标检测模型中差异解码器的解码流程图；
图6是根据本技术实施例的装置的结构框图；图7是根据本技术实施例的电子装置的硬件结构示意图。
具体实施方式
16.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
17.需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。
18.实施例一本技术方案提供了一种多时态目标检测模型的构建方法，参考图1，所述方法包括：获取至少一待检测地点的至少一组时态图片，每组时态图片包括取自不同时间点的第一时态图片和第二时态图片，标记每组所述时态图片中的待测目标得到训练样本；构建多时态目标检测模型，所述多时态目标检测模型由第一编码器、第二编码器、全景解码器、差异解码器组成，其中每组时态图片的第一时态图片送入第一编码器得到深度由低到高的多层级的第一编码信息，第二时态图片送入第二编码器进行编码得到深度由低到高的多层级的第二编码信息，每一层级的第一编码信息和第二编码信息的深度相同；将每一层级的第一编码信息和第二编码信息送入到所述全景解码器中进行解码得到最终全景解码结果；将每一层级的第一编码信息和第二编码信息送入到所述差异解码器中，最后一层级的第一编码信息和第二编码信息进行拼接-卷积操作得到与上一层级的第一编码信息深度相同的差异解码结果，所述差异解码结果进行差异跳跃连接得到差异解码跳跃信息，差异解码跳跃信息再次降低深度后作为新的差异解码结果，遍历差异跳跃连接操作得到最终差异解码结果，其中差异跳跃连接操作为差异解码结果和相同深度的差异信息进行拼接，其中差异信息为第一编码信息和第二编码信息的差值，将最终差异解码结果输入预测器中得到差异分类结果图；将所述全景分类结果图以及所述差异分类结果图分别输入到预测头部得到待检测目标。
19.在一些实施例中，所述第一时态图片和第二时态图片为只有拍摄时间不同的两张图片，将所述第一时态图片和第二时态图片切割为同样大小得到训练样本。
20.具体的，可以应用opencv编程将城市建筑正射影像图统一裁剪切割为521
×
512像素大小。
21.在本方案的一些具体实施例中，使用无人机拍摄设备获取第一时态图片和第二时
态图片，且固定无人机移动路径和拍摄地点，以保证两张图片只有时间不同。
22.在一些实施例中，本方案的应用场景为违章建筑检测，此时时态图片上的待检测目标为建筑物，不同时态的第一时态图片和第二时态图片的拍摄时间不能太短，在本方案中可以为1个月、2个月或三个月，本方案对此不作过多限定。
23.在一些实施例中，所述第一编码器与所述第二编码器结构相同，使用可变形卷积层分别对第一时态图片和第二时态图片进行编码得到第一编码信息和第二编码信息。
24.具体的，所述可变性卷积层相对于标准卷积层可以多学习一个额外的像素偏移信息，从而更好的表示图片的几何变换，以更好寻找第一时态图片和第二时态图片中的尺度变化和复杂几何变化，所述可变性卷积层的公式表征如下：其中，δpn表示像素偏移量，r为感受野的大小和扩张范围，p0表示第一编码信息的位置信息，pn表示枚举了r范围中的某感受野大小与扩张范围，w表示权重。
25.在一些实施例中，所述第一编码器和所述第二编码器采用权重共享的方式进行编码。
26.具体的，所述权重共享就是在所述第一解码器和所述第二解码器进行反向传播的时候，同步更新各自的网络权重，所述第一编码器和所述第二编码器采用权重共享的方式进行编码的目的是减少模型的运算，并保持连续相关联特征信息的作用。
27.在一些实施例中，且对同一层级的第一编码信息和第二编码信息进行扰动处理。
28.具体的，所述扰动处理为每对编码信息随机水平翻转，旋转相同度数，示例性的，对第一层的一对编码信息进行顺时针旋转九十度，第二层的一对编码信息在第一层的基础上再次旋转九十度，以此类推。
29.具体的，进行扰动处理的目的是使得经训练的模型检测结果更加准确。
30.具体的，通过所述全景解码器通过分类损失和iou损失反向传播更新权重学习分类，使得所述第一编码器以及第二编码器的编码效果更好，所述第一编码信息和所述第二编码信息以特征图的形式表示。
31.具体的，所述第一编码器和所述第二编码器采用语义分割的形式，将所述第一时态图片和第二时态图片中的不同类别使用不同的颜色分割出来，在训练的过程中添加全景解码器可以使得所述第一编码器以及第二编码器的分割效果更好，以保证后续使用差异解码器进行应用时所得到的结果更好。
32.示例性的，如图2所示，所述第一编码器以及所述第二编码器分别对第一时态图片和第二时态图片进行编码，得到4个层级的4对编码信息，所述编码信息以特征图的形式进行表示，其4个层级的深度分别为64、128、256、512。
33.在一些实施例中，在“将每一层级的第一编码信息和第二编码信息送入到所述全景解码器中进行解码得到最终全景解码结果”步骤中，将最后一层级的第一编码信息和第二编码信息进行拼接-卷积操作得到与上一层级的第一编码信息深度相同的全景解码结果，所述全景解码结果进行全景跳跃连接得到全景解码跳跃信息，全景解码跳跃信息再次降低深度后作为信息全景解码结果，遍历全景跳跃连接操作得到最终全景解码结果，其中
全景跳跃连接操作为全景解码结果和相同深度的第一编码信息和第二编码信息进行拼接。
34.示例性的，如图3所示，将最后一层级的深度为512的一对编码信息进行拼接，使用一个1x1的卷积对拼接结果进行卷积得到深度为256的第一卷积结果，再将深度为265的一对编码信息与深度为256的第一卷积结果进行第一次跳跃连接得到第一全景跳跃信息，再使用1x1的卷积对第一全景跳跃信息进行卷积得到深度为128的第二卷积结果，将深度为128的一对编码信息与深度为128的第二卷积结果进行第二次跳跃连接得到第二全景跳跃信息，使用1x1的卷积对第二次跳跃连接的结果进行卷积得到深度为64的第三卷积结果，将深度为64的一对编码信息与深度为64的第三卷积结果进行第三次跳跃连接，得到最终全景解码结果，将所述全景解码结果输入fcn-head预测器得到全景分类结果图。
35.具体的，所述跳跃连接可以为所述全景解码结果补充一些更加抽象和局部更少的编码解析，从而在分割图片时能更精确分割边界，产生精确的分类预测。
36.在一些实施例中，使用与第一时态图片对应的第一编码信息减去与第二时态对应的第二编码信息得到所述差异信息，且所述第一时态图片的拍摄时间点早于所述第二时态图片的拍摄时间点。
37.示例性的，如图4所示，所述第一编码器以及所述第二编码器分别对第一时态图片和第二时态图片进行编码，得到4个层级的4对编码信息，所述编码信息以特征图的形式进行表示，其第一层级的一对编码信息分别为fm1和fm1’,第二层级的一对编码信息分别为fm2和fm2’，第三层级的一对编码信息分别为fm3和fm3’，第四层级的编码信息分别为fm4和fm4’，其中，fm1、fm2、fm3、fm4的时态要早于fm1’、 fm2’、 fm3’、 fm4’。
38.示例性的，如图5所示，将fm4和fm4’进行拼接得到fm5，对fm5进行1
×
1的卷积后再与fm3
‑ꢀ
fm3’进行拼接得到fm6，对fm6进行1
×
1的卷积再与fm2-fm2’进行拼接得到fm7，对fm7进行1
×
1的卷积再与fm1-fm1’进行拼接得到最终差异解码结果，将所述最终差异解码结果输入fcn-head预测器得到差异分类结果图。
39.具体的，所述全景解码器和所述差异解码器均采用全卷积的形式，目的是防止高分辨率图像出现伪影。
40.在一些具体实施例中，所述多时态目标检测模型采用半监督学习的方式，即对部分训练样本打上标签，其训练迭代次数为100，batchsize大小为16，采用adam作为优化器，初始学习率为10-3
。
41.在一些具体实施例中，所述多时态目标检测模型的损失函数由相似性损失、全景编码器分类损失、差异编码器损失、二分类损失四部分组成。
42.进一步的，所述相似损失由初步差异损失ld与交叉熵损失l
ce
组成，所述初步差异损失由同一层级的一对编码信息中各像素差做二阶范数公式得到，其公式表征如下：其中，zi第i层级的第一时态图片的像素值，z'i表示第i层级的第二时态图片的像素值，w(t)为权重函数，w(t)时间越长其权重越大，b为每次训练的批输入，c表示通道数。
43.所述交叉熵损失l
ce
是将所述全景结果图y与打好标签的对应训练样本进行交叉熵得到交叉熵损失l
ce
，公式表征如下：对所述初步差异损失与所述交叉熵损失进行加权相加，得到相似性损失，公式表征如下：其中，
ơ
为权值，可认为设定，为惩罚项，λ防止模型的过拟合。
44.具体的，所述相似性损失是保证结果近似、或者说使输出向量距离较近，是从输出的空间分布来进行比较，同时可以更好的从打好标签的训练样本中学习到更为接近的边缘特征。
45.进一步的，将所述全景结果图pc1和带有标签的训练样本进行比较，得到所述全景编码器分类损失，其公式表征如下：其中，l
class1
表示全景编码器分类损失。
46.具体的，所述全景解码器分类损失采用逐像素交叉熵损失，即对应每个像素将预测结果与通过标签进行标记的训练数据进行比较。
47.进一步的，将所述差异分类结果图pc2和带有标签的训练样本进行比较，得到所述差异编码器损失，其公式表征如下：其中，l
class2
表示差异分类损失。
48.进一步的，所述二分类损失是计算所述第一编码器和所述第二编码器中同一层级的重叠部分，公式表征如下：其中，l
dice coefficient
表示二分类损失fm表示第一时态图片对应的编码信息，fm' 表示第二时态图片对应的编码信息。
49.具体的，所述二分类损失就是二分类问题，dice coefficient loss可以衡量两个图片的重叠部分。
50.进一步的，将所述相似性损失、全景编码器分类损失、差异编码器损失、二分类损失进行组合得到所述违章建筑模型的总损失函数，公式表征如下：l=ls l
class1
l
class2
l
dice coefficient
实施例二一种多时态目标检测模型，使用实施例一所述的方法进行构建得到。
51.实施例三一种违章建筑检测模型，用标记有建筑物的时态图片作为训练样本，训练实施例二所述的多时态目标检测模型得到。
52.实施例四一种多时态目标检测方法，包括：获取待检测地点的至少一组时态图片，每组时态图片包括取自不同时间点的第一时态图片和第二时态图片；将每组时态图片的第一时态图片和第二时态图片送入实施例二所述的多时态目标检测模型中得到待检测目标。
53.实施例五一种违章建筑检测方法，包括：获取待检测地点的一组第一时态图片和第二时态图片；将每组时态图片的第一时态图片和第二时态图片送入违章建筑检测模型中得到全景分类结果图和差异分类结果图，所述违章建筑检测模型通过使用标记有建筑物的时态图片作为训练样本对多时态目标检测模型进行训练得到，其中对应全景解码器的待检测目标为全景分类结果图，对应差异解码器的待检测目标为差异分类结果图，其中第一时态图片的获取时间早于第二时态图片的获取时间；将所述全景分类结果图的分类结果和所述差异分类结果图的分类结果相结合得到变化结果图，根据所属变化结果图判断违章建筑。
54.在一些具体实施例中，所述变化结果图表示同一地点的两个不同时态图片的变化情况，若存在变化，则该地点可能存在违章建筑。
55.在一些实施例中，若认为该地点可能存在违章建筑，则使用所述第一时态图片构建一个比对样本库，获取所述差异分类结果图和所述全景分类结果图的面积差值，并将计算结果与第一设定阈值进行比较，若大于第一设定阈值，则认为该地点存在违章建筑，输出该地点的位置信息。
56.在一些具体实施例中，若需要判断违章拆除房屋，若设定若小于第一设定阈值，则将所述差异分类结果与所述比对样本库中的同一地点的第一时态图片进行比较，并输入该地点信息。
57.具体的，所述第一设定阈值为人为设定，用来判定同一地点不同时态的建筑面积变化。
58.具体的，输出该地点信息后，可派执法人员上门查看。
59.实施例六基于相同构思，参考图6，本技术还提出了一种多时态目标检测模型的构建装置，包括：获取模块：获取至少一待检测地点的至少一组时态图片，每组时态图片包括取自不同时间点的第一时态图片和第二时态图片，标记每组所述时态图片中的待测目标得到训练样本；编码模块：构建多时态目标检测模型，所述多时态目标检测模型由第一编码器、第二编码器、全景解码器、差异解码器组成，其中每组时态图片的第一时态图片送入第一编码
器得到深度由低到高的多层级的第一编码信息，第二时态图片送入第二编码器进行编码得到深度由低到高的多层级的第二编码信息，每一层级的第一编码信息和第二编码信息的深度相同；第一解码模块：将每一层级的第一编码信息和第二编码信息送入到所述全景解码器中进行解码得到最终全景解码结果；第二解码模块：将每一层级的第一编码信息和第二编码信息送入到所述差异解码器中，最后一层级的第一编码信息和第二编码信息进行拼接-卷积操作得到与上一层级的第一编码信息深度相同的差异解码结果，所述差异解码结果进行差异跳跃连接得到差异解码跳跃信息，差异解码跳跃信息再次降低深度后作为新的差异解码结果，遍历差异跳跃连接操作得到最终差异解码结果，其中差异跳跃连接操作为差异解码结果和相同深度的差异信息进行拼接，其中差异信息为第一编码信息和第二编码信息的差值，将最终差异解码结果输入预测器中得到差异分类结果图；检测模块：将所述全景分类结果图以及所述差异分类结果图分别输入到预测头部得到待检测目标。
60.实施例七本实施例还提供了一种电子装置，参考图7，包括存储器404和处理器402，该存储器404中存储有计算机程序，该处理器402被设置为运行计算机程序以执行上述任意一种多时态目标检测模型的构建方法实施例中的步骤。
61.具体地，上述处理器402可以包括中央处理器（cpu），或者特定集成电路（applicationspecificintegratedcircuit，简称为asic），或者可以被配置成实施本技术实施例的一个或多个集成电路。
62.其中，存储器404可以包括用于数据或指令的大容量存储器404。举例来说而非限制，存储器404可包括硬盘驱动器（harddiskdrive，简称为hdd）、软盘驱动器、固态驱动器（solidstatedrive，简称为ssd）、闪存、光盘、磁光盘、磁带或通用串行总线（universalserialbus，简称为usb）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器404可包括可移除或不可移除（或固定）的介质。在合适的情况下，存储器404可在数据处理装置的内部或外部。在特定实施例中，存储器404是非易失性（non-volatile）存储器。在特定实施例中，存储器404包括只读存储器（read-onlymemory，简称为rom）和随机存取存储器（randomaccessmemory，简称为ram）。在合适的情况下，该rom可以是掩模编程的rom、可编程rom（programmableread-onlymemory，简称为prom）、可擦除prom（erasableprogrammableread-onlymemory，简称为eprom）、电可擦除prom（electricallyerasableprogrammableread-onlymemory，简称为eeprom）、电可改写rom（electricallyalterableread-onlymemory，简称为earom）或闪存（flash）或者两个或更多个以上这些的组合。在合适的情况下，该ram可以是静态随机存取存储器（staticrandom-accessmemory，简称为sram）或动态随机存取存储器（dynamicrandomaccessmemory，简称为dram），其中，dram可以是快速页模式动态随机存取存储器404（fastpagemodedynamicrandomaccessmemory，简称为fpmdram）、扩展数据输出动态随机存取存储器（extendeddateoutdynamicrandomaccessmemory，简称为edodram）、同步动态随机存取内存（synchronousdynamicrandom-accessmemory，简称sdram）等。
63.存储器404可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器402所执行的可能的计算机程序指令。
64.处理器402通过读取并执行存储器404中存储的计算机程序指令，以实现上述实施例中的任意一种多时态目标检测模型的构建方法的实施过程。
65.可选地，上述电子装置还可以包括传输设备406以及输入输出设备408，其中，该传输设备406和上述处理器402连接，该输入输出设备408和上述处理器402连接。
66.传输设备406可以用来经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的有线或无线网络。在一个实例中，传输设备包括一个网络适配器（network interface controller，简称为nic），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备406可以为射频（radio frequency，简称为rf）模块，其用于通过无线方式与互联网进行通讯。
67.输入输出设备408用于输入或输出信息。在本实施例中，输入的信息可以是第一时态图片、第二时态图片等，输出的信息可以是存在违章建筑的地点等。
68.可选地，在本实施例中，上述处理器402可以被设置为通过计算机程序执行以下步骤：s101、获取至少一待检测地点的至少一组时态图片，每组时态图片包括取自不同时间点的第一时态图片和第二时态图片，标记每组所述时态图片中的待测目标得到训练样本；s102、构建多时态目标检测模型，所述多时态目标检测模型由第一编码器、第二编码器、全景解码器、差异解码器组成，其中每组时态图片的第一时态图片送入第一编码器得到深度由低到高的多层级的第一编码信息，第二时态图片送入第二编码器进行编码得到深度由低到高的多层级的第二编码信息，每一层级的第一编码信息和第二编码信息的深度相同；s103、将每一层级的第一编码信息和第二编码信息送入到所述全景解码器中进行解码得到最终全景解码结果；s104、将每一层级的第一编码信息和第二编码信息送入到所述差异解码器中，最后一层级的第一编码信息和第二编码信息进行拼接-卷积操作得到与上一层级的第一编码信息深度相同的差异解码结果，所述差异解码结果进行差异跳跃连接得到差异解码跳跃信息，差异解码跳跃信息再次降低深度后作为新的差异解码结果，遍历差异跳跃连接操作得到最终差异解码结果，其中差异跳跃连接操作为差异解码结果和相同深度的差异信息进行拼接，其中差异信息为第一编码信息和第二编码信息的差值，将最终差异解码结果输入预测器中得到差异分类结果图；s105、将所述全景分类结果图以及所述差异分类结果图分别输入到预测头部得到待检测目标。
69.需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
70.通常，各种实施例可以以硬件或专用电路、软件、逻辑或其任何组合来实现。本发明的一些方面可以以硬件来实现，而其他方面可以以可以由控制器、微处理器或其他计算设备执行的固件或软件来实现，但是本发明不限于此。尽管本发明的各个方面可以被示出
和描述为框图、流程图或使用一些其他图形表示，但是应当理解，作为非限制性示例，本文中描述的这些框、装置、系统、技术或方法可以以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或其某种组合来实现。
71.本发明的实施例可以由计算机软件来实现，该计算机软件由移动设备的数据处理器诸如在处理器实体中可执行，或者由硬件来实现，或者由软件和硬件的组合来实现。包括软件例程、小程序和/或宏的计算机软件或程序(也称为程序产品)可以存储在任何装置可读数据存储介质中，并且它们包括用于执行特定任务的程序指令。计算机程序产品可以包括当程序运行时被配置为执行实施例的一个或多个计算机可执行组件。一个或多个计算机可执行组件可以是至少一个软件代码或其一部分。另外，在这一点上，应当注意，如图7中的逻辑流程的任何框可以表示程序步骤、或者互连的逻辑电路、框和功能、或者程序步骤和逻辑电路、框和功能的组合。软件可以存储在诸如存储器芯片或在处理器内实现的存储块等物理介质、诸如硬盘或软盘等磁性介质、以及诸如例如dvd及其数据变体、cd等光学介质上。物理介质是非瞬态介质。
72.本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
73.以上实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。