异常事件的检测方法、装置和系统，及数据处理方法与流程

1.本技术涉及数据处理领域，具体而言，涉及一种异常事件的检测方法、装置和系统，及数据处理方法。


背景技术：

2.目前，传统的异常事件检测方法需要收集大量样本进行模型训练，来挖掘异常状态、异常行为的特有模式。但是由于异常事件的突发、偶发特性，异常事件的数据获取的代价较大，往往无法收集到足够多的样本来进行异常模式的建模，导致训练出来的模型对异常事件检测的准确度较低。针对上述问题，目前尚未提出有效的解决方案。


技术实现要素：

3.本技术实施例提供了一种异常事件的检测方法、装置和系统，及数据处理方法，以至少解决偶发且危害较大的异常事件，识别准确率低的技术问题。
4.根据本技术实施例的一个方面，提供了一种异常事件的检测方法，包括：获取目标对象的第一多媒体数据和第二多媒体数据，其中，第一多媒体数据和第二多媒体数据是从目标对象的视频数据中获取到的多媒体数据，且第一多媒体数据的采集时间早于第二多媒体数据的采集时间；利用处理模型对第一多媒体数据进行处理，预测出第二多媒体数据的第一时空特征，并利用处理模型对第二多媒体数据进行处理，得到第二多媒体数据的第二时空特征，其中，处理模型用于获取第一多媒体数据和第二多媒体数据，将第一多媒体数据和第二多媒体数据输入至提取网络，得到第一多媒体数据的时空特征和第二多媒体数据的第二时空特征，将第一多媒体数据的时空特征输入至预测网络，得到第二多媒体数据的第一时空特征；基于第二多媒体数据的第一时空特征和第二多媒体数据的第二时空特征，确定目标对象是否发生异常事件。
5.根据本技术实施例的另一方面，还提供了一种异常事件的检测方法，包括：获取目标对象的视频数据；对视频数据进行处理，得到第一多媒体数据和第二多媒体数据，其中，第一多媒体数据的采集时间早于第二多媒体数据的采集时间；利用处理模型对第一多媒体数据进行处理，预测出第二多媒体数据的第一时空特征，并利用处理模型对第二多媒体数据进行处理，得到第二多媒体数据的第二时空特征，其中，处理模型用于获取第一多媒体数据和第二多媒体数据，将第一多媒体数据和第二多媒体数据输入至提取网络，得到第一多媒体数据的时空特征和第二多媒体数据的第二时空特征，将第一多媒体数据的时空特征输入至预测网络，得到第二多媒体数据的第一时空特征；基于第二多媒体数据的第一时空特征和第二多媒体数据的第二时空特征，确定目标对象是否发生异常事件。
6.根据本技术实施例的另一方面，还提供了一种异常事件的检测装置，包括：获取模块，用于获取目标对象的第一多媒体数据和第二多媒体数据，其中，第一多媒体数据和第二多媒体数据是从目标对象的视频数据中获取到的多媒体数据，且第一多媒体数据的采集时间早于第二多媒体数据的采集时间；处理模块，用于利用处理模型对第一多媒体数据进行
处理，预测出第二多媒体数据的第一时空特征，并利用处理模型对第二多媒体数据进行处理，得到第二多媒体数据的第二时空特征，其中，处理模型用于获取第一多媒体数据和第二多媒体数据，将第一多媒体数据和第二多媒体数据输入至提取网络，得到第一多媒体数据的时空特征和第二多媒体数据的第二时空特征，将第一多媒体数据的时空特征输入至预测网络，得到第二多媒体数据的第一时空特征；确定模块，用于基于第二多媒体数据的第一时空特征和第二多媒体数据的第二时空特征，确定目标对象是否发生异常事件。
7.根据本技术实施例的另一方面，还提供了一种异常事件的检测装置，包括：获取模块，用于获取目标对象的视频数据；第一处理模块，用于对视频数据进行处理，得到第一多媒体数据和第二多媒体数据，其中，第一多媒体数据的采集时间早于第二多媒体数据的采集时间；第二处理模块，用于利用处理模型对第一多媒体数据进行处理，预测出第二多媒体数据的第一时空特征，并利用处理模型对第二多媒体数据进行处理，得到第二多媒体数据的第二时空特征，其中，处理模型用于获取第一多媒体数据和第二多媒体数据，将第一多媒体数据和第二多媒体数据输入至提取网络，得到第一多媒体数据的时空特征和第二多媒体数据的第二时空特征，将第一多媒体数据的时空特征输入至预测网络，得到第二多媒体数据的第一时空特征；确定模块，用于基于第二多媒体数据的第一时空特征和第二多媒体数据的第二时空特征，确定目标对象是否发生异常事件。
8.根据本技术实施例的另一方面，还提供了一种数据处理方法，包括：获取目标对象的视频数据；对视频数据进行处理，得到第一时间段的第一多媒体数据和第二时间段的第二多媒体数据；基于第一多媒体数据，获取第一时空特征，其中，第一时空特征为第二时间段的预测特征；基于第二多媒体数据，获取第二时空特征，其中，第二时空特征为第二时间段的检测特征；基于第一时空特征和第二时空特征，判断目标对象是否处于异常状态。
9.根据本技术实施例的另一方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述的异常事件的检测方法和数据处理方法。
10.根据本技术实施例的另一方面，还提供了一种计算设备，包括：处理器和存储器，处理器用于运行存储器中存储的程序，其中，程序运行时执行上述的异常事件的检测方法和数据处理方法。
11.根据本技术实施例的另一方面，还提供了一种异常事件的检测系统，包括：处理器；以及存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：获取目标对象的第一多媒体数据和第二多媒体数据，其中，第一多媒体数据和第二多媒体数据是从目标对象的视频数据中获取到的多媒体数据，且第一多媒体数据的采集时间早于第二多媒体数据的采集时间；利用处理模型对第一多媒体数据进行处理，预测出第二多媒体数据的第一时空特征，并利用处理模型对第二多媒体数据进行处理，得到第二多媒体数据的第二时空特征，其中，处理模型用于获取第一多媒体数据和第二多媒体数据，将第一多媒体数据和第二多媒体数据输入至提取网络，得到第一多媒体数据的时空特征和第二多媒体数据的第二时空特征，将第一多媒体数据的时空特征输入至预测网络，得到第二多媒体数据的第一时空特征；基于第二多媒体数据的第一时空特征和第二多媒体数据的第二时空特征，确定目标对象是否发生异常事件。
12.在本技术实施例中，在获取到目标对象的第一多媒体数据和第二多媒体数据之
后，可以利用处理模型对第一多媒体数据进行处理，预测出第二多媒体数据的第一时空特征，并利用处理模型对第二多媒体数据进行处理，得到第二多媒体数据的第二时空特征，进一步通过第二多媒体数据的第一时空特征和第二多媒体数据的第二时空特征，可以确定目标对象是否发生异常事件。容易注意到的是，可以通过挖掘正常状态的时空演变规律，来感知预测不符合“正常变化规律”的异常事件，并且不需要获取异常事件的数据即可训练得到处理模型，从而增强了对异常事件的感知能力，提高了对发生概率较小的异常事件的检测准确度，进而解决了偶发且危害较大的异常事件，识别准确率低的技术问题。
附图说明
13.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
14.图1是根据本技术实施例的一种用于实现异常事件的检测方法的计算机终端的硬件结构框图；
15.图2是根据本技术实施例的一种异常事件的检测方法的流程图；
16.图3是根据本技术实施例的一种可选的异常事件的检测方法的示意图；
17.图4是根据本技术实施例的另一种异常事件的检测方法的流程图；
18.图5是根据本技术实施例的一种异常事件的检测装置的示意图；
19.图6是根据本技术实施例的另一种异常事件的检测装置的示意图；
20.图7是根据本技术实施例的一种数据处理方法的流程图；以及
21.图8是根据本技术实施例的一种计算机终端的结构框图。
具体实施方式
22.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
23.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
24.由于异常事件的突发、偶发特性，很难收集到足够多的样本来进行异常模式的建模。而且，由于异常的多样性，涉及场景的复杂性，不同类型的异常通常需要训练对应的模型。
25.考虑到正常事件的演进存在一定的动态规律，而异常事件通常具有不可预测性，在此基础上，本技术提出了一种基于无监督深度时空特征预测的异常事件检测方法。可以
收集大量的正常样本，通过挖掘正常事件的演变规律，对未来进行预测，并通过预测结果和实际情况进行比较，确定是否存在异常事件。该方法是一种无监督算法，克服了有监督算法需要收集、标注大量异常数据的缺陷。
26.首先，在对本技术实施例进行描述的过程中出现的部分名词或术语适用于如下解释：
27.视频片段(video clip)：视频中连续的多帧图像。
28.cnn(convolutional neural network)：卷积神经网络，是一类包含卷积计算且具有深度结构的前馈神经网络。
29.lstm(long short term memory)：长短期记忆模型，是一种时间循环神经网络。
30.resnet(residual neural network)：残差网络，由残差块(residual block)构建的，残差块使用跳跃连接。
31.实施例1
32.根据本技术实施例，提供了一种异常事件的检测方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
33.本技术实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现异常事件的检测方法的计算机终端(或移动设备)的硬件结构框图。如图1所示，计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b，
……
，102n来示出)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。除此以外，还可以包括：显示器、输入/输出接口(i/o接口)、通用串行总线(usb)端口(可以作为bus总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
34.应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本技术实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
35.存储器104可用于存储应用软件的软件程序以及模块，如本技术实施例中的异常事件的检测方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的异常事件的检测方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
36.传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括
计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(network interface controller，nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(radiofrequency，rf)模块，其用于通过无线方式与互联网进行通讯。
37.显示器可以例如触摸屏式的液晶显示器(lcd)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
38.此处需要说明的是，在一些可选实施例中，上述图1所示的计算机设备(或移动设备)可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是，图1仅为特定具体实例的一个实例，并且旨在示出可存在于上述计算机设备(或移动设备)中的部件的类型。
39.在上述运行环境下，本技术提供了如图2所示的异常事件的检测方法。图2是根据本技术实施例的一种异常事件的检测方法的流程图。如图2所示，该方法包括如下步骤：
40.步骤s202，获取目标对象的第一多媒体数据和第二多媒体数据，其中，第一多媒体数据和第二多媒体数据是从目标对象的视频数据中获取到的多媒体数据，且第一多媒体数据的采集时间早于第二多媒体数据的采集时间；
41.上述步骤中的目标对象可以是指需要进行时空异常事件检测的对象，例如，安全监管领域的明火识别、突发火灾、爆炸等，但不仅限于此，还可以是其他应用场景中的对象，又例如，安防领域中需要防盗监控的物品、区域等。上述步骤中的目标对象还可以是需要进行行为监控的用户，例如，医疗领域中，需要进行身体状态监控的病患，但不仅限于此。
42.上述步骤中的多媒体数据(包括第一多媒体数据和第二多媒体数据)可以是针对目标对象拍摄的图片、视频片段，为了能够更加准确地对异常事件进行检测，在本技术实施例中，以目标对象的视频片段为例进行说明。
43.本实施例中，可以通过挖掘正常事件的演变规律，对未来进行预测，并通过比较预测结果和实际情况，确定是否存在异常事件。在此基础上，可以直接获取目标对象的视频数据，并将视频数据划分为两个部分，也即，将连续的视频帧划分为两部分，采集时间靠前的部分作为上述的第一多媒体数据，采集时间靠后的部分作为上述的第二多媒体数据。其中，通过对第一多媒体数据进行处理，可以预测出第二多媒体数据的时空特征。例如，以视频片段为例，第一多媒体数据可以是指前序视频片段，第二多媒体数据可以是指后续视频片段。
44.步骤s204，利用处理模型对第一多媒体数据进行处理，预测出第二多媒体数据的第一时空特征，并利用处理模型对第二多媒体数据进行处理，得到第二多媒体数据的第二时空特征，其中，处理模型用于获取第一多媒体数据和第二多媒体数据，将第一多媒体数据和第二多媒体数据输入至提取网络，得到第一多媒体数据的时空特征和第二多媒体数据的第二时空特征，将第一多媒体数据的时空特征输入至预测网络，得到第二多媒体数据的第一时空特征；
45.现有技术中采用视频预测的方法进行异常事件检测，具体实现方式如下：通过给定t帧图像，来预测生成下一帧图像，并通过比较生成图像和实际图像之间的误差，来判定是否发生异常。
46.但是，该方法存在如下两个问题：一是实际监控场景的图像复杂多样，进行像素级的图像重建很难收敛；二是全局图像预测损失可能会淹没局部异常值，从而降低对异常事
件感知的灵敏度。
47.为了解决上述问题，在本实施例中，可以对第二多媒体数据的时空特征进行重建，而不需要对第二多媒体数据进行重建，从而处理模型更容易收敛，具有更强的泛化性能，而且将关注点放在对时空演变规律的挖掘，增强了对异常事件的感知能力。在此基础上，上述步骤中的处理模型可以通过收集到的大量的正常样本训练得到的，上述步骤中的第一时空特征可以是通过挖掘第一多媒体数据的时空演变规律，预测得到的第二多媒体数据的时空特征，第二时空特征可以是直接从第二多媒体数据挖掘出的时空特征。
48.上述的提取网络可以是用于提取多媒体数据对应的时空特征的模型，可以挖掘出多媒体数据所对应的时空演进规律。预测网络可以是用于预测未来的多媒体数据的时空特征的模型。可选的，预测模型可以采用两组卷积层，第一组卷积层通过对特征通道数进行下采样，以压缩特征空间，关注本质的特征演进规律；第二组卷积层通过进行特征通道数的上采样操作，以恢复到原始维度，方便后续记性特征比较。
49.例如，如图3所示，仍以视频片段为例进行说明，在一种可选的实施例中，在获取到前序视频片段和后续视频片段之后，可以将两个视频片段输入至提取模型中，分别挖掘出两个视频片段的时空特征，进一步将前序视频片段中挖掘出的时空特征输入至预测模型中，通过预测模型来预测后续视频片段的时空特征，从而得到预测出的时空特征和提取出的时空特征。
50.步骤s206，基于第二多媒体数据的第一时空特征和第二多媒体数据的第二时空特征，确定目标对象是否发生异常事件。
51.上述步骤中的异常事件可以是目标对象发生的小概率异常事件，包括但不限于安全监管领域的明火识别、突发火灾、爆炸等，安防领域的被盗事件等，还可以是指目标对象的行为异常状态。
52.在本实施例中，如果目标对象未发生异常事件，则第二多媒体数据的第二时空特征符合挖掘出的正常事件的时空演变规律，因此，预测得到的第一时空特征和实际的第二时空特征相同或相近；如果目标对象发生异常事件，则第二多媒体数据的第二时空特征不符合挖掘出的正常事件的时空演变规律，因此，预测得到的第一时空特征和实际的第二时空特征差异较大。
53.例如，如图3所示，以视频片段为例进行说明，在一种可选的实施例中，可以获取摄像头等采集装置采集到的前序视频片段和后续视频片段，将两个视频片段输入至处理模型中，通过对前序视频片段进行处理，可以预测出后续视频片段的时空特征，同时，通过对后续视频片段进行处理，可以提取出后续视频片段的时空特征。通过将预测出的时空特征和提取出的时空特征进行比较，如果两个时空特征的差距较大，则可以确定目标对象发生异常事件；如果两个时空特征的差距较小，则可以确定目标对象未发生异常事件。
54.需要说明的是，为了更好地收敛，在确定目标对象是否发生异常事件之前，两个时空特征都会经过平均池化层变为特征向量。
55.通过本技术上述实施例提供的方案，在获取到目标对象的第一多媒体数据和第二多媒体数据之后，可以利用处理模型对第一多媒体数据进行处理，预测出第二多媒体数据的第一时空特征，并利用处理模型对第二多媒体数据进行处理，得到第二多媒体数据的第二时空特征，进一步通过第二多媒体数据的第一时空特征和第二多媒体数据的第二时空特
征，可以确定目标对象是否发生异常事件。容易注意到的是，可以通过挖掘正常状态的时空演变规律，来感知预测不符合“正常变化规律”的异常事件，并且不需要获取异常事件的数据即可训练得到处理模型，从而增强了对异常事件的感知能力，提高了对发生概率较小的异常事件的检测准确度，进而解决了偶发且危害较大的异常事件，识别准确率低的技术问题。
56.在本技术上述实施例中，将第一多媒体数据和第二多媒体数据输入至提取网络，得到第一多媒体数据的时空特征和第二多媒体数据的第二时空特征，包括：将第一多媒体数据和第二多媒体数据输入至提取网络中的空间特征提取模型进行特征提取，得到第一多媒体数据的第一空间特征和第二多媒体数据的第二空间特征；将第一空间特征输入至提取网络中的第一时空特征提取模型进行特征提取，得到第一多媒体数据的时空特征；将第二空间特征输入至提取网络中的第二时空特征提取模型进行特征提取，得到第二多媒体数据的第二时空特征。
57.上述的空间特征提取模型可以是共享的空间特征提取模型，可以为视频片段中的每一帧图像提取空间特征，可选的，空间特征提取模型可以采用resnet18的前三个block，但不仅限于此，也可以采用其他深度特征提取模型。
58.上述的第一时空特征提取模型和第二时空特征提取模型可以挖掘多媒体数据的时空演进规律。可选的，为了增强系统的泛化能力，第一时空特征提取模型和第二时空特征提取模型的模型结构相同，但是不共享参数。而且，第一时空特征提取模型和第二时空特征提取模型可以采用卷积长短期记忆网络(convlstm)，但不仅限于此，也可以是采用其他时空特征挖掘模型，例如3d卷积等。
59.对于卷积长短期记忆网络，可以通过门结构的设计来挖掘多媒体数据的时空特征演进规律。具体的门计算公式如下：
[0060][0061][0062][0063][0064]
例如，如图3所示，仍以视频片段为例进行说明，在一种可选的实施例中，在获取到前序视频片段和后续视频片段之后，前序视频片段和后续视频流可以分别通过共享的空间特征提取模型，为视频片段中每一帧图像提取空间特征；前序视频片段得到的空间特征经过时空特征提取模型1，挖掘视频片段对应的时空特征；后续视频片段得到的空间特征经过时空特征提取模型2，挖掘视频片段对应的时空特征。
[0065]
在本技术上述实施例中，基于第二多媒体数据的第一时空特征和第二多媒体数据的第二时空特征，确定目标对象是否发生异常事件，包括：获取第二多媒体数据的第一时空特征和第二多媒体数据的第二时空特征的特征距离；将特征距离与第一预设阈值进行比较；在特征距离大于第一预设阈值的情况下，确定目标对象发生异常事件；在特征距离小于等于预设阈值的情况下，确定目标对象未发生异常事件。
[0066]
上述的特征距离可以作为两个多媒体数据的异常值表征，特征距离越大，表明第二多媒体数据的越不符合第一多媒体数据的演变规律，越有可能发生异常事件。可以采用
现有的距离计算方法计算两个时空特征的特征距离，例如，可以采用欧式距离、曼哈顿距离、切比雪夫距离、夹角余弦距离等，但不仅限于此，本技术对此不作具体限定。
[0067]
上述的第一预设阈值可以是能够确定发生异常事件的特征距离阈值，例如，在本技术实施例中，以第一预设阈值为0.4为例进行说明，但不仅限于此，可以根据实际应用场景进行设定。
[0068]
例如，如图3所示，仍以视频片段为例进行说明，在一种可选的实施例中，在预测出后续视频片段的时空特征，并提取出后续视频片段的时空特征之后，可以计算两个时空特征的特征距离，当特征距离大于第一预设阈值时，确定发生异事件，否则确定未发生异常事件。
[0069]
在本技术上述实施例中，获取目标对象的第一多媒体数据和第二多媒体数据，包括：对视频数据进行采样，得到多帧多媒体数据；对多帧多媒体数据进行划分，得到第一多媒体数据和第二多媒体数据。
[0070]
上述的多媒体数据的帧数可以根据实际应用场景进行设定，在本技术实施例中，以帧数为8帧为例进行说明，但不仅限于此。对多帧多媒体数据进行划分可以是指将多帧多媒体数据平均划分为两部分，但不仅限于此。
[0071]
例如，如图3所示，仍以视频片段为例进行说明，在一种可选的实施例中，可以获取目标对象的视频流，在视频流输入之后，每秒抽取8帧视频，前4帧视频作为前序视频片段，后4帧视频作为后续视频片段。
[0072]
在本技术上述实施例中，该方法还包括如下步骤：获取多组训练样本，其中，每组训练样本包括：第一样本和第二样本，其中，第一样本和第二样本是从采集到的视频数据中获取到的样本，且第一样本的采集时间早于第二样本的采集时间；利用多组训练样本对初始处理模型进行训练，得到处理模型。
[0073]
例如，如图3所示，仍以视频片段为例进行说明，在一种可选的实施例中，处理模型的训练过程与实际检测过程相似，可以收集大量的正常样本，均划分为第一样本和第二样本，通过大量的正常样本对构建好的初始处理模型进行训练，得到处理模型。
[0074]
需要说明的是，在每次进行异常事件检测之后，可以对处理模型进行更新，确保处理模型的处理准确度，进而确保检测准确度。
[0075]
在本技术上述实施例中，利用多组训练样本对初始处理模型进行训练，得到处理模型，包括：将每组训练样本输入至初始处理模型中，预测出第二样本的第一时空特征，并得到第二样本的第二时空特征；基于第二样本的第一时空特征和第二样本的第二时空特征，得到初始处理模型的损失值；将损失值与第二预设阈值进行比较；如果损失值大于第二预设阈值，则更新初始处理模型的网络权重；如果损失值小于等于第二预设阈值，则得到处理模型。
[0076]
上述的第二预设阈值可以是满足训练精度要求的损失值阈值，可以根据实际应用场景进行设定，本技术对此不作具体限定。
[0077]
例如，如图3所示，仍以视频片段为例进行说明，在一种可选的实施例中，第一样本和第二样本分别通过共享的空间特征提取模型进行处理，提取出空间特征，将第一样本的空间特征经过时空特征提取模型1进行处理，得到相应的时空特征，并且将第二样本的空间特征经过时空特征提取模型2进行处理，得到相应的时空特征，进一步将从第一样本中挖掘
出的时空特征进一步通过预测模型进行处理，预测出第二样本所对应的时空特征。结合挖掘出的时空特征和预测出的时空特征，通过损失函数计算相应的损失值，如果损失值不满足训练精度要求的损失值阈值，则可以通过反向传播来更新网络权重，直至损失值满足训练精度要求的损失值阈值，得到处理模型。
[0078]
在本技术上述实施例中，基于第二样本的第一时空特征和第二样本的第二时空特征，得到初始处理模型的损失值，包括：获取第二样本的第一时空特征和第二样本的第二时空特征的特征距离，得到初始处理模型的损失值。
[0079]
在本实施例中，处理模型所采用的损失函数主要包含两个部分，第一部分为时空特征向量的距离损失，例如，可以采用均方误差损失(mean square error)；第二部分为针对预测得到的时空特征的场景分类损失。通过增加第二部分损失，使得学习到的网络参数具有更多的语义信息，既能够预测未来视频片段的时空特征，又能够反映该场景的时空演进规律，进而使得该处理模型能够挖掘出普适的时空演进规律，可以很好地推广到新的应用场景。
[0080]
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本技术所必须的。
[0081]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本技术各个实施例所述的方法。
[0082]
实施例2
[0083]
根据本技术实施例，还提供了一种异常事件的检测方法。
[0084]
在上述实施例1的运行环境下，本技术提供了如图4所示的异常事件的检测方法。图4是根据本技术实施例的另一种异常事件的检测方法的流程图。如图4所示，该方法包括如下步骤：
[0085]
步骤s402，获取目标对象的视频数据；
[0086]
上述步骤中的目标对象可以是指需要进行异常事件检测的对象，包括但不限于安全监管领域的明火识别、突发火灾、爆炸等，又例如，安防领域中需要防盗监控的物品、区域等。上述步骤中的目标对象还可以是需要进行行为监控的用户，例如，医疗领域中，需要进行身体状态监控的病患，但不仅限于此。
[0087]
上述步骤中的视频数据可以是针对目标对象拍摄的多张图像、视频片段等，为了能够更加准确地对异常事件进行检测，在本技术实施例中，以目标对象的视频片段为例进行说明。
[0088]
步骤s404，对视频数据进行处理，得到第一多媒体数据和第二多媒体数据，其中，第一多媒体数据的采集时间早于第二多媒体数据的采集时间；
[0089]
本实施例中，可以对视频数据进行处理，划分为两个多媒体数据，也即，将连续的视频帧划分为两部分，采集时间靠前的多媒体数据即为上述的第一多媒体数据，采集时间靠后的多媒体数据即为上述的第二多媒体数据，其中，通过对第一多媒体数据进行处理，可以预测出第二多媒体数据的预测结果。
[0090]
步骤s406，利用处理模型对第一多媒体数据进行处理，预测出第二多媒体数据的第一时空特征，并利用处理模型对第二多媒体数据进行处理，得到第二多媒体数据的第二时空特征，其中，处理模型用于获取第一多媒体数据和第二多媒体数据，将第一多媒体数据和第二多媒体数据输入至提取网络，得到第一多媒体数据的时空特征和第二多媒体数据的第二时空特征，将第一多媒体数据的时空特征输入至预测网络，得到第二多媒体数据的第一时空特征；
[0091]
上述步骤中的处理模型可以通过收集到的大量的正常样本训练得到的，上述步骤中的第一时空特征可以是通过挖掘第一多媒体数据的时空演变规律，预测得到的第二多媒体数据的时空特征，第二时空特征可以是直接从第二多媒体数据挖掘出的时空特征。
[0092]
上述的提取网络可以是用于提取多媒体数据对应的时空特征的模型，可以挖掘出多媒体数据所对应的时空演进规律。预测网络可以是用于预测未来的多媒体数据的时空特征的模型。可选的，预测模型可以采用两组卷积层，第一组卷积层通过对特征通道数进行下采样，以压缩特征空间，关注本质的特征演进规律；第二组卷积层通过进行特征通道数的上采样操作，以恢复到原始维度，方便后续记性特征比较。
[0093]
步骤s408，基于第二多媒体数据的第一时空特征和第二多媒体数据的第二时空特征，确定目标对象是否发生异常事件。
[0094]
上述步骤中的异常事件可以是目标对象发生的小概率异常事件，包括但不限于安全监管领域的明火识别、突发火灾、爆炸等，安防领域的被盗事件等，还可以是指目标对象的行为异常状态。
[0095]
通过本技术上述实施例提供的方案，在获取到目标对象的视频数据之后，可以对视频数据进行处理，得到第一多媒体数据和第二多媒体数据，然后利用处理模型对第一多媒体数据进行处理，预测出第二多媒体数据的第一时空特征，并利用处理模型对第二多媒体数据进行处理，得到第二多媒体数据的第二时空特征，最后通过第二多媒体数据的第一时空特征和第二多媒体数据的第二时空特征，可以确定目标对象是否发生异常事件。容易注意到的是，可以通过挖掘正常状态的时空演变规律，来感知预测不符合“正常变化规律”的异常事件，并且不需要获取异常事件的数据即可训练得到处理模型，从而增强了对异常事件的感知能力，提高了对发生概率较小的异常事件的检测准确度，进而解决了偶发且危害较大的异常事件，识别准确率低的技术问题。
[0096]
在本技术上述实施例中，将第一多媒体数据和第二多媒体数据输入至提取网络，得到第一多媒体数据的时空特征和第二多媒体数据的第二时空特征，包括：将第一多媒体数据和第二多媒体数据输入至提取网络中的空间特征提取模型进行特征提取，得到第一多媒体数据的第一空间特征和第二多媒体数据的第二空间特征；将第一空间特征输入至提取网络中的第一时空特征提取模型进行特征提取，得到第一多媒体数据的时空特征；将第二空间特征输入至提取网络中的第二时空特征提取模型进行特征提取，得到第二多媒体数据的第二时空特征。
[0097]
上述的空间特征提取模型可以是共享的空间特征提取模型，可以为视频片段中的每一帧图像提取空间特征，可选的，空间特征提取模型可以采用resnet18的前三个block，但不仅限于此，也可以采用其他深度特征提取模型。
[0098]
上述的第一时空特征提取模型和第二时空特征提取模型可以是时空特征提取模型，可以挖掘多媒体数据的时空演进规律。可选的，为了增强系统的泛化能力，第一时空特征提取模型和第二时空特征提取模型的模型结构相同，但是不共享参数。而且，第一时空特征提取模型和第二时空特征提取模型可以采用卷积长短期记忆网络(convlstm)，但不仅限于此，也可以是采用其他时空特征挖掘模型，例如3d卷积等。
[0099]
在本技术上述实施例中，基于第二多媒体数据的第一时空特征和第二多媒体数据的第二时空特征，确定目标对象是否发生异常事件，包括：获取第二多媒体数据的第一时空特征和第二多媒体数据的第二时空特征的特征距离；将特征距离与第一预设阈值进行比较；在特征距离大于第一预设阈值的情况下，确定目标对象发生异常事件；在特征距离小于等于预设阈值的情况下，确定目标对象未发生异常事件。
[0100]
上述的特征距离可以作为两个多媒体数据的异常值表征，特征距离越大，表明第二多媒体数据的越不符合第一多媒体数据的演变规律，越有可能发生异常事件。可以采用现有的距离计算方法计算两个时空特征的特征距离，例如，可以采用欧式距离、曼哈顿距离、切比雪夫距离、夹角余弦距离等，但不仅限于此，本技术对此不作具体限定。
[0101]
上述的第一预设阈值可以是能够确定发生异常事件的特征距离阈值，例如，在本技术实施例中，以第一预设阈值为0.4为例进行说明，但不仅限于此，可以根据实际应用场景进行设定。
[0102]
在本技术上述实施例中，对视频数据进行处理，得到第一多媒体数据和第二多媒体数据，包括：对视频数据进行采样，得到多帧多媒体数据；对多帧多媒体数据进行划分，得到第一多媒体数据和第二多媒体数据。
[0103]
上述的多媒体数据的帧数可以根据实际应用场景进行设定，在本技术实施例中，以帧数为8帧为例进行说明，但不仅限于此。对多帧多媒体数据进行划分可以是指将多帧多媒体数据平均划分为两部分，但不仅限于此。
[0104]
在本技术上述实施例中，该方法还包括如下步骤：获取多组训练样本；对每组训练样本进行处理，得到每组训练样本包含的第一样本和第二样本，其中，第一样本的采集时间早于第二样本的采集时间；利用多组训练样本对初始处理模型进行训练，得到处理模型。
[0105]
在本技术上述实施例中，利用多组训练样本对初始处理模型进行训练，得到处理模型，包括：将每组训练样本输入至初始处理模型中，预测出第二样本的第一时空特征，并得到第二样本的第二时空特征；基于第二样本的第一时空特征和第二样本的第二时空特征，得到初始处理模型的损失值；将损失值与第二预设阈值进行比较；如果损失值大于第二预设阈值，则更新初始处理模型的网络权重；如果损失值小于等于第二预设阈值，则得到处理模型。
[0106]
上述的第二预设阈值可以是满足训练精度要求的损失值阈值，可以根据实际应用场景进行设定，本技术对此不作具体限定。
[0107]
在本技术上述实施例中，基于第二样本的第一时空特征和第二样本的第二时空特征，得到初始处理模型的损失值，包括：获取第二样本的第一时空特征和第二样本的第二时
空特征的特征距离，得到初始处理模型的损失值。
[0108]
在本实施例中，处理模型所采用的损失函数主要包含两个部分，第一部分为时空特征向量的距离损失，例如，可以采用均方误差损失(mean square error)；第二部分为针对预测得到的时空特征的场景分类损失。
[0109]
需要说明的是，本技术上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
[0110]
实施例3
[0111]
根据本技术实施例，还提供了一种用于实施上述异常事件的检测方法的异常事件的检测装置，如图5所示，该装置500包括：获取模块502、处理模块504和确定模块506。
[0112]
其中，获取模块502用于获取目标对象的第一多媒体数据和第二多媒体数据，其中，第一多媒体数据和第二多媒体数据是从目标对象的视频数据中获取到的多媒体数据，且第一多媒体数据的采集时间早于第二多媒体数据的采集时间；处理模块504用于利用处理模型对第一多媒体数据进行处理，预测出第二多媒体数据的第一时空特征，并利用处理模型对第二多媒体数据进行处理，得到第二多媒体数据的第二时空特征，其中，处理模型用于获取第一多媒体数据和第二多媒体数据，将第一多媒体数据和第二多媒体数据输入至提取网络，得到第一多媒体数据的时空特征和第二多媒体数据的第二时空特征，将第一多媒体数据的时空特征输入至预测网络，得到第二多媒体数据的第一时空特征；确定模块506用于基于第二多媒体数据的第一时空特征和第二多媒体数据的第二时空特征，确定目标对象是否发生异常事件。
[0113]
此处需要说明的是，上述获取模块502、处理模块504和确定模块506对应于实施例1中的步骤s202至步骤s206，三个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
[0114]
在本技术上述实施例中，处理模块包括：第一提取单元、第二提取单元和第三提取单元。
[0115]
其中，第一提取单元用于将第一多媒体数据和第二多媒体数据输入至提取网络中的空间特征提取模型进行特征提取，得到第一多媒体数据的第一空间特征和第二多媒体数据的第二空间特征；第二提取单元用于将第一空间特征输入至提取网络中的第一时空特征提取模型进行特征提取，得到第一多媒体数据的时空特征；第三提取单元用于将第二空间特征输入至提取网络中的第二时空特征提取模型进行特征提取，得到第二多媒体数据的第二时空特征。
[0116]
在本技术上述实施例中，确定模块包括：获取单元、第一比较单元、第一确定单元和第二确定单元。
[0117]
其中，获取单元用于获取第二多媒体数据的第一时空特征和第二多媒体数据的第二时空特征的特征距离；第一比较单元用于将特征距离与第一预设阈值进行比较；第一确定单元用于在特征距离大于第一预设阈值的情况下，确定目标对象发生异常事件；第二确定单元用于在特征距离小于等于预设阈值的情况下，确定目标对象未发生异常事件。
[0118]
在本技术上述实施例中，获取模块包括：采样单元和划分单元。
[0119]
其中，采样单元用于对视频数据进行采样，得到多帧多媒体数据；划分单元用于对
多帧多媒体数据进行划分，得到第一多媒体数据和第二多媒体数据。
[0120]
在本技术上述实施例中，该装置还包括：训练模块。
[0121]
其中，获取模块还用于获取多组训练样本，其中，每组训练样本包括：第一样本和第二样本，其中，第一样本和第二样本是从采集到的视频数据中获取到的样本，且第一样本的采集时间早于第二样本的采集时间；训练模块用于利用多组训练样本对初始处理模型进行训练，得到处理模型。
[0122]
在本技术上述实施例中，训练模块包括：输入单元、处理单元、第二比较单元、更新单元和第三确定单元。
[0123]
其中，输入单元将每组训练样本输入至初始处理模型中，预测出第二样本的第一时空特征，并得到第二样本的第二时空特征；处理单元用于基于第二样本的第一时空特征和第二样本的第二时空特征，得到初始处理模型的损失值；第二比较单元用于将损失值与第二预设阈值进行比较；更新单元用于如果损失值大于第二预设阈值，则更新初始处理模型的网络权重；第三确定单元用于如果损失值小于等于第二预设阈值，则得到处理模型。
[0124]
在本技术上述实施例中，处理单元包括：处理子单元。
[0125]
其中，处理子单元用于获取第二样本的第一时空特征和第二样本的第二时空特征的特征距离，得到初始处理模型的损失值。
[0126]
需要说明的是，本技术上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
[0127]
实施例4
[0128]
根据本技术实施例，还提供了一种用于实施上述异常事件的检测方法的异常事件的检测装置，如图6所示，该装置600包括：获取模块602、第一处理模块604、第二处理模块606和确定模块608。
[0129]
其中，获取模块602用于获取目标对象的视频数据；第一处理模块604用于对视频数据进行处理，得到第一多媒体数据和第二多媒体数据，其中，第一多媒体数据的采集时间早于第二多媒体数据的采集时间；第二处理模块606用于利用处理模型对第一多媒体数据进行处理，预测出第二多媒体数据的第一时空特征，并利用处理模型对第二多媒体数据进行处理，得到第二多媒体数据的第二时空特征，其中，处理模型用于获取第一多媒体数据和第二多媒体数据，将第一多媒体数据和第二多媒体数据输入至提取网络，得到第一多媒体数据的时空特征和第二多媒体数据的第二时空特征，将第一多媒体数据的时空特征输入至预测网络，得到第二多媒体数据的第一时空特征；确定模块608用于基于第二多媒体数据的第一时空特征和第二多媒体数据的第二时空特征，确定目标对象是否发生异常事件。
[0130]
此处需要说明的是，上述获取模块602、第一处理模块604、第二处理模块606和确定模块608对应于实施例2中的步骤s402至步骤s408，四个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
[0131]
在本技术上述实施例中，第二处理模块包括：第一提取单元、第二提取单元和第三提取单元。
[0132]
其中，第一提取子单元用于将第一多媒体数据和第二多媒体数据输入至提取网络中的空间特征提取模型进行特征提取，得到第一多媒体数据的第一空间特征和第二多媒体
数据的第二空间特征；第二提取子单元用于将第一空间特征输入至提取网络中的第一时空特征提取模型进行特征提取，得到第一多媒体数据的时空特征；第三提取子单元用于将第二空间特征输入至提取网络中的第二时空特征提取模型进行特征提取，得到第二多媒体数据的第二时空特征。
[0133]
在本技术上述实施例中，确定模块包括：获取单元、第一比较单元、第一确定单元和第二确定单元。
[0134]
其中，获取单元用于获取第二多媒体数据的第一时空特征和第二多媒体数据的第二时空特征的特征距离；第一比较单元用于将特征距离与第一预设阈值进行比较；第一确定单元用于在特征距离大于第一预设阈值的情况下，确定目标对象发生异常事件；第二确定单元用于在特征距离小于等于预设阈值的情况下，确定目标对象未发生异常事件。
[0135]
在本技术上述实施例中，第二处理模块包括：采样单元和划分单元。
[0136]
其中，采样单元用于对视频数据进行采样，得到多帧多媒体数据；划分单元用于对多帧多媒体数据进行划分，得到第一多媒体数据和第二多媒体数据。
[0137]
在本技术上述实施例中，该装置还包括：训练模块。
[0138]
其中，获取模块还用于获取多组训练样本；处理模块还用于对每组训练样本进行处理，得到每组训练样本包含的第一样本和第二样本，其中，第一样本的采集时间早于第二样本的采集时间；训练模块用于利用多组训练样本对初始处理模型进行训练，得到处理模型。
[0139]
在本技术上述实施例中，训练模块包括：输入单元、处理单元、第二比较单元、更新单元和第三确定单元。
[0140]
其中，输入单元将每组训练样本输入至初始处理模型中，预测出第二样本的第一时空特征，并得到第二样本的第二时空特征；处理单元用于基于第二样本的第一时空特征和第二样本的第二时空特征，得到初始处理模型的损失值；第二比较单元用于将损失值与第二预设阈值进行比较；更新单元用于如果损失值大于第二预设阈值，则更新初始处理模型的网络权重；第三确定单元用于如果损失值小于等于第二预设阈值，则得到处理模型。
[0141]
在本技术上述实施例中，处理单元包括：处理子单元。
[0142]
其中，处理子单元用于获取第二样本的第一时空特征和第二样本的第二时空特征的特征距离，得到初始处理模型的损失值。
[0143]
需要说明的是，本技术上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
[0144]
实施例5
[0145]
根据本技术实施例，还提供了一种异常事件的检测系统，包括：
[0146]
处理器；以及
[0147]
存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：获取目标对象的第一多媒体数据和第二多媒体数据，其中，第一多媒体数据和第二多媒体数据是从目标对象的视频数据中获取到的多媒体数据，且第一多媒体数据的采集时间早于第二多媒体数据的采集时间；利用处理模型对第一多媒体数据进行处理，预测出第二多媒体数据的第一时空特征，并利用处理模型对第二多媒体数据进行处理，得到第二多媒体数据的第二时空特征；基于第二多媒体数据的第一时空特征和第二多媒体数据的第二时空特征，确定目
标对象是否发生异常事件，其中，处理模型用于获取第一多媒体数据和第二多媒体数据，将第一多媒体数据和第二多媒体数据输入至提取网络，得到第一多媒体数据的时空特征和第二多媒体数据的第二时空特征，将第一多媒体数据的时空特征输入至预测网络，得到第二多媒体数据的第一时空特征。
[0148]
需要说明的是，本技术上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
[0149]
实施例6
[0150]
根据本技术实施例，还提供了一种数据处理方法。
[0151]
在上述实施例1的运行环境下，本技术提供了如图7所示的数据处理方法。图7是根据本技术实施例的一种数据处理方法的流程图。如图7所示，该方法包括如下步骤：
[0152]
步骤s702，获取目标对象的视频数据；
[0153]
上述步骤中的目标对象可以是指需要进行异常事件检测的对象，包括但不限于安全监管领域的明火识别、突发火灾、爆炸等，又例如，安防领域中需要防盗监控的物品、区域等。上述步骤中的目标对象还可以是需要进行行为监控的用户，例如，医疗领域中，需要进行身体状态监控的病患，但不仅限于此。
[0154]
上述步骤中的视频数据可以是针对目标对象拍摄的多张图像、视频片段等，为了能够更加准确地对异常事件进行检测，在本技术实施例中，以目标对象的视频片段为例进行说明。
[0155]
步骤s704，对视频数据进行处理，得到第一时间段的第一多媒体数据和第二时间段的第二多媒体数据；
[0156]
上述步骤中的第一时间段位于第二时间段之前。
[0157]
步骤s706，基于第一多媒体数据，获取第一时空特征，其中，第一时空特征为第二时间段的预测特征；
[0158]
上述步骤中的第一时空特征可以是通过挖掘第一多媒体数据的时空演变规律，预测得到的第二多媒体数据的时空特征。
[0159]
步骤s708，基于第二多媒体数据，获取第二时空特征，其中，第二时空特征为第二时间段的检测特征；
[0160]
上述步骤中的第二时空特征可以是直接从第二多媒体数据挖掘出的时空特征。
[0161]
步骤s710，基于第一时空特征和第二时空特征，判断目标对象是否处于异常状态。
[0162]
上述步骤中的异常状态可以是指目标对象发生小概率异常事件的状态，包括但不限于安全监管领域的明火识别、突发火灾、爆炸等，安防领域的被盗事件等，还可以是指目标对象的行为异常状态。
[0163]
通过本技术上述实施例提供的方案，在获取到目标对象的视频数据之后，可以对视频数据进行处理，得到第一时间段的第一多媒体数据和第二时间段的第二多媒体数据，然后基于第一多媒体数据，获取第二时间段的预测特征，并基于第二多媒体数据，获取第二时间段的检测特征，最后通过第一时空特征和第二时空特征，可以确定目标对象是否处于异常状态。容易注意到的是，可以通过挖掘正常状态的时空演变规律，来感知预测不符合“正常变化规律”的异常状态，从而增强了对异常状态的感知能力，提高了对发生概率较小的异常状态的检测准确度，进而解决了偶发且危害较大的异常事件，识别准确率低的技术
问题。
[0164]
在本技术上述实施例中，基于第一多媒体数据，获取第一时空特征，包括：将第一多媒体数据输入至共享的空间特征提取模型进行特征提取，得到第一空间特征，其中，第一空间特征为第一时间段的检测特征；将第一空间特征输入至第一时空特征提取模型进行特征提取，得到第三时空特征，其中，第三时空特征为第一时间段的检测特征；将第三时空特征输入至预测网络，得到第一时空特征。
[0165]
上述的空间特征提取模型可以是共享的空间特征提取模型，可以为视频片段中的每一帧图像提取空间特征，可选的，空间特征提取模型可以采用resnet18的前三个block，但不仅限于此，也可以采用其他深度特征提取模型。
[0166]
上述的第一时空特征提取模型可以是时空特征提取模型，可以挖掘多媒体数据的时空演进规律。第一时空特征提取模型可以采用卷积长短期记忆网络(convlstm)，但不仅限于此，也可以是采用其他时空特征挖掘模型，例如3d卷积等。
[0167]
上述的预测网络可以是用于预测未来的多媒体数据的时空特征的模型。可选的，预测模型可以采用两组卷积层，第一组卷积层通过对特征通道数进行下采样，以压缩特征空间，关注本质的特征演进规律；第二组卷积层通过进行特征通道数的上采样操作，以恢复到原始维度，方便后续记性特征比较。
[0168]
在本技术上述实施例中，基于第二多媒体数据，获取第二时空特征，包括：将第二多媒体数据输入至共享的空间特征提取模型进行特征提取，得到第二空间特征，其中，第二空间特征为第二时间段的检测特征；将第二空间特征输入至第二时空特征提取模型进行特征提取，得到第二时空特征。
[0169]
上述的第二时空特征提取模型可以是时空特征提取模型，可以挖掘多媒体数据的时空演进规律。可选的，为了增强系统的泛化能力，第一时空特征提取模型和第二时空特征提取模型的模型结构相同，但是不共享参数。第二时空特征提取模型可以采用卷积长短期记忆网络(convlstm)，但不仅限于此，也可以是采用其他时空特征挖掘模型，例如3d卷积等。
[0170]
在本技术上述实施例中，基于第一时空特征和第二时空特征，判断目标对象是否处于异常状态，包括：获取第一时空特征和第二时空特征的特征距离；将特征距离与第一预设阈值进行比较；在特征距离大于第一预设阈值的情况下，确定目标对象处于异常状态；在特征距离小于等于预设阈值的情况下，确定目标对象未处于异常状态。
[0171]
在本技术上述实施例中，对视频数据进行处理，得到第一时间段的第一多媒体数据和第二时间段的第二多媒体数据，包括：对视频数据进行采样，得到多帧多媒体数据；对多帧多媒体数据进行划分，得到第一多媒体数据和第二多媒体数据。
[0172]
在本技术上述实施例中，该方法还包括如下步骤：获取多组训练样本；对每组训练样本进行处理，得到每组训练样本包含的第一样本和第二样本；利用多组训练样本对空间特征提取模型、第一时空特征提取模型、第二时空特征提取模型和预测网络进行训练。
[0173]
在本技术上述实施例中，利用多组训练样本对空间特征提取模型、第一时空特征提取模型、第二时空特征提取模型和预测网络进行训练，包括：将每组训练样本输入至空间特征提取模型，得到第一空间特征和第二空间特征，其中，第一空间特征为第一样本的检测特征，第二空间特征为第二样本的检测特征；将第一空间特征输入至第一时空特征提取模
型，得到第三时空特征，其中，第三时空特征为第一样本的检测特征；将第三时空特征输入至预测网络，得到第一时空特征，其中，第一时空特征为第二样本的预测特征；将第二空间特征输入至第二时空特征提取模型，得到第二时空特征，其中，第二时空特征为第二样本的检测特征；基于第一时空特征和第二时空特征，得到损失值；将损失值与第二预设阈值进行比较；如果损失值大于第二预设阈值，则更新空间特征提取模型、第一时空特征提取模型、第二时空特征提取模型和预测网络的网络权重；如果损失值小于等于第二预设阈值，则确定空间特征提取模型、第一时空特征提取模型、第二时空特征提取模型和预测网络的训练完成。
[0174]
在本技术上述实施例中，基于第二样本的第一时空特征和第二样本的第二时空特征，得到损失值，包括：获取第二样本的第一时空特征和第二样本的第二时空特征的特征距离，得到损失值。
[0175]
需要说明的是，本技术上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
[0176]
实施例7
[0177]
本技术的实施例可以提供一种计算机终端，该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地，在本实施例中，上述计算机终端也可以替换为移动终端等终端设备。
[0178]
可选地，在本实施例中，上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
[0179]
在本实施例中，上述计算机终端可以执行异常事件的检测方法中以下步骤的程序代码：获取目标对象的第一多媒体数据和第二多媒体数据，其中，第一多媒体数据和第二多媒体数据是从目标对象的视频数据中获取到的多媒体数据，且第一多媒体数据的采集时间早于第二多媒体数据的采集时间；利用处理模型对第一多媒体数据进行处理，预测出第二多媒体数据的第一时空特征，并利用处理模型对第二多媒体数据进行处理，得到第二多媒体数据的第二时空特征，其中，处理模型用于获取第一多媒体数据和第二多媒体数据，将第一多媒体数据和第二多媒体数据输入至提取网络，得到第一多媒体数据的时空特征和第二多媒体数据的第二时空特征，将第一多媒体数据的时空特征输入至预测网络，得到第二多媒体数据的第一时空特征；基于第二多媒体数据的第一时空特征和第二多媒体数据的第二时空特征，确定目标对象是否发生异常事件。
[0180]
可选地，图8是根据本技术实施例的一种计算机终端的结构框图。如图8所示，该计算机终端a可以包括：一个或多个(图中仅示出一个)处理器802、以及存储器804。
[0181]
其中，存储器可用于存储软件程序以及模块，如本技术实施例中的异常事件的检测方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的异常事件的检测方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至终端a。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0182]
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：
获取目标对象的第一多媒体数据和第二多媒体数据，其中，第一多媒体数据和第二多媒体数据是从目标对象的视频数据中获取到的多媒体数据，且第一多媒体数据的采集时间早于第二多媒体数据的采集时间；利用处理模型对第一多媒体数据进行处理，预测出第二多媒体数据的第一时空特征，并利用处理模型对第二多媒体数据进行处理，得到第二多媒体数据的第二时空特征，其中，处理模型用于获取第一多媒体数据和第二多媒体数据，将第一多媒体数据和第二多媒体数据输入至提取网络，得到第一多媒体数据的时空特征和第二多媒体数据的第二时空特征，将第一多媒体数据的时空特征输入至预测网络，得到第二多媒体数据的第一时空特征；基于第二多媒体数据的第一时空特征和第二多媒体数据的第二时空特征，确定目标对象是否发生异常事件。
[0183]
可选的，上述处理器还可以执行如下步骤的程序代码：将第一多媒体数据和第二多媒体数据输入至提取网络中的空间特征提取模型进行特征提取，得到第一多媒体数据的第一空间特征和第二多媒体数据的第二空间特征；将第一空间特征输入至提取网络中的第一时空特征提取模型进行特征提取，得到第一多媒体数据的时空特征；将第二空间特征输入至提取网络中的第二时空特征提取模型进行特征提取，得到第二多媒体数据的第二时空特征。
[0184]
可选的，上述处理器还可以执行如下步骤的程序代码：获取第二多媒体数据的第一时空特征和第二多媒体数据的第二时空特征的特征距离；将特征距离与第一预设阈值进行比较；在特征距离大于第一预设阈值的情况下，确定目标对象发生异常事件；在特征距离小于等于预设阈值的情况下，确定目标对象未发生异常事件。
[0185]
可选的，上述处理器还可以执行如下步骤的程序代码：对视频数据进行采样，得到多帧多媒体数据；对多帧多媒体数据进行划分，得到第一多媒体数据和第二多媒体数据。
[0186]
可选的，上述处理器还可以执行如下步骤的程序代码：获取多组训练样本，其中，每组训练样本包括：第一样本和第二样本，其中，第一样本和第二样本是从目标对象的视频数据中获取到的多媒体数据，且第一样本的采集时间早于第二样本的采集时间；利用多组训练样本对初始处理模型进行训练，得到处理模型。
[0187]
可选的，上述处理器还可以执行如下步骤的程序代码：将每组训练样本输入至初始处理模型中，预测出第二样本的第一时空特征，并得到第二样本的第二时空特征；基于第二样本的第一时空特征和第二样本的第二时空特征，得到初始处理模型的损失值；将损失值与第二预设阈值进行比较；如果损失值大于第二预设阈值，则更新初始处理模型的网络权重；如果损失值小于等于第二预设阈值，则得到处理模型。
[0188]
可选的，上述处理器还可以执行如下步骤的程序代码：获取第二样本的第一时空特征和第二样本的第二时空特征的特征距离，得到初始处理模型的损失值。
[0189]
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取目标对象的视频数据；对视频数据进行处理，得到第一多媒体数据和第二多媒体数据，其中，第一多媒体数据的采集时间早于第二多媒体数据的采集时间；利用处理模型对第一多媒体数据进行处理，预测出第二多媒体数据的第一时空特征，并利用处理模型对第二多媒体数据进行处理，得到第二多媒体数据的第二时空特征，其中，处理模型用于获取第一多媒体数据和第二多媒体数据，将第一多媒体数据和第二多媒体数据输入至提取网络，得到第一多媒体数据的时空特征和第二多媒体数据的第二时空特征，将第一多媒体数据的时空
特征输入至预测网络，得到第二多媒体数据的第一时空特征；基于第二多媒体数据的第一时空特征和第二多媒体数据的第二时空特征，确定目标对象是否发生异常事件。
[0190]
采用本技术实施例，提供了一种异常事件的检测方案。通过挖掘正常状态的时空演变规律，来感知预测不符合“正常变化规律”的异常事件，并且不需要获取异常事件的数据即可训练得到处理模型，从而增强了对异常事件的感知能力，提高了对发生概率较小的异常事件的检测准确度，进而解决了偶发且危害较大的异常事件，识别准确率低的技术问题。
[0191]
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取目标对象的视频数据；对视频数据进行处理，得到第一时间段的第一多媒体数据和第二时间段的第二多媒体数据；基于第一多媒体数据，获取第一时空特征，其中，第一时空特征为第二时间段的预测特征；基于第二多媒体数据，获取第二时空特征，其中，第二时空特征为第二时间段的检测特征；基于第一时空特征和第二时空特征，判断目标对象是否处于异常状态。
[0192]
可选的，上述处理器还可以执行如下步骤的程序代码：将第一多媒体数据输入至共享的空间特征提取模型进行特征提取，得到第一空间特征，其中，第一空间特征为第一时间段的检测特征；将第一空间特征输入至第一时空特征提取模型进行特征提取，得到第三时空特征，其中，第三时空特征为第一时间段的检测特征；将第三时空特征输入至预测网络，得到第一时空特征。
[0193]
可选的，上述处理器还可以执行如下步骤的程序代码：将第二多媒体数据输入至共享的空间特征提取模型进行特征提取，得到第二空间特征，其中，第二空间特征为第二时间段的检测特征；将第二空间特征输入至第二时空特征提取模型进行特征提取，得到第二时空特征。
[0194]
本领域普通技术人员可以理解，图8所示的结构仅为示意，计算机终端也可以是智能手机(如android手机、ios手机等)、平板电脑、掌声电脑以及移动互联网设备(mobile internet devices，mid)、pad等终端设备。图8其并不对上述电子装置的结构造成限定。例如，计算机终端a还可包括比图8中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图8所示不同的配置。
[0195]
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(read-only memory，rom)、随机存取器(random access memory，ram)、磁盘或光盘等。
[0196]
实施例8
[0197]
本技术的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于保存上述实施例所提供的异常事件的检测方法所执行的程序代码。
[0198]
可选地，在本实施例中，上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。
[0199]
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：获取目标对象的第一多媒体数据和第二多媒体数据，其中，第一多媒体数据和第二多媒体数据是从目标对象的视频数据中获取到的多媒体数据，且第一多媒体数据的采集时间早于第
二多媒体数据的采集时间；利用处理模型对第一多媒体数据进行处理，预测出第二多媒体数据的第一时空特征，并利用处理模型对第二多媒体数据进行处理，得到第二多媒体数据的第二时空特征，其中，处理模型用于获取第一多媒体数据和第二多媒体数据，将第一多媒体数据和第二多媒体数据输入至提取网络，得到第一多媒体数据的时空特征和第二多媒体数据的第二时空特征，将第一多媒体数据的时空特征输入至预测网络，得到第二多媒体数据的第一时空特征；基于第二多媒体数据的第一时空特征和第二多媒体数据的第二时空特征，确定目标对象是否发生异常事件。
[0200]
可选的，上述存储介质还被设置为存储用于执行以下步骤的程序代码：将第一多媒体数据和第二多媒体数据输入至提取网络中的空间特征提取模型进行特征提取，得到第一多媒体数据的第一空间特征和第二多媒体数据的第二空间特征；将第一空间特征输入至提取网络中的第一时空特征提取模型进行特征提取，得到第一多媒体数据的时空特征；将第二空间特征输入至提取网络中的第二时空特征提取模型进行特征提取，得到第二多媒体数据的第二时空特征。
[0201]
可选的，上述存储介质还被设置为存储用于执行以下步骤的程序代码：获取第二多媒体数据的第一时空特征和第二多媒体数据的第二时空特征的特征距离；将特征距离与第一预设阈值进行比较；在特征距离大于第一预设阈值的情况下，确定目标对象发生异常事件；在特征距离小于等于预设阈值的情况下，确定目标对象未发生异常事件。
[0202]
可选的，上述存储介质还被设置为存储用于执行以下步骤的程序代码：获取目标对象的视频数据；对视频数据进行采样，得到多帧多媒体数据；对多帧多媒体数据进行划分，得到第一多媒体数据和第二多媒体数据。
[0203]
可选的，上述存储介质还被设置为存储用于执行以下步骤的程序代码：获取多组训练样本，其中，每组训练样本包括：第一样本和第二样本，其中，第一样本和第二样本是从目标对象的视频数据中获取到的多媒体数据，且第一样本的采集时间早于第二样本的采集时间；利用多组训练样本对初始处理模型进行训练，得到处理模型。
[0204]
可选的，上述存储介质还被设置为存储用于执行以下步骤的程序代码：将每组训练样本输入至初始处理模型中，预测出第二样本的第一时空特征，并得到第二样本的第二时空特征；基于第二样本的第一时空特征和第二样本的第二时空特征，得到初始处理模型的损失值；将损失值与第二预设阈值进行比较；如果损失值大于第二预设阈值，则更新初始处理模型的网络权重；如果损失值小于等于第二预设阈值，则得到处理模型。
[0205]
可选的，上述存储介质还被设置为存储用于执行以下步骤的程序代码：获取第二样本的第一时空特征和第二样本的第二时空特征的特征距离，得到初始处理模型的损失值。
[0206]
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：获取目标对象的视频数据；对视频数据进行处理，得到第一多媒体数据和第二多媒体数据，其中，第一多媒体数据的采集时间早于第二多媒体数据的采集时间；利用处理模型对第一多媒体数据进行处理，预测出第二多媒体数据的第一时空特征，并利用处理模型对第二多媒体数据进行处理，得到第二多媒体数据的第二时空特征，其中，处理模型用于获取第一多媒体数据和第二多媒体数据，将第一多媒体数据和第二多媒体数据输入至提取网络，得到第一多媒体数据的时空特征和第二多媒体数据的第二时空特征，将第一多媒体数据的时空特
征输入至预测网络，得到第二多媒体数据的第一时空特征；基于第二多媒体数据的第一时空特征和第二多媒体数据的第二时空特征，确定目标对象是否发生异常事件。
[0207]
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：获取目标对象的视频数据；对视频数据进行处理，得到第一时间段的第一多媒体数据和第二时间段的第二多媒体数据；基于第一多媒体数据，获取第一时空特征，其中，第一时空特征为第二时间段的预测特征；基于第二多媒体数据，获取第二时空特征，其中，第二时空特征为第二时间段的检测特征；基于第一时空特征和第二时空特征，判断目标对象是否处于异常状态。
[0208]
可选的，上述存储介质还被设置为存储用于执行以下步骤的程序代码：将第一多媒体数据输入至共享的空间特征提取模型进行特征提取，得到第一空间特征，其中，第一空间特征为第一时间段的检测特征；将第一空间特征输入至第一时空特征提取模型进行特征提取，得到第三时空特征，其中，第三时空特征为第一时间段的检测特征；将第三时空特征输入至预测网络，得到第一时空特征。
[0209]
可选的，上述存储介质还被设置为存储用于执行以下步骤的程序代码：将第二多媒体数据输入至共享的空间特征提取模型进行特征提取，得到第二空间特征，其中，第二空间特征为第二时间段的检测特征；将第二空间特征输入至第二时空特征提取模型进行特征提取，得到第二时空特征。
[0210]
上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
[0211]
在本技术的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0212]
在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
[0213]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0214]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0215]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-onlymemory)、随机存取存
储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0216]
以上所述仅是本技术的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。